JP4482794B2 - Traffic sign identification device and traffic sign identification method - Google Patents
Traffic sign identification device and traffic sign identification method Download PDFInfo
- Publication number
- JP4482794B2 JP4482794B2 JP2004032436A JP2004032436A JP4482794B2 JP 4482794 B2 JP4482794 B2 JP 4482794B2 JP 2004032436 A JP2004032436 A JP 2004032436A JP 2004032436 A JP2004032436 A JP 2004032436A JP 4482794 B2 JP4482794 B2 JP 4482794B2
- Authority
- JP
- Japan
- Prior art keywords
- traffic sign
- information
- sign
- country
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Description
本発明は、交通標識を撮影して識別する交通標識識別装置および交通標識識別方法に関する。詳しくは、車両の前方を撮影して取得した映像情報から交通標識を抽出し、所望の国の交通標識に変換することで、容易に交通標識を理解できるようにしたものである。 The present invention relates to a traffic sign identifying apparatus and a traffic sign identifying method for photographing and identifying a traffic sign. Specifically, a traffic sign is extracted from video information obtained by photographing the front of the vehicle and converted into a traffic sign of a desired country so that the traffic sign can be easily understood.
近年では、国際化に加えレンタカーの普及等もあり、海外で運転する機会も増えてきている。しかし、従来より交通標識は国ごとに定められており、その表記は国ごとに異なっているものが多い。近年になり、国際連合による交通標識等、徐々に共通化されているものの、ローカルな言語で書かれている標識も多く使用されており、国外で運転する場合には運転手はその違いを十分に理解して運転する必要がある。 In recent years, in addition to internationalization, rental cars have become popular, and opportunities to drive overseas have increased. However, traffic signs are conventionally determined for each country, and the notation is often different for each country. In recent years, traffic signs by the United Nations, etc. are gradually becoming common, but signs written in local languages are also used in many cases. Need to understand and drive.
図８および図９は国ごとの標識の違いを示す説明図である。図８は「二輪車以外の自動車通行止め」を示す標識で、図８（ａ）は英国の標識、図８（ｂ）は日本の標識である。 FIG. 8 and FIG. 9 are explanatory diagrams showing the difference in the sign for each country. FIG. 8 shows a sign indicating “non-motorcycle closure other than motorcycles”, FIG. 8A shows a British sign, and FIG. 8B shows a Japanese sign.
英国の標識では、自動車のマークが赤丸で囲まれている。一方、日本の標識では、自動車のマークが赤丸で囲まれているところまでは同じであるが、更に赤丸の中に斜線が加えられており、見る人によっては逆の意味に取られる可能性もある。 On the British sign, the car mark is circled in red. On the other hand, in Japanese signs, the same is true until the car mark is surrounded by a red circle, but there is also a diagonal line inside the red circle, and depending on the viewer, the opposite meaning may be taken. is there.
図９は「追い越し禁止」を示す標識で、図９（ａ）は英国の標識、図９（ｂ）は米国の標識、図９（ｃ）は日本の標識である。図９に示すように、追い越し禁止の標識は国ごとに全く異なっていた。 FIG. 9 is a sign indicating “no overtaking”, FIG. 9 (a) is a British sign, FIG. 9 (b) is a US sign, and FIG. 9 (c) is a Japanese sign. As shown in FIG. 9, the overtaking prohibition signs were completely different from country to country.
このように、国ごとに異なる交通標識を運転者に認識させるため、交通標識を電子化された情報として配信し、車両内で表示出力する技術が開示されている（例えば、特許文献１参照。）。 As described above, in order to allow the driver to recognize a traffic sign that is different for each country, a technique is disclosed in which the traffic sign is distributed as digitized information and displayed and output in the vehicle (see, for example, Patent Document 1). ).
しかし、交通標識を電子化された情報として配信するためには、道路側に配信システムが必要であり、既存の交通標識は利用できないことから、非常にコストが掛かるという問題がある。また、このような配信システムを持たない国では使用できないことから、実用性が乏しいという問題がある。 However, in order to distribute traffic signs as computerized information, a distribution system is required on the road side, and existing traffic signs cannot be used, so there is a problem that costs are very high. Moreover, since it cannot use in the country which does not have such a delivery system, there exists a problem that practicability is scarce.
本発明は、このような課題を解決するためになされたもので、既存の交通標識を利用可能な交通標識識別装置および交通標識識別方法を提供することを目的とする。 The present invention has been made to solve such problems, and an object of the present invention is to provide a traffic sign identification device and a traffic sign identification method that can use an existing traffic sign.
上述した課題を解決するため、本発明に係る交通標識識別装置は、車両の前方を撮影して映像情報を取得する撮影手段と、映像情報から交通標識を抽出し、交通標識の画像パターンと標識の種別コードと標識がどの国で使用されるか特定する国情報とを含む標識情報を格納したデータベースと照合して標識の種別を識別し、映像情報から抽出した交通標識の画像パターンと一致する交通標識の種別コードをデータベースから取得する識別手段と、映像情報から抽出した交通標識を、識別手段で識別して取得した種別コードと同じ種別コードが付され、予め指定された国情報で特定される交通標識認識情報にデータベースを照合して変換する変換手段と、変換手段で変換された交通標識認識情報を出力する出力手段とを備えたものである。 In order to solve the above-described problem, a traffic sign identification device according to the present invention includes a photographing means for photographing the front of a vehicle to acquire video information, a traffic sign is extracted from the video information, and a traffic sign image pattern and a sign The sign type is identified by collating it with a database that stores sign information including the country type code and country information that identifies the country in which the sign is used, and matches the traffic sign image pattern extracted from the video information. Identification means for acquiring a traffic sign type code from the database, and a traffic code extracted from the video information is assigned the same type code as that obtained by identifying the traffic sign by the identification means, and is specified by pre-specified country information. Conversion means for collating and converting the database to the traffic sign recognition information, and output means for outputting the traffic sign recognition information converted by the conversion means.
本発明に係る交通標識識別装置では、車両の前方を撮影して映像情報を取得し、この映像情報から交通標識を抽出する。この交通標識の種別を識別し、交通標識の種別および予め指定された国情報で特定される交通標識認識情報に変換して出力する。 In the traffic sign identifying apparatus according to the present invention, the front of the vehicle is photographed to obtain video information, and the traffic sign is extracted from the video information. The type of the traffic sign is identified, converted into traffic sign recognition information specified by the type of the traffic sign and country information specified in advance, and output.
また、本発明に係る交通標識識別方法は、車両の前方を撮影して映像情報を取得し、映像情報から交通標識を抽出し、交通標識の画像パターンと標識の種別コードと標識がどの国で使用されるか特定する国情報とを含む標識情報を格納したデータベースと照合して標識の種別を識別し、映像情報から抽出した交通標識の画像パターンと一致する交通標識の種別コードをデータベースから取得し、映像情報から抽出した交通標識を、この交通標識の種別コードと同じ種別コードが付され、予め指定された国情報で特定される交通標識認識情報に変換して出力する。 The traffic sign identifying method according to the present invention captures the front of the vehicle to acquire video information, extracts the traffic sign from the video information, and in which country the traffic sign image pattern, the sign type code, and the sign are Identify the type of sign by comparing it with a database that stores sign information including country information that identifies whether it is used, and obtain from the database the type code of the traffic sign that matches the image pattern of the traffic sign extracted from the video information Then, the traffic sign extracted from the video information is converted into the traffic sign recognition information specified by the country information specified in advance with the same type code as the type code of the traffic sign and output.
本発明に係る交通標識識別方法では、車両の前方を撮影して映像情報を取得すると、映像情報から抽出した交通標識から、予め指定された国情報で特定される交通標識認識情報が出力される。 In the traffic sign identifying method according to the present invention, when video information is acquired by photographing the front of the vehicle, traffic sign recognition information specified by pre-designated country information is output from the traffic sign extracted from the video information. .
本発明によれば、車両の前方を撮影して取得した映像情報から交通標識を抽出して標識の種別を識別し、交通標識の種別および予め指定された国情報で特定される交通標識認識情報に変換して出力するので、運転者は国外で運転する場合等でも容易に標識を理解できる。これにより、標識の意味を間違えて理解することがなく、安全に車両を運転できる。例えば、言語に依存する標識の意味を容易に理解できる。 According to the present invention, traffic sign recognition information identified by a traffic sign type and pre-designated country information is identified by extracting a traffic sign from video information acquired by photographing the front of the vehicle. Therefore, the driver can easily understand the sign even when driving outside the country. As a result, the vehicle can be driven safely without misunderstanding the meaning of the sign. For example, the meaning of language-dependent signs can be easily understood.
また、車両の前方にある交通標識をリアルタイムで運転者が理解できる形態に変換するので、運転中に標識の意味を調べる必要がなく、安全に車両を運転できる。 Moreover, since the traffic sign ahead of the vehicle is converted into a form that the driver can understand in real time, it is not necessary to examine the meaning of the sign during driving, and the vehicle can be driven safely.
更に、道路側の設備は交通標識という既存の設備をそのまま利用できるので、低コストで実現できる。 Furthermore, the roadside equipment can be used at low cost because the existing equipment called traffic signs can be used as it is.
以下、図面を参照して本発明の交通標識識別装置および交通標識識別方法の実施の形態について説明する。図１は本実施の形態の交通標識識別装置の構成例を示すブロック図である。 Hereinafter, embodiments of a traffic sign identifying apparatus and a traffic sign identifying method according to the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration example of a traffic sign identifying apparatus according to the present embodiment.
本実施の形態の交通標識識別装置１は自動車等の車両に搭載され、交通標識を含む映像情報を取得する映像入力装置２と、映像入力装置２で取得した映像情報を処理する演算処理装置３と、演算処理装置３で処理した結果を出力する映像出力装置４および音声出力装置５等を備える。
A traffic
映像入力装置２は撮影手段を構成する例えばＣＣＤ（charge coupled device）カメラで、車両の前方を撮影できる位置に設置され、交通標識を含む映像情報を取得する。
The
演算処理装置３はＣＰＵ（central processing unit）、メモリおよび周辺機器とのインタフェース等により構成され、映像入力装置２で取得した映像情報の処理およびシステムの制御等を、予め定められたプログラムにより行う。
The
演算処理装置３のメモリとしては、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）と、例えば電池によりバックアップされたＳＲＡＭ（staticRAM）、フラッシュメモリ等の不揮発性メモリ等を備える。
The memory of the
演算処理装置３は、プログラムにより実行される処理として、画像認識部３ａ、ＤＢ（データベース）照合部３ｂ、変換処理部３ｃおよび出力処理部３ｄを備え、映像入力装置２で取得した映像情報の処理を行う。
The
画像認識部３ａは、映像入力装置２で取得した映像情報に対して画像認識処理を行い、交通標識を抽出する。ＤＢ照合部３ｂは、画像認識部３ａで抽出した交通標識を、記憶装置６あるいは外部記憶装置７等に格納された後述するデータベースと照合して識別する。
The image recognition unit 3a performs image recognition processing on the video information acquired by the
変換処理部３ｃは、画像認識部３ａで抽出した交通標識を、ＤＢ照合部３ｂでの識別結果に基づいて、車両の運転者等のユーザにより指定された国の標識情報に変換する。出力処理部３ｄは変換処理部３ｃで変換された標識情報を映像出力装置４、更には音声出力装置５から出力する。
The conversion processing unit 3c converts the traffic sign extracted by the image recognition unit 3a into the sign information of the country designated by the user such as the driver of the vehicle based on the identification result in the DB verification unit 3b. The
映像出力装置４は例えば液晶ディスプレイ等のフラットパネルディスプレイであり、演算処理装置３で解析した標識情報を映像で出力する。音声出力装置５は例えばスピーカであり、演算処理装置３で解析した標識情報を音声で出力する。
The video output device 4 is a flat panel display such as a liquid crystal display, for example, and outputs the marker information analyzed by the
ここで、演算処理装置３の画像認識部３ａおよびＤＢ照合部３ｂは識別手段を構成する。また、ＤＢ照合部３ｂと変換処理部３ｃは変換手段を構成する。更に、出力処理部３ｄと、映像出力装置４および音声出力装置５は出力手段を構成する。
Here, the image recognition unit 3a and the DB collation unit 3b of the
記憶装置６は例えばＣＤ−ＲＯＭおよびＤＶＤ−ＲＯＭ等の光ディスク装置や、ハードディスク装置等の磁気記録装置で構成され、標識データベースを格納する標識情報格納部６ａと、ユーザの設定情報を格納する設定情報格納部６ｂ等を備える。また、記憶装置６には地図データや音楽／映像コンテンツ等のデータを記憶する。 The storage device 6 is composed of, for example, an optical disk device such as a CD-ROM and a DVD-ROM, or a magnetic recording device such as a hard disk device, and a sign information storage unit 6a for storing a sign database and setting information for storing user setting information. A storage unit 6b and the like are provided. The storage device 6 stores map data and music / video content data.
なお、記憶装置６がハードディスク装置のように書き換え可能な磁気記録装置である場合は、標識情報格納部６ａと設定情報格納部６ｂを記憶装置６に備える。これに対して、記憶装置６がＤＶＤ−ＲＯＭ等の書き換えができない光ディスク装置である場合は、標識情報格納部６ａを記憶装置６に備えるとともに、設定情報格納部６ｂを例えば演算処理装置３の図示しない不揮発性メモリに備える。
When the storage device 6 is a rewritable magnetic recording device such as a hard disk device, the storage device 6 includes a marker information storage unit 6a and a setting information storage unit 6b. On the other hand, when the storage device 6 is an optical disk device such as a DVD-ROM that cannot be rewritten, the indicator information storage unit 6a is provided in the storage device 6 and the setting information storage unit 6b is illustrated as an example of the
外部記憶装置７は必要に応じて交通標識識別装置１に接続される記憶装置で、光ディスク装置や磁気記録装置等で構成され、標識データベースを格納する標識情報格納部７ａと、ユーザの設定情報を格納する設定情報格納部７ｂ等を備える。また、外部記憶装置７には地図データや音楽／映像コンテンツ等のデータを記憶する。
The
なお、外部記憶装置７がハードディスク装置のように書き換え可能な磁気記録装置である場合は、標識情報格納部７ａと設定情報格納部７ｂを外部記憶装置７に備える。これに対して、外部記憶装置７がＤＶＤ−ＲＯＭ等の書き換えができない光ディスク装置である場合は、標識情報格納部７ａを外部記憶装置７に備えるとともに、設定情報格納部７ｂを例えば演算処理装置３の図示しない不揮発性メモリに備える。
When the
更に、標識情報格納部と設定情報格納部は記憶装置６と外部記憶装置７のどちらか一方に備えられていても良いし、記憶装置６と外部記憶装置７に分割して備えられていても良い。
Further, the sign information storage unit and the setting information storage unit may be provided in one of the storage device 6 and the
なお、外部記憶装置７はメモリスティック（Ｒ）等の着脱自在な記憶メディアでも良く、記憶装置６の標識情報格納部６ａに格納する標識データベースを、外部記憶装置７から後で取得しても良い。
The
交通標識識別装置１は更にユーザ入力装置８と通信装置９と位置検出装置１０を備える。ユーザ入力装置８は例えばスイッチやリモコン（リモートコントローラ）、映像出力装置４に設けられるタッチパネル等で構成され、ユーザの操作を受けて演算処理装置３へ伝達する。
The traffic
通信装置９は例えばＵＳＢ（universal serial bus）等の有線通信装置や、携帯電話、Ｂｌｕｅｔｏｏｔｈ等の無線通信装置であり、他の機器や、ＬＡＮ（local area network）、ＷＡＮ（wide area network）等のネットワークと交通標識識別装置１を接続する。
The communication device 9 is, for example, a wired communication device such as a USB (universal serial bus), a wireless communication device such as a mobile phone or Bluetooth, and other devices, LAN (local area network), WAN (wide area network), etc. The network and the traffic
なお、記憶装置６の標識情報格納部６ａ等に格納する標識データベースを、通信装置９から後で取得しても良い。 Note that a sign database stored in the sign information storage unit 6 a of the storage device 6 may be acquired later from the communication device 9.
位置検出装置１０は位置検出手段を構成し、例えばＧＰＳ（global positioning system）を使用して車両がどの国にいるか等を検出する。位置検出装置１０で検出された車両の位置情報は、記憶装置６等の標識データベースの検索範囲を限定する際や、通信装置９でネットワークから特定の国のデータベース情報を取得する際に利用される。
The
図２および図３は標識データベースの一例を示す構成図である。標識データベースは図１で説明した記憶装置６の標識情報格納部６ａあるいは外部記憶装置７の標識情報格納部７ａ等に格納される。
2 and 3 are configuration diagrams showing an example of the sign database. The sign database is stored in the sign information storage section 6a of the storage device 6 described in FIG. 1, the sign information storage section 7a of the
図２に示す標識データベース１１は、各国の交通標識を関連付けたデータベースで、交通標識の画像パターン１２と、各交通標識固有のＩＤ１３と、標識の種別コード１４と、標識がどの国で使用されるか特定する国名情報１５とを含む。ここで、同じ意味を持つ交通標識では、同じ種別コード１４が付される。
The sign database 11 shown in FIG. 2 is a database in which traffic signs of each country are associated with each other. The traffic
標識データベース１１は、図１に示す演算処理装置３で画像認識によって交通標識を特定する処理で使用される。また、標識データベース１１の種別コード１４と国名情報１５は、画像認識で取得した交通標識がユーザにより指定された国ではどの標識に該当するのか検索する処理で使用される。
The sign database 11 is used in processing for identifying a traffic sign by image recognition in the
例えば、画像パターン１２ａは英国における追い越し禁止の交通標識を示し、画像パターン１２ｂは米国における追い越し禁止の交通標識を示し、画像パターン１２ｃは日本における追い越し禁止の交通標識を示す。
For example, the image pattern 12a shows a traffic sign prohibiting overtaking in the UK, the
同じ意味を持つ交通標識では同じ種別コード１４が付されるので、例えば英国の交通標識から日本あるいは米国の交通標識を検索することができる。
Since traffic signs having the same meaning are assigned the
図３に示す標識データベース１６は、各交通標識の意味を示す文言を各国の言語で対応付けたデータベースで、図２で説明した標識の種別コード１４と、交通標識の意味を示す各国の言語での文言情報１７を含む。
The sign database 16 shown in FIG. 3 is a database in which the language indicating the meaning of each traffic sign is associated with the language of each country, and the
標識データベース１６は、画像認識で取得した交通標識がユーザにより指定された言語ではどのような文言に相当するのか検索する処理で使用される。 The sign database 16 is used in a process of searching for a wording corresponding to a traffic sign acquired by image recognition in a language designated by a user.
すなわち、図２で説明した標識データベース１１を検索して取得した交通標識の種別コード１４から、ユーザが指定した言語で標識の意味を示す文言を取得することができる。
In other words, from the traffic
図４は本実施の形態の交通標識識別装置における国情報設定画面の一例を示す説明図で、まず、交通標識識別装置１の初期設定動作について説明する。
FIG. 4 is an explanatory diagram showing an example of the country information setting screen in the traffic sign identifying apparatus of the present embodiment. First, the initial setting operation of the traffic
交通標識識別装置１では、映像入力装置２で取得した映像情報から抽出した交通標識を、予め指定された国の標識に変換して出力すると共に、この標識の意味を、予め指定された言語で出力する。
The traffic
設定画面２１は国情報として変換先の国名および言語を運転者等のユーザに指定させるための画面で、例えば初期設定時に図１に示す演算処理装置３により映像出力装置４に表示出力される。設定画面２１は言語を選択する言語選択ボタン２１ａと、国名を選択する国名選択ボタン２１ｂを備える。
The
図４では設定画面２１において言語を選択する画面を図示しており、言語選択ボタン２１ａにスクロールボタン２１ｃが追加表示される。ユーザ入力装置８が例えばタッチパネルであれば、このスクロールボタン２１ｃの表示を押すことで、言語選択ボタン２１ａに表示される言語が切り替わる。
FIG. 4 shows a screen for selecting a language on the
また、ユーザ入力装置８がリモートコントローラであれば、スクロールボタンに該当するボタン、あるいはジョイスティック等を操作することで、言語選択ボタン２１ａに表示される言語が切り替わる。
If the
なお、図示しないが国名を選択する画面では、国名選択ボタン２１ｂにスクロールボタンが追加表示される。このスクロールボタンを操作することで、国名選択ボタン２１ｂに表示される国名が切り替わる。
Although not shown, on the screen for selecting a country name, a scroll button is additionally displayed on the country
ユーザはこの設定画面２１の表示に従いユーザ入力装置８を操作して、変換先の言語および国名を指定する。指定された言語および国名は、記憶装置６の設定情報格納部６ｂあるいは外部記憶装置７の設定情報格納部７ｂ等に設定情報として保存される。
The user operates the
図５は本実施の形態の交通標識識別装置の動作例を示すフローチャートであり、以下に本実施の形態の交通標識識別方法の一例を、交通標識識別装置１の動作として説明する。
FIG. 5 is a flowchart showing an operation example of the traffic sign identifying apparatus according to the present embodiment. Hereinafter, an example of the traffic sign identifying method according to the present embodiment will be described as the operation of the traffic
まず、映像入力装置２で車両の前方の映像情報を取得する（ステップＳＡ１）。演算処理装置３は、映像入力装置２で取得した映像情報から画像認識部３ａにより交通標識を抽出する（ステップＳＡ２）。なお、映像情報の中から特定の図形や文字等を抽出する技術は画像認識処理で既存の技術であるので、交通標識の抽出も既存の技術を使って行うことができる。
First, video information in front of the vehicle is acquired by the video input device 2 (step SA1). The
例えば、映像入力装置２で取得した映像情報の中の特定の形、大きさ、色を有する画像パターンを交通標識の候補であると判断する。
For example, an image pattern having a specific shape, size, and color in the video information acquired by the
演算処理装置３は映像入力装置２で取得した映像情報の中に交通標識が含まれているか判断し（ステップＳＡ３）、交通標識が含まれていない場合は現映像情報に対する処理を終了する。
The
ステップＳＡ３の判断で、映像入力装置２で取得した映像情報の中に交通標識の画像パターンが含まれている場合は、演算処理装置３は映像情報から抽出した交通標識の画像パターンを記憶装置６の標識情報格納部６ａあるいは外部記憶装置７の標識情報格納部７ａ等に格納された標識データベース１１と照合する（ステップＳＡ４）。
If it is determined in step SA3 that the video information acquired by the
すなわち、演算処理装置３は、映像入力装置２で取得した映像情報から抽出した交通標識の画像パターンと、図２で説明した標識データベース１１の画像パターン１２をＤＢ照合部３ｂにより照合して、映像情報から抽出した交通標識を識別する。
That is, the
そして、演算処理装置３は、映像情報から抽出した交通標識の画像パターンと一致する交通標識の種別コードを、標識データベース１１の種別コード１４から取得する。
Then, the
また、演算処理装置３は、予めユーザにより指定されている変換先の国名情報を、記憶装置６の設定情報格納部６ｂあるいは外部記憶装置７の設定情報格納部７ｂ等に格納されているユーザ設定情報から取得する。
Further, the
更に、演算処理装置３は、映像情報から抽出した交通標識の画像パターンと一致する交通標識と同じ種別コードが付され、かつユーザが指定した国の交通標識を標識データベース１１から取得する。
Further, the
そして、映像情報から抽出した交通標識を、ユーザにより指定された国の同じ意味を持つ交通標識の画像に変換処理部３ｃで変換する（ステップＳＡ５）。 Then, the traffic sign extracted from the video information is converted by the conversion processing unit 3c into a traffic sign image having the same meaning in the country designated by the user (step SA5).
また、演算処理装置３は、予めユーザにより指定されている変換先の言語情報を、記憶装置６の設定情報格納部６ｂあるいは外部記憶装置７の設定情報格納部７ｂ等に格納されているユーザ設定情報から取得する。
In addition, the
更に、演算処理装置３は、映像情報から抽出した交通標識と同じ種別コードで、ユーザが指定した言語の文言を標識データベース１６から取得する（ステップＳＡ６）。
Furthermore, the
そして、演算処理装置３はステップＳＡ５で取得した交通標識の画像パターンと、ステップＳＡ６で取得した交通標識の意味を示す文言を、交通標識認識情報として出力処理部３ｄにより映像出力装置４から表示出力する。更に、交通標識の意味を示す文言を、音声出力装置５から音声出力する（ステップＳＡ７）。
Then, the
図６は交通標識認識情報の出力例を示す動作説明図で、図６（ａ）は識別結果を交通標識の画像として表示出力するとともに、意味を示す文言を音声出力した例である。なお、図６ではユーザは米国で車両を運転し、かつユーザは標識の変換先の国名として日本を指定し、言語として日本語を指定したとする。 FIG. 6 is an operation explanatory diagram showing an output example of traffic sign recognition information. FIG. 6A shows an example in which an identification result is displayed and output as a traffic sign image and a meaning word is output as a voice. In FIG. 6, it is assumed that the user drives a vehicle in the United States, and the user designates Japan as the name of the sign conversion destination and Japanese as the language.
まず、図１で説明した交通標識識別装置１の具体的な構成例を図６で説明すると、車両である自動車のダッシュボード等、ユーザが目視可能な位置に交通標識識別装置１の映像出力装置（ディスプレイ）４が取り付けられる。
First, a specific configuration example of the traffic
例えば映像出力装置４と一体に設けられている映像入力装置（ＣＣＤカメラ）２は、図５のステップＳＡ１で説明した処理で自動車の前方を撮影して映像情報を取得している。 For example, the video input device (CCD camera) 2 provided integrally with the video output device 4 acquires the video information by photographing the front of the automobile by the process described in step SA1 in FIG.
交通標識３１を含む映像情報を取得すると、図５のステップＳＡ２で説明した処理で映像情報から交通標識３１の画像パターンを抽出し、ステップＳＡ３〜ステップＳＡ６で説明した処理で、米国の交通標識を日本の交通標識に変換すると共に、標識の意味を示す日本語の文言を取得する。
When the video information including the
そして、図５のステップＳＡ７で説明した処理で、映像情報から抽出した米国の交通標識の画像３２と、米国の交通標識と同じ意味を持つ日本の交通標識の画像３３を並列して映像出力装置４に表示出力する。また、日本語の文言３４で、交通標識の意味を音声出力装置５から音声出力する。
Then, in the process described in step SA7 in FIG. 5, the video output device in which the US
なお、映像情報から抽出した米国の交通標識の画像３２と、米国の交通標識と同じ意味を持つ日本の交通標識の画像３３を並列して表示するのは、実際のどの交通標識を識別したか、ユーザに通知するためである。
It should be noted that the US
例えば、映像情報中に複数の交通標識が含まれる場合は、順次識別結果を出力するが、映像情報から抽出した交通標識と、識別結果の交通標識を並列表示することで、複数の交通標識の中のどの交通標識を識別したか、ユーザは理解できる。 For example, when a plurality of traffic signs are included in the video information, the identification results are sequentially output. By displaying the traffic signs extracted from the video information and the traffic signs of the identification results in parallel, The user can understand which traffic signs are identified.
なお、映像情報中に複数の交通標識が含まれる場合は、例えば上側に位置する交通標識から順に識別する等の優先順位をつけても良い。 In the case where a plurality of traffic signs are included in the video information, for example, a priority order such as identifying sequentially from the traffic sign located on the upper side may be given.
図６（ｂ）は識別結果を意味を示す文言として表示出力した例である。すなわち、図５のステップＳＡ７で説明した処理で、映像情報から抽出した米国の交通標識の画像３２と、交通標識の意味を示す日本語の文言３５を並列して映像出力装置４に表示出力する。
FIG. 6B is an example in which the identification result is displayed and output as a word indicating meaning. That is, in the process described in step SA7 in FIG. 5, the US
次に、本実施の形態の交通標識識別装置１の変形例について説明する。第１の変形例として、標識データベースを該当する国に限定することにより、検索処理の高速化、データサイズの少量化を実現する。
Next, a modified example of the traffic
すなわち、第１の変形例では、図２および図３で説明した標識データベースに格納される情報を、交通標識識別装置１が使用されるであろう国と、ユーザの国および言語に限定することにより、検索処理の高速化、検索データサイズを減らす。
That is, in the first modification, the information stored in the sign database described with reference to FIGS. 2 and 3 is limited to the country in which the traffic
このため、まず製品出荷時に、記憶装置６の標識情報格納部６ａ等に、販売国向けの標識データベースを格納する。販売国向けの標識データベースとは、例えば日本国内向けの製品の場合には、図２で説明した標識データベース１１内の日本に関する部分だけを抽出したものや、図３で説明した標識データベース１６内の種別コード１４と日本語の文言情報１７を抽出したものである。
For this reason, first, at the time of product shipment, a sign database for sales countries is stored in the sign information storage unit 6a of the storage device 6 or the like. For example, in the case of a product intended for Japan, the sign database for the country of sale is the one in which only the part related to Japan in the sign database 11 explained in FIG. 2 is extracted, or the sign database 16 explained in FIG. A
そして、ユーザは自分が必要とする国および言語の標識データベースを、フラッシュメモリやメモリスティック等の外部記憶装置７、携帯電話等の通信装置９を利用して記憶装置６の標識データベースと関連付ける。
The user associates the sign database of the country and language he / she needs with the sign database of the storage device 6 using the
例えば、ユーザが米国人であれば、外部記憶装置７等を使用して米国の標識データベースを記憶装置６の標識情報格納部６ａ等の標識データベースに関連付ける。
For example, if the user is an American, the US sign database is associated with the sign database such as the sign information storage unit 6 a of the storage device 6 using the
米国人のユーザが日本で車両を運転する場合、映像情報から交通標識を抽出して識別するためには日本の標識データベースがあれば良く、変換先の標識情報としては米国の標識データベースがあれば良い。 When an American user drives a vehicle in Japan, it is sufficient to have a Japanese sign database to extract and identify traffic signs from video information. good.
これにより、全世界の標識情報という膨大なデータは不要となり、交通標識識別装置１が使用される国とユーザが必要な国および言語のデータベースだけになるため、記憶装置６の容量を少量化することが可能となる。
This eliminates the need for enormous data such as sign information all over the world, and only the country in which the traffic
また、図４で説明したユーザによる言語および国名設定は不要となり、設定の簡素化が可能となる。更に、全ての国の標識情報から該当する国のものを検索する必要がなくなるため、交通標識を識別する精度が向上する。 Further, the language and country name setting by the user described with reference to FIG. 4 is not necessary, and the setting can be simplified. Furthermore, since it becomes unnecessary to search for the corresponding country from the sign information of all countries, the accuracy of identifying the traffic sign is improved.
第２の変形例は、位置検出装置１０を使用して検索処理の高速化を図るものである。すなわち、第２の変形例では、ＧＰＳ等の位置検出装置１０によって現在走行中の国を特定し、検索対象を絞り込むことで検索処理の高速化を図るものである。
The second modification uses the
このため、交通標識識別装置１は位置検出装置１０を使用して位置情報を取得する。この位置情報から、現在走行している国名を決定する。
For this reason, the traffic
そして、画像認識によって抽出した交通標識を、図２の標識データベース１１の中から特定する際に、位置情報から特定した国名情報で検索対象を予め絞り込んでおくことによって、データの検索処理を高速化できる。 Then, when the traffic signs extracted by image recognition are specified from the sign database 11 of FIG. 2, the search target is narrowed down in advance by the country name information specified from the position information, thereby speeding up the data search process. it can.
また、全ての国の標識情報から該当する国のものを検索する必要がなくなるため、標識を識別する精度が向上する。 In addition, since it is not necessary to search for the corresponding country from the sign information of all countries, the accuracy of identifying the sign is improved.
さて、位置情報から車両がどの国を走行しているかを特定する方法はいくつか考えられる。ここでは、その中で２つの例を説明する。 Now, there are several methods for identifying which country the vehicle is traveling from the position information. Here, two examples will be described.
図７は走行している国の特定方法例を示す説明図である。いわゆる島国のように他の国と離れているような国は、図７（ａ）の第１の方法例に示すように東西南北の端の緯度経度によって国名を判断できる。 FIG. 7 is an explanatory diagram showing an example of a method for identifying the country where the vehicle is running. A country such as a so-called island country that is far from other countries can determine the country name by the latitude and longitude of the east, west, south, and north ends as shown in the first method example in FIG.
例えば、領土４１を持つＡ国では、その国の北端の緯度４２、南端の緯度４３、東端の経度４４および西端の経度４５を地図データと比較することによって、国名を特定できる。
For example, in the country A having the
ただし、近接している国同士では、この方法で国を判別するのは難しい。ＧＰＳの精度によっては国情報を誤ってしまう可能性がある。 However, it is difficult to distinguish between countries in close proximity by this method. Depending on the accuracy of GPS, country information may be wrong.
このような場合は、図７（ｂ）に示す第２の方法例で国を特定する。第２の方法例は、車両は道路上を走行するという前提が成り立つ場合に、道路にマップマッチング（道路上に推測航法を行い、自車位置を論理的に表示道路上に合わせ込む技術）をした自車位置が、国境地点と比較してどちら側の国にあるかを調べるものである。 In such a case, the country is specified by the second method example shown in FIG. In the second method example, when the premise that the vehicle travels on the road is satisfied, map matching to the road (a technique of performing dead reckoning navigation on the road and logically aligning the vehicle position on the display road) is performed. This is to check which country the vehicle is located in compared to the border point.
図７（ｂ）の例では、自車位置がＢ国とＣ国のどちらにあるかを調べている。Ｂ国とＣ国は国境５０で接しており、道路５１と道路５２が国境５０において２つの国にまたがっている。道路５１における国境は国境地点５３で、道路５２における国境は国境地点５４である。
In the example of FIG. 7B, it is examined whether the vehicle position is in country B or country C. Country B and Country C meet at the border 50, and the road 51 and the
マップマッチングで自車位置が道路５１上にあると判断した場合、例えば自車位置が位置５５である場合は、国境地点５３と比較してＢ国とＣ国のどちらにいるのか判断できる。また、自車位置が位置５６である場合は、国境地点５３と比較してＢ国とＣ国のどちらにいるのか判断できる。
When it is determined by map matching that the vehicle position is on the road 51, for example, when the vehicle position is the
同様に、自車位置が道路５２上にあると判断した場合、例えば自車位置が位置５７である場合は、国境地点５４と比較してＢ国とＣ国のどちらにいるのか判断できる。また、自車位置が位置５８である場合は、国境地点５４と比較してＢ国とＣ国のどちらにいるのか判断できる。
Similarly, when it is determined that the vehicle position is on the
第３の変形例は、交通標識の過去の識別結果から車両が走行中の国を特定し、検索処理の高速化を図るものである。すなわち、第３の変形例では、画像認識によって抽出した交通標識から現在走行中の国を特定し、以降の検索対象を絞り込むことで検索処理の高速化を図るものである。 In the third modification, the country in which the vehicle is traveling is identified from the past identification result of the traffic sign, and the search process is speeded up. That is, in the third modification, the speed of the search process is increased by specifying the country that is currently running from the traffic sign extracted by image recognition and narrowing down the search objects thereafter.
例えば、映像情報から抽出した交通標識を識別した結果、日本固有の「追越し禁止」標識であると判断した場合には、現在、車両は日本国内を走行していると判断できる。これにより、以降の画像識別処理は、図２の標識データベース１１において国名情報１５で日本の標識であると特定されている交通標識だけを抽出して検索すれば良くなり、処理の高速化を図ることができる。
For example, if it is determined that the traffic sign extracted from the video information is a “no overtaking” sign unique to Japan, it can be determined that the vehicle is currently traveling in Japan. As a result, in the subsequent image identification processing, it is sufficient to extract and search only the traffic signs that are identified as Japanese signs in the
また、１つの標識だけで判断できないような場合には、複数の標識から判別させ、徐々に学習させることも考えられる。 In addition, when it is impossible to make a determination with only one sign, it is possible to discriminate from a plurality of signs and gradually learn.
このように、車両が走行している国が特定されると、全ての国の標識情報から該当する標識を検索する必要がなくなるため、標識を認識する精度が向上する。 Thus, when the country in which the vehicle is traveling is specified, it is not necessary to search for the corresponding sign from the sign information of all countries, so that the accuracy of recognizing the sign is improved.
本発明は、道路に設置されている交通標識をユーザの理解し得る形態で出力することで、車両の運転を支援するシステムに適用できる。 The present invention can be applied to a system that supports driving of a vehicle by outputting a traffic sign installed on a road in a form that can be understood by a user.
１・・・交通標識識別装置、２・・・映像入力装置、３・・・演算処理装置、３ａ・・・画像認識部、３ｂ・・・ＤＢ照合部、３ｃ・・・変換処理部、３ｄ・・・出力処理部、４・・・映像出力装置、５・・・音声出力装置、６・・・記憶装置、６ａ・・・標識情報格納部、６ｂ・・・設定情報格納部、７・・・外部記憶装置、７ａ・・・標識情報格納部、７ｂ・・・設定情報格納部、８・・・ユーザ入力装置、９・・・通信装置、１０・・・位置検出装置、１１・・・標識データベース、１２・・・画像パターン、１３・・・ＩＤ、１４・・・種別コード、１５・・・国名情報、１６・・・標識データベース、１７・・・文言情報、２１・・・設定画面、２１ａ・・・言語選択ボタン、２１ｂ・・・国名選択ボタン、２１ｃ・・・スクロールボタン
DESCRIPTION OF
Claims (9)
前記映像情報から交通標識を抽出し、交通標識の画像パターンと標識の種別コードと標識がどの国で使用されるか特定する国情報とを含む標識情報を格納したデータベースと照合して標識の種別を識別し、前記映像情報から抽出した交通標識の画像パターンと一致する交通標識の種別コードを前記データベースから取得する識別手段と、
前記映像情報から抽出した交通標識を、前記識別手段で識別して取得した種別コードと同じ種別コードが付され、予め指定された国情報で特定される交通標識認識情報に前記データベースを照合して変換する変換手段と、
前記変換手段で変換された交通標識認識情報を出力する出力手段とを備えた
交通標識識別装置。 Photographing means for photographing the front of the vehicle and acquiring video information;
A traffic sign is extracted from the video information, and the sign type is compared with a database storing sign information including a traffic sign image pattern, a sign type code, and country information for identifying in which country the sign is used. Identifying means for acquiring from the database a traffic sign type code that matches the traffic sign image pattern extracted from the video information ;
The traffic sign extracted from the video information is attached with the same type code as the type code obtained by identifying with the identification means, and the database is compared with the traffic sign recognition information specified by the pre-designated country information. Conversion means for converting;
A traffic sign identification apparatus comprising: output means for outputting the traffic sign recognition information converted by the conversion means.
前記出力手段は、前記画像情報を前記映像情報から抽出した交通標識の画像と並列して表示する
請求項１記載の交通標識識別装置。 The traffic sign recognition information Ri image information der indicating traffic signs country designated by the country information,
The traffic sign identifying apparatus according to claim 1 , wherein the output means displays the image information in parallel with a traffic sign image extracted from the video information .
前記出力手段は、前記文言情報を前記映像情報から抽出した交通標識の画像と並列して表示する
請求項１記載の交通標識識別装置。 The traffic sign recognition information is wording information expressing the meaning of the traffic sign in the language specified by the country information,
The output means displays the word information in parallel with a traffic sign image extracted from the video information.
The traffic sign identification device according to claim 1 .
前記出力手段は、前記文言情報を音声で出力する
請求項１記載の交通標識識別装置。 The traffic sign recognition information is wording information expressing the meaning of the traffic sign in a language specified by the country information,
The output means outputs the word information by voice.
The traffic sign identification device according to claim 1 .
前記識別手段および前記変換手段は、前記位置検出手段で特定された国情報に応じて前記データベースを照合する
請求項１記載の交通標識識別装置。 Further comprising position detecting means for detecting the position of the vehicle;
The identification unit and the conversion unit collate the database according to the country information specified by the position detection unit.
The traffic sign identification device according to claim 1 .
請求項１記載の交通標識識別装置。 The identification unit and the conversion unit collate the database according to country information obtained by identifying a traffic sign extracted from the video information.
The traffic sign identification device according to claim 1 .
前記映像情報から交通標識を抽出し、交通標識の画像パターンと標識の種別コードと標識がどの国で使用されるか特定する国情報とを含む標識情報を格納したデータベースと照合して標識の種別を識別し、前記映像情報から抽出した交通標識の画像パターンと一致する交通標識の種別コードを前記データベースから取得し、A traffic sign is extracted from the video information and is compared with a database storing sign information including a traffic sign image pattern, a sign type code, and country information for identifying the country in which the sign is used. Obtaining a traffic sign type code that matches the traffic sign image pattern extracted from the video information from the database,
前記映像情報から抽出した交通標識を、この交通標識の種別コードと同じ種別コードが付され、予め指定された国情報で特定される交通標識認識情報に変換して出力するThe traffic sign extracted from the video information is converted into traffic sign recognition information identified by pre-designated country information with the same type code as that of the traffic sign.
交通標識識別方法。Traffic sign identification method.
請求項７記載の交通標識識別方法。The traffic sign identifying method according to claim 7.
請求項７記載の交通標識識別方法。The traffic sign identifying method according to claim 7.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004032436A JP4482794B2 (en) | 2004-02-09 | 2004-02-09 | Traffic sign identification device and traffic sign identification method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004032436A JP4482794B2 (en) | 2004-02-09 | 2004-02-09 | Traffic sign identification device and traffic sign identification method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005222485A JP2005222485A (en) | 2005-08-18 |
| JP4482794B2 true JP4482794B2 (en) | 2010-06-16 |
Family
ID=34998041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004032436A Expired - Fee Related JP4482794B2 (en) | 2004-02-09 | 2004-02-09 | Traffic sign identification device and traffic sign identification method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4482794B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4744400B2 (en) * | 2006-09-04 | 2011-08-10 | シャープ株式会社 | Video display device |
| JP4985324B2 (en) * | 2007-10-31 | 2012-07-25 | 株式会社エクォス・リサーチ | Road sign display device |
| US8370755B2 (en) | 2007-12-27 | 2013-02-05 | Core Wireless Licensing S.A.R.L. | User interface controlled by environmental cues |
| JP6024679B2 (en) * | 2014-02-03 | 2016-11-16 | 株式会社デンソー | Sign recognition device |
| JP6412464B2 (en) * | 2015-05-29 | 2018-10-24 | 株式会社デンソー | Unit setting device, unit setting method |
| JP6515814B2 (en) | 2016-01-06 | 2019-05-22 | 株式会社デンソー | Driving support device |
| JP7204571B2 (en) * | 2019-04-15 | 2023-01-16 | 株式会社Soken | road sign recognition device |
| JP6858297B1 (en) * | 2020-09-10 | 2021-04-14 | 株式会社 日立産業制御ソリューションズ | Road sign display device, road sign display method, and road sign display program |
-
2004
- 2004-02-09 JP JP2004032436A patent/JP4482794B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005222485A (en) | 2005-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6169956B1 (en) | Vehicle navigation system providing for determination of a point on the border of a map stored in memory on the basis of a destination remote from the area covered by the map | |
| JP4770702B2 (en) | Route guidance system and route guidance method | |
| CN100587404C (en) | Navigation equipment and method of guiding vehicle | |
| EP0788084A1 (en) | Navigation system for vehicles and waypoint entering and storage method | |
| US20030105585A1 (en) | Method of displaying landmark in navigation device | |
| US8352182B2 (en) | Map data processor and method for processing information based on map data | |
| JP7088136B2 (en) | Marking object recognition system and marking object recognition method | |
| JP2009186372A (en) | Navigation device and navigation method | |
| EP1626250A1 (en) | Vehicle navigation system | |
| JP5078677B2 (en) | Navigation system | |
| JP2005100274A (en) | Information providing system, information retrieval device and information providing method | |
| US8428865B2 (en) | Navigation system and roadway search method | |
| JP4482794B2 (en) | Traffic sign identification device and traffic sign identification method | |
| JP2009020091A (en) | System, method, and program for navigation | |
| JP2006317286A (en) | Onboard navigation device | |
| JP5962442B2 (en) | Sign recognition system, sign recognition method, and sign recognition program | |
| JP4619442B2 (en) | Image display device, display control method, display control program, and recording medium | |
| JP2007241122A (en) | Speech recognition device, method, and program, and recording medium | |
| JP2014145666A (en) | Travel guide system, travel guide method, and computer program | |
| JP5573266B2 (en) | Vehicle object image recognition apparatus, vehicle object image recognition method, and computer program | |
| JP2725923B2 (en) | Route guidance method for in-vehicle navigator | |
| JP3925368B2 (en) | Control system | |
| US7107145B2 (en) | Navigation apparatus | |
| WO2020045345A1 (en) | Sign recognition system and sign recognition method | |
| JP3382377B2 (en) | Car navigation system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060606 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090305 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090512 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090713 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090910 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091104 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100225 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100310 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130402 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |