JP2000293670A - Method and device for automatically recognizing road sign of video picture and storage medium storing program for automatically recognizing road sign - Google Patents
Method and device for automatically recognizing road sign of video picture and storage medium storing program for automatically recognizing road signInfo
- Publication number
- JP2000293670A JP2000293670A JP11101655A JP10165599A JP2000293670A JP 2000293670 A JP2000293670 A JP 2000293670A JP 11101655 A JP11101655 A JP 11101655A JP 10165599 A JP10165599 A JP 10165599A JP 2000293670 A JP2000293670 A JP 2000293670A
- Authority
- JP
- Japan
- Prior art keywords
- image
- road sign
- sign
- road
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/752—Contour matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Instructional Devices (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、道路情報データベ
ースを構築するために、車両に搭載されるビデオカメラ
によって撮影された画像より、リアルタイムに道路標識
を抽出し認識する方法及びその装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for extracting and recognizing road signs in real time from images taken by a video camera mounted on a vehicle in order to construct a road information database.
【０００２】[0002]
【従来の技術】一般に、通行止め、進入禁止、一方通行
等の道路標識をデータベースに追加したり、更新・削除
したりするための手法としては人間の手作業による方法
と、画像処理に基づく自動処理を行う方法の二つが存在
する。2. Description of the Related Art In general, as a method for adding, updating, or deleting road signs such as road closure, no entry, and one-way traffic to a database, a manual method by humans and an automatic processing based on image processing are available. There are two ways to do this.
【０００３】（１）手作業による方法 人間が自動車で道路を走行しながら道路地図（道路毎に
割り付けられた標識案内表でもよい）上の道路標識と、
実際の道路上の道路標識とを確認していく。このとき、
実際の道路標識と地図上の道路標識とが相違している場
合は、地図上のその地点の道路標識を実際の道路標識に
書き換える。(1) Manual method A road sign on a road map (or a sign guide table assigned to each road) while a human is traveling on a road by car,
Check the road signs on the actual road. At this time,
If the actual road sign is different from the road sign on the map, the road sign at that point on the map is replaced with the actual road sign.
【０００４】また、地図にはない道路標識を走行中に見
つけた場合は、地図上のその地点にその新しく設けられ
た道路標識を書き込む。If a road sign not found on the map is found during traveling, the newly provided road sign is written at that point on the map.
【０００５】また、地図に道路標識が記入されていても
実際はその地点にその道路標識が無い場合は、その地点
の地図上の道路標識を削除する。[0005] In addition, even if a road sign is written on the map, if the road sign is not actually present at that point, the road sign on the map at that point is deleted.
【０００６】このような処理を手作業で行って、事務所
等に帰ってきてから道路情報を記憶しているデータベー
スの道路情報（位置、道路標識）を、自動車を走行させ
ながら作成してきた道路地図（標識案内表）に基づい
て、手作業で書き換える。Such a process is manually performed, and after returning to an office or the like, road information (positions, road signs) in a database storing road information is created while a car is running. Rewrite manually based on the map (sign guide table).
【０００７】すなわち、自動車を走行しながら道路上の
標識を１基毎に確認して書き換え作業を手作業で行って
いるので非常に時間がかかる。That is, it takes a very long time since rewriting is performed manually by checking the signs on the road one by one while driving a car.
【０００８】また、作業時間を短くするには、走行中に
道路標識を一目見て地図上の標識と相違しているかを判
断しなければならないと共に、地図上の位置を瞬時に把
握していかなければならないので、地図上に収集した道
路標識、位置等は熟練度に左右される。このようなこと
から、近年は画像処理による方法を用いる場合がある。In order to shorten the working time, it is necessary to determine at a glance whether the road sign is different from the sign on the map while traveling, and to grasp the position on the map instantly. The road signs, positions, etc. collected on the map depend on the skill level. For these reasons, a method using image processing may be used in recent years.
【０００９】（２）画像処理による方法 この画像処理による方法は、図１５に示すように自動車
にビデオカメラ１を搭載しながら道路の右側又は左側を
撮影し、この撮影データをビデオテープ２に記憶してい
く。このビデオカメラ１による撮影方法は、道路標識が
ある場所のみを撮影して行く方法（すなわち、静止画）
と、自動車の走行に伴って連続して撮影する方法（すな
わち、動画）とがある。(2) Method by Image Processing In this method by image processing, the right or left side of the road is photographed while the video camera 1 is mounted on the car as shown in FIG. I will do it. The method of photographing by the video camera 1 is a method of photographing only a place with a road sign (that is, a still image).
And a method of shooting continuously as the vehicle runs (that is, a moving image).
【００１０】そして、事務所に帰ってきて、ビデオテー
プ２の道路標識画像を道路標識画像処理装置３で認識す
る。この道路標識画像処理装置３は、ビデオデッキ４
と、ビデオキャプチャーボード内蔵の制御装置５と、表
示器６と、キーボード７と、マウス８とで構成されてい
る。After returning to the office, the road sign image processing device 3 recognizes the road sign image on the video tape 2. The road sign image processing device 3 includes a video deck 4
, A control device 5 with a built-in video capture board, a display 6, a keyboard 7, and a mouse 8.
【００１１】前述の道路標識画像処理装置３による認識
は、ビデオデッキ４からの映像信号を制御装置５がビデ
オキャプチャー（図示せず）を介して読み取り、１フレ
ーム毎に所定レベル以上の画素データに対して２値化処
理を行い、道路標識が存在するエリアのデータの輪郭を
検出する。In the recognition by the road sign image processing device 3, the control device 5 reads a video signal from the video deck 4 via a video capture (not shown) and converts the video signal into pixel data of a predetermined level or more for each frame. A binarization process is performed on the data to detect the contour of the data in the area where the road sign exists.
【００１２】また、このとき色情報に基づいた領域分割
を行ってから、前述の輪郭及び色情報（ＲＧＢ）に基づ
いて標識形状のマッチングを行ったりしている。At this time, after the area is divided based on the color information, the matching of the sign shape is performed based on the aforementioned outline and color information (RGB).
【００１３】そして、検出できた標識情報（輪郭、色）
とデータベースに保存されているテンプレート（複数種
の道路標識）との相関関数を計算し、最も類似するもの
をビデオカメラで撮影した道路標識と認識していた。こ
のとき、各々の標識形状に対して異なるアルゴリズムで
対処していた。The detected sign information (contour, color)
And calculated a correlation function between the database and a template (a plurality of types of road signs) stored in a database, and recognized that the most similar one was a road sign taken by a video camera. At this time, a different algorithm was used for each marker shape.
【００１４】また、従来においてはＲＧＢ画像を用いて
いるが、ＲＧＢ画像は、一般に照明条件によって画素値
が激しく変動する。Further, conventionally, an RGB image is used. However, in an RGB image, pixel values generally fluctuate greatly depending on lighting conditions.
【００１５】このようなことからＲＧＢ表色系からＨＳ
Ｖ表色系に変換して利用する場合もあった。[0015] From the above, from the RGB color system to HS
In some cases, the data was converted to the V color system and used.
【００１６】[0016]
【発明が解決しようとする課題】しかしながら、従来の
道路標識画像処理装置における認識方法は、１フレーム
毎に、そのフレーム全体に対して２値化処理、輪郭抽出
処理、領域分割処理等を行っている。However, the recognition method in the conventional road sign image processing apparatus performs a binarizing process, an outline extracting process, a region dividing process, etc., for each frame. I have.
【００１７】このため、標識が映っていないフレームに
対しても前述の処理を施さなければならないので、道路
標識を認識するための処理に時間がかかる。For this reason, since the above-described processing must be performed even on a frame in which a sign is not shown, it takes time to recognize the road sign.
【００１８】一方、ＲＧＢ表色系からＨＳＶ表色系に変
換して用いる場合は、ＲＧＢからＨＳＶへの変換は非線
形であるため、前述のように１フレーム毎に全体を対象
とする処理方式では非常に時間がかかる。On the other hand, when the RGB color system is converted to the HSV color system and used, the conversion from RGB to HSV is non-linear. Very time consuming.
【００１９】さらに、標識形状を利用して標識領域を検
出しようとするとき、各々の標識形状に対して異なるア
ルゴリズムで対処しようとする従来の手法で行っている
ので、さらに時間がかかってしまう。Further, when it is attempted to detect a marker region using a marker shape, it takes more time since conventional methods are used to deal with each marker shape with a different algorithm.
【００２０】すなわち、従来の道路標識の認識方法では
認識処理に時間がかかるという課題があった。That is, the conventional road sign recognition method has a problem that it takes a long time to perform the recognition process.
【００２１】一方、車両に搭載されたカメラから撮影さ
れた画像に対して、リアルタイムに処理を実現すること
が期待されている。この問題を解決するために、すべて
の処理をハードウェアで行うことで認識処理時間を短縮
しようとする傾向もある。On the other hand, realization of processing in real time on an image taken by a camera mounted on a vehicle is expected. In order to solve this problem, there is a tendency to shorten the recognition processing time by performing all processing by hardware.
【００２２】しかし、ハードウェア処理へと移行した場
合、コストが高くなり、アルゴリズムの変更による改良
が困難となる。昨今のパーソナルコンピュータ等の計算
機器における急速な高性能化という状況から考えても、
すべての処理をソフトウェア的に行う方がより望ましい
と言える。However, when the processing is shifted to the hardware processing, the cost is increased, and it is difficult to improve the algorithm by changing the algorithm. Even in light of the recent rapid increase in performance of computing devices such as personal computers,
It can be said that it is more desirable to perform all processing by software.
【００２３】[0023]
【課題を解決するための手段】本発明は、道路標識が設
けられた道路を走行しながら進行方向を撮影したときの
ビデオ画像の初期画像を静止画で画面に表示させた後
に、ビデオ画像を動画で表示させたとき、道路標識が画
面にて最も大きく見えてくるとき道路標識画像をとらえ
るためのスリット線を前記画面に描く。次に、ビデオ画
像における道路標識の標識色を入力する。SUMMARY OF THE INVENTION According to the present invention, an initial image of a video image when a traveling direction is photographed while traveling on a road provided with a road sign is displayed on a screen as a still image, and then the video image is displayed. When displayed as a moving image, a slit line for capturing a road sign image is drawn on the screen when the road sign appears largest on the screen. Next, the sign color of the road sign in the video image is input.
【００２４】そして、スリット線が描かれた後に、ビデ
オ画像を動画で画面に表示させ、このビデオ画像の動画
表示に伴って、スリット線に重なるＲＧＢの画像データ
をスリット線に沿ってＨＳＶに変換する。After the slit line is drawn, the video image is displayed on the screen as a moving image, and the RGB image data overlapping the slit line is converted to HSV along the slit line with the moving image display of the video image. I do.
【００２５】次に、ＨＳＶ変換された画像データの値を
用いて、色相、飽和度、明度からスリット線に標識色が
存在する存在確率を求める。Next, using the values of the HSV-converted image data, the existence probability that the marker color exists on the slit line is determined from the hue, saturation, and brightness.
【００２６】次に、標識色が存在する確率が高いときに
は、その画像データを得たスリット線の位置に重なる画
像平面の座標範囲に所定の大きさのエリアを設定し、エ
リア内の全ての画像データをＨＳＶ変換し、これらの値
から標識色の存在確率を求め、該存在確率が高いとき
は、エリア内の道路標識画像の輪郭を求め、この輪郭の
角度分布から道路標識画像の形状を決定し、この形状と
道路標識画像の情報の分布関数から道路標識画像を認識
する。Next, when the probability that the marker color exists is high, an area of a predetermined size is set in the coordinate range of the image plane overlapping the position of the slit line from which the image data was obtained, and all the images in the area are set. The data is subjected to HSV conversion, and the existence probability of the sign color is obtained from these values. If the existence probability is high, the outline of the road sign image in the area is obtained, and the shape of the road sign image is determined from the angular distribution of this outline. Then, the road sign image is recognized from the shape and the distribution function of the information of the road sign image.
【００２７】実施態様によれば、画面全体を処理する代
わりに、スリット上のカラーデータ（ＲＧＢ）のみがＨ
ＳＶへと変換され、道路標識と思しき箇所が検出され
る。そして、検出できたスリット上の位置から予め設定
された範囲の原画像をＨＳＶへと変換されて、道路標識
の存在確率値が計算される。According to the embodiment, instead of processing the entire screen, only the color data (RGB) on the slit is H
It is converted into an SV, and a place considered to be a road sign is detected. Then, the original image in a preset range from the detected position on the slit is converted into HSV, and the existence probability value of the road sign is calculated.
【００２８】そして、計算を行った道路標識を含む領域
内の確率値の分布画像を動的な閾値によって２値化さ
れ、ノイズを除去するために領域の拡張と縮小を行う演
算によって２値化された画像がフィルタリングされる。
引き続き、スリット上から検出できた標識を含む２値化
画像の中から実際の標識部分に相当すると考えられる領
域が検出され、検出された領域の輪郭に対して、各点の
接線角度の計算が行われ、その結果から作成されるヒス
トグラムの分布状況をもとに領域の形状が判定される。
そして、データベースに保存されている形状の等しい標
識のテンプレート群とのマッチングを行うことによって
認識が行われる。Then, the distribution image of the probability values in the region including the calculated road sign is binarized by a dynamic threshold, and binarized by an operation of expanding and reducing the region to remove noise. The filtered image is filtered.
Subsequently, a region considered to correspond to an actual marker portion is detected from the binarized image including the marker detected from the slit, and the tangent angle of each point is calculated with respect to the outline of the detected region. Then, the shape of the region is determined based on the distribution state of the histogram created from the result.
Then, recognition is performed by performing matching with a template group of signs having the same shape stored in the database.
【００２９】[0029]
【発明の実施の形態】＜実施の形態１＞図１は本実施の
形態の道路標識自動認識装置の概略構成図である。本実
施の形態１では、車両を走行させながらビデオカメラ１
で撮影したビデオ画像をビデオテープ２に記録し、これ
をビデオデッキ４で再生して事務所にある道路標識自動
認識装置１０（パーソナルコンピュータ）でリアルタイ
ムに道路標識を検出するものである。次に、概略処理を
説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS <Embodiment 1> FIG. 1 is a schematic block diagram of an automatic road sign recognition apparatus according to the present embodiment. In the first embodiment, the video camera 1
Is recorded on a video tape 2 and reproduced on a video deck 4 to detect a road sign in real time by a road sign automatic recognition device 10 (personal computer) in an office. Next, the outline processing will be described.
【００３０】図２に示すように、まず、画面に表示され
た初めのビデオ画像（道路標識と道路等が映っている）
上に放物線状の特別なスリットｆｉを設定し（図２の
ａ）、ビデオデッキ４を操作してビデオテープ２を再生
する。As shown in FIG. 2, first, the first video image displayed on the screen (a road sign and a road are shown).
A special parabolic slit fi is set on the upper side (FIG. 2A), and the video tape 2 is reproduced by operating the video deck 4.
【００３１】このとき、道路標識自動認識装置１０は、
スリット上の画素データの色成分から道路標識の有無を
検出し、道路標識がスリット上に存在するときは、その
スリット上の道路標識があると判定した範囲に所定の大
きさのウィンドウＷｉ（検出エリアともいう）をかけ
て、色成分、２値化によって抽出した道路標識の輪郭ｒ
ｉを抽出する（図２のｂ）。At this time, the automatic road sign recognition device 10
The presence or absence of a road sign is detected from the color component of the pixel data on the slit, and when the road sign exists on the slit, the window Wi (detection) of a predetermined size is determined in the range where it is determined that the road sign on the slit exists. Area), color components, and the outline r of the road sign extracted by binarization
Extract i (b in FIG. 2).
【００３２】そして、その道路標識の輪郭ｒｉから道路
標識形状の種類を決定し、この決定した種類内で前述の
エリア内の道路標識の絵画像の特徴に最も類似する標識
を引当て、これをビデオカメラ１で検出した道路標識と
認識する（図２のｃ）。Then, the type of the road sign shape is determined from the contour ri of the road sign, and a sign that is most similar to the feature of the picture image of the road sign in the above-mentioned area within the determined kind is assigned. It is recognized as a road sign detected by the video camera 1 (c in FIG. 2).
【００３３】このようにして道路標識を自動認識するた
めに、図１に示すように、本実施の形態では、ビデオデ
ッキ４からのビデオ画像をコンピュータの内部に取り込
んで画像メモリ１２を介して表示部１３に表示させるビ
デオキャプチャー１１を備えている。前述の表示部１３
にはタッチパネル１４（静電式、圧電式）が備えられて
いる。In order to automatically recognize the road sign in this manner, as shown in FIG. 1, in the present embodiment, a video image from the video deck 4 is fetched into a computer and displayed via the image memory 12. A video capture 11 to be displayed on the unit 13 is provided. Display unit 13 described above
Is provided with a touch panel 14 (electrostatic type, piezoelectric type).
【００３４】また、タッチパネル１４に描かれたスリッ
トｆｉの軌跡をスリット形状として設定するスリット設
定処理部１５と、指定された箇所（スリット又はエリ
ア）のＲＧＢ画像をＨＳＶ変換して、フレームメモリ１
７に記憶するＨＳＶ変換処理部１６と、フレームメモリ
１７のスリット状のデータの色成分から標識がそのスリ
ットに存在するかの仮判定を行う標識有無仮判定処理部
１８と、道路標識があるスリットｆｉの範囲を基準とし
た所定の大きさのウィンドウＷｉを画像メモリ１２に設
定する検出エリア設定処理部１９とを備えている。A slit setting processing unit 15 for setting a locus of the slit fi drawn on the touch panel 14 as a slit shape, and an HSV conversion of an RGB image of a designated portion (slit or area) to obtain a frame memory 1
7, an HSV conversion processing unit 16 stored in the frame memory 7, a marker presence / absence temporary determination processing unit 18 for performing a temporary determination as to whether or not a marker exists in the slit from the color components of the slit data in the frame memory 17, and a slit having a road sign. a detection area setting processor 19 that sets a window Wi of a predetermined size in the image memory 12 based on the range of fi.
【００３５】また、フレームメモリ１７の画像データか
ら道路標識が存在する存在確率ｐを求める標識確率計算
処理部２０と、標識の存在確率ｐから標識が存在すると
判定する標識存在判定処理部２１と、標識が存在すると
判定されたときはフレームメモリ１７の検出エリア内の
画像データを２値化する２値化処理部２２とを備えてい
る。Further, a sign probability calculating unit 20 for obtaining the existence probability p of the road sign from the image data in the frame memory 17, a sign existence determining unit 21 for judging that the sign exists from the sign existence probability p, A binarization processing unit 22 that binarizes image data in the detection area of the frame memory 17 when it is determined that a sign is present.
【００３６】また、フィルタリング処理部２３と、フィ
ルタリングされた画像データの集合から標識の輪郭ｒｉ
を検出する輪郭検出処理部２４と、輪郭ｒｉの各点の接
線角度の計算を行い、この角度のヒストグラムをメモリ
２８の標識形状角度分布表と比較し形状の種類を決定す
る形状種類決定処理部２５と、検査エリア内の標識の画
像データの色の濃度分布ＮＱｉを求め、この濃度分布Ｎ
Ｑｉとデータベース２９に記憶されている標識データの
濃度分布Ｎｉとの相関を求め、最も相関が強い画像デー
タの標識をビデオ画像の道路標識とする標識認識処理部
２６とを備えている。Further, the filtering processing section 23 and the outline ri of the sign are obtained from the set of filtered image data.
And a shape type determination processing unit that calculates the tangent angle of each point of the outline ri, compares the histogram of the angles with the marker shape angle distribution table in the memory 28, and determines the type of shape. 25 and the density distribution NQi of the color of the image data of the sign in the inspection area is obtained.
A sign recognition processing unit 26 is provided for obtaining a correlation between Qi and the density distribution Ni of the sign data stored in the database 29, and using the sign of the image data having the strongest correlation as a road sign of the video image.
【００３７】前述の標識形状角度分布表及びテンプレー
トについては後述する。さらに、対象色設定処理部３０
と、変換開始指令処理部３１とを備えている。The above-described marker shape angle distribution table and template will be described later. Further, the target color setting processing unit 30
And a conversion start command processing unit 31.
【００３８】対象色設定処理部３０は、オペレータによ
って入力された認識する標識の色ｍｉを全て読み込み、
標識確率計算処理部２０に設定するので、１フレームに
おけるスリットにかかる青、赤、黄色等の道路標識を全
て認識できる。The target color setting processing unit 30 reads all the colors mi of the sign input by the operator and recognizes them.
Since this is set in the sign probability calculation processing unit 20, all road signs such as blue, red, and yellow on the slit in one frame can be recognized.
【００３９】変換開始指令処理部３１は、ビデオ画像の
送出に伴ってビデオデッキ４から送出されるフレーム番
号ｋｉが送出される毎に、ＨＳＶ変換処理部１６に対し
て抽出開始、変換開始指令を送出する。The conversion start command processing unit 31 issues an extraction start and conversion start command to the HSV conversion processing unit 16 every time the frame number ki transmitted from the video deck 4 is transmitted in accordance with the transmission of the video image. Send out.
【００４０】次に、標識形状角度分布表について説明す
る。この標識形状角度分布表は、表１に示すように、道
路標識の形状符号Ｍｉ（マル、四角、菱形、…）を縦軸
欄に配列し、横軸欄に全ての道路標識の角度分布を配列
している。例えば、横軸欄には「０度」、「４５度」、
「６０度」、「９０度」、「１２０」、……、「３００
度」、「３１５度」と配列し、この角度分布と道路標識
の形状符号Ｍｉとからなる格子群で、どのような道路標
識かを判定ができるようにしている。Next, the marker shape angle distribution table will be described. In this sign shape angle distribution table, as shown in Table 1, road sign shape codes Mi (circles, squares, diamonds,...) Are arranged in the vertical axis column, and the angle distribution of all road signs is indicated in the horizontal axis column. They are arranged. For example, "0 degree", "45 degree",
"60 degrees", "90 degrees", "120", ..., "300"
"Degrees" and "315 degrees", and it is possible to determine what kind of road sign is based on a grid group including the angular distribution and the shape sign Mi of the road sign.
【００４１】[0041]
【表１】 この標識形状角度分布表は、図１４に示すように、撮影
された画像を記憶する平面に対する座標系（Ｘ−Ｙ）か
ら反時計方向に線をなぞり、Ｘ軸方向の線には「０度」
が、＋Ｙ軸方向の線には「９０度」が、−Ｘ軸方向の線
には「１８０度」が、−Ｙ軸方向の線には「２７０度」
がそれぞれ割り当てられるようにしている。すなわち、
特定角度、「０度」、「４５度」、「６０度」、「９０
度」、「１２０」、……、「３００度」、「３１５度」
の１２ポイントの格子を、それぞれの標識の形状符号毎
に設けている。[Table 1] As shown in FIG. 14, the marker shape angle distribution table traces a line in a counterclockwise direction from a coordinate system (XY) with respect to a plane for storing a captured image, and a line in the X-axis direction includes “0 degrees”. "
However, the line in the + Y axis direction is “90 degrees”, the line in the −X axis direction is “180 degrees”, and the line in the −Y axis direction is “270 degrees”.
Is assigned to each. That is,
Specific angle, "0 degree", "45 degree", "60 degree", "90"
"Degree", "120", ..., "300 degrees", "315 degrees"
Are provided for each shape code of each sign.
【００４２】さらに、これらの１２個の角度についてカ
ウンタを設け、ビデオ画像から抽出した輪郭の接線角度
を投票できるようにしている。Further, a counter is provided for these 12 angles so that the tangent angle of the contour extracted from the video image can be voted.
【００４３】そして、本実施の形態では、これらの投票
角度をヒストグラムで表現し、ヒストグラムの傾向から
ビデオ画像で得た標識の形状種類を判定できるようにし
ている。In the present embodiment, these voting angles are represented by a histogram so that the shape type of the sign obtained from the video image can be determined from the tendency of the histogram.
【００４４】また、データベース２９におけるテンプレ
ートは、図３に示すように、道路標識の標準的な種類を
示す標識形状Ｍｉと、この種類の標識形状Ｍｉに分類さ
れる複数の標識がポリゴンデータＨｉで記憶されている
と共に、その標識の色Ｇｉ（周囲の色、中央部の色等）
と、数字の有無Ｅｉと、これらを特徴づけるための分布
（色、形状、内部の形）から求めた分布関数Ｎｉとを対
応させている。As shown in FIG. 3, the template in the database 29 includes a sign shape Mi indicating a standard type of road sign and a plurality of signs classified into the sign shape Mi of this type are polygon data Hi. In addition to being stored, the color Gi of the sign (the color of the periphery, the color of the center, etc.)
And the presence or absence of a number Ei, and a distribution function Ni obtained from a distribution (color, shape, internal shape) for characterizing them.
【００４５】上記のように構成された道路標識自動認識
装置について図４、図５のフローチャートを用いて以下
に動作を説明する。The operation of the automatic road sign recognition apparatus constructed as described above will be described below with reference to the flowcharts of FIGS.
【００４６】本説明では、目的とする道路をビデオカメ
ラ１を搭載した自動車ですでに道路を通行したときの正
面（やや右又は左側）のビデオ画像をビデオテープ２に
録画し、このビデオテープ２をビデオデッキ４で再生す
る。また、ＨＳＶ変換処理部１６には 対象色設定処理
部３０が変換対象の道路標識の色を知らせ、かつ変換開
始指令処理部３１がビデオデッキ４からのビデオ画像の
フレーム番号ｋｉを入力し、該入力毎にＨＳＶ変換処理
部１６に変換開始信号を送出している。In the present description, a video image of the front (slightly right or left) when a target road has already passed through a road equipped with a video camera 1 is recorded on a video tape 2. Is reproduced on the video deck 4. Further, the target color setting processing unit 30 notifies the HSV conversion processing unit 16 of the color of the road sign to be converted, and the conversion start command processing unit 31 inputs the frame number ki of the video image from the video deck 4 to the HSV conversion processing unit 16. A conversion start signal is sent to the HSV conversion processing unit 16 for each input.
【００４７】前述の再生の初期画面（道路標識、道路が
表示されている）において、オペレータは表示部１３の
タッチパネル１４にペン入力によって例えば、放物線状
のスリットｆｉを描く（Ｓ４０１）。On the above-mentioned initial screen for reproduction (road signs and roads are displayed), the operator draws, for example, a parabolic slit fi on the touch panel 14 of the display unit 13 by pen input (S401).
【００４８】次に、スリット設定処理部１５がこの放物
線状のスリットｆｉの軌跡（Ｙ＝ａＸ2＋ｂ）を求める
（Ｓ４０３）。このスリットｆｉは半楕円、半円でもよ
いが本実施の形態では放物線とする。Next, the slit setting processor 15 obtains the locus (Y = aX 2 + b) of the parabolic slit fi (S403). The slit fi may be a semi-ellipse or a semi-circle, but in this embodiment, it is a parabola.
【００４９】また、このスリットｆｉの軌跡は画像メモ
リ１２に記憶されていて、図６に示すように表示するこ
ともできる。The trajectory of the slit fi is stored in the image memory 12 and can be displayed as shown in FIG.
【００５０】このスリットｆｉについて図６を用いて説
明する。自動車を走行させながらビデオカメラ１で進行
方向を撮影すると、自動車の走行に伴い、その道路シー
ンは図６に示すように周囲の道路標識Ｒｉ（他に樹木、
ガードレール等）が画面の中心（ｆｏ）から放射状に画
面の周辺に向かう方向へと移動して行くことになる。The slit fi will be described with reference to FIG. When the traveling direction is photographed by the video camera 1 while the vehicle is running, the road scene is accompanied by the road signs Ri (in addition to trees, trees, etc.) as shown in FIG.
Guard rails and the like) move radially from the center (fo) of the screen toward the periphery of the screen.
【００５１】すなわち、画面の中心ｆｏの近くにあった
道路標識Ｒｉ´は、自動車が進むにつれて図６に示すよ
うに中心ｆｏから離れて画面の端側に位置した道路標識
Ｒｉとなり、道路標識Ｒｉが大きく見えてくる。That is, the road sign Ri 'which was near the center fo of the screen becomes a road sign Ri which is located away from the center fo and located at the end of the screen as shown in FIG. Looks bigger.
【００５２】従って、スリット上の道路標識Ｒｉに対し
て認識処理を行うようにすれば精度の高い認識処理を行
うことが可能となる。Therefore, if the recognition process is performed on the road sign Ri on the slit, it is possible to perform the recognition process with high accuracy.
【００５３】つまり、画面の下の部分は道路となるた
め、標識を検出する場合にはその部分を無視しても差し
支えないので、図６に示すような放物線状のスリットｆ
ｉを用いて必ずスリットｆｉに道路標識Ｒｉがかかるよ
うにしている。That is, since the lower part of the screen is a road, when detecting a sign, the part can be ignored. Therefore, a parabolic slit f as shown in FIG.
The road sign Ri is always applied to the slit fi using i.
【００５４】そして、このスリット設定処理部１５で求
めた軌跡（Ｙ＝ａＸ2＋ｂ）をＨＳＶ変換処理部１６に
送出する。Then, the locus (Y = aX 2 + b) obtained by the slit setting processing section 15 is sent to the HSV conversion processing section 16.
【００５５】次に、ＨＳＶ変換処理部１６は、変換開始
指令処理部３１からの変換開始信号が送出されたかどう
かを判断する（Ｓ４０５）。Next, the HSV conversion processing section 16 determines whether or not a conversion start signal has been sent from the conversion start command processing section 31 (S405).
【００５６】ステップＳ４０５において、変換開始信号
の入力があると判断したときは、スリット設定処理部１
５で求められたスリットｆｉをビデオ画像にかける（Ｓ
４０７）。次に、ＨＳＶ変換処理部１６がスリットｆｉ
にかかっているＲＧＢのビデオ画像をＨＳＶ変換し、こ
のＨＳＶの画像データをフレームメモリ１７に記憶する
（Ｓ４０９）。このＨＳＶ変換は、Ｈが色相（Hue）、
Ｓが飽和度（Saturation）、Ｖが明度（Value）であ
る。If it is determined in step S405 that a conversion start signal has been input, the slit setting processing unit 1
5. Apply the slit fi obtained in step 5 to the video image (S
407). Next, the HSV conversion processing unit 16 sets the slit fi
The HSV conversion is performed on the RGB video image according to the above, and the HSV image data is stored in the frame memory 17 (S409). In this HSV conversion, H is a hue,
S is the saturation (Saturation) and V is the lightness (Value).
【００５７】この変換された値に基づいて、後述する標
識存在確率算出部が道路標識の存在確率値を求める。On the basis of the converted values, a sign existence probability calculating unit, which will be described later, obtains a road sign existence probability value.
【００５８】次に、標識有無仮判定処理部１８は、標識
確率計算処理部２０を用いてフレームメモリ１７のスリ
ットｆｉ上の画像データに設定された色ｍｉ（赤、黄
色、青等）の色成分が存在している確率Ｐを求めさせ
（Ｓ４１０）、この確率Ｐの値で、道路標識Ｒｉがスリ
ットにかかっているかどうかを判断する（Ｓ４１１）。
この存在確率の求め方については後述する。Next, the marker presence / absence provisional determination processing unit 18 uses the marker probability calculation processing unit 20 to set the color mi (red, yellow, blue, etc.) set in the image data on the slit fi in the frame memory 17. The probability P of the presence of the component is determined (S410), and it is determined based on the value of the probability P whether the road sign Ri covers the slit (S411).
How to determine the existence probability will be described later.
【００５９】ステップ４１１においては、Ｓ４１０で得
られたスリット上の確率分布によって、スリットｆｉ上
に道路標識が存在するかどうかを判断する。具体的にい
えば、スリットｆｉ上の確率分布をｐ０（ｉ）とし、平
滑化したものをｐ１（ｉ）とする。さらに、ｐ１（ｉ）
に対して平滑化を行ってｐ２（ｉ）が得られる。イメー
ジとして、ｐ０（ｉ）、ｐ１（ｉ）、ｐ２（ｉ）を図７
に示す。ここで、横軸はスリット上の画素番号ｉであ
る。図７に示すように、もしｐ１（ｉ）がｐ２（ｉ）よ
り連続的に大きくて、かつその空間の積分値がある閾値
より上回るとき（図中の陰の部分）、そのスリットの範
囲を道路標識が存在する可能の範囲とする。In step 411, it is determined based on the probability distribution on the slit obtained in S410 whether a road sign exists on the slit fi. Specifically, the probability distribution on the slit fi is p0 (i), and the smoothed one is p1 (i). Furthermore, p1 (i)
Is smoothed to obtain p2 (i). FIG. 7 shows p0 (i), p1 (i), and p2 (i) as images.
Shown in Here, the horizontal axis is the pixel number i on the slit. As shown in FIG. 7, if p1 (i) is continuously larger than p2 (i) and the integral value of the space exceeds a certain threshold (shaded portion in the figure), the range of the slit is reduced. It is assumed that the road sign is within the possible range.
【００６０】また、ステップＳ４１１において、スリッ
トｆｉにかかる道路標識の色が存在すると判断したとき
は、スリットｆｉのその範囲を検出エリア設定処理部１
９に知らせる（Ｓ４０９）。If it is determined in step S411 that the color of the road sign corresponding to the slit fi exists, the range of the slit fi is determined by the detection area setting processing unit 1.
9 (S409).
【００６１】検出エリア設定処理部１９は、知らせられ
たスリット上の標識の範囲を基準とし、この範囲に所定
の大きさ（例えば、道路標識が入る大きさの四角型）の
検出エリアＷｉをかける（Ｓ４１９）。The detection area setting processing unit 19 applies a detection area Wi of a predetermined size (for example, a square type large enough for a road sign) to the range based on the notified range of the sign on the slit. (S419).
【００６２】そして、標識確率計算処理部２０は、フレ
ームメモリ１７に記憶されている検出エリア内の画像デ
ータの色相（Hue）・飽和度（Saturation）・明度（Val
ue）を元に、処理対象の検出エリアをＸ、Ｙ方向になぞ
って行きながら標識色である可能性を表す存在確率値を
計算する（Ｓ４２１）。Then, the marker probability calculating unit 20 calculates the hue (Hue), saturation (Saturation), and lightness (Val) of the image data in the detection area stored in the frame memory 17.
ue), the existence probability value indicating the possibility of the marker color is calculated while tracing the detection area to be processed in the X and Y directions (S421).
【００６３】また、この計算は、数１、数２、数３及び
数４に示すように行われる。例えば、対象色ｍｉの数を
ｎとし、各色の色相をＨi＝０〜２５５，ｉ＝０，１，
２，…，ｎ−１とする。変換しようとする色の色相・飽
和度・明度を（ｈ，ｓ，ｖ）とするとき、その色が標識
色である確率を次式のように定義する。This calculation is performed as shown in Expressions 1, 2, 3, and 4. For example, the number of target colors mi is n, and the hue of each color is H i = 0 to 255, i = 0, 1, 1.
2, ..., n-1. When the hue / saturation / brightness of the color to be converted is (h, s, v), the probability that the color is a marker color is defined as follows.
【００６４】[0064]
【数１】 ここで色相（ｈ）による存在確率は、(Equation 1) Here, the existence probability by hue (h) is
【数２】 すなわち、ｈ−Ｈｉの絶対値が小さいと、標識の存在確
率が高いことになる。(Equation 2) That is, the smaller the absolute value of h-Hi, the higher the probability of the presence of the sign.
【００６５】また、飽和度（ｓ）による存在確率は、The existence probability based on the saturation (s) is
【数３】 ここで、ＳthとＳthは定数である。(Equation 3) Here, S th and S th are constants.
【００６６】さらに、明度（ｖ）による存在確率は、Further, the existence probability based on the lightness (v) is
【数４】 ここで、ＶthとＶthは定数である。(Equation 4) Here, V th and V th are constants.
【００６７】ｎ＝１の場合、上記の各式のアルゴリズム
は単色の検出となる。In the case of n = 1, the algorithm of each of the above formulas detects a single color.
【００６８】前述の式において、色相だけを利用すると
したとき、Ｐs（ｓ）＝Ｐv（ｖ）＝１とおいた場合のＰ
（ｈ，ｓ，ｖ）＝Ｐh（ｈ）の変換曲線のイメージ（存
在確率の分布を示すヒストグラム）を図８に示す。In the above formula, when only the hue is used, P s (s) = P v (v) = 1 and P
FIG. 8 shows an image (a histogram showing the distribution of existence probabilities) of the conversion curve of (h, s, v) = P h (h).
【００６９】次に、標識存在判定処理部２１は、Ｐ
（ｈ，ｓ，ｖ）の値から標識が存在するかどうかを判断
する（Ｓ４２３）。Next, the marker presence determination processing section 21
It is determined from the value of (h, s, v) whether or not a sign is present (S423).
【００７０】ステップＳ４２３において、標識が存在す
ると判断したときは、２値化処理部２２は、前述のよう
にして得た確率分布のヒストグラムから動的にしきい値
を作成し、この所定のしきい値で２値化する（Ｓ４２
５）。If it is determined in step S423 that a sign is present, the binarization processing unit 22 dynamically creates a threshold from the histogram of the probability distribution obtained as described above, and Binarization by value (S42)
5).
【００７１】次に、図５に示すように、ノイズを除去す
るため、得られた２値化画像に対して領域の拡張と縮小
を行う（Ｓ５０１）。Next, as shown in FIG. 5, in order to remove noise, the obtained binary image is expanded and reduced in area (S501).
【００７２】次に、輪郭検出処理部２４がこの２値化画
像から標識の輪郭を検出する（Ｓ５０３）。まず、スリ
ットとかさなる２値化画像のエッジ部分を探す。探索し
た位置から３×３のマスクで８連結の輪郭線ｒｉを求め
る。Next, the contour detection processing section 24 detects the contour of the sign from the binarized image (S503). First, an edge portion of the binarized image which is to overlap the slit is searched for. An 8-connected outline ri is obtained from the searched position using a 3 × 3 mask.
【００７３】このステップＳ５０３における輪郭は、図
９の左側に示すように、凹凸の多いものとなる。このた
め、検出した輪郭から以下の処理によってビデオ画像の
道路標識の形状を認識する。The contour in step S503 has many irregularities as shown on the left side of FIG. Therefore, the shape of the road sign in the video image is recognized from the detected contour by the following processing.
【００７４】最初、形状種類決定処理部２５が輪郭上の
点における接線角度を求める計算を行う（Ｓ５０５）。First, the shape type determination processing unit 25 performs a calculation for obtaining a tangent angle at a point on the contour (S505).
【００７５】接線の角度を計算するときには、局所的な
最小二乗法を適用する。たとえば、輪郭上のｉ番目の点
の接線角度を計算するときには、ｉ−ｗからｉ＋ｗまで
の２ｗ＋１個のデータを利用する。さらに、計算時間を
短縮するために、計算機の分野で採用されているパイプ
ラインに相当するような仕組みを導入する。具体的に
は、最小二乗法で接線の角度を計算するとき、各点の座
標値（ｘ，ｙ）に対してｘ，ｙ，ｘ2，ｙ2，ｘｙに関す
る累積値を計算しなければならないが、ｉ番目点におい
てｘに関する累積Ｓx,iの計算を例とすると、When calculating the angle of the tangent, the local least squares method is applied. For example, when calculating the tangent angle of the i-th point on the contour, 2w + 1 data from iw to i + w is used. Furthermore, in order to shorten the calculation time, a mechanism corresponding to a pipeline adopted in the field of computers will be introduced. Specifically, when calculating the angle of the tangent line by the least squares method, it is necessary to calculate the cumulative value of x, y, x 2 , y 2 , and xy for the coordinate value (x, y) of each point. Is the calculation of the cumulative S x, i for x at the i-th point as an example.
【数５】 となり、ｉ＋１番目点においてはｘに関する累積Ｓ
x,i+1は(Equation 5) And at the (i + 1) th point, the cumulative S for x
x, i + 1 is
【数６】 となる。これにより、Ｓx,i+1を計算するための２ｗ＋
１回の加算は一回の加算と一回の減算で済むことにな
る。(Equation 6) Becomes Thereby, 2w + for calculating S x, i + 1 is obtained.
One addition requires only one addition and one subtraction.
【００７６】ｉ番目の点において計算できたｘ，ｙ，ｘ
2，ｙ2，ｘｙに関する各々の平均値をＳx,i，Ｓy,i，Ｓ
x 2 ,i，Ｓy 2 ,i，Ｓxy,iとすると、接線の角度はθiは次
式で与えられる。X, y, x calculated at the i-th point
2, y 2, each of the average values for xy S x, i, S y , i, S
x 2, i, S y 2 , i, S xy, when a i, tangent angle is theta i is given by the following equation.
【００７７】[0077]
【数７】 上式（７）で求められた接線角度θiは、図１０に示す
ようにπの不確定性が存在する。ここで、点（ｘi-w，
ｙi-w）と点（ｘi+w，ｙi+w）から求められた接線に垂
線を引き、交点を（ｘ’i-w，ｙ’i-w）と（ｘ’i+w，
ｙ’i+w）で表す。もし数８（式８）または数９（式
９）が負であれば、数７で計算された接線角度θiにπ
を足す。(Equation 7) The tangent angle θ i obtained by the above equation (7) has an uncertainty of π as shown in FIG. Here, the point (x iw ,
y iw ) and the tangent obtained from the point (x i + w , y i + w ) are drawn perpendicularly, and the intersections are defined as (x ′ iw , y ′ iw ) and (x ′ i + w ,
y ′ i + w ). If Equation 8 (Equation 8) or Equation 9 (Equation 9) is negative, the tangent angle θ i calculated by Equation 7 is π
Add
【００７８】[0078]
【数８】 (Equation 8)
【数９】 このとき、形状種類決定処理部２５は、接線角度θiを
特定角度カウンタ（図示せず）に投票する（Ｓ５０
５）。(Equation 9) At this time, the shape type determination processing unit 25 votes the tangent angle θ i to a specific angle counter (not shown) (S50).
5).
【００７９】また、特定角への投票とは、道路標識の候
補として抽出した輪郭上の各点の接線角度をγiへ投票
することである。具体的には、まず各特定角γiについ
て一つのカウンタＣjを用意し、このカウンタをクリア
する。Voting to a specific angle means voting the tangent angle of each point on the contour extracted as a road sign candidate to γ i . Specifically, to prepare one of the counter C j for each particular angle gamma i First, to clear this counter.
【００８０】次に、計算された輪郭上の各点の接線角度
について次式のように投票を行う。Next, the voting is performed for the calculated tangent angle of each point on the contour as follows.
【数１０】 投票された結果はヒストグラム分布として得られる（Ｓ
５０９）。(Equation 10) The result of the vote is obtained as a histogram distribution (S
509).
【００８１】次に、データベース２９に記憶されている
標準の標識形状Ｍｉ群を読み（Ｓ５１１）、ヒストグラ
ム分布に最も類似する角度群を有する標準形状をビデオ
カメラ１でとらえた標識形状と決定する（Ｓ５１３）。
例えば、ヒストグラムのピークが明らかでない場合、つ
まり、０度、４５度、９０度、…、３１５度の投票があ
ったときは、その形状が円であるとするものと仮定して
最適円を探索する。ある点数以上の輪郭点が最適円にフ
ィットできた場合には、その輪郭は円であると判断す
る。また、０度、９０度、１８０度、２７０度のピーク
がヒストグラムから得られたときは、四角形と判定し、
この四角形に最も類似するデータベースの四角形を検出
した標識の形状と認識する。どの形状にも分類されない
場合には標識でないものと判断する。Next, the standard marker shape group Mi stored in the database 29 is read (S511), and the standard shape having the angle group most similar to the histogram distribution is determined as the marker shape captured by the video camera 1 (S511). S513).
For example, if the peak of the histogram is not clear, that is, if there is a vote of 0 degree, 45 degrees, 90 degrees,..., 315 degrees, the optimum circle is searched on the assumption that the shape is a circle. I do. If the contour points equal to or more than a certain number of points can be fitted to the optimal circle, it is determined that the contour is a circle. When peaks at 0, 90, 180, and 270 degrees are obtained from the histogram, it is determined to be a square,
The rectangle in the database most similar to this rectangle is recognized as the shape of the detected marker. If it is not classified into any shape, it is determined that it is not a sign.
【００８２】次に、標識認識処理部は，輪郭エリア内の
画像データの濃度の確率分布ＮＱｉを求め、この分布Ｎ
Ｑｉに最も類似する標識データをデータベースから検索
し（Ｓ５１５）、検索した標識データをカメラでとらえ
た標識と認識する（Ｓ５１７）。そして、この認識した
道路標識の標識番号とビデオ画像のフレーム番号（ビデ
オデッキのビデオカウンタの値）と、道路番号とを送出
する。Next, the sign recognition processing section obtains the probability distribution NQi of the density of the image data in the contour area,
The tag data most similar to Qi is retrieved from the database (S515), and the retrieved tag data is recognized as the marker captured by the camera (S517). Then, it transmits the sign number of the recognized road sign, the frame number of the video image (the value of the video counter of the VCR), and the road number.
【００８３】具体的には、まず、検出できた道路標識領
域の大きさをデータベースの標識データのサイズに合わ
せて正規化する。次に，対応する２値化画像の横方向と
縦方向の両方の積分分布を計算する。縦・横方向の両分
布と道路情報データベースに学習させた標識の縦・横方
向の分布との相関値を計算して、その相関値が最も大き
く、かつ、ある閾値を超える場合、そのテンプレートに
相当する標識が検出できたものと判断する。Specifically, first, the size of the detected road sign area is normalized according to the size of the sign data in the database. Next, the integral distribution in both the horizontal direction and the vertical direction of the corresponding binarized image is calculated. Calculate the correlation value between both the vertical and horizontal distributions and the vertical and horizontal distribution of the signs learned in the road information database, and if the correlation value is the largest and exceeds a certain threshold, It is determined that the corresponding marker has been detected.
【００８４】すなわち、図３に示すように標識形状Ｍｉ
がマルと判定し、ビデオ画像のエリア内の標識の画像デ
ータの分布が分布関数Ｎａ１に最も相関しているとき
は、エリア内のビデオ画像は車両通行止めの道路標識と
認識する。That is, as shown in FIG.
Is determined to be a circle, and when the distribution of the image data of the sign in the area of the video image is most correlated with the distribution function Na1, the video image in the area is recognized as a road sign of vehicle closing.
【００８５】そして、処理が終わったら、Ｓ４０５に戻
る。When the processing is completed, the process returns to S405.
【００８６】＜実施の形態２＞図１１は実施の形態２の
道路標識自動認識装置の外観図である。この道路標識自
動認識装置４０は、ＧＰＳ受信機４１と、慣性航法装置
４２（ＩＮＳ）と、ビデオカメラ１と、ビデオデッキ４
と、パソコン本体部４３と、ディスプレィ１３とを専用
線でそれぞれ接続した構成であり、自動車に搭載して道
路の進行方向を撮影しながらリアルタイムで道路標識を
認識し、データベースの道路標識を今回の道路標識に更
新する。<Embodiment 2> FIG. 11 is an external view of an automatic road sign recognition apparatus according to a second embodiment. The automatic traffic sign recognition device 40 includes a GPS receiver 41, an inertial navigation device 42 (INS), a video camera 1, and a video deck 4.
And the personal computer main body 43 and the display 13 are connected by a dedicated line, respectively. The road sign is recognized in real time while being mounted on a car and photographing the traveling direction of the road. Update to road signs.
【００８７】ＧＰＳ受信機４１は、ＤＧＰＳ（Differen
tial Global Positioning System）方式、すなわち相対
測位方式を利用するＧＰＳ受信機であり、ＧＰＳ衛星か
らのＧＰＳ信号（電波）を受信して、ビデオカメラ１の
３次元位置座標（ｘ，ｙ，ｚ）を求めて、そのデータ
を、ＲＳ２３２Ｃインターフェースを経由して、慣性航
法装置４２へ送信すると共に、ビデオカメラ１の３次元
位置座標（ｘ，ｙ，ｚ）をパソコン本体部４３に送出す
る。The GPS receiver 41 has a DGPS (Differen
This is a GPS receiver that uses a relative global positioning system (RTG) system, that is, receives a GPS signal (radio wave) from a GPS satellite and calculates the three-dimensional position coordinates (x, y, z) of the video camera 1. Then, the data is transmitted to the inertial navigation device 42 via the RS232C interface, and the three-dimensional position coordinates (x, y, z) of the video camera 1 are transmitted to the personal computer main unit 43.
【００８８】また、後述するパソコン本体部からのシャ
ッタトリガ信号が送出される毎に、前述の３次元位置座
標を求めたときのＧＰＳ時刻からシャッタトリガ信号が
入力したときの時刻（以下シャッタ時刻という）をパソ
コン本体に送出する。Every time a shutter trigger signal is sent from the personal computer body, which will be described later, the time when the shutter trigger signal is input (hereinafter referred to as the shutter time) from the GPS time when the three-dimensional position coordinates are obtained. ) To the PC.
【００８９】慣性航法装置４２は、ＧＰＳ受信機４１か
らのビデオカメラ１の３次元位置座標（ｘ，ｙ，ｚ）お
よび図示しない車速エンコーダからの車両速度に基づ
き、推測航法演算により、走行する車両に固定されたビ
デオカメラ１の位置座標（ｘ，ｙ，ｚ）を正確に求める
と同時に、ビデオカメラの姿勢であるカメラ角（ψ，
ω，κ）、すなわち、撮影方向の、地球座標系の南北軸
に対する傾き角度ψと、東西軸に対する傾き角度ωおよ
び鉛直方向に対する傾き角度κをリアルタイムに求め
る。The inertial navigation device 42 performs a dead reckoning navigation calculation based on the three-dimensional position coordinates (x, y, z) of the video camera 1 from the GPS receiver 41 and the vehicle speed from a vehicle speed encoder (not shown). , The position coordinates (x, y, z) of the video camera 1 are accurately determined, and the camera angle (ψ,
ω, κ), that is, the inclination angle ψ of the imaging direction with respect to the north-south axis of the earth coordinate system, the inclination angle ω with respect to the east-west axis, and the inclination angle κ with respect to the vertical direction are determined in real time.
【００９０】また、百万分の１秒の分解能の内部タイマ
（図示せず）を有し、ＧＰＳからＰＰＳ信号が入力され
る毎に（毎正秒に）時刻合わせを行い、２０ｍｓｅｃ毎
にＩＮＳで計測した姿勢と位置とをパソコン本体部４３
に送出する。An internal timer (not shown) having a resolution of one millionth of a second is provided, the time is adjusted each time a PPS signal is input from the GPS (every second), and the INS is set every 20 msec. The posture and position measured by the
To send to.
【００９１】従って、ＧＰＳ時計に対する内部タイマの
誤差の蓄積を回避することができる。Therefore, accumulation of errors of the internal timer with respect to the GPS clock can be avoided.
【００９２】この推測航法演算を用いることで、例えば
トンネル内部等のＧＰＳ測位ができない場所において
も、常に測位が可能となっているパソコン本体部４３で
は、図示しない距離センサからの走行距離値を入力し、
例えば５ｍ毎にシャッタ信号をビデオカメラ１に送出し
て道路の進行方向を撮影したビデオ画像を入力する。By using the dead reckoning operation, the personal computer 43, which can always perform positioning even in a place where GPS positioning cannot be performed, such as inside a tunnel, inputs a traveling distance value from a distance sensor (not shown). And
For example, a shutter signal is sent to the video camera 1 every 5 m to input a video image of the traveling direction of the road.
【００９３】また、ビデオカメラ１のビデオ画像をビデ
オデッキ４にて再生した場合は、そのビデオ画像とフレ
ーム番号とを入力する。When a video image of the video camera 1 is reproduced on the video deck 4, the video image and the frame number are input.
【００９４】そして、シャッタ時刻とカメラ１の位置座
標、カメラ角および撮影時刻が入力されると、これらの
データとビデオ画像とを対応づける。When the shutter time and the position coordinates of the camera 1, the camera angle, and the photographing time are input, these data are associated with the video image.
【００９５】すなわち、道路標識を撮影したときのビデ
オカメラ１の３次元位置と撮影時刻、ビデオ画像が対応
させられる。具体的には、ＧＰＳ受信機４１より１ｓｅ
ｃ毎に出力されるＰＰＳ信号を用いて慣性航法装置４２
が内部タイマーの同期をとり、この内部タイマーの時刻
ｔkと慣性航法装置４２の位置データと姿勢とを対応さ
せて順次記憶すると共に、ビデオ画像を１コマ毎に、そ
の撮影時刻ｔpとを対応させて順次記憶する。That is, the three-dimensional position of the video camera 1 when the road sign is photographed, the photographing time, and the video image are associated with each other. Specifically, 1 second from the GPS receiver 41
Inertial navigation device 42 using PPS signal output for each c
There synchronize the internal timer, as well as in correspondence sequentially stores the position data and the orientation of time t k and the inertial navigation system 42 of the internal timer, the video image for each frame, and its shooting time t p They are stored sequentially in correspondence.
【００９６】そして、前回のｔk-1と今回の時刻ｔｋと
の間を１／１００万秒間隔で分割し、この分割時刻ｔ
kkiにおける位置データと姿勢とを補間し、前述の撮影
時刻ｔpに一致するデータ（位置、姿勢）を見つけ、こ
のデータと今回のビデオ画像（１コマの）とを対応させ
る。Then, the interval between the previous time tk -1 and the current time tk is divided at an interval of 1 / 1,000,000 second, and
interpolates the position data and orientation in KKI, matching data (position, orientation) in imaging time t p of the above finding, and this data and the current video image (one frame) and to correspond to.
【００９７】すなわち、走行中における道路標識を撮影
したときのビデオ画像（１コマ）とカメラ位置とカメラ
姿勢とが対応させられたことになる。That is, the video image (one frame) when the road sign is photographed while the vehicle is running, the camera position, and the camera posture are associated with each other.
【００９８】そして、本実施の形態１の構成によって、
ビデオ画像から道路標識を認識し、この認識した道路標
識に対応する記憶されている道路標識を更新する。Then, according to the configuration of the first embodiment,
The road sign is recognized from the video image, and the stored road sign corresponding to the recognized road sign is updated.
【００９９】つまり、本実施の形態２では上記実施の形
態の構成に加えて図１２に示すデータベース４５と、カ
メラパラメータ設定処理部４６と、標識位置計算処理部
４７と、更新処理部４８とを備えている。That is, in the second embodiment, in addition to the configuration of the above embodiment, a database 45, a camera parameter setting processing unit 46, a marker position calculation processing unit 47, and an update processing unit 48 shown in FIG. Have.
【０１００】データベース４５には、道路名（番号）
と、標識番号（番号で種類が分かる）と、標識の位置
（Ｘ、Ｙ、Ｚ）とが予め記憶されている。In the database 45, the road name (number)
And the sign number (the type is known by the number) and the position (X, Y, Z) of the sign are stored in advance.
【０１０１】カメラパラメータ設定処理部４６は、オペ
レータによって入力された、ビデオカメラの視矢角、カ
メラサイズ、高さ、光学特性等（総称してカメラパラメ
ータという）を標識位置計算処理部４７に設定する。The camera parameter setting processing unit 46 sets the viewing angle, camera size, height, optical characteristics, and the like (collectively referred to as camera parameters) of the video camera, which are input by the operator, in the marker position calculation processing unit 47. I do.
【０１０２】標識位置計算処理部４７は、入力されたカ
メラ姿勢、カメラ位置、撮影時刻ｔｐ、ビデオ画像（１
コマ）とを前述の具体的な記載のようにして対応させ
る。The marker position calculation processing section 47 receives the input camera posture, camera position, photographing time tp, and video image (1
Frame) are made to correspond to each other as described above.
【０１０３】そして、前述のカメラパラメータと、前述
のようにして求めたビデオ画像を撮影したときのカメラ
位置及び姿勢とを用いて、ビデオ画像内における道路標
識とカメラとの相対位置を求め、この相対位置とカメラ
位置及び姿勢等からビデオ画像内の道路標識の絶対位置
を決定して更新処理部４８に送出する。Then, the relative position between the road sign and the camera in the video image is obtained by using the above-mentioned camera parameters and the camera position and attitude at the time of capturing the video image obtained as described above. The absolute position of the road sign in the video image is determined from the relative position, the camera position, the posture, and the like, and is transmitted to the update processing unit 48.
【０１０４】ここでカメラと道路標識との相対位置の計
算について説明する。Here, the calculation of the relative position between the camera and the road sign will be described.
【０１０５】図１３に示すようにカメラ座標系（ＸＹ
Ｚ）を定義する。ここで、カメラ座標系のＸ軸と画像平
面のｘ軸と平行し、Ｙ軸がｙ軸と平行する。カメラ座標
系のＺ軸がカメラの向きと同じである。画像平面上で検
出された道路標識の中心位置は（ｘi，ｙi）であり、標
識のサイズはｓiであるとすると、三角関係によって、
検出された道路標識とカメラとの相対位置（Ｘi，Ｙi，
Ｚi）は数１１（式１１）で与えられる。As shown in FIG. 13, the camera coordinate system (XY
Z) is defined. Here, the X axis of the camera coordinate system is parallel to the x axis of the image plane, and the Y axis is parallel to the y axis. The Z axis of the camera coordinate system is the same as the direction of the camera. Center position of the road sign detected on the image plane is (x i, y i), the size of the label is to be s i, by triangle,
The relative position between the detected road sign and the camera (X i , Y i ,
Z i ) is given by Equation 11 (Equation 11).
【０１０６】[0106]
【数１１】 ここで、ｋはカメラの焦点距離、１ピクセルあたりのサ
イズなど諸パラメータによって決められる常数であり、
Ｓiは標識の実際のサイズである。[Equation 11] Here, k is a constant determined by various parameters such as the focal length of the camera and the size per pixel,
S i is the actual size of the sign.
【０１０７】次に、更新処理部４８は、認識した標識番
号ｋｉと道路番号とを標識認識処理部２６から入力し、
標識位置計算処理部４７で求められた標識の絶対位置に
対応する位置データのレコードを引当て、そのレコード
の標識番号を認識した標識番号ｋｉに更新する。Next, the update processing unit 48 inputs the recognized sign number ki and the road number from the sign recognition processing unit 26,
A record of position data corresponding to the absolute position of the sign obtained by the sign position calculation processing unit 47 is assigned, and the sign number of the record is updated to the recognized sign number ki.
【０１０８】従って、認識した道路標識と車両の位置情
報、カメラパラメータ等から道路情報を更新できる。Therefore, the road information can be updated from the recognized road sign, vehicle position information, camera parameters and the like.
【０１０９】[0109]
【発明の効果】以上のように本発明によれば、ビデオ画
像が動画で表示されると、画面中心から画面の周囲に放
射状に拡大する道路標識がスリット線にかかり、このと
きスリットにかかるカラーデータ（ＲＧＢ）のみをＨＳ
Ｖ変換して、この色と予め検出するための道路標識の色
とから存在確率を判断し、スリット上に存在する可能性
があるときは、所定の大きさエリアを画像平面に設定す
る。As described above, according to the present invention, when a video image is displayed as a moving image, a road sign that expands radially from the center of the screen to the periphery of the screen is applied to the slit line. HS only data (RGB)
V conversion is performed to determine the existence probability from this color and the color of the road sign to be detected in advance, and when there is a possibility that the object exists on the slit, a predetermined size area is set on the image plane.
【０１１０】そして、このエリア内の全域に渡って標識
色が存在するときに、そのエリア内の画像データの輪郭
に対して、各点の接線角度のヒストグラムを求めて、予
め記憶されている道路標識の角度分布に一致するものを
ビデオ画像の道路標識と決定する。When the marker color is present in the entire area in this area, a histogram of the tangent angle of each point with respect to the contour of the image data in the area is obtained, and the road stored in advance is stored. Those that match the angular distribution of the signs are determined as road signs in the video image.
【０１１１】次に、ビデオ画像のエリア内の画像データ
を予め記憶されている標準標識の画像データとマッチン
グし、道路標識を認識する。Next, the image data in the area of the video image is matched with the image data of the standard sign stored in advance to recognize the road sign.
【０１１２】従って、画像全体を処理する従来手法と比
べ、道路標識の検出から認識に至る全てのプロセスにお
いて、総合的に処理時間を短縮することができるという
効果が得られている。Therefore, as compared with the conventional method of processing the entire image, an effect is obtained that the processing time can be shortened comprehensively in all processes from detection to recognition of the road sign.
【図１】本発明の実施の形態１の道路標識自動認識装置
の概略構成図である。FIG. 1 is a schematic configuration diagram of a road sign automatic recognition device according to a first embodiment of the present invention.
【図２】実施の形態１の道路標識自動認識装置の概略を
説明する説明図である。FIG. 2 is an explanatory diagram illustrating an outline of a road sign automatic recognition device according to the first embodiment;
【図３】テンプレートを説明する説明図である。FIG. 3 is an explanatory diagram illustrating a template.
【図４】本実施の形態１の動作を説明するフローチャー
トである。FIG. 4 is a flowchart illustrating the operation of the first embodiment.
【図５】本実施の形態１の動作を説明するフローチャー
トである。FIG. 5 is a flowchart illustrating the operation of the first embodiment.
【図６】スリットを説明する説明図である。FIG. 6 is an explanatory diagram illustrating a slit.
【図７】道路標識の存在範囲の算出を説明する説明図で
ある。FIG. 7 is an explanatory diagram for explaining calculation of an existing range of a road sign.
【図８】色相による存在確率のイメージ図である（ここ
で、横軸は色相であり、縦軸は強調因子（０〜３）であ
る）。FIG. 8 is an image diagram of the existence probability by hue (where the horizontal axis is the hue and the vertical axis is the enhancement factor (0 to 3)).
【図９】エリア内の画像データの輪郭を説明する説明図
である。FIG. 9 is an explanatory diagram illustrating an outline of image data in an area.
【図１０】接線角度の算出を説明する説明図である。FIG. 10 is an explanatory diagram illustrating calculation of a tangent angle.
【図１１】実施の形態２の道路標識自動認識装置の外観
図である。FIG. 11 is an external view of a road sign automatic recognition device according to a second embodiment.
【図１２】実施の形態２の概略構成図である。FIG. 12 is a schematic configuration diagram of a second embodiment.
【図１３】カメラと道路標識との相対位置の算出を説明
する説明図である。FIG. 13 is an explanatory diagram illustrating calculation of a relative position between a camera and a road sign.
【図１４】ビデオ画像の道路標識の輪郭のなぞり方法と
角度分布表との関係を説明する説明図である。FIG. 14 is an explanatory diagram illustrating a relationship between a method of tracing the contour of a road sign in a video image and an angle distribution table.
【図１５】従来の道路標識の認識方法を説明するための
説明図である。FIG. 15 is an explanatory diagram for explaining a conventional road sign recognition method.
１ ビデオカメラ ２ ビデオテープ ４ ビデオデッキ １０ 道路標識自動認識装置 １１ ビデオキャプチャー １４ タッチパネル １５ スリット設定処理部 １６ ＨＳＶ変換処理部 １７ フレームメモリ １８ 標識有無仮判定処理部 １９ 検出エリア設定処理部 ２０ 標識確率計算処理部 ２１ 標識存在判定処理部 ２４ 輪郭検出処理部 ２５ 形状種類決定処理部 REFERENCE SIGNS LIST 1 video camera 2 video tape 4 video deck 10 road sign automatic recognition device 11 video capture 14 touch panel 15 slit setting processing unit 16 HSV conversion processing unit 17 frame memory 18 sign presence / absence judgment processing unit 19 detection area setting processing unit 20 sign probability calculation Processing unit 21 Sign presence determination processing unit 24 Contour detection processing unit 25 Shape type determination processing unit
【手続補正書】[Procedure amendment]
【提出日】平成１１年４月１６日（１９９９．４．１
６）[Submission date] April 16, 1999 (1999.4.1
6)
【手続補正１】[Procedure amendment 1]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００６８[Correction target item name]
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００６８】前述の式において、色相だけを利用すると
したとき、Ｐs（ｓ）＝Ｐv（ｖ）＝１とおいた場合のＰ
（ｈ，ｓ，ｖ）＝Ｐh（ｈ）の変換曲線のイメージを図
８に示す。In the above formula, when only the hue is used, P s (s) = P v (v) = 1 and P
FIG. 8 shows an image of a conversion curve of (h, s, v) = P h (h).
【手続補正２】[Procedure amendment 2]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００７７[Correction target item name] 0077
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００７７】[0077]
【数７】 上式（７）で求められた接線角度θiは、図１０に示す
ようにπの不確定性が存在する。ここで、点（ｘi-w，
ｙi-w）と点（ｘi+w，ｙi+w）から求められた接線に垂
線を引き、交点を（ｘ’i-w，ｙ’i-w）と（ｘ’i+w，
ｙ’i+w）で表す。もし数８（式８）または数９（式
９）が負であれば、数７で計算された接線角度θiにπ
を加算する。(Equation 7) The tangent angle θ i obtained by the above equation (7) has an uncertainty of π as shown in FIG. Here, the point (x iw ,
y iw ) and the tangent obtained from the point (x i + w , y i + w ) are drawn perpendicularly, and the intersections are defined as (x ′ iw , y ′ iw ) and (x ′ i + w ,
y ′ i + w ). If Equation 8 (Equation 8) or Equation 9 (Equation 9) is negative, the tangent angle θ i calculated by Equation 7 is π
Is added.
───────────────────────────────────────────────────── フロントページの続き (72)発明者 内田 修 東京都新宿区新宿４−２−18新宿光風ビル アジア航測株式会社内 (72)発明者 坂内 正夫 東京都港区六本木７−22−１ 東京大学生 産技術研究所内 Ｆターム(参考） 2C032 HB11 5B057 AA16 CC03 CE18 DA06 DB02 DB06 DC08 DC16 5H180 AA01 BB15 CC04 CC12 FF04 FF05 FF14 5L096 BA04 FA02 FA04 FA06 FA15 FA67 GA17 GA40 GA41 9A001 HH28 HH30 JJ77 KK56 ──────────────────────────────────────────────────続 き Continued on the front page (72) Inventor Osamu Uchida 4-2-18 Shinjuku Shinjuku, Shinjuku-ku, Tokyo Shinjuku Kofu Building Inside Asia Air Survey Co., Ltd. (72) Inventor Masao Sakauchi 7-22-1 Roppongi, Minato-ku, Tokyo Tokyo F-term (reference) in the College of Industrial Technology 2C032 HB11 5B057 AA16 CC03 CE18 DA06 DB02 DB06 DC08 DC16 5H180 AA01 BB15 CC04 CC12 FF04 FF05 FF14 5L096 BA04 FA02 FA04 FA06 FA15 FA67 GA17 GA40 GA41 9A001 HH28 HKK30 JJ77
Claims (11)
ら進行方向を撮影したときのビデオ画像の初期画像を静
止画で画面に表示させた後に、前記ビデオ画像を動画で
表示させたとき、前記道路標識が画面にて最も大きく見
えてくるとき道路標識画像をとらえるためのスリット線
を前記画面に設定する工程と、 前記ビデオ画像における前記道路標識の標識色を入力す
る工程と、 前記スリット線の設定後に、前記ビデオ画像を動画で前
記画面に表示させる工程と、 前記ビデオ画像の動画表示に伴って、ＲＧＢの画像デー
タを前記スリット線に沿ってＨＳＶ変換する工程と、 前記ＨＳＶ変換された画像データの値を用いて、色相、
飽和度、明度から前記スリット線に標識色が存在する存
在確率を求める工程と、 前記標識色が存在する確率が高いときには、その画像デ
ータを得た前記スリット線の位置に重なる画像平面の座
標範囲に所定の大きさのエリアを設定する工程と、 前記エリア内の全ての画像データをＨＳＶ変換し、これ
らの値から前記標識色の存在確率を求め、該存在確率が
高いときは、前記エリア内の道路標識画像の輪郭を求
め、この輪郭の角度分布から前記道路標識画像の形状を
決定し、この形状と前記道路標識画像の情報の分布関数
から前記道路標識画像を認識する工程とを有することを
特徴とするビデオ画像の道路標識自動認識方法。1. When displaying an initial image of a video image when a traveling direction is photographed while traveling on a road provided with a road sign on a screen as a still image, and then displaying the video image as a moving image, Setting a slit line on the screen to capture a road sign image when the road sign appears largest on the screen; inputting a sign color of the road sign in the video image; After setting, the step of displaying the video image as a moving image on the screen, the step of performing HSV conversion of RGB image data along the slit line with the display of the moving image of the video image, the step of performing the HSV conversion Hue,
Determining the existence probability that the marker color exists in the slit line from the saturation and the brightness, and when the probability that the marker color exists is high, the coordinate range of the image plane overlapping the position of the slit line that obtained the image data Setting an area of a predetermined size in the area; and performing HSV conversion on all the image data in the area, obtaining the presence probability of the marker color from these values. Determining the contour of the road sign image, determining the shape of the road sign image from the angular distribution of the contour, and recognizing the road sign image from the shape and the distribution function of the information of the road sign image. A method for automatically recognizing a road sign of a video image.
タの色と、前記入力された標識色との類似度を、色相、
飽和度、明度毎にそれぞれ関数で定義し、これらの関数
の積を前記標識色の存在確率とすることを特徴とする請
求項１記載のビデオ画像の道路標識自動認識方法。2. The method according to claim 1, wherein the existence probability is a similarity between a color of the HSV image data and the input marker color.
2. A method according to claim 1, wherein a function is defined for each of the saturation and the brightness, and a product of these functions is used as the existence probability of the sign color.
識形状角度分布表を、全ての道路標識形状毎に予め設
け、 前記エリアが設定されたとき、そのエリア内の所定レベ
ル以上の画像データ群を前記道路標識画像とし、この輪
郭を形成する点列の各点の接線角度を算出する工程と、 前記算出角度が前記予め設けられた標識形状角度分布表
の角度に対応したとき、その角度に投票する工程と、 前記輪郭を一周する毎に、前記投票された投票角度の分
布と前記標識形状角度分布表と比較し最も類似する形状
を前記道路標識画像の輪郭形状と認識する工程とからな
ることを特徴とする請求項１又は２記載のビデオ画像の
道路標識自動認識方法。3. The method of determining the shape of the road sign image is as follows: a sign shape angle distribution table indicating the distribution of angles of sides forming the shape of the road sign is provided in advance for every road sign shape; When set, a step of calculating a tangent angle of each point of a point sequence forming an outline by using an image data group of a predetermined level or more in the area as the road sign image, wherein the calculated angle is provided in advance. When corresponding to the angle of the sign shape angle distribution table, the step of voting for that angle, and every time the contour goes around, the distribution of the voted voting angle and the sign shape angle distribution table are compared and most similar. 3. The method according to claim 1, further comprising the step of recognizing a shape as a contour shape of the road sign image.
標識番号と対応させて予め記憶し、 前記輪郭形状が認識されたとき、前記道路標識画像の
縦、横方向の積分分布を求めて正規化し、この正規化分
布と、予め記憶されている前記正規化分布に最も相関が
高いものを前記撮影した道路標識画像と認識する工程と
を有することを特徴とする請求項１、２又は３記載のビ
デオ画像の道路標識自動認識方法。4. The method for recognizing a road sign image includes the steps of:
When the contour shape is recognized, the vertical and horizontal integral distributions of the road sign image are obtained and normalized, and the normalized distribution and the previously stored normal are stored. 4. A method of automatically recognizing a road sign of a video image according to claim 1, further comprising the step of recognizing a road sign image having the highest correlation with the image distribution as the photographed road sign image.
識番号と位置座標を外部に知らせることを特徴とする請
求項４記載のビデオ画像の道路標識自動認識方法。5. The method according to claim 4, wherein a sign number and a position coordinate corresponding to the recognized sign image are notified to the outside.
ら進行方向を撮影したときのビデオ画像の初期画像を静
止画で画面に表示させた後に、前記ビデオ画像を動画で
表示させたとき、前記道路標識が画面にて最も大きく見
えてくるとき道路標識画像をとらえるためのスリット線
を前記画面に描かせ、前記スリット線に重なる所定の色
の画像データ群から前記道路標識の形状、色、特徴等を
認識するビデオ画像の道路標識自動認識装置であって、 前記画面に描かれたスリット線の点列データの座標値を
抽出し、これらの座標値から前記スリット線の関数を求
め、この範囲を変換範囲として設定するスリット設定処
理部と、 変換範囲が設定される毎に、該変換範囲の初めから終わ
りまでの画像データをＨＳＶ変換するＨＳＶ変換処理部
と、 前記ＨＳＶ変換された画像データの値と、予め入力され
た標識色との類似度を、色相、飽和度、明度毎にそれぞ
れ関数で定義し、これらの関数の積を前記標識色の存在
確率とする標識確率計算処理部と、 前記スリット線の関数を前記ＨＳＶ変換部に設定したと
き、前記標識確率計算処理部の存在確率に基づいて前記
スリット線に前記道路標識が重なっているかの仮判定を
行う標識有無仮判定処理部と、 前記スリット線に前記道路標識が重なっている可能性が
あると判定したときは、前記スリット線に重なる前記画
像平面のその範囲に所定の大きさのエリアを関数で前記
ＨＳＶ変換処理部に設定する検出エリア設定処理部と、 前記標識確率計算処理部で前記エリアの全般に前記入力
された標識色が存在する確率が高いと判定されたとき
は、そのエリア内の前記標識色の画像データ群の輪郭を
検出する輪郭検出処理部と、 前記輪郭検出処理部で検出された輪郭の点列の接線角度
を算出し、該接線角度の分布から前記道路標識画像の形
状を決定する形状種類決定処理部とを有することを特徴
とするビデオ画像の道路標識自動認識装置。6. When a video image is displayed as a moving image after displaying an initial image of a video image when a traveling direction is photographed while traveling on a road provided with a road sign as a still image, When the road sign appears largest on the screen, a slit line for capturing the road sign image is drawn on the screen, and the shape, color, and shape of the road sign from a predetermined color image data group overlapping the slit line An automatic road sign recognition device for video images that recognizes features, etc., extracts coordinate values of point sequence data of slit lines drawn on the screen, and obtains a function of the slit lines from these coordinate values. A slit setting processing unit that sets a range as a conversion range, and an HSV conversion processing unit that performs HSV conversion of image data from the beginning to the end of the conversion range every time the conversion range is set. The similarity between the HSV-converted image data value and the previously input marker color is defined by a function for each hue, saturation, and brightness, and the product of these functions is defined as the marker color existence probability. When the function of the slit line is set in the HSV conversion unit, a temporary determination is made as to whether the road sign overlaps the slit line based on the existence probability of the marker probability calculation unit. When it is determined that there is a possibility that the road sign overlaps the slit line, the area of a predetermined size in the range of the image plane overlapping the slit line is determined by a function. If the detection area setting processing unit to be set in the HSV conversion processing unit and the marker probability calculation processing unit determine that the probability that the input marker color exists in the entire area is high, A contour detection processing unit for detecting the contour of the image data group of the sign color in the image data; calculating a tangent angle of a sequence of points of the contour detected by the contour detection processing unit; An apparatus for automatically recognizing a road sign of a video image, comprising: a shape type determination processing unit that determines a shape of the image.
率が高いときは、前記エリア内の画像データを２値化す
る２値化処理部と、 該２値化された画像データの不要成分をノイズとして除
去し、この画像データを前記輪郭検出処理部に送出する
フィルタリング処理部とを有することを特徴とする請求
項６記載のビデオ画像の道路標識自動認識装置。7. A binarization processing section for binarizing image data in the area when the probability that the marker color exists in the area is high, and an unnecessary component of the binarized image data. 7. An automatic road sign recognition apparatus for a video image according to claim 6, further comprising: a filtering section for removing the image data as noise and transmitting the image data to the contour detection processing section.
し、この特定角度毎に配列した標識形状角度分布表を、
全ての道路標識毎に予め設けたデータベースと、 前記エリアが設定されたとき、そのエリア内の所定レベ
ル以上の画像データ群を前記道路標識画像とし、この輪
郭を形成する点列の各点の接線角度を算出する手段と、 前記算出角度が前記特定角度に対応したとき、その特定
角度のカウンタに前記算出角度を投票する手段と、 前記輪郭を一周する毎に、前記カウンタに投票された投
票角度の分布を求め、この投票角度の分布と、予め記憶
されている複数種類の道路標識の形状に最も類似する形
状を前記道路標識画像の輪郭形状と認識する手段とから
なることを特徴とする請求項６記載のビデオ画像の道路
標識自動認識装置。8. The shape type determination processing unit sets an angle of a side forming the shape of the road sign as a specific angle, and generates a sign shape angle distribution table arranged for each specific angle.
A database provided in advance for every road sign, and when the area is set, a group of image data of a predetermined level or higher in the area is set as the road sign image, and a tangent line to each point of a point sequence forming this contour Means for calculating an angle; means for voting the calculated angle to a counter of the specific angle when the calculated angle corresponds to the specific angle; and voting angle voted to the counter each time the circuit goes around the contour. And a means for recognizing a distribution of the voting angle and a shape most similar to a plurality of types of road signs stored in advance as a contour shape of the road sign image. Item 6. An automatic road sign recognition device for video images according to Item 6.
ての道路標識毎に、標識番号と対応させて予め記憶され
たデータベースと、 前記輪郭形状が決定されたとき、前記道路標識画像の
縦、横方向の積分分布を求めて正規化し、予め記憶され
ている前記正規化分布の中で、この正規化分布に最も相
関が高いものを前記撮影した道路標識画像と認識する標
識認識処理部とを有することを特徴とする請求項６及び
７記載のビデオ画像の道路標識自動認識装置。9. A database in which the characteristics of the road sign are normalized distribution, and for each road sign, a database stored in advance in association with the sign number; A sign recognition processing unit that obtains and normalizes integral distributions in the vertical and horizontal directions and recognizes the one having the highest correlation with the normalized distribution among the previously stored normalized distributions as the photographed road sign image. 8. The apparatus for automatically recognizing a road sign of a video image according to claim 6, comprising:
知らせることを特徴とする請求項９記載のビデオ画像の
道路標識自動認識装置。10. The apparatus for automatically recognizing a road sign of a video image according to claim 9, wherein the sign recognition processing unit notifies a sign number corresponding to the recognized road sign image to the outside.
に表示させたときに、前記画面に描かれたスリット線の
関数を求めさせる手段と、 前記ビデオ画像における前記道路標識を識別するための
標識色を読み込む手段と、 前記スリット線が描かれた後に、ビデオデッキに再生信
号を送出して前記ビデオ画像を動画で前記画面に表示さ
せる手段と、 前記ビデオ画像の動画表示に伴って、前記スリット線に
重なるＲＧＢの画像データを前記スリット線に沿ってＨ
ＳＶに変換させる手段と、 前記ＨＳＶ変換された画像データの値を用いて、色相、
飽和度、明度から前記スリット線に標識色が存在する存
在確率を求めさせる手段と、 前記標識色が存在する確率が高いときには、その画像デ
ータを得た前記スリット線の位置に重なる画像平面の座
標位置に所定の大きさのエリアを設定させる手段と、 前記エリア内の全ての画像データをＨＳＶ変換させ、こ
れらの値から前記標識色の存在確率を求めさせ、該存在
確率が高いときは、前記エリア内の道路標識画像の輪郭
を求めさせ、この輪郭の角度分布から前記道路標識画像
の形状を決定させ、この形状と前記道路標識画像の情報
の分布関数から前記道路標識画像を認識させる手段とか
らなるビデオ画像の道路標識自動認識のプログラムを記
憶した記憶媒体。11. A means for obtaining a function of a slit line drawn on the screen when an initial image of a video image is displayed on a screen as a still image, and for identifying the road sign in the video image. Means for reading a sign color, means for sending a reproduction signal to a VCR after the slit line is drawn, and displaying the video image on the screen as a moving image, and, with the moving image display of the video image, The RGB image data overlapping the slit line is
Means for converting to SV, and using the value of the HSV-converted image data,
Means for determining the existence probability of the presence of the marker color in the slit line from the degree of saturation and brightness; and, when the probability of the presence of the marker color is high, the coordinates of the image plane overlapping the position of the slit line from which the image data was obtained. Means for setting an area of a predetermined size at a position; HSV conversion of all image data in the area; calculating the presence probability of the marker color from these values; Means for determining the contour of the road sign image in the area, determining the shape of the road sign image from the angular distribution of the contour, and recognizing the road sign image from the shape and the distribution function of the information of the road sign image; A storage medium storing a program for automatically recognizing a road sign of a video image comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10165599A JP4380838B2 (en) | 1999-04-08 | 1999-04-08 | Video image automatic road sign recognition method, road sign automatic recognition device, and road sign automatic recognition program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10165599A JP4380838B2 (en) | 1999-04-08 | 1999-04-08 | Video image automatic road sign recognition method, road sign automatic recognition device, and road sign automatic recognition program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009108458A Division JP4517003B2 (en) | 2009-04-27 | 2009-04-27 | Automatic road sign recognition system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000293670A true JP2000293670A (en) | 2000-10-20 |
| JP4380838B2 JP4380838B2 (en) | 2009-12-09 |
Family
ID=14306409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10165599A Expired - Lifetime JP4380838B2 (en) | 1999-04-08 | 1999-04-08 | Video image automatic road sign recognition method, road sign automatic recognition device, and road sign automatic recognition program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4380838B2 (en) |
Cited By (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1220182A2 (en) * | 2000-12-25 | 2002-07-03 | Matsushita Electric Industrial Co., Ltd. | Image detection apparatus, program, and recording medium |
| WO2002052523A1 (en) * | 2000-12-26 | 2002-07-04 | Fujitsu Limited | Method and apparatus for monitoring vehicle |
| JP2003108988A (en) * | 2001-07-12 | 2003-04-11 | Eastman Kodak Co | Method for processing digital image for brightness adjustment |
| JP2003123197A (en) * | 2001-10-16 | 2003-04-25 | Alpine Electronics Inc | Recognition device for road mark or the like |
| WO2004006207A1 (en) * | 2002-07-03 | 2004-01-15 | Iwane Laboratories,Ltd. | Automatic guide apparatus for public transport |
| JP2005004410A (en) * | 2003-06-11 | 2005-01-06 | Clarion Co Ltd | Display device for road sign etc. and image display method for image of road sign etc. |
| JP2005063398A (en) * | 2003-06-16 | 2005-03-10 | Fujitsu Ten Ltd | Vehicle controller |
| JP2005157697A (en) * | 2003-11-26 | 2005-06-16 | Casio Comput Co Ltd | Destination guiding system and program |
| JP2006052972A (en) * | 2004-08-10 | 2006-02-23 | Alpine Electronics Inc | In-vehicle electronic apparatus |
| JP2006119591A (en) * | 2004-09-22 | 2006-05-11 | Mitsubishi Electric Corp | Map information generation method, map information generation program and map information collection apparatus |
| JP2006313179A (en) * | 2005-05-06 | 2006-11-16 | Mitsubishi Electric Corp | Device, method, and program for correcting track map data |
| JP2007018324A (en) * | 2005-07-08 | 2007-01-25 | Central Res Inst Of Electric Power Ind | Apparatus, method and program for detecting intruding object by image processing |
| JP2007078409A (en) * | 2005-09-12 | 2007-03-29 | Mitsubishi Electric Corp | Object positioning system |
| JP2007108527A (en) * | 2005-10-14 | 2007-04-26 | Pioneer Electronic Corp | Facility information acquisition device and program |
| JP2007183846A (en) * | 2006-01-10 | 2007-07-19 | Honda Motor Co Ltd | Sign recognition apparatus for vehicle, and vehicle controller |
| JP2007199784A (en) * | 2006-01-23 | 2007-08-09 | Toyota Motor Corp | Information providing device for vehicle and lane maintenance controller |
| JP2007206099A (en) * | 2006-01-30 | 2007-08-16 | Mobile Mapping Kk | Map creation support system |
| CN100370226C (en) * | 2004-07-23 | 2008-02-20 | 东北大学 | Method for visual guiding by manual road sign |
| JPWO2006098311A1 (en) * | 2005-03-15 | 2008-08-21 | パイオニア株式会社 | Road landscape map creation device, method and program |
| EP1975565A2 (en) | 2007-03-30 | 2008-10-01 | Aisin AW Co., Ltd. | Feature information collecting apparatus and feature information collecting method |
| JP2009014518A (en) * | 2007-07-04 | 2009-01-22 | Aisin Aw Co Ltd | Device, method and program for generating road information |
| JP2009048629A (en) * | 2007-08-20 | 2009-03-05 | Delphi Technologies Inc | Detecting method |
| JP2010134535A (en) * | 2008-12-02 | 2010-06-17 | Mitsubishi Electric Corp | Image detection device and image detection method |
| WO2011048718A1 (en) * | 2009-10-20 | 2011-04-28 | パナソニック株式会社 | Sign recognition device and sign recognition method |
| WO2014115319A1 (en) * | 2013-01-25 | 2014-07-31 | トヨタ自動車株式会社 | Road environment recognition system |
| KR101448504B1 (en) | 2014-07-09 | 2014-10-13 | 한국건설기술연구원 | Method for extracting road sign using MMS |
| US9092695B1 (en) | 2013-03-13 | 2015-07-28 | Google Inc. | High-accuracy real-time road sign detection from images |
| US9092696B2 (en) | 2013-03-26 | 2015-07-28 | Hewlett-Packard Development Company, L.P. | Image sign classifier |
| JP2018512672A (en) * | 2015-04-01 | 2018-05-17 | バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト | Method and system for automatically recognizing parking zones |
| CN108090411A (en) * | 2016-11-23 | 2018-05-29 | 福特全球技术公司 | Traffic lights detection and classification are carried out using computer vision and deep learning |
| JP2019194900A (en) * | 2012-09-05 | 2019-11-07 | ウェイモ エルエルシー | Construction zone detection using plural information sources |
| CN110728212A (en) * | 2019-09-25 | 2020-01-24 | 徐州工程学院 | Road well lid monitoring device and method based on computer vision |
| WO2020026940A1 (en) * | 2018-07-31 | 2020-02-06 | 日本電信電話株式会社 | Driving assistance device and method, and storage medium in which program is stored |
| JPWO2019193762A1 (en) * | 2018-04-06 | 2020-09-17 | 三菱電機株式会社 | Guide sign recognition device and guide sign recognition method |
| CN112183554A (en) * | 2020-09-01 | 2021-01-05 | 国交空间信息技术（北京）有限公司 | Automatic road boundary contour extraction method |
| CN114370828A (en) * | 2021-12-28 | 2022-04-19 | 中国铁路设计集团有限公司 | Shield tunnel diameter convergence and radial slab staggering detection method based on laser scanning |
| CN115050202A (en) * | 2018-12-14 | 2022-09-13 | 伟摩有限责任公司 | Method and device for marking and classifying attributes of traffic signs |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4517003B2 (en) * | 2009-04-27 | 2010-08-04 | アジア航測株式会社 | Automatic road sign recognition system |
| CN108154160B (en) * | 2017-12-27 | 2020-02-21 | 苏州科达科技股份有限公司 | License plate color identification method and system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07282261A (en) * | 1994-04-14 | 1995-10-27 | Nri & Ncc Co Ltd | Device and method for evaluating color-corded pattern |
| JPH07294251A (en) * | 1994-04-22 | 1995-11-10 | Nippon Soken Inc | Obstacle detector |
| JPH0883383A (en) * | 1994-09-13 | 1996-03-26 | Misawa Homes Co Ltd | Device and method for monitoring intrusion |
| JPH11351895A (en) * | 1998-06-09 | 1999-12-24 | Harness Syst Tech Res Ltd | Car navigation system |
| JP2000132668A (en) * | 1998-10-28 | 2000-05-12 | Matsushita Electric Ind Co Ltd | Sign recognition device |
-
1999
- 1999-04-08 JP JP10165599A patent/JP4380838B2/en not_active Expired - Lifetime
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07282261A (en) * | 1994-04-14 | 1995-10-27 | Nri & Ncc Co Ltd | Device and method for evaluating color-corded pattern |
| JPH07294251A (en) * | 1994-04-22 | 1995-11-10 | Nippon Soken Inc | Obstacle detector |
| JPH0883383A (en) * | 1994-09-13 | 1996-03-26 | Misawa Homes Co Ltd | Device and method for monitoring intrusion |
| JPH11351895A (en) * | 1998-06-09 | 1999-12-24 | Harness Syst Tech Res Ltd | Car navigation system |
| JP2000132668A (en) * | 1998-10-28 | 2000-05-12 | Matsushita Electric Ind Co Ltd | Sign recognition device |
Non-Patent Citations (7)
| Title |
|---|
| 三輪 道雄, 大原 知之, スカンヤ ポンスーパッ, 石井 雅博, 小池 康晴, 佐藤 誠: "色フィルタとテクスチャ解析を用いた動画像からの道路標識の抽出", 情報処理学会研究報告[コンピュータとイメージメディア], vol. 第99巻第3号, JPN6009007403, 22 January 1999 (1999-01-22), JP, pages 97 - 103, ISSN: 0001253434 * |
| 中村 雅司, 若松 英樹, 神保 孝志, 梅野 正義: "車載用視覚補助システムの研究", 電子情報通信学会技術研究報告[パターン認識・メディア理解], vol. 第97巻第41号, JPN6009007413, 16 May 1997 (1997-05-16), JP, pages 89 - 94, ISSN: 0001395056 * |
| 内村 圭一, 木村 英雄, 脇山 慎也: "道路情景カラー画像における円形道路標識の抽出および認識", 電子情報通信学会論文誌, vol. 第J81-A巻第4号, JPN6009007408, 25 April 1998 (1998-04-25), JP, pages 546 - 553, ISSN: 0001395053 * |
| 川上 肇, 池田 徹, 田島 譲二: "色と形状の情報を用いた道路標識検出", 電子情報通信学会技術研究報告[パターン認識・理解], vol. 第92巻第227号, JPN6009007410, 18 September 1992 (1992-09-18), JP, pages 33 - 40, ISSN: 0001395054 * |
| 日比 哲也, 鎌田 正樹: "色相彩度変換と座標変換を用いたカラー自然画像からの交通標識領域の抽出および認識法", 電気学会論文誌Ｄ, vol. 第115-D巻第12号, JPN6009007411, 20 November 1995 (1995-11-20), JP, pages 1484 - 1490, ISSN: 0001395055 * |
| 粟倉 崇充, 佐々木 一幸, 中島 真人: "道路標識の自動認識", 電子情報通信学会技術研究報告[パターン認識・メディア理解], vol. 第98巻第528号, JPN6009007405, 22 January 1999 (1999-01-22), JP, pages 69 - 76, ISSN: 0001253435 * |
| 薮木 登, 三木 成彦: "道路情景中の最高速度標識の検出および認識", 電子情報通信学会論文誌, vol. 第J77-D-II巻第7号, JPN6009007407, 25 July 1994 (1994-07-25), JP, pages 1393 - 1394, ISSN: 0001395052 * |
Cited By (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1220182A3 (en) * | 2000-12-25 | 2005-08-17 | Matsushita Electric Industrial Co., Ltd. | Image detection apparatus, program, and recording medium |
| EP1220182A2 (en) * | 2000-12-25 | 2002-07-03 | Matsushita Electric Industrial Co., Ltd. | Image detection apparatus, program, and recording medium |
| WO2002052523A1 (en) * | 2000-12-26 | 2002-07-04 | Fujitsu Limited | Method and apparatus for monitoring vehicle |
| JP2002197588A (en) * | 2000-12-26 | 2002-07-12 | Fujitsu Ltd | Method for discriminating tire type of traveling vehicle and method and device for discriminating vehicle model |
| JP2003108988A (en) * | 2001-07-12 | 2003-04-11 | Eastman Kodak Co | Method for processing digital image for brightness adjustment |
| JP2003123197A (en) * | 2001-10-16 | 2003-04-25 | Alpine Electronics Inc | Recognition device for road mark or the like |
| WO2004006207A1 (en) * | 2002-07-03 | 2004-01-15 | Iwane Laboratories,Ltd. | Automatic guide apparatus for public transport |
| US7804424B2 (en) | 2002-07-03 | 2010-09-28 | Iwane Laboratories, Ltd. | Automatic guide apparatus for traffic facilities |
| JP2005004410A (en) * | 2003-06-11 | 2005-01-06 | Clarion Co Ltd | Display device for road sign etc. and image display method for image of road sign etc. |
| JP2005063398A (en) * | 2003-06-16 | 2005-03-10 | Fujitsu Ten Ltd | Vehicle controller |
| JP2005157697A (en) * | 2003-11-26 | 2005-06-16 | Casio Comput Co Ltd | Destination guiding system and program |
| JP4576827B2 (en) * | 2003-11-26 | 2010-11-10 | カシオ計算機株式会社 | Destination guidance system and program |
| CN100370226C (en) * | 2004-07-23 | 2008-02-20 | 东北大学 | Method for visual guiding by manual road sign |
| JP2006052972A (en) * | 2004-08-10 | 2006-02-23 | Alpine Electronics Inc | In-vehicle electronic apparatus |
| JP2006119591A (en) * | 2004-09-22 | 2006-05-11 | Mitsubishi Electric Corp | Map information generation method, map information generation program and map information collection apparatus |
| JP4845876B2 (en) * | 2005-03-15 | 2011-12-28 | パイオニア株式会社 | Road landscape map creation device, method and program |
| JPWO2006098311A1 (en) * | 2005-03-15 | 2008-08-21 | パイオニア株式会社 | Road landscape map creation device, method and program |
| JP4627007B2 (en) * | 2005-05-06 | 2011-02-09 | 三菱電機株式会社 | Map correction information selection device, map correction information selection method, and map correction information selection program |
| JP2006313179A (en) * | 2005-05-06 | 2006-11-16 | Mitsubishi Electric Corp | Device, method, and program for correcting track map data |
| JP4610005B2 (en) * | 2005-07-08 | 2011-01-12 | 財団法人電力中央研究所 | Intruding object detection apparatus, method and program by image processing |
| JP2007018324A (en) * | 2005-07-08 | 2007-01-25 | Central Res Inst Of Electric Power Ind | Apparatus, method and program for detecting intruding object by image processing |
| JP2007078409A (en) * | 2005-09-12 | 2007-03-29 | Mitsubishi Electric Corp | Object positioning system |
| JP2007108527A (en) * | 2005-10-14 | 2007-04-26 | Pioneer Electronic Corp | Facility information acquisition device and program |
| JP2007183846A (en) * | 2006-01-10 | 2007-07-19 | Honda Motor Co Ltd | Sign recognition apparatus for vehicle, and vehicle controller |
| JP2007199784A (en) * | 2006-01-23 | 2007-08-09 | Toyota Motor Corp | Information providing device for vehicle and lane maintenance controller |
| JP2007206099A (en) * | 2006-01-30 | 2007-08-16 | Mobile Mapping Kk | Map creation support system |
| EP1975565A2 (en) | 2007-03-30 | 2008-10-01 | Aisin AW Co., Ltd. | Feature information collecting apparatus and feature information collecting method |
| US8229169B2 (en) | 2007-03-30 | 2012-07-24 | Aisin Aw Co., Ltd. | Feature information collecting apparatus and feature information collecting method |
| JP2009014518A (en) * | 2007-07-04 | 2009-01-22 | Aisin Aw Co Ltd | Device, method and program for generating road information |
| JP2009048629A (en) * | 2007-08-20 | 2009-03-05 | Delphi Technologies Inc | Detecting method |
| JP2010134535A (en) * | 2008-12-02 | 2010-06-17 | Mitsubishi Electric Corp | Image detection device and image detection method |
| WO2011048718A1 (en) * | 2009-10-20 | 2011-04-28 | パナソニック株式会社 | Sign recognition device and sign recognition method |
| JP2019194900A (en) * | 2012-09-05 | 2019-11-07 | ウェイモ エルエルシー | Construction zone detection using plural information sources |
| WO2014115319A1 (en) * | 2013-01-25 | 2014-07-31 | トヨタ自動車株式会社 | Road environment recognition system |
| CN104937648A (en) * | 2013-01-25 | 2015-09-23 | 丰田自动车株式会社 | Road environment recognition system |
| JP5949955B2 (en) * | 2013-01-25 | 2016-07-13 | トヨタ自動車株式会社 | Road environment recognition system |
| JPWO2014115319A1 (en) * | 2013-01-25 | 2017-01-26 | トヨタ自動車株式会社 | Road environment recognition system |
| US9092695B1 (en) | 2013-03-13 | 2015-07-28 | Google Inc. | High-accuracy real-time road sign detection from images |
| US9092696B2 (en) | 2013-03-26 | 2015-07-28 | Hewlett-Packard Development Company, L.P. | Image sign classifier |
| KR101448504B1 (en) | 2014-07-09 | 2014-10-13 | 한국건설기술연구원 | Method for extracting road sign using MMS |
| JP2018512672A (en) * | 2015-04-01 | 2018-05-17 | バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト | Method and system for automatically recognizing parking zones |
| CN108090411A (en) * | 2016-11-23 | 2018-05-29 | 福特全球技术公司 | Traffic lights detection and classification are carried out using computer vision and deep learning |
| JPWO2019193762A1 (en) * | 2018-04-06 | 2020-09-17 | 三菱電機株式会社 | Guide sign recognition device and guide sign recognition method |
| WO2020026940A1 (en) * | 2018-07-31 | 2020-02-06 | 日本電信電話株式会社 | Driving assistance device and method, and storage medium in which program is stored |
| JPWO2020026940A1 (en) * | 2018-07-31 | 2021-02-15 | 日本電信電話株式会社 | A storage medium that stores driving assistance devices, methods, and programs |
| JP7052872B2 (en) | 2018-07-31 | 2022-04-12 | 日本電信電話株式会社 | Driving assistance devices, methods, and programs |
| CN115050202A (en) * | 2018-12-14 | 2022-09-13 | 伟摩有限责任公司 | Method and device for marking and classifying attributes of traffic signs |
| CN110728212A (en) * | 2019-09-25 | 2020-01-24 | 徐州工程学院 | Road well lid monitoring device and method based on computer vision |
| CN112183554A (en) * | 2020-09-01 | 2021-01-05 | 国交空间信息技术（北京）有限公司 | Automatic road boundary contour extraction method |
| CN112183554B (en) * | 2020-09-01 | 2024-06-07 | 国交空间信息技术（北京）有限公司 | Automatic road boundary contour extraction method |
| CN114370828A (en) * | 2021-12-28 | 2022-04-19 | 中国铁路设计集团有限公司 | Shield tunnel diameter convergence and radial slab staggering detection method based on laser scanning |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4380838B2 (en) | 2009-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000293670A (en) | Method and device for automatically recognizing road sign of video picture and storage medium storing program for automatically recognizing road sign | |
| US11164027B2 (en) | Deep learning based license plate identification method, device, equipment, and storage medium | |
| CN108009543B (en) | License plate recognition method and device | |
| CN106446769B (en) | System and method for marker-based positioning | |
| US10290219B2 (en) | Machine vision-based method and system for aircraft docking guidance and aircraft type identification | |
| US8467596B2 (en) | Method and apparatus for object pose estimation | |
| JP4426436B2 (en) | Vehicle detection device | |
| JP5713790B2 (en) | Image processing apparatus, image processing method, and program | |
| US20120281874A1 (en) | Method, material, and apparatus to improve acquisition of human frontal face images using image template | |
| US11371851B2 (en) | Method and system for determining landmarks in an environment of a vehicle | |
| JP2006507722A (en) | Surface tracking in 3D scenes using natural visual features of the surface | |
| JP2000105829A (en) | Method and device for face parts image detection | |
| JP2008158958A (en) | Road surface determination method and road surface determination device | |
| JP4517003B2 (en) | Automatic road sign recognition system | |
| US11244194B2 (en) | System and method for object recognition using local binarization | |
| JP2019159606A (en) | Lane line recognition system | |
| WO2022237048A1 (en) | Pose acquisition method and apparatus, and electronic device, storage medium and program | |
| JP6107372B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| CN110910445A (en) | Object size detection method and device, detection equipment and storage medium | |
| US9846807B1 (en) | Detecting eye corners | |
| CN114140794A (en) | General image correction method based on OCR | |
| US11275963B2 (en) | Image identification apparatus, image identification method, and non-transitory computer-readable storage medium for storing image identification program | |
| JP6916975B2 (en) | Sign positioning system and program | |
| JP2006344154A (en) | Vehicle discriminating device and method | |
| CN115223173A (en) | Object identification method and device, electronic equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090526 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090723 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090818 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090915 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131002 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |