JP7398257B2 - Road marking recognition device - Google Patents
Road marking recognition device Download PDFInfo
- Publication number
- JP7398257B2 JP7398257B2 JP2019222423A JP2019222423A JP7398257B2 JP 7398257 B2 JP7398257 B2 JP 7398257B2 JP 2019222423 A JP2019222423 A JP 2019222423A JP 2019222423 A JP2019222423 A JP 2019222423A JP 7398257 B2 JP7398257 B2 JP 7398257B2
- Authority
- JP
- Japan
- Prior art keywords
- stop sign
- detected
- lane
- road
- sign
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 36
- 238000003384 imaging method Methods 0.000 claims description 27
- 238000005192 partition Methods 0.000 claims description 26
- 238000000034 method Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、道路標示認識装置に関する。 The present invention relates to a road marking recognition device.
従来、下記特許文献１に開示されている一時停止標識検出装置のようなものが提供されている。特許文献１の装置は、赤色画素抽出部によって、撮像されたカラー画像に基づき、連続する赤色画素を連結して形成される赤色領域を抽出すると共に、抽出された赤色領域のうちの２つの赤色領域の組み合わせ毎に、２つの赤色領域の組み合わせがＴ字型状になっているか否かを判定し、Ｔ字型状になっていると判定された２つの赤色領域の組み合わせを、一時停止標識を表わす領域として検出している。 Conventionally, a stop sign detection device such as that disclosed in Patent Document 1 below has been provided. In the device of Patent Document 1, a red pixel extraction unit extracts a red region formed by connecting consecutive red pixels based on a captured color image, and also extracts two red regions of the extracted red region. For each combination of areas, it is determined whether the combination of two red areas forms a T-shape, and the combination of two red areas determined to form a T-shape is designated as a stop sign. It is detected as an area representing .
上述した一時停止標識検出装置のように、カメラで撮影した画像から、「一時停止標識」を検出する手段として、赤色画素を抽出して判断する方法や、パターンマッチングの方法が多数提供されている。しかしながら、自車線に接続する分岐流入道路に設置された「一時停止標識」を検知した場合に、その標識が、分岐道路に対するものであることを、上記検出手段から判断することが困難な場合がある。 Like the above-mentioned stop sign detection device, there are many methods of extracting and determining red pixels and pattern matching methods for detecting "stop signs" from images taken with cameras. . However, when detecting a "stop sign" installed on a branching road that connects to the own lane, it may be difficult to determine from the above detection means that the sign is for a branching road. be.
そこで本発明は、自車両の前方を撮像して得られた撮像情報に基づいて一時停止標識の存在を検出すると共に、検出された一時停止標識が自車両の走行車線に対する標示であるのか否かを適確に把握可能な道路標示認識装置の提供を目的とした。 Therefore, the present invention detects the presence of a stop sign based on imaging information obtained by imaging the area in front of the vehicle, and determines whether the detected stop sign is a sign for the lane in which the vehicle is traveling. The objective is to provide a road marking recognition device that can accurately understand road markings.
（１）上述した課題を解決すべく提供される本発明の道路標示認識装置は、自車両の前方を撮像して得られた撮像情報を取得する撮像情報取得部と、前記撮像情報取得部において取得された撮像情報から一時停止標識、及び道路上において自車線に沿って延びる区画体を検出する道路情報検出部と、前記道路情報検出部により前記一時停止標識が検出され、かつ検出された前記一時停止標識の位置よりも奥側まで延びる前記区画体が検出されることを条件として、検出された前記一時停止標識を前記自車両の走行車線とは異なる車線に対する標示であると判定する判定部とを備えていることを特徴とするものである。 (1) The road marking recognition device of the present invention provided to solve the above-mentioned problems includes an imaging information acquisition unit that acquires imaging information obtained by imaging the front of the own vehicle; a road information detection unit that detects a stop sign and a partition extending along the own lane on the road from the acquired imaging information; and a road information detection unit that detects the stop sign by the road information detection unit; A determining unit that determines that the detected stop sign is a sign for a lane different from the lane in which the host vehicle is traveling, on the condition that the partition extending to the rear of the position of the stop sign is detected. It is characterized by having the following.
本発明の道路標示認識装置は、撮像情報から一時停止標識を検出するのに加え、道路上において自車線に沿って延びる区画体を検出し、この区画体に関する情報に基づいて、一時停止標識が自車両の走行車線とは異なる車線のものであるのか否かを判定することができる。具体的には、本発明は、一時停止標識が自車線の走行車線に対する標示でない場合には、自車線に沿って延びる区画体が一時停止標識の位置よりも奥側まで延びる可能性が高いとの知見に基づくものである。かかる知見に基づき、本発明の道路標示認識装置は、一時停止標識が検出された場合であっても、検出された一時停止標識の位置よりも奥側まで延びる区画体が検出されることを条件として、検出された一時停止標識を前記自車両の走行車線とは異なる車線に対する標示であると判定することとしている。このような構成によれば、自車両の前方を撮像して得られた撮像情報に基づいて一時停止標識の存在を検出すると共に、検出された一時停止標識が自車両の走行車線とは異なる車線に対する標示であるか否かを適確に判定可能な道路標示認識装置を提供できる。 The road sign recognition device of the present invention not only detects a stop sign from imaged information, but also detects a section extending along the own lane on the road, and detects a stop sign based on information about this section. It can be determined whether the vehicle is in a lane different from the lane in which the own vehicle is traveling. Specifically, the present invention provides that, if the stop sign is not a marking for the own lane, there is a high possibility that the partition extending along the own lane will extend farther than the position of the stop sign. This is based on the knowledge of Based on this knowledge, the road sign recognition device of the present invention has a condition that even when a stop sign is detected, a partition extending to the back side of the position of the detected stop sign is detected. Accordingly, the detected stop sign is determined to be a sign for a lane different from the lane in which the own vehicle is traveling. According to such a configuration, the presence of a stop sign is detected based on imaging information obtained by capturing an image in front of the own vehicle, and the presence of a stop sign is detected if the detected stop sign is in a lane different from the lane in which the own vehicle is traveling. It is possible to provide a road marking recognition device that can accurately determine whether a road marking is a road marking or not.
ここで、上述した知見に基づけば、一時停止標識が検出され、かつ検出された一時停止標識の位置、あるいは検出された一時停止標識の位置よりも手前側において区画体が途切れている場合には、検出された一時停止標識が、自車両の走行車線に対する標示である可能性が高い。 Here, based on the above-mentioned knowledge, if a stop sign is detected and the partition body is interrupted at the position of the detected stop sign or on the near side of the position of the detected stop sign, , there is a high possibility that the detected stop sign is a sign for the lane in which the own vehicle is traveling.
（２）かかる知見に基づけば、上述した道路標示認識装置は、前記判定部が、前記道路情報検出部により前記一時停止標識が検出され、かつ検出された前記一時停止標識の位置、あるいは検出された前記一時停止標識の位置よりも手前側において前記区画体の途切れが検出されることを条件として、前記一時停止標識を前記自車両の走行車線に対する標示であると判定するものであると良い。 (2) Based on this knowledge, in the above-mentioned road sign recognition device, the determination unit detects the stop sign detected by the road information detection unit, and the position of the detected stop sign or the position of the detected stop sign. Preferably, the stop sign is determined to be a marking for the travel lane of the own vehicle on the condition that a break in the partition is detected in front of the position of the stop sign.
かかる構成によれば、検出された一時停止標識が、自車両の走行車線に対する標示であるか否かをさらに精度良く判定することができる。 According to this configuration, it is possible to more accurately determine whether or not the detected stop sign is a sign for the lane in which the own vehicle is traveling.
なお、上述のように、「区画体の途切れ」が検出されることを自車線の一時停止標識であるとの判断条件とする場合には、当該判定条件に加えて、さらに他の判定条件を加味して総合的に判定すれば、さらに判定制度が向上する。具体的には、例えば、中央線が破線である場合等を考慮し、「区画体の途切れ長さが所定値を超えること」を判定条件として加える等しても良い。このようにすることで、検出された一時停止標識が、自車両の走行車線に対する標示であるか否かについての判定精度をより一層向上させることができる。 As mentioned above, if the detection of a "break in the partition" is a condition for determining that it is a stop sign in the own lane, in addition to this determination condition, other determination conditions must also be set. If you take this into consideration and make a comprehensive judgment, the judgment system will be further improved. Specifically, for example, considering the case where the center line is a broken line, "the length of the break in the partition body exceeds a predetermined value" may be added as a determination condition. By doing so, it is possible to further improve the accuracy of determining whether or not the detected stop sign is a marking for the lane in which the own vehicle is traveling.
ここで、一時停止標識と共に設置される道路上の一時停止線を検出し、この一時停止線を指標とすれば、検出された一時停止標識が自車両の走行車線に対する標示であるのか否かの判定精度の向上が期待できる。 Here, by detecting a stop line on the road that is installed along with a stop sign, and using this stop line as an indicator, it can be determined whether the detected stop sign is a marking for the lane in which the own vehicle is traveling. It is expected that the judgment accuracy will improve.
（３）かかる知見に基づけば、上述した道路標示認識装置は、前記道路情報検出部が、一時停止線を検出可能なものであり、前記道路情報検出部により検出された前記一時停止標識に対して隣接する位置に、前記自車両の走行車線に対して沿う方向に延びる前記一時停止線が検出されることを条件として、前記道路情報検出部により検出された前記一時停止標識が検出された前記一時停止標識を前記自車両の走行車線とは異なる車線に対する標示であると判定されるものであると良い。 (3) Based on this knowledge, in the above-mentioned road sign recognition device, the road information detection unit is capable of detecting a stop line, and the road sign recognition unit is capable of detecting a stop sign detected by the road information detection unit. The stop sign detected by the road information detection unit is detected on the condition that the stop line extending in the direction along the driving lane of the host vehicle is detected at a position adjacent to the stop sign detected by the road information detection unit. It is preferable that the stop sign is determined to be a sign for a lane different from the lane in which the host vehicle is traveling.
かかる構成によれば、撮像情報に基づいて検出された一時停止標識が自車両の走行車線とは異なる車線に対する標示であるか否かをより一層適確に判定可能な道路標示認識装置を提供できる。 According to this configuration, it is possible to provide a road sign recognition device that can more accurately determine whether a stop sign detected based on image information is a sign for a lane different from the lane in which the own vehicle is traveling. .
（４）上述した課題を解決すべく提供される車両は、上述した道路認識表示装置による判定結果を報知、及び運転支援のいずれか一方又は双方に用いることを特徴とするものである。 (4) A vehicle provided to solve the above-described problem is characterized in that the determination result by the above-described road recognition display device is used for either or both of notification and driving support.
かかる構成によれば、道路認識表示装置による判定結果の報知や、道路認識表示装置による判定結果を活用した運転支援を適確に行うことができる。 According to this configuration, it is possible to accurately notify the determination result by the road recognition display device and provide driving support using the determination result by the road recognition display device.
本発明によれば、自車両の前方を撮像して得られた撮像情報に基づいて一時停止標識の存在を検出すると共に、検出された一時停止標識が自車両の走行車線に対する標示であるのか否かを適確に判定可能な道路標示認識装置を提供できる。 According to the present invention, the presence of a stop sign is detected based on imaging information obtained by capturing an image in front of the own vehicle, and whether or not the detected stop sign is a marking for the lane in which the own vehicle is traveling is detected. It is possible to provide a road marking recognition device that can accurately determine whether
以下、本発明の一実施形態に係る道路標示認識装置１０、及びこれを搭載した車両Ｖについて図面を参照しつつ詳細に説明する。 Hereinafter, a road marking recognition device 10 according to an embodiment of the present invention and a vehicle V equipped with the same will be described in detail with reference to the drawings.
道路標示認識装置１０は、一般公道等に掲示されている一時停止標識を認識する機能を備えたものである。道路標示認識装置１０は、例えば自動車や二輪車等の車両Ｖに搭載することができる。 The road sign recognition device 10 has a function of recognizing stop signs posted on general public roads and the like. The road marking recognition device 10 can be mounted on a vehicle V such as a car or a two-wheeled vehicle, for example.
図１に示すように、道路標示認識装置１０は、撮像情報取得部２０、道路情報検出部３０、判定部４０、出力部５０を備えている。道路標示認識装置１０は、撮像情報取得部２０において取得した撮像情報を道路情報検出部３０に入力して道路情報を検出可能とされている。また、道路標示認識装置１０は、道路情報検出部３０による出力を判定部４０に入力して判定処理を実行可能とされている。また、道路標示認識装置１０は、出力部５０を介して、判定部４０による判定結果に基づいて道路標示についての認識結果を出力可能とされている。 As shown in FIG. 1, the road marking recognition device 10 includes an imaging information acquisition section 20, a road information detection section 30, a determination section 40, and an output section 50. The road marking recognition device 10 is capable of detecting road information by inputting the imaging information acquired by the imaging information acquisition unit 20 to the road information detection unit 30. Furthermore, the road sign recognition device 10 is capable of inputting the output from the road information detection unit 30 to the determination unit 40 to execute determination processing. Furthermore, the road marking recognition device 10 is capable of outputting the recognition result regarding the road markings based on the determination result by the determination unit 40 via the output unit 50 .
撮像情報取得部２０は、自車両の前方を撮像して得られた撮像情報を取得するものである。撮像情報取得部２０は、自車両の前方を撮像するためのカメラ２２に対して情報伝達可能なように接続されている。撮像情報取得部２０は、カメラ２２に対して有線、無線のいずれによって接続されるものであっても良い。 The imaging information acquisition unit 20 acquires imaging information obtained by imaging the front of the host vehicle. The imaging information acquisition unit 20 is connected to a camera 22 for imaging the front of the own vehicle so as to be able to transmit information. The imaging information acquisition unit 20 may be connected to the camera 22 either by wire or wirelessly.
カメラ２２は、例えばメーカーやディーラーからの出荷時に運転支援等のために車両Ｖに既設のカメラや、ドライブレコーダーが備えているカメラ、メーカーやディーラーからの出荷後に増設されるカメラ等、自車両の前方を撮影できるものとされている。また、カメラ２２は、例えば車両Ｖの前方にあるフロントガラスやフロントグリル、フロントバンパー等に設置されたもの等とすると良い。標識が運転者の視野に入るように設置されていることを鑑みれば、例えばドライブレコーダーが備えているカメラのようにフロントガラス越しに撮像可能なように設置されたものカメラ２２として用いると道路標示の認識精度の向上が期待できる。 The camera 22 may be, for example, a camera already installed in the vehicle V for driving support etc. at the time of shipment from the manufacturer or dealer, a camera equipped with a drive recorder, a camera added after shipment from the manufacturer or dealer, etc. It is said to be able to take pictures of the front. Further, the camera 22 may be installed, for example, on a windshield, a front grill, a front bumper, etc. in front of the vehicle V. Considering that signs are installed so that they are within the driver's field of vision, if a camera 22 that is installed so that it can capture images through the windshield, such as a camera included in a drive recorder, is used as a road marking. It is expected that recognition accuracy will improve.
道路情報検出部３０は、撮像情報取得部２０において取得されたカメラ２２による撮像情報から道路情報を検出する機能を有する部分である。本実施形態では、道路情報検出部３０は、撮像情報取得部２０において取得された撮像情報から、少なくとも、一時停止標識、及び道路上において自車線に沿って延びる区画体を検出することができるものとされている。道路情報検出部３０は、例えばパターンマッチング法や、所定の色彩を有する画素情報を検出する方法（例えば、一時停止標識の赤色や、中央線、車線境界線等の区画線の色等を検出する方法）、ディープラーニング（深層学習）を活用した方法等とすると良い。 The road information detection section 30 is a section that has a function of detecting road information from the imaging information obtained by the camera 22 acquired by the imaging information acquisition section 20. In the present embodiment, the road information detection unit 30 is capable of detecting at least a stop sign and a partition extending along the own lane on the road from the imaging information acquired by the imaging information acquisition unit 20. It is said that The road information detection unit 30 uses, for example, a pattern matching method or a method of detecting pixel information having a predetermined color (for example, detecting the red color of a stop sign, the color of a division line such as a center line, a lane boundary line, etc.). It is best to use a method that utilizes deep learning (method) or deep learning.
判定部４０は、上述したように、道路情報検出部３０による出力を受けて判定処理を実行するものである。判定部４０は、道路情報検出部３０により検出された一時停止標識が、自車両の走行車線に対する標示であるのか、あるいは自車両の走行車線以外の車線に対する標示であるのかを判定するものである。 As described above, the determination unit 40 receives the output from the road information detection unit 30 and executes determination processing. The determining unit 40 determines whether the stop sign detected by the road information detecting unit 30 is a sign for the lane in which the own vehicle is traveling, or a sign for a lane other than the lane in which the own vehicle is traveling. .
具体的には、判定部４０は、道路情報検出部３０により一時停止標識が検出されたときに、例えば、中央線、車線境界線等の道路標示や、路側帯との間に配された縁石等の区画体が、検出された一時停止標識の位置よりも奥側まで延びるものであるか否かを指標として判定を行う。すなわち、判定部４０は、以下の（条件１）及び（条件２）の条件を満足することを条件として、検出された一時停止標識を自車両の走行車線とは異なる車線に対する標示であると判定する。また、判定部４０は、以下の（条件１）及び（条件２）の条件を満足しないことを条件として、検出された一時停止標識を自車両の走行車線に対する標示であると判定する。
（条件１）道路情報検出部３０により一時停止標識が検出されること。
（条件２）道路情報検出部３０により検出された一時停止標識の位置よりも奥側まで延びる区画体（中央線、車線境界線、路側帯等）が検出されること。
Specifically, when the road information detection unit 30 detects a stop sign, the determination unit 40 determines whether the stop sign is detected by the road information detection unit 30, The determination is made based on whether or not the partition body extends to the back side of the detected position of the stop sign. That is, the determination unit 40 determines that the detected stop sign is a sign for a lane different from the lane in which the host vehicle is traveling, provided that the following conditions (Condition 1) and (Condition 2) are satisfied. do. Further, the determining unit 40 determines that the detected stop sign is a sign for the lane in which the host vehicle is traveling, provided that the following conditions (Condition 1) and (Condition 2) are not satisfied.
(Condition 1) A stop sign is detected by the road information detection unit 30.
(Condition 2) A partition (such as a center line, lane boundary line, roadside strip, etc.) that extends further back than the position of the stop sign detected by the road information detection unit 30 is detected.
具体的には、図２（ａ）において符号Ｍで示すように、道路情報検出部３０により一時停止標識が検出されると、上記の（条件１）を満足した状態になる。この状態において、判定部４０は、中央線、車線境界線、路側帯等の区画体がどのような状態で撮像されているかを確認する。図２（ａ）に示す例では、符号Ｐで示すように、中央線が検出される。図２（ａ）の例においては、符号Ｐで示した区画体が、符号Ｍで示した一時停止標識の位置よりも奥側まで延びる区画体（中央線、車線境界線、路側帯等）が検出されているため、上記（条件２）を満足した状態になる。そのため、判定部４０は、検出された一時停止標識を自車両の走行車線とは異なる車線に対する標示であると判定する。 Specifically, as indicated by the symbol M in FIG. 2A, when a stop sign is detected by the road information detection unit 30, the above condition (condition 1) is satisfied. In this state, the determination unit 40 confirms in what state the dividing bodies such as the center line, lane boundary lines, and roadside strips are being imaged. In the example shown in FIG. 2(a), the center line is detected as indicated by the symbol P. In the example of FIG. 2(a), the partition indicated by the symbol P is the section indicated by the symbol M that extends far beyond the position of the stop sign (center line, lane boundary line, roadside strip, etc.). Since it has been detected, the above (condition 2) is satisfied. Therefore, the determining unit 40 determines that the detected stop sign is a sign for a lane different from the lane in which the own vehicle is traveling.
一方、図２（ｂ）に示す例においても、符号Ｍで示すように、道路情報検出部３０により一時停止標識が検出されると、上記の（条件１）を満足した状態になる。図２（ｂ）に示す例では、符号Ｐで示すように、中央線が区画体として検出されているが、区画体が、符号Ｍで示した一時停止標識の近傍（一時停止標識を基準として所定距離分だけ手前側から奥側の範囲内）で途切れている。そのため、図２（ｂ）に示す例においては、上記（条件２）を満足していない。従って、判定部４０は、検出された一時停止標識を自車両の走行車線に対する標示であると判定する。 On the other hand, also in the example shown in FIG. 2(b), when a stop sign is detected by the road information detection unit 30, as indicated by the symbol M, the above-mentioned (condition 1) is satisfied. In the example shown in FIG. 2(b), the center line is detected as a partition as shown by the symbol P, but the partition is located near the stop sign shown by the symbol M (with the stop sign as a reference). (within a predetermined distance from the front side to the back side). Therefore, in the example shown in FIG. 2(b), the above (condition 2) is not satisfied. Therefore, the determining unit 40 determines that the detected stop sign is a sign for the lane in which the host vehicle is traveling.
出力部５０は、判定部４０による判定結果を出力ものである。道路情報検出部３０は、出力部５０自身が表示装置や、音を発生させる装置等の報知装置を備え、判定結果を出力可能なものや、出力部５０から判定部４０による判定結果に基づいて道路標示についての認識結果をデータ出力可能なものとすると良い。出力部５０は、例えば、車両Ｖに搭載されているカーナビゲーションシステムの表示モニタや、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）を利用した表示、音声や振動等による報知、自動ブレーキ等の運転支援等のために、道路標示についての認識結果をデータ出力可能なもの等とすると良い。 The output unit 50 outputs the determination result by the determination unit 40. The road information detection unit 30 may be configured such that the output unit 50 itself is equipped with a display device, a notification device such as a device that generates sound, and is capable of outputting a determination result, or the output unit 50 can output a determination result based on the determination result by the determination unit 40. It is preferable that the recognition results regarding road markings can be output as data. The output unit 50 is, for example, a display monitor of a car navigation system installed in the vehicle V, a display using AR (Augmented Reality), notifications by voice or vibration, driving support such as automatic braking, etc. Therefore, it is preferable that the recognition results regarding road markings be outputted as data.
上述したように、本実施形態の道路標示認識装置１０は、撮像情報から一時停止標識を検出するのに加え、道路上において自車線に沿って延びる区画体を検出し、この区画体に関する情報に基づいて、一時停止標識が自車両の走行車線とは異なる車線のものであるのか否かを判定することができる。なお、本実施形態では、上述したように、（条件１）道路情報検出部３０により一時停止標識が検出されること、及び（条件２）一時停止標識の位置よりも奥側まで延びる区画体が検出されるか否かの２条件によって、一時停止標識が自車両の走行車線とは異なる車線のものであるのか否かを判定することとしているが、その他の条件をさらに付加して判定を行うものとしても良い。 As described above, the road marking recognition device 10 of this embodiment not only detects a stop sign from imaged information, but also detects a partition extending along the own lane on a road, and uses information regarding this partition. Based on this, it can be determined whether the stop sign is for a lane different from the lane in which the own vehicle is traveling. In this embodiment, as described above, (condition 1) a stop sign is detected by the road information detection unit 30, and (condition 2) a partition body extending to the back of the position of the stop sign is It is determined whether a stop sign is in a lane different from the lane in which the vehicle is traveling based on two conditions: whether it is detected or not, but other conditions are also added to make the determination. Good as a thing.
道路標示認識装置１０は、例えば、上記した（条件１）及び（条件２）に加え、下記の（条件３）を判定条件として既定することができる。
（条件３）道路情報検出部３０により検出された一時停止標識の位置、あるいは検出された一時停止標識の位置の近傍において区画体の途切れが検出されること。
For example, in addition to (condition 1) and (condition 2) described above, the road marking recognition device 10 can set the following (condition 3) as a determination condition.
(Condition 3) A break in the partition is detected at the position of the stop sign detected by the road information detection unit 30 or in the vicinity of the position of the detected stop sign.
上記の（条件３）を判定条件として加えた場合、例えば、（条件１）及び（条件２）を満足する場合には、一時停止標識が自車両の走行車線とは異なる車線のものであると判定し、（条件１）及び（条件３）を満足する場合には、一時停止標識が自車両の走行車線に対するものであると判定することが可能である。 When (condition 3) above is added as a judgment condition, for example, when (condition 1) and (condition 2) are satisfied, it is determined that the stop sign is for a lane different from the lane in which the own vehicle is traveling. If (Condition 1) and (Condition 3) are satisfied, it is possible to determine that the stop sign is for the lane in which the host vehicle is traveling.
具体的には、図２（ｂ）に示す例においても、符号Ｍで示すように、道路情報検出部３０により一時停止標識が検出されると、上記の（条件１）を満足した状態になる。図２（ｂ）に示す例では、符号Ｐで示すように、中央線が区画体として検出されているが、区画体が、符号Ｍで示した一時停止標識の近傍（一時停止標識を基準として所定距離分だけ手前側から奥側の範囲内）で途切れていることが検出される。そのため、図２（ｂ）に示す例においては、上記（条件３）を満足した状態になる。従って、判定部４０は、検出された一時停止標識を自車両の走行車線に対する標示であると判定する。このような構成とした場合についても、一時停止標識と区画体との関係に基づき、一時停止標識が自車両の走行車線に対するものであるのか、あるいは他の車線に対するものであるのかを精度良く認識することができる。 Specifically, in the example shown in FIG. 2(b), when a stop sign is detected by the road information detection unit 30, as indicated by the symbol M, the above (condition 1) is satisfied. . In the example shown in FIG. 2(b), the center line is detected as a partition as shown by the symbol P, but the partition is located near the stop sign shown by the symbol M (with the stop sign as a reference). It is detected that there is a break within a predetermined distance (from the front side to the back side). Therefore, in the example shown in FIG. 2(b), the above (condition 3) is satisfied. Therefore, the determining unit 40 determines that the detected stop sign is a sign for the lane in which the host vehicle is traveling. Even with this configuration, it is possible to accurately recognize whether a stop sign is for the lane in which the own vehicle is traveling or for another lane, based on the relationship between the stop sign and the partition. can do.
また、道路標示認識装置１０は、一時停止標識と区画体との関係に基づく判定条件（例えば、上述した（条件１）～（条件３）等）加え、他の条件を判定条件として加えても良い。例えば、一時停止標識と共に設置される道路上の一時停止線を検出し、この一時停止線を自車両の走行車線に対するものであるのか、あるいは他の車線に対するものであるのかの判定の一助として利用することも可能である。 In addition to the judgment conditions based on the relationship between the stop sign and the partition body (for example, (conditions 1) to (condition 3) described above), the road sign recognition device 10 can also add other conditions as judgment conditions. good. For example, a stop line placed along with a stop sign on a road can be detected and used to help determine whether this stop line is for the lane in which the vehicle is traveling or for another lane. It is also possible to do so.
具体的には、道路情報検出部３０が一時停止線を検出可能なものである場合には、以下の（条件４）及び（条件５）のいずれか一方又は双方を判定条件として加えることが可能である。
（条件４）道路情報検出部３０により検出された一時停止標識に対して隣接する位置に、自車両の走行車線に対して沿う方向に延びる一時停止線が検出されること。
（条件５）道路情報検出部３０により検出された一時停止標識に対して隣接する位置に、自車両の走行車線に対して交差する方向に延びる一時停止線が検出されること。
Specifically, if the road information detection unit 30 is capable of detecting a stop line, one or both of the following (Condition 4) and (Condition 5) can be added as a determination condition. It is.
(Condition 4) A stop line extending in a direction along the driving lane of the own vehicle is detected at a position adjacent to the stop sign detected by the road information detection unit 30.
(Condition 5) A stop line extending in a direction intersecting the travel lane of the host vehicle is detected at a position adjacent to the stop sign detected by the road information detection unit 30.
上記（条件４）を判定条件として加えた場合は、この条件を満たすことを条件として、一時停止標識が自車両の走行車線に対するものではなく、他の車線に対するものであると判定することが可能である。また、上記（条件５）を判定条件として加えた場合には、この条件を満たすことを条件として、一時停止標識が自車両の走行車線に対するものであると判定することが可能である。 If the above (condition 4) is added as a judgment condition, it is possible to judge that the stop sign is not for the lane in which the own vehicle is traveling, but for another lane, provided this condition is met. It is. Further, when the above (condition 5) is added as a determination condition, it is possible to determine that the stop sign is for the lane in which the host vehicle is traveling, provided that this condition is satisfied.
なお、一時停止線は、例えばタイヤとの摩耗等によってかすれて消失している場合や、前方車の陰となり画像検出できない場合があると想定される。そのため、上記（条件４）や（条件５）を判定条件として付加する場合には、（条件１）～（条件３）等の条件よりも優先度の低い条件とする等の方策を講じると良い。 It is assumed that the stop line may be blurred and disappear due to tire wear, for example, or it may be in the shadow of the vehicle ahead and cannot be imaged. Therefore, when adding the above (Condition 4) and (Condition 5) as judgment conditions, it is recommended to take measures such as setting them as conditions with lower priority than conditions such as (Condition 1) to (Condition 3). .
本発明は、上述した実施形態や変形例等として示したものに限定されるものではなく、特許請求の範囲を逸脱しない範囲でその教示および精神から他の実施形態があり得る。上述した実施形態の構成要素は任意に選択して組み合わせて構成するとよい。また実施形態の任意の構成要素と、発明を解決するための手段に記載の任意の構成要素または発明を解決するための手段に記載の任意の構成要素を具体化した構成要素とは任意に組み合わせて構成してもよい。これらについても本願の補正または分割出願等において権利取得する意思を有する。 The present invention is not limited to the embodiments and modifications described above, and other embodiments are possible within the scope and spirit of the invention without departing from the scope of the claims. The components of the embodiments described above may be arbitrarily selected and combined. Further, any component of the embodiment and any component described in the means for solving the invention or a component embodying any component described in the means for solving the invention may be arbitrarily combined. It may be configured as follows. The applicant intends to obtain rights to these matters through amendments to the application or divisional applications.
本発明の道路標示認識装置は、例えば自動車や二輪車等の車両等において好適に利用可能である。 The road sign recognition device of the present invention can be suitably used, for example, in vehicles such as automobiles and motorcycles.
１０：道路標示認識装置
２０：撮像情報取得部
２２：カメラ
３０：道路情報検出部
４０：判定部
５０：出力部
Ｖ ：車両
Ｍ ：一時停止標識
Ｐ ：区画体
10: Road marking recognition device 20: Imaging information acquisition section 22: Camera 30: Road information detection section 40: Judgment section 50: Output section V: Vehicle M: Stop sign P: Partition body
Claims (1)
前記撮像情報取得部において取得された撮像情報から一時停止標識、及び道路上において自車線に沿って延びる区画体を検出する道路情報検出部と、
前記道路情報検出部により前記一時停止標識が検出され、かつ検出された前記一時停止標識の位置よりも奥側まで延びる前記区画体が検出されることを条件として、検出された前記一時停止標識を前記自車両の走行車線とは異なる車線に対する標示であると判定する判定部とを備えており、
前記判定部が、前記道路情報検出部により前記一時停止標識が検出され、かつ検出された前記一時停止標識の位置、あるいは検出された前記一時停止標識の位置の近傍において前記区画体の途切れが検出されることを条件として、前記一時停止標識を前記自車両の走行車線に対する標示であると判定するものであることを特徴とする道路標示認識装置。 an imaging information acquisition unit that acquires imaging information obtained by imaging the front of the own vehicle;
a road information detection unit that detects a stop sign and a partition extending along the own lane on the road from the imaging information acquired by the imaging information acquisition unit;
Under the condition that the stop sign is detected by the road information detection unit and the partition body that extends to the back side from the position of the detected stop sign is detected, the detected stop sign is detected. a determination unit that determines that the marking is for a lane different from the lane in which the own vehicle is traveling ;
The determination unit detects the stop sign by the road information detection unit and detects a break in the partition at the position of the detected stop sign or in the vicinity of the detected position of the stop sign. A road marking recognition device characterized in that the road marking recognition device determines that the stop sign is a marking for the lane in which the own vehicle is traveling, on the condition that the stop sign is a marking for the lane in which the host vehicle is traveling.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019222423A JP7398257B2 (en) | 2019-12-09 | 2019-12-09 | Road marking recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019222423A JP7398257B2 (en) | 2019-12-09 | 2019-12-09 | Road marking recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021092928A JP2021092928A (en) | 2021-06-17 |
| JP7398257B2 true JP7398257B2 (en) | 2023-12-14 |
Family
ID=76313296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019222423A Active JP7398257B2 (en) | 2019-12-09 | 2019-12-09 | Road marking recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7398257B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022185322A (en) | 2021-06-02 | 2022-12-14 | 株式会社ジャパンディスプレイ | Electronic device and manufacturing method thereof |
| JP2023077280A (en) * | 2021-11-24 | 2023-06-05 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016095739A (en) | 2014-11-17 | 2016-05-26 | 本田技研工業株式会社 | Marker information display system and marker information display method |
| JP2017102665A (en) | 2015-12-01 | 2017-06-08 | 株式会社デンソー | Driving support device |
| JP2019146012A (en) | 2018-02-20 | 2019-08-29 | 日立オートモティブシステムズ株式会社 | Imaging apparatus |
| CN110388928A (en) | 2018-04-20 | 2019-10-29 | 比亚迪股份有限公司 | Navigation system and the update method of navigation map, device |
-
2019
- 2019-12-09 JP JP2019222423A patent/JP7398257B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016095739A (en) | 2014-11-17 | 2016-05-26 | 本田技研工業株式会社 | Marker information display system and marker information display method |
| JP2017102665A (en) | 2015-12-01 | 2017-06-08 | 株式会社デンソー | Driving support device |
| JP2019146012A (en) | 2018-02-20 | 2019-08-29 | 日立オートモティブシステムズ株式会社 | Imaging apparatus |
| CN110388928A (en) | 2018-04-20 | 2019-10-29 | 比亚迪股份有限公司 | Navigation system and the update method of navigation map, device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021092928A (en) | 2021-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9013578B2 (en) | Video image presentation system | |
| JP5070809B2 (en) | Driving support device, driving support method, and program | |
| JP6384182B2 (en) | Method and apparatus for detecting linear indicating sign on road | |
| KR101680023B1 (en) | Method for combining a road sign recognition system and lane detection system of a motor vehicle | |
| US8605949B2 (en) | Vehicle-based imaging system function diagnosis and validation | |
| JP2008168811A (en) | Traffic lane recognition device, vehicle, traffic lane recognition method, and traffic lane recognition program | |
| JP6129268B2 (en) | Vehicle driving support system and driving support method | |
| JP7398257B2 (en) | Road marking recognition device | |
| JP2010044561A (en) | Monitoring device to be mounted on vehicle | |
| JP2018097431A (en) | Driving support apparatus, driving support system and driving support method | |
| JP4951481B2 (en) | Road marking recognition device | |
| JP2007257301A (en) | Sign recognition system for vehicle | |
| JP4826355B2 (en) | Vehicle surrounding display device | |
| JP2008059178A (en) | Operation support device and program | |
| JP5097681B2 (en) | Feature position recognition device | |
| JP2021056575A (en) | Vehicle drive support system | |
| JP2002321579A (en) | Warning information generating method and vehicle side image generating device | |
| JP5012522B2 (en) | Roadside boundary surface detection device | |
| JP2007183846A (en) | Sign recognition apparatus for vehicle, and vehicle controller | |
| KR20160133257A (en) | Avoiding Collision Systemn using Blackbox Rear Camera for vehicle and Method thereof | |
| JP2011103058A (en) | Erroneous recognition prevention device | |
| JP2008134877A (en) | Perimeter monitoring device | |
| JP2004252550A (en) | Driving support device | |
| JP2017134441A (en) | Reverse run determination system | |
| JP5957182B2 (en) | Road surface pattern recognition method and vehicle information recording apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221104 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231101 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231204 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7398257 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |