JP5957315B2 - In-vehicle lane recognition system - Google Patents
In-vehicle lane recognition system Download PDFInfo
- Publication number
- JP5957315B2 JP5957315B2 JP2012149864A JP2012149864A JP5957315B2 JP 5957315 B2 JP5957315 B2 JP 5957315B2 JP 2012149864 A JP2012149864 A JP 2012149864A JP 2012149864 A JP2012149864 A JP 2012149864A JP 5957315 B2 JP5957315 B2 JP 5957315B2
- Authority
- JP
- Japan
- Prior art keywords
- lane
- line
- vehicle
- feature points
- recognition device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 47
- 238000000605 extraction Methods 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 30
- 238000004458 analytical method Methods 0.000 claims description 29
- 230000000737 periodic effect Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 5
- 230000004044 response Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、車両に搭載され、車両が走行している車線を認識する装置に関する。 The present invention relates to an apparatus that is mounted on a vehicle and recognizes a lane in which the vehicle is traveling.
従来、車両に搭載され、カメラにより撮影して得られた画像から、車線を区分するために路面に描かれた白線（車線区画線）を検出することにより、車両が走行している車線を認識する装置が提案されている。このような装置に関して、撮影画像から白線に相当するエッジ点を抽出し、このエッジ点の計測数の時系列的な分散値が閾値以下であるか否かにより、白線が実線であるか破線であるかを判定する技術が知られている（特許文献１）。 Conventionally, the lane in which the vehicle is traveling is recognized by detecting the white line (lane line) drawn on the road surface to distinguish the lane from the image that is mounted on the vehicle and captured by the camera. An apparatus has been proposed. With respect to such an apparatus, an edge point corresponding to a white line is extracted from the photographed image, and the white line is a solid line or a broken line depending on whether or not the time-series variance value of the number of measurements of the edge point is equal to or less than a threshold value. A technique for determining whether or not there is known (Patent Document 1).
白線が実線であっても、たとえば白線が所々で部分的に薄くなっている場合や、白線が途中で途切れている場合などにおいては、抽出されるエッジ点の数が一定とはならない。このような場合、特許文献１に記載の技術では、白線が実線であるにも関わらず破線であると誤判定されてしまうことがある。また、たとえば撮影画像が全体的に暗くコントラストが低いため、エッジ点の抽出が困難な場合などにおいては、路面の微妙なコントラスト変化等によるノイズがエッジ点として抽出されてしまうことがある。このような場合、特許文献１に記載の技術では、実際には存在しない破線の白線が誤検出されてしまうことがある。このように従来の技術では、路面に破線で描かれた車線区画線を正しく検出することができない。 Even if the white line is a solid line, the number of edge points to be extracted is not constant, for example, when the white line is partially thin in some places or when the white line is interrupted. In such a case, the technique described in Patent Document 1 may erroneously determine that the white line is a broken line even though the white line is a solid line. In addition, for example, when it is difficult to extract an edge point because the captured image is generally dark and the contrast is low, noise due to a slight change in contrast on the road surface may be extracted as the edge point. In such a case, with the technique described in Patent Document 1, a broken white line that does not actually exist may be erroneously detected. As described above, the conventional technology cannot correctly detect the lane markings drawn with broken lines on the road surface.
本発明による車載用車線認識装置は、車両の周囲の路面を撮影して撮影画像を取得する撮影装置と、撮影装置により時系列的に取得された複数の撮影画像から、路面上で車両の走行車線の左右いずれか少なくとも一方に描かれた車線区画線に対応する複数の特徴点をそれぞれ抽出する特徴点抽出部と、特徴点抽出部により各撮影画像から抽出された特徴点の数の周期性を解析し、特徴点の数の変化に周期性があるか否かを判断する周期性解析部と、周期性解析部により特徴点の数の変化に周期性があると判断された場合、車線区画線を破線として検出する車線区画線検出部とを備え、周期性解析部は、検出された車線区画線上の特徴点の数の変化を周波数軸上で表した周波数波形に基づいて、特徴点の数の周期性を解析する。 An in-vehicle lane recognition device according to the present invention includes a photographing device that photographs a road surface around a vehicle and obtains a photographed image, and a plurality of photographed images acquired in time series by the photographing device, and the vehicle travels on the road surface. A feature point extraction unit that extracts a plurality of feature points corresponding to lane markings drawn on at least one of the left and right sides of the lane, and a periodicity of the number of feature points extracted from each captured image by the feature point extraction unit A periodicity analysis unit that determines whether or not the change in the number of feature points is periodic, and the lane when the change in the number of feature points is determined to be periodic by the periodicity analysis unit A lane line detection unit that detects a lane line as a broken line , and the periodicity analysis unit, based on a frequency waveform that represents a change in the number of feature points on the detected lane line on the frequency axis, Analyze the periodicity of the number of .
本発明によれば、路面に破線で描かれた車線区画線を正しく検出することができる。 According to the present invention, it is possible to correctly detect a lane marking drawn with a broken line on the road surface.
図１は、本発明の一実施形態による車載用車線認識装置１００の構成を示すブロック図である。図１に示す車載用車線認識装置１００は、車両に搭載されて使用されるものであり、取り付けられたカメラ１と、制御部２と、警報出力部３と、動作状態報知部４と、を備える。 FIG. 1 is a block diagram showing a configuration of an in-vehicle lane recognition device 100 according to an embodiment of the present invention. An in-vehicle lane recognition device 100 shown in FIG. 1 is used by being mounted on a vehicle, and includes an attached camera 1, a control unit 2, an alarm output unit 3, and an operation state notification unit 4. Prepare.
カメラ１は、車両の後方に向けて設置されており、車両後方の路面を含む撮影領域内の画像を所定の時間間隔ごとに撮影する。このカメラ１には、たとえばＣＣＤやＣＭＯＳなどの撮像素子が用いられる。カメラ１により取得された撮影画像は、カメラ１から制御部２へ出力される。 The camera 1 is installed toward the rear of the vehicle, and images an image in an imaging region including a road surface behind the vehicle at predetermined time intervals. For this camera 1, for example, an image sensor such as a CCD or a CMOS is used. A captured image acquired by the camera 1 is output from the camera 1 to the control unit 2.
図２は、カメラ１の撮影領域を示す図であり、カメラ１を横方向から見た様子を示している。カメラ１は、この撮影領域において、車両後方の路面を含む画像を撮影する。ここで、カメラ１の撮影領域（画角）は、車両後方の路面を左右方向について十分に広い範囲で撮影できるように比較的広く設定されている。 FIG. 2 is a diagram showing a shooting area of the camera 1 and shows the camera 1 viewed from the lateral direction. The camera 1 captures an image including a road surface behind the vehicle in this imaging region. Here, the imaging region (angle of view) of the camera 1 is set relatively wide so that the road surface behind the vehicle can be imaged in a sufficiently wide range in the left-right direction.
図３は、カメラ１の取り付け位置の例を示す図である。自車両の後方部分において、車体２０にはナンバープレート２１が設置されている。このナンバープレート２１の直上の位置に、斜め下に向けてカメラ１が取り付けられている。なお、ここで示した取り付け位置はあくまで一例であるため、他の位置にカメラ１を取り付けてもよい。車両後方の路面を適切な範囲で撮影可能な限り、カメラ１の取り付け位置をどのように定めてもよい。 FIG. 3 is a diagram illustrating an example of the attachment position of the camera 1. A number plate 21 is installed on the vehicle body 20 at the rear portion of the host vehicle. The camera 1 is attached at a position directly above the number plate 21 so as to face obliquely downward. In addition, since the attachment position shown here is an example to the last, you may attach the camera 1 to another position. As long as the road surface behind the vehicle can be photographed within an appropriate range, the attachment position of the camera 1 may be determined in any manner.
制御部２は、カメラ１からの撮影画像を用いて所定の画像処理を行い、その処理結果に応じた各種制御を行う。この制御部２が行う制御により、車載用車線認識装置１００において、たとえば、ＬＤＷ（Lane Departure Warning）、と呼ばれる機能が実現される。ＬＤＷは、撮影画像から路面の白線（車線区画線）を検出することにより、自車両が走行中の車線から逸脱しそうなときに警報を出力する機能である。 The control unit 2 performs predetermined image processing using the captured image from the camera 1 and performs various controls according to the processing result. By the control performed by the control unit 2, for example, a function called LDW (Lane Departure Warning) is realized in the in-vehicle lane recognition device 100. The LDW is a function that outputs a warning when the host vehicle is likely to deviate from the traveling lane by detecting a white line (lane marking) on the road surface from the captured image.
警報出力部３は、警報ランプや警報ブザー等による警報を車両の運転者に対して出力するための部分である。この警報出力部３の動作は、制御部２によって制御される。たとえば、前述のＬＤＷにおいて自車両が走行中の車線から逸脱しそうと判断された場合や、ＢＳＷにおいて自車両と衝突する可能性のある車両が検出された場合に、制御部２の制御に応じて警報出力部３から警報が出力される。 The alarm output unit 3 is a part for outputting an alarm by an alarm lamp, an alarm buzzer or the like to the driver of the vehicle. The operation of the alarm output unit 3 is controlled by the control unit 2. For example, when it is determined in the aforementioned LDW that the host vehicle is about to depart from the lane in which the vehicle is traveling, or when a vehicle that may collide with the host vehicle is detected in the BSW, according to the control of the control unit 2 An alarm is output from the alarm output unit 3.
動作状態報知部４は、車載用車線認識装置１００の動作状態を車両の運転者に報知するための部分である。たとえば、所定の動作条件が満たされておらずに車載用車線認識装置１００が非動作状態にある場合、制御部２の制御により、動作状態報知部４として車両の運転席付近に設置されたランプを点灯させる。これにより、車載用車線認識装置１００が非動作状態であることを運転者に報知する。 The operation state notification unit 4 is a part for notifying the driver of the vehicle of the operation state of the in-vehicle lane recognition device 100. For example, when the in-vehicle lane recognition device 100 is in a non-operating state without satisfying a predetermined operating condition, a lamp installed near the driver's seat of the vehicle as the operating state notifying unit 4 under the control of the control unit 2 Lights up. This notifies the driver that the in-vehicle lane recognition device 100 is in a non-operating state.
次に、車載用車線認識装置１００において行われる車線区画線の種別判断について説明する。車載用車線認識装置１００は、前述のＬＤＷにおいて撮影画像から路面の白線（車線区画線）を検出する際に、その車線区画線が破線と実線のどちらであるかを判断し、その判断結果に応じた制御を行う。たとえば、車線区画線が破線であると判断した場合は、その破線間に対する車線区画線の検出を抑制したり、破線間で自車両が走行車線から逸脱しそうな状態にあるときでも確実に警報を出力できるようにしたりする。これにより、実線に比べて検出が困難な破線を用いた車線区画線が路面に描かれている場合であっても、ＬＤＷを安定して利用できるようにする。 Next, the lane line classification determination performed in the in-vehicle lane recognition device 100 will be described. The on-vehicle lane recognition device 100 determines whether the lane line is a broken line or a solid line when detecting the white line (lane line) on the road surface from the captured image in the LDW described above. Perform the appropriate control. For example, if it is determined that the lane marking is a broken line, the detection of the lane marking between the broken lines is suppressed, or even when the vehicle is likely to deviate from the traveling lane between the broken lines, a warning is surely issued. To be able to output. This makes it possible to stably use the LDW even when a lane marking using a broken line that is difficult to detect compared to a solid line is drawn on the road surface.
なお、上記の判断において用いられる白線（車線区画線）とは、車線を区分するために路面に描かれた標示線であり、道路車線境界線、車道中央線、車道外側線等が該当する。これは白色に限らず、黄色等の他の色で描かれる場合もある。また、道路上に円形や他の形状の道路鋲（ボッツドッツ）を所定間隔で設置したものが車線区画線として用いられる場合もある。以下の説明では、これらをまとめて車線区画線と総称する。 The white line (lane line) used in the above determination is a marking line drawn on the road surface to divide the lane, and corresponds to a road lane boundary line, a road center line, a road outer line, and the like. This is not limited to white, but may be drawn in other colors such as yellow. Moreover, what installed the circular or other shape road fence (Bottsdots) on the road at predetermined intervals may be used as a lane marking. In the following description, these are collectively referred to as lane markings.
図４は、車線区画線の種別判断に関する制御部２の制御ブロック図である。制御部２は、車線区画線の種別判断に関して、特徴点抽出部２０１、車線区画線検出部２０２、周期性解析部２０３、信頼度算出部２０４、車線逸脱検出部２０５および警報制御部２０６の各制御ブロックを有する。制御部２では、たとえば、これらの各制御ブロックに対応してメモリに記録されているプログラムをマイクロコンピュータで実行することにより、図４の各制御ブロックを実現している。 FIG. 4 is a control block diagram of the control unit 2 regarding the type determination of the lane line. The control unit 2 relates to the type determination of the lane line, each of the feature point extraction unit 201, the lane line detection unit 202, the periodicity analysis unit 203, the reliability calculation unit 204, the lane departure detection unit 205, and the alarm control unit 206. Has a control block. In the control unit 2, for example, each control block of FIG. 4 is realized by executing a program recorded in the memory corresponding to each of these control blocks with a microcomputer.
特徴点抽出部２０１は、カメラ１により時系列的に取得された複数の撮影画像から、路面上で自車両の走行車線の左右に描かれた車線区画線に対応する特徴点をそれぞれ抽出する。車線区画線検出部２０２は、特徴点抽出部２０１により各撮影画像から抽出された特徴点が、多く並ぶ直線を車線区画線の候補として検出し、その車線区画線が破線と実線のどちらであるかを判断する。具体的には、特徴点が線上に並ぶ直線の中から左右車線区画線の平行性や、時系列の横位置の変化、特徴点の数などから最終的な線を選択する。周期性解析部２０３は、その最終的に選択された線上に並ぶ特徴点の数の周期性を解析する。信頼度算出部２０４は、車線区画線検出部２０２による車線区画線の検出結果に対して、特徴点抽出部２０１により抽出された特徴点の数、及び周期性解析部２０３により解析された周期性の有無に基づく信頼度を算出する。 The feature point extraction unit 201 extracts feature points corresponding to lane markings drawn on the left and right of the traveling lane of the host vehicle from a plurality of photographed images acquired in time series by the camera 1. The lane line detection unit 202 detects a straight line in which many feature points extracted from each captured image by the feature point extraction unit 201 are arranged as lane line candidates, and the lane line is either a broken line or a solid line. Determine whether. Specifically, the final line is selected from the straight lines in which the feature points are arranged on the line based on the parallelism of the left and right lane markings, the time-series lateral position change, the number of feature points, and the like. The periodicity analysis unit 203 analyzes the periodicity of the number of feature points arranged on the finally selected line. The reliability calculation unit 204 determines the number of feature points extracted by the feature point extraction unit 201 and the periodicity analyzed by the periodicity analysis unit 203 with respect to the detection result of the lane line by the lane line detection unit 202. The reliability based on the presence or absence of is calculated.
周期性解析に渡す結果は、ノイズ要因を削除した後のデータであった方が望ましく、例えば、レンズに汚れが付着し、常に同一の場所で白線特徴点が存在するような場合には、このような既知のノイズ成分は除去したうえで、白線候補を選択し、その白線候補上のノイズ成分は除去した上で特徴点の数を調べ、これを周期性解析にかけることで、周期解析の安定化を図る。 The result passed to the periodicity analysis is preferably data after removing the noise factor.For example, if the lens is contaminated and white line feature points always exist in the same place, this After removing the known noise components, select the white line candidate, remove the noise component on the white line candidate, check the number of feature points, and apply this to the periodic analysis. Stabilize.
車線逸脱検出部２０５は、車線区画線検出部２０２により検出された車線区画線を基に自車両の走行車線を認識し、この走行車線から自車両が逸脱しそうであるか否かを判断することにより、自車両の逸脱走行状態を検出する。自車両の逸脱走行状態を検出したら、警報制御部２０６に対して警報出力の指示を行う。警報制御部２０６は、車線逸脱検出部２０５からの指示に応じて、警報出力部３へ警報出力信号を出力する。この警報出力信号の出力により、警報出力部３から運転者に対して警報が出力される。以上説明したような車線逸脱検出部２０５および警報制御部２０６の動作により、車載用車線認識装置１００においてＬＤＷが実現される。 The lane departure detection unit 205 recognizes the traveling lane of the host vehicle based on the lane marking detected by the lane marking detection unit 202, and determines whether the host vehicle is likely to deviate from the traveling lane. Thus, the deviation running state of the host vehicle is detected. When the departure running state of the host vehicle is detected, an alarm output instruction is issued to the alarm control unit 206. The warning control unit 206 outputs a warning output signal to the warning output unit 3 in response to an instruction from the lane departure detection unit 205. In response to the output of the alarm output signal, an alarm is output from the alarm output unit 3 to the driver. LDW is realized in the in-vehicle lane recognition device 100 by the operations of the lane departure detection unit 205 and the alarm control unit 206 as described above.
なお、警報制御部２０６は、車線逸脱検出部２０５から警報出力の指示が行われると、信頼度算出部２０４により算出された信頼度に基づいて、警報出力信号を出力すべきか否かを判断する。そして、警報出力信号を出力すべきではないと判断した場合は、警報出力部３に対して警報出力信号を出力しないようにする。その結果、車線逸脱検出部２０５から警報出力の指示が行われても、警報制御部２０６から警報出力部３に警報出力信号は出力されない。これにより、車線区画線の検出結果に対する信頼度が十分でないときには、警報出力部３による警報出力が抑制されるようにする。 The warning control unit 206 determines whether or not to output a warning output signal based on the reliability calculated by the reliability calculation unit 204 when a warning output instruction is given from the lane departure detection unit 205. . If it is determined that the alarm output signal should not be output, the alarm output signal is not output to the alarm output unit 3. As a result, even if a warning output instruction is issued from the lane departure detection unit 205, a warning output signal is not output from the warning control unit 206 to the warning output unit 3. Thereby, when the reliability with respect to the detection result of a lane marking is not enough, the warning output by the warning output part 3 is suppressed.
図５は、以上説明した車線区画線の種別判断で実行される処理のフローチャートである。このフローチャートに示す処理は、ＬＤＷの実行中に、制御部２において行われる。 FIG. 5 is a flowchart of processing executed in the above-described lane line classification determination. The processing shown in this flowchart is performed by the control unit 2 during execution of the LDW.
ステップＳ１０において、制御部２は、カメラ１を用いて、自車両の周囲の路面を含む所定の撮影領域内を撮影し、撮影画像を取得する。この撮影画像は、カメラ１から制御部２へ出力され、以降の処理において利用される。 In step S <b> 10, the control unit 2 uses the camera 1 to take an image of a predetermined imaging area including a road surface around the host vehicle, and obtain a captured image. This captured image is output from the camera 1 to the control unit 2 and used in the subsequent processing.
ステップＳ２０において、制御部２は、ステップＳ１０で取得した撮影画像から、車線区画線に対応する特徴点を抽出する。ここでは、特徴点抽出部２０１により、撮影画像内の所定部分に抽出領域を設定し、その抽出領域内で輝度変化が所定のしきい値以上であるエッジ点を特徴点として抽出する。 In step S20, the control unit 2 extracts feature points corresponding to the lane markings from the captured image acquired in step S10. Here, the feature point extraction unit 201 sets an extraction region at a predetermined portion in the photographed image, and extracts an edge point whose luminance change is equal to or greater than a predetermined threshold in the extraction region as a feature point.
図６は、撮影画像から特徴点を抽出する例を示す図である。図６に示す撮影画像３０は、路面が撮影されている路面画像領域３２と、背景画像領域３３とに分けられている。ステップＳ２０では、この撮影画像３０に対して、図６に示すように、自車両の右側の車線区画線の内側に対応する抽出領域３４と、自車両の左側の車線区画線の内側に対応する抽出領域３５とを設定する。そして、これらの抽出領域３４、３５の中で隣接する各画素の輝度をそれぞれ比較することでエッジ点を検出し、特徴点３６として抽出する。これにより、左右の車線区画線の内側の輪郭線に沿って、特徴点３６がそれぞれ複数ずつ抽出される。 FIG. 6 is a diagram illustrating an example of extracting feature points from a captured image. The captured image 30 shown in FIG. 6 is divided into a road surface image area 32 where a road surface is captured and a background image area 33. In step S20, as shown in FIG. 6, the extracted image 34 corresponding to the inside of the lane marking on the right side of the host vehicle and the inside of the lane marking on the left side of the host vehicle are corresponded to the captured image 30. An extraction area 35 is set. Then, edge points are detected by comparing the brightness of adjacent pixels in these extraction regions 34 and 35 and extracted as feature points 36. Thereby, a plurality of feature points 36 are extracted along the inner contour lines of the left and right lane markings.
ステップＳ３０において、制御部２は、車線区画線検出部２０２により、ステップＳ２０で抽出した特徴点に基づいて車線区画線を検出する。たとえば、左右の抽出領域３４、３５からそれぞれ抽出された各特徴点の配列状態に応じて、左右に複数の直線をそれぞれ設定し、その中で最も多くの特徴点を通る直線を左右それぞれ１つずつ特定する。こうして特定した左右一対の直線をそれぞれ車線区画線として認識することで、自車両の走行車線の左右に車線区画線を検出することができる。なお、これ以外の方法により、特徴点から車線区画線を検出してもよい。 In step S30, the control part 2 detects a lane line based on the feature point extracted by step S20 by the lane line detection part 202. FIG. For example, a plurality of straight lines are set on the left and right according to the arrangement state of the feature points extracted from the left and right extraction regions 34 and 35, respectively, and one straight line that passes through the most feature points is left and right. Identify one by one. By recognizing the pair of left and right straight lines thus identified as lane markings, it is possible to detect lane markings on the left and right of the traveling lane of the host vehicle. In addition, you may detect a lane marking from a feature point by methods other than this.
以上説明したステップＳ２０およびステップＳ３０の処理を実行することで、カメラ１により取得された撮影画像から、路面上で自車両の走行車線の左右に描かれた車線区画線をそれぞれ検出することができる。なお、走行車線の左側または右側のいずれか一方のみに車線区画線が描かれている場合、車線区画線が描かれていない側については特徴点が抽出されないため、車線区画線は検出されない。 By executing the processing of step S20 and step S30 described above, the lane markings drawn on the left and right of the traveling lane of the host vehicle can be detected from the captured image acquired by the camera 1 respectively. . When the lane marking is drawn only on either the left side or the right side of the traveling lane, no feature point is extracted for the side on which the lane marking is not drawn, and therefore no lane marking is detected.
ステップＳ４０において、制御部２は、ステップＳ２０で抽出した特徴点数のデータを用いて、不図示のメモリ等に記録されている特徴点数の履歴データを更新する。ここで更新される特徴点数の履歴データには、カメラ１により時系列的に取得された各撮影画像の特徴点数のデータが、左右の車線区画線についてそれぞれ記録されている。これにより、撮影画像から特徴点が抽出される度に、その特徴点数のデータが新たに記録され、特徴点数の履歴データが更新される。 In step S40, the control unit 2 uses the feature point data extracted in step S20 to update the feature point history data recorded in a memory (not shown) or the like. In the history data of the number of feature points updated here, data of the number of feature points of each captured image acquired in time series by the camera 1 is recorded for each of the left and right lane markings. Thus, each time feature points are extracted from the captured image, the data of the number of feature points is newly recorded, and the history data of the number of feature points is updated.
ステップＳ５０において、制御部２は、所定数以上の撮影画像から特徴点を抽出したか否かを判定する。所定数以上の撮影画像から特徴点を抽出した場合、すなわち、図５の処理を開始してからの撮影画像の取得枚数が所定数以上であり、その各撮影画像からそれぞれ抽出された特徴点数の履歴データが記録されている場合は、ステップＳ６０へ進む。一方、所定数以上の撮影画像から特徴点を抽出していない場合、すなわち、図５の処理を開始してからの撮影画像の取得枚数が所定数未満である場合は、ステップＳ１０へ戻る。この場合、所定数以上の撮影画像から特徴点を抽出し終えるまで、前述のステップＳ１０〜Ｓ４０の処理が繰り返される。これにより、カメラ１で時系列的に取得された複数の撮影画像から車線区画線に対応する複数の特徴点がそれぞれ抽出され、その特徴点数の履歴デーが記録される。 In step S50, the control unit 2 determines whether or not feature points have been extracted from a predetermined number or more of captured images. When feature points are extracted from a predetermined number of photographed images, that is, the number of photographed images acquired after the start of the process of FIG. 5 is equal to or greater than a predetermined number, and the number of feature points extracted from each of the photographed images. If history data is recorded, the process proceeds to step S60. On the other hand, if feature points have not been extracted from a predetermined number or more of photographed images, that is, if the number of photographed images acquired after starting the processing of FIG. 5 is less than the predetermined number, the process returns to step S10. In this case, the processes of steps S10 to S40 described above are repeated until feature points are extracted from a predetermined number or more of the captured images. Thereby, a plurality of feature points corresponding to the lane markings are respectively extracted from a plurality of captured images acquired in time series by the camera 1, and history data of the number of feature points is recorded.
ステップＳ６０において、制御部２は、周期性解析部２０３により、これまでに記録された特徴点数の履歴データに対して高速フーリエ変換を行う。この高速フーリエ変換により、左右の車線区画線の各々について、特徴点数の時系列データとして時間軸上で表されている特徴点数の変化の様子を、周波数軸上で表した周波数波形にそれぞれ変換することができる。なお、高速フーリエ変換は、周知のアルゴリズム等を用いた処理により実行することができる。 In step S <b> 60, the control unit 2 causes the periodicity analysis unit 203 to perform fast Fourier transform on the history data of the number of feature points recorded so far. With this fast Fourier transform, the change in the number of feature points represented on the time axis as time-series data of the number of feature points for each of the left and right lane markings is converted into a frequency waveform represented on the frequency axis. be able to. The fast Fourier transform can be executed by processing using a known algorithm or the like.
ステップＳ７０において、制御部２は、周期性解析部２０３により、ステップＳ６０で下記の高速フーリエ変換を行うことで元の時系列データから変換された特徴点数の周波数波形に基づいて、特徴点数の周期性を解析する。 In step S70, the control unit 2 uses the periodicity analysis unit 203 to perform the following fast Fourier transform in step S60, and based on the frequency waveform of the number of feature points converted from the original time series data, the period of the feature points Analyze sex.
直線上の白線特徴点数の過去データ保持フレーム最大数：N
直線上の白線特徴点数の過去データ：x(n) (n=0,1,2,...,N-1)
離散フーリエ変換：X(k) (k=0,1,2,...,N-1)
Maximum number of past data retention frames for white line feature points on a straight line: N
Past data of the number of white line feature points on a straight line: x (n) (n = 0,1,2, ..., N-1)
Discrete Fourier transform: X (k) (k = 0,1,2, ..., N-1)
ここでは、以下に説明するような方法を用いて特徴点数の周波数波形から周期性の有無を判断することで、撮影画像から抽出された特徴点数の変化に対して周期性の解析を行う。 Here, the periodicity is analyzed for the change in the number of feature points extracted from the captured image by determining the presence or absence of periodicity from the frequency waveform of the number of feature points using the method described below.
図７は、特徴点数の周波数波形から周期性の有無を判断する方法の説明図である。周期性解析部２０３は、図７（ａ）、（ｂ）、（ｃ）にそれぞれ示すような３種類の判断方法を用いて、特徴点数の変化に対する周期性の有無を判断することができる。 FIG. 7 is an explanatory diagram of a method for determining the presence or absence of periodicity from the frequency waveform of the number of feature points. The periodicity analysis unit 203 can determine the presence or absence of periodicity with respect to changes in the number of feature points using three types of determination methods as shown in FIGS. 7A, 7B and 7C, respectively.
図７（ａ）は、特徴点数の周波数波形における２つのピーク周波数同士を比較することで周期性の有無を判断する方法の説明図である。たとえば図７（ａ）に示すように、特徴点数の周波数波形において、ピーク周波数ｆ１を中心とするピークＰ１と、ピーク周波数ｆ２を中心とするピークＰ２とが存在したとする。この場合、周期性解析部２０３は、ピーク周波数ｆ１を２倍した値とピーク周波数ｆ２とを比較することで、周期性の有無を判断することができる。すなわち、ピーク周波数ｆ１を２倍した値とピーク周波数ｆ２とが略一致する場合、ピークＰ２はピークＰ１の高調波成分に相当するものであり、これらは同一の周期性を示すものであると判断できる。したがって、このような条件を満たす場合は、特徴点数の変化に周期性があると判断することができる。 FIG. 7A is an explanatory diagram of a method for determining the presence or absence of periodicity by comparing two peak frequencies in the frequency waveform of the number of feature points. For example, as shown in FIG. 7A, it is assumed that there are a peak P1 centered on the peak frequency f1 and a peak P2 centered on the peak frequency f2 in the frequency waveform of the number of feature points. In this case, the periodicity analysis unit 203 can determine the presence or absence of periodicity by comparing a value obtained by doubling the peak frequency f1 with the peak frequency f2. That is, when the value obtained by doubling the peak frequency f1 and the peak frequency f2 substantially coincide with each other, the peak P2 corresponds to the harmonic component of the peak P1, and it is determined that they exhibit the same periodicity. it can. Therefore, when such a condition is satisfied, it can be determined that the change in the number of feature points is periodic.
図７（ｂ）は、特徴点数の周波数波形におけるピーク周波数を過去のピーク周波数と比較することで周期性の有無を判断する方法の説明図である。たとえば図７（ｂ）に示すように、特徴点数の周波数波形において、ピーク周波数ｆ１を中心とするピークＰ１が存在したとする。この場合、周期性解析部２０３は、現在のピーク周波数ｆ１と、不図示のメモリ等に記憶された過去のピーク周波数の平均値ｆ１ａとを比較することで、周期性の有無を判断することができる。すなわち、過去に実行されたステップＳ７０の処理において特徴点数の周期性を解析する際に得られたピーク周波数の平均値ｆ１ａと、現在のピーク周波数ｆ１との差が所定範囲内である場合、現在のピークＰ１に相当するピークが過去にも存在していたと判断できる。したがって、このような条件を満たす場合は、特徴点数の変化に周期性があると判断することができる。 FIG. 7B is an explanatory diagram of a method for determining the presence or absence of periodicity by comparing the peak frequency in the frequency waveform of the number of feature points with the past peak frequency. For example, as shown in FIG. 7B, it is assumed that there is a peak P1 centered at the peak frequency f1 in the frequency waveform of the number of feature points. In this case, the periodicity analysis unit 203 can determine the presence or absence of periodicity by comparing the current peak frequency f1 with the average value f1a of past peak frequencies stored in a memory (not shown) or the like. it can. That is, when the difference between the average value f1a of the peak frequencies obtained when analyzing the periodicity of the number of feature points in the process of step S70 executed in the past and the current peak frequency f1 is within a predetermined range, It can be determined that a peak corresponding to the peak P1 has also existed in the past. Therefore, when such a condition is satisfied, it can be determined that the change in the number of feature points is periodic.
図７（ｃ）は、特徴点数の周波数波形におけるピーク周波数が許容範囲内にあるか否かにより周期性の有無を判断する方法の説明図である。たとえば図７（ｃ）に示すように、特徴点数の周波数波形において、ピーク周波数ｆ１を中心とするピークＰ１が存在したとする。この場合、周期性解析部２０３は、ピーク周波数ｆ１が自車両の走行速度に応じて決定される許容範囲Ｆｒ内にあるか否かにより、周期性の有無を判断することができる。すなわち、自車両の走行速度や、一定間隔で路面に描かれた車線区画線の破線間の距離に基づいて許容範囲Ｆｒを算出し、ピーク周波数ｆ１がこの許容範囲Ｆｒ内である場合、ピークＰ１は車線区画線の破線の周期性を表すものであると判断できる。したがって、このような条件を満たす場合は、特徴点数の変化に周期性があると判断することができる。たとえば、自車両の走行速度と、道路交通法等の規則で規定されている車線区画線の破線間の距離とを用いて、許容範囲Ｆｒを算出することができる。 FIG. 7C is an explanatory diagram of a method for determining the presence or absence of periodicity based on whether or not the peak frequency in the frequency waveform of the number of feature points is within an allowable range. For example, as shown in FIG. 7C, it is assumed that there is a peak P1 centered at the peak frequency f1 in the frequency waveform of the number of feature points. In this case, the periodicity analysis unit 203 can determine the presence or absence of periodicity based on whether or not the peak frequency f1 is within an allowable range Fr determined according to the traveling speed of the host vehicle. That is, the allowable range Fr is calculated based on the traveling speed of the host vehicle and the distance between the broken lines of the lane markings drawn on the road surface at regular intervals. If the peak frequency f1 is within the allowable range Fr, the peak P1 It can be determined that represents the periodicity of the broken line of the lane line. Therefore, when such a condition is satisfied, it can be determined that the change in the number of feature points is periodic. For example, the allowable range Fr can be calculated using the traveling speed of the host vehicle and the distance between the broken lines of the lane markings defined by rules such as the Road Traffic Law.
ステップＳ７０では、以上説明したような方法により、左右の車線区画線について特徴点数の周期性をそれぞれ解析し、特徴点数の変化に周期性があるか否かを判断することができる。なお、上記の３種類の判断方法は、いずれかを単独で使用してもよいし、複数のものを任意に組み合わせて使用することもできる。 In step S70, the periodicity of the number of feature points can be analyzed for the left and right lane markings by the method described above, and it can be determined whether the change in the number of feature points is periodic. Note that any one of the above three types of determination methods may be used alone, or a plurality of methods may be used in any combination.
ステップＳ８０において、制御部２は、ステップＳ７０の解析結果を基に判定を行う。すなわち、ステップＳ７０で特徴点数の変化に周期性があると判断した場合は、ステップＳ８０を肯定判定してステップＳ１００へ進み、周期性がないと判断した場合は、ステップＳ８０を否定判定してステップＳ９０へ進む。この判定は、左右の車線区画線について別々に行うことが好ましい。 In step S80, the control unit 2 makes a determination based on the analysis result in step S70. That is, if it is determined in step S70 that the change in the number of feature points is periodic, an affirmative determination is made in step S80 and the process proceeds to step S100. If it is determined that there is no periodicity, a negative determination is made in step S80. Proceed to S90. This determination is preferably performed separately for the left and right lane markings.
ステップＳ９０において、制御部２は、周期性解析部２０３により、ステップＳ３０で検出した車線区画線が所定の実線条件を満たすか否かを判定する。たとえば、ステップＳ２０で抽出した特徴点が撮影画像内で連続して一列に並んでいる場合や、これまでに記録された特徴点数の履歴データが所定値以上で安定している場合は、車線区画線が実線であると判定してステップＳ１１０へ進む。一方、これらの実線条件を満たさない場合は、車線区画線が実線ではないと判定する。この場合はステップＳ１０へ戻り、撮影画像の取得を継続する。 In step S90, the control unit 2 determines whether or not the lane marking detected in step S30 satisfies the predetermined solid line condition by the periodicity analysis unit 203. For example, when the feature points extracted in step S20 are continuously arranged in a line in the captured image, or when the history data of the number of feature points recorded so far is stable at a predetermined value or more, the lane section It is determined that the line is a solid line, and the process proceeds to step S110. On the other hand, when these solid line conditions are not satisfied, it is determined that the lane marking is not a solid line. In this case, the process returns to step S10, and acquisition of the captured image is continued.
ステップＳ１００において、制御部２は、車線区画線検出部２０２により、ステップＳ３０で検出した車線区画線を破線と判断する。 In step S100, the control unit 2 determines that the lane line detected in step S30 is a broken line by the lane line detection unit 202.
ステップＳ１１０において、制御部２は、車線区画線検出部２０２により、ステップＳ３０で検出した車線区画線を実線と判断する。 In step S110, the control unit 2 determines that the lane line detected in step S30 is a solid line by the lane line detection unit 202.
車線区画線検出部２０２は、前述のステップＳ３０の処理を実行した後に、周期性解析部２０３による特徴点数の解析結果に基づいてステップＳ１００またはＳ１１０の処理を実行することで、自車両の走行車線の左右にある車線区画線を実線または破線としてそれぞれ検出することができる。なお、車線区画線がボッツドッツである場合、その設置間隔が一定であれば、ステップＳ８０で周期性ありと判定された後にステップＳ１００が実行されて破線と判断される。ステップＳ１００またはＳ１１０を実行したら、制御部２はステップＳ１２０へ進む。 The lane line detection unit 202 executes the process of step S30 described above, and then executes the process of step S100 or S110 based on the result of analysis of the number of feature points by the periodicity analysis unit 203, so that the traveling lane of the host vehicle The left and right lane markings can be detected as solid lines or broken lines, respectively. When the lane marking is a botsdot, if the installation interval is constant, it is determined that there is periodicity in step S80, and then step S100 is executed to determine a broken line. If step S100 or S110 is performed, the control part 2 will progress to step S120.
ステップＳ１２０において、制御部２は、リセットを実行するか否かを判定する。この判定は、所定のリセット条件が満たされたか否かにより行われる。たとえば、自車両が急停車、急発進、急操舵等を行った場合などに、リセット条件が満たされたとしてリセットを実行すると判定することができる。こうしてリセットを実行すると判定した場合はステップＳ１３０へ進み、そうでない場合はステップＳ１４０へ進む。 In step S120, the control unit 2 determines whether to execute reset. This determination is made based on whether or not a predetermined reset condition is satisfied. For example, when the host vehicle suddenly stops, suddenly starts, suddenly steers, etc., it can be determined that the reset is executed assuming that the reset condition is satisfied. If it is determined that resetting is to be executed, the process proceeds to step S130. Otherwise, the process proceeds to step S140.
ステップＳ１３０において、制御部２は、これまでに記録された特徴点数の履歴データをクリアすることにより、リセットを実行する。ステップＳ１３０を実行したらステップＳ１０へ戻り、撮影画像の取得を最初からやり直す。 In step S130, the control unit 2 executes the reset by clearing the history data of the number of feature points recorded so far. If step S130 is performed, it will return to step S10 and the acquisition of a picked-up image will be performed again from the beginning.
ステップＳ１４０において、制御部２は、信頼度算出部２０４により、ステップＳ１００またはＳ１１０で行われた車線区画線の検出結果に対する信頼度を算出する。ここでは、ステップＳ２０で抽出した特徴点の数に基づいて、車線区画線の検出結果に対する信頼度を算出する。たとえば、左右の車線区画線についてそれぞれ抽出された特徴点の数に所定の変換係数を掛けることで、左右の車線区画線に対して、その特徴点の数に応じた信頼度を０％〜１００％の間でそれぞれ算出することができる。また、ステップＳ１１０で車線区画線が実線として検出された場合は、信頼度を常に１００％としてもよい。 In step S140, the control unit 2 uses the reliability calculation unit 204 to calculate the reliability for the detection result of the lane markings performed in step S100 or S110. Here, the reliability with respect to the detection result of the lane marking is calculated based on the number of feature points extracted in step S20. For example, by multiplying the number of feature points extracted for the left and right lane markings by a predetermined conversion coefficient, the reliability corresponding to the number of feature points is set to 0% to 100 for the left and right lane markings. % Can be calculated respectively. In addition, when the lane marking is detected as a solid line in step S110, the reliability may always be 100%.
また、Ｓ８０において周期性有と判断されたにも関わらず、所定周期以上の間、特徴点の数が一定以上もしくは、周期性有と判断された時の保存されている過去の特徴点から現在の特徴点の平均以上、の特徴点が抽出されない場合、破線が途切れたことを判定し、信頼度を０リセットすることで、誤警報を抑制する。 In addition, in spite of being determined to have periodicity in S80, the number of feature points is equal to or greater than a predetermined value for a predetermined period or more, or from the past feature points stored when it is determined to have periodicity. If feature points that are equal to or greater than the average of the feature points are not extracted, it is determined that the broken line is interrupted, and the false alarm is suppressed by resetting the reliability to zero.
ある程度長い間、安定して白線を検知していた場合には、ある程度の信頼性があると考え、多少白線が見えない状況が続いても簡単に認識状況をリセットし、不警報にすることが難しい。強制的に認識状態リセットや不警報とすると、破線がかすれている場合や、ボッツドッツ、暗夜など、レーンマークが見えづらい状況では、すぐに不警報となりやすい。このため、破線がかすれている場合や、ボッツドッツ、暗夜時には、認識が途切れたとしても一瞬で不警報にすることは難しい。しかしながら、これまで安定的に見えていた周期的な白線が突然途切れるような場合は、きれいな道路で周期的に白線が見えていたにも関わらず、突然周期的な破線が途切れるということは実際に、破線がなくなった可能性が高いと考えることができる。きれいな道路が急に汚い道路に変化することは非常にまれであり、更にある一定周期に特徴点が入ってこない条件を満たす場合には信頼度を低下もしくは０リセットすることで誤警報を抑制する。これは、図８に示すように、料金所前や工事中、分岐などで破線が途切れたすぐ後に、路面ペイントなどの白線の誤検知要因があった場合などの、誤警報抑制に効果がある。周期的破線が途切れた直後に処理領域内に、路面ペイント、矢印などが入ってくると誤検知の恐れがある。しかも、これまで周期的な破線を観測していたために、ある程度の信頼性が高い状態を維持したままで、誤検知すると誤警報につながる。 周期解析を利用することで、路面状況が良好であることを判定し、良好であるにもかかわらず、急に白線特徴点がなくなったことを利用して、破線が途切れたことを判定し、リセットすることで、上記料金所手前や、分岐、合流などにおける誤警報を抑制する。 If the white line has been detected stably for a long time, it is considered that there is a certain level of reliability, and even if a situation where the white line cannot be seen somewhat continues, the recognition status can be easily reset and no alarm is generated. difficult. If the recognition state is forcibly reset or a warning is not given, a warning is likely to occur immediately if the lane mark is difficult to see, such as when the broken line is faint, or when the lane mark is difficult to see. For this reason, even when the broken line is blurred or when the recognition is interrupted at the time of bottling or darkness, it is difficult to make a false alarm in an instant. However, if the periodic white line that had been stable until now is suddenly interrupted, the periodic broken line is suddenly interrupted even though the white line was periodically visible on a clean road. It can be considered that there is a high possibility that the broken line disappeared. It is very rare that a clean road suddenly changes to a dirty road, and if the condition that the feature point does not enter in a certain period is satisfied, the reliability is lowered or the false alarm is suppressed by resetting to 0 . As shown in FIG. 8, this is effective in suppressing false alarms when there is a white line false detection factor such as road surface paint immediately after a broken line breaks off at a toll booth, during construction, or at a branch. . If road surface paint, arrows, etc. enter the processing area immediately after the periodic broken line breaks, there is a risk of false detection. In addition, since a periodic broken line has been observed so far, a false alarm will result if an erroneous detection is performed while maintaining a certain degree of reliability. By using periodic analysis, it is determined that the road surface condition is good, and the fact that the white line feature point suddenly disappears despite the fact that it is good determines that the broken line is broken, By resetting, false alarms in front of the toll gate, branching and joining are suppressed.
なお、ステップＳ１００で車線区画線が破線として検出された場合、信頼度算出部２０４は、その車線区画線の破線間で算出される信頼度の低下を抑制することが好ましい。たとえば、ステップＳ７０の周期性の解析結果を基に、撮影領域内で破線が途切れるタイミングを予測し、このタイミングで取得された撮影画像に対して算出される信頼度に所定の補正係数を掛けることにより、信頼度を向上させるようにする。あるいは、信頼度の下限値を予め定めておき、破線間で算出された信頼度がこの下限値未満である場合は、算出結果に関わらず信頼度を下限値としてもよい。これ以外にも、車線区画線の破線間に対する信頼度の低下を抑制することができれば、どのような方法を用いてもよい。 In addition, when a lane line is detected as a broken line in step S100, it is preferable that the reliability calculation part 204 suppresses the fall of the reliability calculated between the broken lines of the lane line. For example, based on the periodicity analysis result of step S70, the timing at which the broken line breaks in the imaging region is predicted, and the reliability calculated for the captured image acquired at this timing is multiplied by a predetermined correction coefficient. Therefore, the reliability is improved. Alternatively, when a lower limit value of reliability is determined in advance and the reliability calculated between the broken lines is less than this lower limit value, the reliability may be set as the lower limit value regardless of the calculation result. In addition to this, any method may be used as long as it is possible to suppress a decrease in reliability between the lane markings between the broken lines.
ステップＳ１５０において、制御部２は、車線逸脱検出部２０５による車線逸脱判定を行う。ここでは、ステップＳ３０で検出した左右の車線区画線の撮影画像内での位置に基づいて、自車両と走行車線との間の位置関係を認識し、その認識結果から自車両が走行車線を逸脱しそうであるか否かを判断する。たとえば、撮影画像中での車線区画線の位置を基に、カメラ１から車線区画線までの距離を求め、この距離を自車両の前輪から車線区画線までの距離に換算する。こうして求めた前輪から車線区画線までの距離が所定値未満であれば、走行車線から自車両が逸脱しそうな状態であると判断し、その状態を逸脱走行状態として検出する。 In step S150, the control unit 2 performs lane departure determination by the lane departure detection unit 205. Here, based on the positions of the left and right lane markings detected in step S30 in the captured image, the positional relationship between the host vehicle and the travel lane is recognized, and the host vehicle deviates from the travel lane from the recognition result. It is determined whether or not it is likely. For example, the distance from the camera 1 to the lane line is obtained based on the position of the lane line in the captured image, and this distance is converted into the distance from the front wheel of the host vehicle to the lane line. If the distance from the front wheel thus determined to the lane line is less than a predetermined value, it is determined that the host vehicle is about to depart from the traveling lane, and this state is detected as a deviated traveling state.
ステップＳ１６０において、制御部２は、ステップＳ１５０の車線逸脱判定によって逸脱走行状態が検出されたか否かを判定する。逸脱走行状態が検出された場合はステップＳ１７０へ進み、検出されなかった場合はステップＳ１０へ戻って撮影画像の取得を継続する。 In step S160, the control unit 2 determines whether or not a departure traveling state is detected by the lane departure determination in step S150. If the departure running state is detected, the process proceeds to step S170. If not detected, the process returns to step S10 to continue acquiring the captured image.
ステップＳ１７０において、制御部２は、警報制御部２０６により、ステップＳ１４０で算出した信頼度が所定値以上であるか否かを判定する。信頼度が所定値以上である場合は、警報出力信号を出力すべきと判断してステップＳ１８０へ進む。一方、信頼度が所定値未満である場合は、警報出力信号を出力すべきではないと判断し、ステップＳ１０へ戻って撮影画像の取得を継続する。 In step S170, the control unit 2 determines whether or not the reliability calculated in step S140 is greater than or equal to a predetermined value by the alarm control unit 206. If the reliability is equal to or higher than the predetermined value, it is determined that an alarm output signal should be output, and the process proceeds to step S180. On the other hand, if the reliability is less than the predetermined value, it is determined that the alarm output signal should not be output, and the process returns to step S10 to continue acquiring the captured image.
ステップＳ１８０において、制御部２は、警報制御部２０６により、警報出力部３に対して警報の出力を指示する。このとき警報制御部２０６は、警報出力部３へ所定の警報出力信号を出力することで警報の出力指示を行う。この警報出力信号に応じて警報出力部３から警報が出力されることにより、自車両が走行車線から逸脱しそうな逸脱走行状態であることが運転者に報知される。ステップＳ１８０を実行したらステップＳ１０へ戻り、撮影画像の取得を継続する。 In step S180, the control unit 2 instructs the alarm output unit 3 to output an alarm using the alarm control unit 206. At this time, the alarm control unit 206 issues a warning output instruction by outputting a predetermined warning output signal to the warning output unit 3. A warning is output from the warning output unit 3 in response to the warning output signal, thereby notifying the driver that the host vehicle is in a deviating running state that is likely to deviate from the driving lane. If step S180 is performed, it will return to step S10 and acquisition of a picked-up image will be continued.
なお、以上説明した図５のフローチャートにおいて、ステップＳ１００で車線区画線が破線と判断された後にステップＳ１０へ戻った場合、その後に実行されるステップＳ２０で撮影画像から特徴点を抽出する際に、車線区画線の破線間に対しては抽出を抑制して行うことが好ましい。たとえば、前回のステップＳ７０の解析結果を基に、撮影画像中で破線間が途切れる範囲を推定し、その範囲に対しては抽出領域を設定しないようにしたり、処理領域の幅自体を狭く設定し、大きな横位置の変化は認めないような処理領域とすることで、大きく横位置がずれるような誤検知を抑制する。また、誤検知したとしても、次の周期は破線が現れた場合に、破線側に戻れるような設定とする。 In the flowchart of FIG. 5 described above, when the lane marking is determined to be a broken line in step S100 and the process returns to step S10, when extracting feature points from the captured image in step S20, It is preferable to suppress the extraction between the broken lines of the lane markings. For example, based on the analysis result of the previous step S70, a range where the broken line is interrupted in the captured image is estimated, and the extraction region is not set for the range, or the processing region width itself is set narrow. By setting the processing region so as not to allow a large change in the horizontal position, erroneous detection that greatly shifts the horizontal position is suppressed. Even if a false detection is made, the next cycle is set to return to the broken line side when a broken line appears.
もしくは、破線が途切れる間では、エッジ点の検出に用いる輝度変化のしきい値を高くしたりする。これ以外にも、特徴点の抽出を抑制することができれば、どのような方法を用いてもよい。このようにすることで、車線区画線の破線間において、車線区画線が存在しないにも関わらず特徴点が誤って抽出されるのを未然に防止できる。 Alternatively, while the broken line is interrupted, the threshold value of the luminance change used for detecting the edge point is increased. In addition to this, any method may be used as long as feature point extraction can be suppressed. By doing in this way, it can prevent beforehand that a feature point is extracted accidentally between the broken lines of a lane line, although a lane line does not exist.
また、車線区画線を検出する際に、破線の周期を利用し、現フレームで撮像するであろう線の長さを予測して、候補線の中から対象となる直線を抽出することで、破線がない間隔では誤検知を抑制し、破線が見える間では安定的に車線を選択し易いようにする。破線と実線の境界など線の種類が変化する際には、実線が入ってくる瞬間に、特徴点の数が圧倒的に多い線が候補線として上がるためにすぐに実線を選択する。 Also, when detecting the lane markings, using the period of the broken line, predicting the length of the line that will be captured in the current frame, and extracting the target straight line from the candidate lines, False detection is suppressed at intervals where there is no broken line, and it is easy to select a lane stably while the broken line is visible. When the type of line such as the boundary between the broken line and the solid line changes, a solid line is selected immediately because a line with an overwhelming number of feature points rises as a candidate line at the moment when the solid line enters.
以上説明した実施の形態によれば、次のような作用効果を奏する。 According to the embodiment described above, the following operational effects can be obtained.
（１）車載用車線認識装置１００は、特徴点抽出部２０１により、カメラ１により時系列的に取得された複数の撮影画像から、車両の周囲の路面上で車両の走行車線の左右いずれか少なくとも一方に描かれた車線区画線に対応する複数の特徴点をそれぞれ抽出する（ステップＳ２０）。そして、周期性解析部２０３により、各撮影画像から抽出された特徴点の数の周期性を解析し、特徴点の数の変化に周期性があるか否かを判断する（ステップＳ７０）。その結果、特徴点の数の変化に周期性があると判断された場合、車線区画線検出部２０２により、車線区画線を破線として検出する（ステップＳ３０、Ｓ１００）。このようにしたので、路面に破線で描かれた車線区画線を正しく検出することができる。 (1) The in-vehicle lane recognition device 100 has at least one of the left and right sides of the traveling lane of the vehicle on the road surface around the vehicle, from a plurality of captured images acquired by the feature point extraction unit 201 in time series by the camera 1. A plurality of feature points corresponding to the lane markings drawn on one side are respectively extracted (step S20). Then, the periodicity analysis unit 203 analyzes the periodicity of the number of feature points extracted from each captured image, and determines whether the change in the number of feature points is periodic (step S70). As a result, when it is determined that the change in the number of feature points has periodicity, the lane line detection unit 202 detects the lane line as a broken line (steps S30 and S100). Since it did in this way, the lane line drawn with the broken line on the road surface can be detected correctly.
（２）ステップＳ７０において、周期性解析部２０３は、検出された車線区画線上の特徴点の数の変化を周波数軸上で表した周波数波形に基づいて、特徴点の数の周期性を解析する。このようにしたので、特徴点の数の変化に周期性があるか否かを正確に判断することができる。 (2) In step S70, the periodicity analysis unit 203 analyzes the periodicity of the number of feature points based on the frequency waveform representing the change in the number of feature points on the detected lane marking on the frequency axis. . Since it did in this way, it can be judged correctly whether the change of the number of feature points has periodicity.
（３）周期性解析部２０３は、図７（ａ）に示すように、周波数波形におけるピーク周波数ｆ１を２倍した値と、周波数波形におけるピーク周波数ｆ２とが略一致する場合に、特徴点の数の変化に周期性があると判断してよい。これにより、周波数波形の高調波成分を利用して、特徴点の数の変化に周期性があるか否かを容易に判断することができる。 (3) As shown in FIG. 7A, the periodicity analysis unit 203, when the value obtained by doubling the peak frequency f1 in the frequency waveform and the peak frequency f2 in the frequency waveform substantially match, It may be determined that the change in number is periodic. Thereby, it is possible to easily determine whether or not the change in the number of feature points has periodicity by using the harmonic component of the frequency waveform.
（４）また、図７（ｂ）に示すように、周波数波形における現在のピーク周波数ｆ１と、過去のピーク周波数の平均値ｆ１ａとの差が所定範囲内である場合に、特徴点の数の変化に周期性があると判断してもよい。これにより、過去のピーク周波数の平均値を利用して、特徴点の数の変化に周期性があるか否かを容易に判断することができる。 (4) As shown in FIG. 7B, when the difference between the current peak frequency f1 in the frequency waveform and the average value f1a of the past peak frequencies is within a predetermined range, the number of feature points It may be determined that the change has periodicity. Thereby, it is possible to easily determine whether or not the change in the number of feature points has periodicity by using the average value of the past peak frequencies.
（５）さらに、図７（ｃ）に示すように、周波数波形におけるピーク周波数ｆ１が車両の走行速度に応じた許容範囲Ｆｒ内である場合に、特徴点の数の変化に周期性があると判断してもよい。これにより、車両の走行速度を利用して、特徴点の数の変化に周期性があるか否かを容易に判断することができる。 (5) Further, as shown in FIG. 7C, when the peak frequency f1 in the frequency waveform is within the allowable range Fr according to the traveling speed of the vehicle, the change in the number of feature points is periodic. You may judge. Thereby, it is possible to easily determine whether or not the change in the number of feature points has periodicity by using the traveling speed of the vehicle.
（６）ステップＳ２０において、特徴点抽出部２０１は、前回の処理で車線区画線検出部２０２により車線区画線が破線として検出された場合に、車線区画線の破線間に対する特徴点の輝度差の閾値を上げることで、特徴点の誤抽出を抑制することができる。このようにすれば、車線区画線の破線間において、車線区画線が存在しないにも関わらず特徴点が誤って抽出されるのを未然に防止し、誤警報を防ぐことができる。 (6) In step S20, the feature point extraction unit 201 determines the luminance difference between the feature points with respect to the lane line between the broken lines when the lane line is detected as a broken line by the lane line detection unit 202 in the previous process. By increasing the threshold value, it is possible to suppress erroneous extraction of feature points. In this way, it is possible to prevent the feature points from being erroneously extracted between the broken lines of the lane markings in spite of the absence of the lane markings, and to prevent false alarms.
（７）車載用車線認識装置１００は、信頼度算出部２０４により、ステップＳ２０で抽出された特徴点の数に基づいて、車線区画線の検出結果に対する信頼度を算出する（ステップＳ１４０）。また、車線逸脱検出部２０５により、車両が走行車線から逸脱しそうなときに逸脱走行状態を検出する（ステップＳ１５０）。その結果、ステップＳ１４０で算出された信頼度が所定値以上であり、かつステップＳ１５０で逸脱走行状態が検出されたときに、警報出力部３から警報を出力する（ステップＳ１８０）。さらに、ステップＳ１４０で信頼度を算出する際には、ステップＳ１００で車線区画線が破線として検出された場合に、その車線区画線の破線間に対する信頼度の低下を抑制することができる。このようにすれば、車線区画線の破線間において、信頼度の低下により警報が出力されなくなるのを防止することができる。そのため、誤警報を抑えつつ、車両が走行車線から逸脱しそうなときには確実に警報を出力することができる。 (7) The in-vehicle lane recognition device 100 calculates the reliability of the detection result of the lane line based on the number of feature points extracted in step S20 by the reliability calculation unit 204 (step S140). Further, the lane departure detection unit 205 detects the departure traveling state when the vehicle is likely to depart from the traveling lane (step S150). As a result, when the reliability calculated in step S140 is equal to or greater than a predetermined value and a deviation running state is detected in step S150, an alarm is output from the alarm output unit 3 (step S180). Furthermore, when calculating the reliability in step S140, if the lane marking is detected as a broken line in step S100, a decrease in reliability between the broken lines of the lane marking can be suppressed. If it does in this way, it can prevent that a warning will not be output by the fall of reliability between the broken lines of a lane line. Therefore, it is possible to reliably output an alarm when the vehicle is likely to deviate from the traveling lane while suppressing an erroneous alarm.
（８）ステップＳ２０において、特徴点抽出部２０１は、前回の処理で車線区画線検出部２０２により車線区画線が破線として検出された場合に、車線区画線の破線間に対する特徴点の抽出の処理領域を小さくすることで、特徴点の誤抽出を抑制することができる。このようにすれば、車線区画線の破線間において、車線区画線が存在しないにも関わらず特徴点が誤って抽出されるのを未然に防止し、誤警報を防ぐことができる。 (8) In step S20, the feature point extraction unit 201 performs the process of extracting feature points between the lane markings when the lane marking is detected by the lane marking detection unit 202 in the previous process. By reducing the area, it is possible to suppress erroneous extraction of feature points. In this way, it is possible to prevent the feature points from being erroneously extracted between the broken lines of the lane markings in spite of the absence of the lane markings, and to prevent false alarms.
（９）ステップＳ２０において、特徴点抽出部２０１は、前回の処理で車線区画線検出部２０２により車線区画線が破線として検出された場合に、その周期性に基づいて車線区画線の長さを推定し、推定した長さに近い車線区画線を優先的に検出することができる。このようにすれば、車線区画線の破線間において、車線区画線が存在しないにも関わらず特徴点が誤って抽出されるのを未然に防止し、誤警報を防ぐことができる。 (9) In step S20, the feature point extraction unit 201 determines the length of the lane line based on the periodicity when the lane line is detected as a broken line by the lane line detection unit 202 in the previous process. It is possible to preferentially detect a lane line that is estimated and close to the estimated length. In this way, it is possible to prevent the feature points from being erroneously extracted between the broken lines of the lane markings in spite of the absence of the lane markings, and to prevent false alarms.
（１０）Ｓ８０において周期性有と判断された場合に、所定周期以上の間、前記特徴点抽出部２０１において所定数以上の特徴点が抽出されなかった場合に破線が途切れたことを判定し、信頼度を０リセット、もしくは低減することで、料金所手前や分岐、合流などにおける破線の途切れを判定し信頼度を制御することで誤警報を抑制することができる。 (10) When it is determined that there is periodicity in S80, it is determined that the broken line is interrupted when a predetermined number or more of feature points are not extracted in the feature point extraction unit 201 for a predetermined period or more, By resetting or reducing the reliability to 0, a false alarm can be suppressed by determining the break of the broken line before the toll gate, branching, merging, etc. and controlling the reliability.
なお、以上説明した実施の形態では、カメラ１が車両の後方の路面を撮影するようにしたが、車両の前方の路面を撮影してもよい。車両の周囲の路面を撮影できる限り、カメラ１の撮影範囲をどのように設定しても構わない。 In the embodiment described above, the camera 1 photographs the road surface behind the vehicle, but the road surface ahead of the vehicle may be photographed. As long as the road surface around the vehicle can be photographed, the photographing range of the camera 1 may be set in any way.
また、上記実施の形態において、ステップＳ７０で求められた特徴点数の周期性を基に車線区画線の検出に対する限界時間を設定してもよい。たとえば、特徴点数が変化する周期の２倍を限界時間として設定することができる。このとき、特徴点が抽出されずに車線区画線を検出できない状態が設定した限界時間を超えて続いた場合は、たとえばステップＳ１３０の処理によるリセットを実行して特徴点数の履歴データをクリアしたり、警報出力部３による警報の出力を抑制したりすることが好ましい。 Moreover, in the said embodiment, you may set the time limit with respect to the detection of a lane marking based on the periodicity of the number of feature points calculated | required by step S70. For example, the limit time can be set to twice the period in which the number of feature points changes. At this time, when the feature point is not extracted and the state where the lane line cannot be detected continues beyond the set time limit, for example, a reset by the process of step S130 is executed to clear the history data of the number of feature points. It is preferable to suppress alarm output by the alarm output unit 3.
以上説明した実施の形態や各種の変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。 The embodiment and various modifications described above are merely examples, and the present invention is not limited to these contents as long as the features of the invention are not impaired.
１ カメラ
２ 制御部
３ 警報出力部
４ 動作状態報知部
１００ 車載用車線認識装置
２０１ 特徴点抽出部
２０２ 車線区画線検出部
２０３ 周期性解析部
２０４ 信頼度算出部
２０５ 車線逸脱検出部
２０６ 警報制御部
DESCRIPTION OF SYMBOLS 1 Camera 2 Control part 3 Alarm output part 4 Operation | movement state alerting | reporting part 100 Vehicle-mounted lane recognition apparatus 201 Feature point extraction part 202 Lane lane marking detection part 203 Periodicity analysis part 204 Reliability calculation part 205 Lane departure detection part 206 Alarm control part
Claims (9)
前記撮影装置により時系列的に取得された複数の撮影画像から、前記路面上で前記車両の走行車線の左右いずれか少なくとも一方に描かれた車線区画線に対応する複数の特徴点をそれぞれ抽出する特徴点抽出部と、
前記特徴点抽出部により各撮影画像から抽出された特徴点の数の周期性を解析し、前記特徴点の数の変化に周期性があるか否かを判断する周期性解析部と、
前記周期性解析部により前記特徴点の数の変化に周期性があると判断された場合、前記車線区画線を破線として検出する車線区画線検出部とを備え、
前記周期性解析部は、検出された車線区画線上の前記特徴点の数の変化を周波数軸上で表した周波数波形に基づいて、前記特徴点の数の周期性を解析することを特徴とする車載用車線認識装置。 A photographing device for photographing a road surface around the vehicle and acquiring a photographed image;
A plurality of feature points corresponding to lane markings drawn on at least one of the left and right sides of the traveling lane of the vehicle on the road surface are extracted from a plurality of captured images acquired in time series by the imaging device. A feature point extraction unit;
Analyzing the periodicity of the number of feature points extracted from each captured image by the feature point extraction unit, and determining whether the change in the number of feature points has periodicity; and
A lane marking detection unit that detects the lane marking as a broken line when the periodicity analysis unit determines that the change in the number of feature points is periodic ;
The periodicity analysis unit analyzes the periodicity of the number of feature points based on a frequency waveform representing a change in the number of feature points on the detected lane marking on the frequency axis. In-vehicle lane recognition device.
前記周期性解析部は、前記周波数波形における第１のピーク周波数を２倍した値と、前記周波数波形における第２のピーク周波数とが略一致する場合に、前記特徴点の数の変化に周期性があると判断することを特徴とする車載用車線認識装置。 The in-vehicle lane recognition device according to claim 1 ,
The periodicity analyzing unit periodically changes the number of feature points when a value obtained by doubling the first peak frequency in the frequency waveform and a second peak frequency in the frequency waveform substantially coincide with each other. An in-vehicle lane recognition device characterized by determining that there is a vehicle.
前記周期性解析部は、前記周波数波形における現在のピーク周波数と、過去のピーク周波数の平均値との差が所定範囲内である場合に、前記特徴点の数の変化に周期性があると判断することを特徴とする車載用車線認識装置。 The in-vehicle lane recognition device according to claim 1 ,
The periodicity analysis unit determines that the change in the number of feature points is periodic when the difference between the current peak frequency in the frequency waveform and the average value of the past peak frequencies is within a predetermined range. An in-vehicle lane recognition device characterized by:
前記周期性解析部は、前記周波数波形におけるピーク周波数が前記車両の走行速度に応じた許容範囲内である場合に、前記特徴点の数の変化に周期性があると判断することを特徴とする車載用車線認識装置。 The in-vehicle lane recognition device according to claim 1 ,
The periodicity analysis unit determines that the change in the number of feature points is periodic when a peak frequency in the frequency waveform is within an allowable range corresponding to a traveling speed of the vehicle. In-vehicle lane recognition device.
前記特徴点抽出部は、前記車線区画線検出部により前記車線区画線が破線として検出された場合に、前記車線区画線の破線間に対する前記特徴点の抽出の輝度差の閾値を上げることを特徴とする車載用車線認識装置。 The in-vehicle lane recognition device according to any one of claims 1 to 4 ,
The feature point extraction unit increases a threshold value of a luminance difference for extraction of the feature point with respect to a portion between the lane markings when the lane marking is detected as a broken line by the lane marking detection unit. In-vehicle lane recognition device.
前記特徴点抽出部により抽出された特徴点の数に基づいて、前記車線区画線の検出結果に対する信頼度を算出する信頼度算出部と、
前記車両が前記走行車線から逸脱しそうなときに逸脱走行状態を検出する車線逸脱検出部と、
前記信頼度が所定値以上であり、かつ前記車線逸脱検出部により前記逸脱走行状態が検出されたときに、警報を出力する警報出力部とをさらに備え、
前記信頼度算出部は、前記車線区画線検出部により前記車線区画線が破線として検出された場合に、前記車線区画線の破線間に対する前記信頼度の低下を抑制することを特徴とする車載用車線認識装置。 The in-vehicle lane recognition device according to any one of claims 1 to 4 ,
A reliability calculation unit that calculates a reliability for the detection result of the lane marking based on the number of feature points extracted by the feature point extraction unit;
A lane departure detection unit for detecting a departure traveling state when the vehicle is likely to depart from the traveling lane;
An alarm output unit that outputs an alarm when the reliability is equal to or greater than a predetermined value and the lane departure detection unit is detected by the lane departure detection unit;
The reliability calculation unit suppresses a decrease in the reliability of the lane line between the broken lines when the lane line is detected as a broken line by the lane line detection unit. Lane recognition device.
前記特徴点抽出部は、前記車線区画線検出部により前記車線区画線が破線として検出された場合に、前記車線区画線の破線間に対する前記特徴点の抽出の処理領域を小さくすることを特徴とする車載用車線認識装置。 The in-vehicle lane recognition device according to any one of claims 1 to 4 ,
The feature point extraction unit reduces a processing area for extracting the feature point between the broken lines of the lane line when the lane line is detected as a broken line by the lane line detection unit. A vehicle lane recognition device.
前記特徴点抽出部は、前記車線区画線検出部により前記車線区画線が破線として検出された場合に、周期性に基づいて車線区画線の長さを推定し、推定した長さに近い車線区画線を優先的に検出することを特徴とする車載用車線認識装置。 The in-vehicle lane recognition device according to any one of claims 1 to 4 ,
The feature point extraction unit estimates a length of a lane line based on periodicity when the lane line is detected as a broken line by the lane line detection unit, and a lane line close to the estimated length An in-vehicle lane recognition device that detects a line preferentially.
前記車線区画線検出部により前記車線区画線が破線として検出された場合で、且つ、前記特徴点抽出部から所定周期以上の間、所定数以上の特徴点が抽出されなかった場合に、破線が途切れたことを判定し、前記信頼度をリセットもしくは低減することを特徴とする車載用車線認識装置。
The in-vehicle lane recognition device according to claim 6 ,
When the lane line is detected as a broken line by the lane line detection unit, and when a predetermined number or more of feature points are not extracted for a predetermined period or more from the feature point extraction unit, a broken line is displayed. An in-vehicle lane recognition device characterized by determining that there is a break and resetting or reducing the reliability.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012149864A JP5957315B2 (en) | 2012-07-03 | 2012-07-03 | In-vehicle lane recognition system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012149864A JP5957315B2 (en) | 2012-07-03 | 2012-07-03 | In-vehicle lane recognition system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014013451A JP2014013451A (en) | 2014-01-23 |
| JP5957315B2 true JP5957315B2 (en) | 2016-07-27 |
Family
ID=50109111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012149864A Expired - Fee Related JP5957315B2 (en) | 2012-07-03 | 2012-07-03 | In-vehicle lane recognition system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5957315B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5911623B1 (en) * | 2015-03-27 | 2016-04-27 | 株式会社ファンクリエイト | Detection device and detection method for road joints |
| CN106339659A (en) * | 2015-07-10 | 2017-01-18 | 株式会社理光 | Road segment detecting method and device |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05314396A (en) * | 1992-05-13 | 1993-11-26 | Omron Corp | Continuous line tracking device |
| JP3304687B2 (en) * | 1995-05-24 | 2002-07-22 | 日産自動車株式会社 | Vehicle lane recognition device, obstacle detection device, road departure notification device |
| JP2001143070A (en) * | 1999-11-12 | 2001-05-25 | Toshiba Corp | Pattern recognizing device |
| JP3700625B2 (en) * | 2001-08-28 | 2005-09-28 | 日産自動車株式会社 | Road white line recognition device |
| JP2006153565A (en) * | 2004-11-26 | 2006-06-15 | Nissan Motor Co Ltd | In-vehicle navigation device and own car position correction method |
| JP2007179386A (en) * | 2005-12-28 | 2007-07-12 | Fujitsu Ten Ltd | Method and apparatus for recognizing white line |
| JP2009151606A (en) * | 2007-12-21 | 2009-07-09 | Alpine Electronics Inc | Other vehicle detecting device |
| JP4807354B2 (en) * | 2007-12-25 | 2011-11-02 | 住友電気工業株式会社 | Vehicle detection device, vehicle detection system, and vehicle detection method |
| JP2010244382A (en) * | 2009-04-08 | 2010-10-28 | Honda Motor Co Ltd | Vehicle traveling support device |
| JP4962581B2 (en) * | 2010-03-03 | 2012-06-27 | 株式会社デンソー | Lane marking detector |
-
2012
- 2012-07-03 JP JP2012149864A patent/JP5957315B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014013451A (en) | 2014-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9690996B2 (en) | On-vehicle image processor | |
| EP2879368B1 (en) | Lens cleaning device | |
| JP6220327B2 (en) | Traveling lane marking recognition device, traveling lane marking recognition program | |
| US8208021B2 (en) | Vehicle and lane mark detection device | |
| JP4992990B2 (en) | Lane marking detector | |
| JP4539415B2 (en) | Image processing device | |
| US10220782B2 (en) | Image analysis apparatus and image analysis method | |
| US9965690B2 (en) | On-vehicle control device | |
| JP4744537B2 (en) | Driving lane detector | |
| JP2011180982A (en) | Lane marker detecting apparatus | |
| JP2005309797A (en) | Warning device for pedestrian | |
| JP2010146470A (en) | Traveling-lane detector and traveling-lane detection program | |
| JP5097681B2 (en) | Feature position recognition device | |
| JP2016110484A (en) | Approaching vehicle detection device | |
| JP5957315B2 (en) | In-vehicle lane recognition system | |
| JP2010061375A (en) | Apparatus and program for recognizing object | |
| JP2004252550A (en) | Driving support device | |
| JP2018005441A (en) | Inter-vehicle distance alarm and collision alarm device | |
| JP5742676B2 (en) | Lane boundary recognition device | |
| KR20020005260A (en) | Method and system for warning departure of traffic lane | |
| JP2006268678A (en) | Device and method for detecting stopping or low-speed vehicle | |
| JP2009205608A (en) | Lane recognizing device, and program for recognizing vehicle and lane | |
| WO2014203658A1 (en) | Distance measurement device and distance measurement method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150617 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160406 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160412 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160531 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160614 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160620 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5957315 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |