WO2012011713A2 - 차선 인식 시스템 및 방법 - Google Patents

차선 인식 시스템 및 방법 Download PDF

Info

Publication number
WO2012011713A2
WO2012011713A2 PCT/KR2011/005290 KR2011005290W WO2012011713A2 WO 2012011713 A2 WO2012011713 A2 WO 2012011713A2 KR 2011005290 W KR2011005290 W KR 2011005290W WO 2012011713 A2 WO2012011713 A2 WO 2012011713A2
Authority
WO
WIPO (PCT)
Prior art keywords
lane
equation
point
candidate point
updated
Prior art date
Application number
PCT/KR2011/005290
Other languages
English (en)
French (fr)
Other versions
WO2012011713A3 (ko
Inventor
한영인
서용덕
송영기
최현철
오세영
Original Assignee
주식회사 이미지넥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이미지넥스트 filed Critical 주식회사 이미지넥스트
Publication of WO2012011713A2 publication Critical patent/WO2012011713A2/ko
Publication of WO2012011713A3 publication Critical patent/WO2012011713A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to a lane recognition system and method, and more particularly, to a system and method for performing lane recognition using an image taken with a camera.
  • Conventional lane detection methods include a straight lane detection method using fast and simple edge extraction and Hough transform based on a mobile device.
  • the PC-based method includes detecting a lane by a straight line or hyperbola pair. These methods are fast in terms of speed due to a simple calculation process, but have weak disadvantages such as lane loss or vibration that may occur during driving.
  • PC-based lanes can be used to construct lanes with quadratic curves or B-splines using rather complex processes, such as random walks that are robust against lane breakage and Kalman filters that are robust against vibration and other noise.
  • Reliable detection methods use complex calculations on high-performance PCs above 3.0 GHz to provide robust performance for lane breaks, obstructions, and traffic signs on the road.
  • the lane color recognition method since the lane color changes in various ways according to lighting conditions, there is a method of learning a recognizer by sampling a lane color under various conditions and collecting enormous data. However, this method does not sufficiently reflect the nonlinearity of the color change. Therefore, there is a need for a method of accurately recognizing lane colors even if there is a color change by sufficiently reflecting the color change due to illumination.
  • a method of calculating the horizontal distance between the lane and the vehicle, and also calculating the estimated time to lane crossing (TLC) by the vehicle, and comparing the threshold with an alarm is commonly used.
  • TLC estimated time to lane crossing
  • an object of the present invention is to provide a lane recognition system and method for recognizing a lane equation, lane type, lane color, lane departure situation, etc. using an image captured by a camera.
  • a lane recognizing method including preprocessing a vehicle front image obtained by a camera module mounted on a vehicle into an integrated image. Extracting lane candidate points by performing a convolution of a lane candidate point template, and converting the coordinates of the extracted lane candidate points into coordinates in an actual distance coordinate system to obtain a first lane equation of a lane candidate cluster obtained by clustering Selecting a lane candidate cluster pair that satisfies a predetermined condition among the obtained lane candidate clusters as an initially detected lane pair, and converting a lane equation in an actual distance coordinate system of the selected lane pair into a lane equation in an image coordinate system Converting.
  • the integrated image may be an integrated image of a G channel component of the vehicle front image.
  • a previous lane equation setting a region of interest within a predetermined range at a point located on the previous lane equation, and extracting a lane candidate point by performing a convolution of the integrated image and the lane candidate point template within the region of interest.
  • Selecting a valid lane candidate point by using a random sample concensus (RANSAC) algorithm for the extracted lane candidate point, and applying a Kalman filter using the valid lane candidate point as a measured value to perform the previous lane equation It may include the step of obtaining a lane equation that has been updated.
  • RANSAC random sample concensus
  • the lane candidate point located at the rightmost point in the ROI of the left lane is selected as a representative value, and the leftmost lane is located at the leftmost point in the ROI of the right lane.
  • an effective lane candidate point may be selected using the RANSAC algorithm.
  • the lane candidate point template has a step function in which '+1' and '-1' values have a same width (N / 2) with respect to coordinates (u, v), and the lane candidate point template And performing convolution on the integral image
  • I (u, v) is the brightness value of the integrated image at pixel (u, v)
  • conv_left is the convolution value of the left lane candidate point template and the integrated image
  • conv_right is the right lane candidate point template
  • Coordinates u and v which are convolution values of an integrated image and whose convolution values conv_left and conv_right are greater than or equal to a threshold value, may be extracted as the lane candidate points.
  • b R is the slope of the right lane equation in the updated lane equation
  • b L is the slope of the left lane equation in the updated lane equation
  • b1, b2 is a predetermined slope
  • Line L ' and Line R' are new left and right lane equations
  • Line L and Line R may be left and right lane equations in the updated lane equation.
  • the vanishing point of the updated lane equation is greater than the preset maximum value, it may be changed to the maximum value, and if it is smaller than the preset minimum value, it may be changed to the minimum value.
  • the updated lane equation if the difference between the maximum value and the minimum value is greater than or equal to the channel brightness of a predetermined pixel, the channel brightness of the pixel is scanned from the left and right around the sampled points at predetermined intervals, and the sampled point is determined as the point on the lane. If it is determined that the point on the lane among the sampled points is less than or equal to a predetermined criterion, the updated lane may be determined as a dotted line.
  • the lane color may be recognized by inputting a lane color average of an area centered on a point located in the updated lane equation and a road color average obtained for a road area having a predetermined size to a neural network.
  • an X coordinate of a point away from the vehicle by a predetermined distance in the vehicle front direction may be calculated to determine whether the vehicle leaves the lane.
  • the lane recognition system for solving the technical problem is a pre-processing image module for pre-processing the vehicle front image obtained from the camera module mounted on the vehicle into an integrated image, and if there is no previous lane equation, A lane candidate point is extracted by performing a convolution of an integrated image and a lane candidate point template, and the coordinates of the extracted lane candidate point are converted into coordinates in an actual distance coordinate system, and then the first lane equation of a lane candidate cluster obtained by clustering is obtained.
  • An initial lane detection module is included.
  • the region of interest is set within a predetermined range at a point located on the previous lane equation, and the lane candidate point is extracted by performing convolution of the integrated image and the lane candidate point template within the region of interest.
  • the method may further include a lane type recognition module configured to determine the updated lane as a dotted line when it is determined that the point on the lane among the sampled points is equal to or less than a predetermined criterion.
  • the apparatus further includes a lane color recognition module configured to recognize a lane color by inputting a lane color average of an area centered on a point located in the updated lane equation and a road color average obtained for a road area having a predetermined size to a neural network. can do.
  • the lane departure warning module may further include a lane departure warning module configured to calculate an X coordinate of a point away from the vehicle by a predetermined distance in the vehicle front direction (Y-axis direction) in the updated lane equation, and determine whether the vehicle leaves the lane. .
  • the present invention it is possible to robustly perform lane tracking, lane type, lane color, lane departure warning, etc. with a small amount of calculation even in a vehicle vibration, lighting change, lane change situation, and the like.
  • FIG. 1 is a block diagram provided to explain a lane recognition system according to an exemplary embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating the lane recognition system of FIG. 1 in more detail.
  • FIG. 3 is a flowchart provided to explain an operation of the lane recognition system of FIG. 2.
  • FIG. 4 is a diagram illustrating an actual distance coordinate system and an image coordinate system used in a lane detection operation.
  • FIG. 5 is a flowchart illustrating the initial lane equation detection step of FIG. 3 in more detail.
  • FIG. 6 is a diagram provided to explain a method of extracting lane candidate points using a lane candidate point template.
  • FIG. 7 is a diagram provided to explain a lane equation in an image coordinate system.
  • FIG. 8 is a flowchart illustrating the lane equation tracking step of FIG. 3 in more detail.
  • 9 is a view provided to explain a lane type recognition operation.
  • FIG. 10 is a diagram provided to explain a method of obtaining a lane curvature.
  • FIG. 11 is a flowchart of a lane color recognition operation according to the present invention.
  • FIG. 12 is a diagram provided to explain a lane color recognition operation.
  • 13 is a view provided to explain a color recognition process using a neural network.
  • FIG. 1 is a block diagram provided to explain a lane recognition system according to an exemplary embodiment of the present invention.
  • a lane recognition system 200 receives an image obtained from a camera module 100 installed in a vehicle (not shown), and based on this, various information about lanes of a lane in which a vehicle is currently located. It performs the function of recognizing it.
  • the information on the lane may include a lane equation, a lane type (solid line or not), lane curvature, lane color, lane departure, and the like.
  • the camera module 100 is installed in front of the vehicle and performs a function of acquiring a color image of the road in front of the vehicle.
  • the camera module 100 transmits the acquired image to the lane recognition system 200 in real time.
  • the camera module 100 may include a lens having a large angle of view, such as a wide angle lens or a fisheye lens, and includes a pinhole camera.
  • the camera module 100 may acquire a 3D object as a 2D image through a lens having a wide angle of view of about 60 ° to about 120 °.
  • FIG. 2 is a block diagram illustrating the lane recognition system of FIG. 1 in more detail
  • FIG. 3 is a flowchart provided to explain an operation of the lane recognition system of FIG. 2.
  • the lane recognition system 200 includes an image preprocessing module 210, an initial lane detection module 220, a lane tracking module 230, a lane type recognition module 240, and a lane color recognition module 250.
  • the lane departure warning module 260 may include a control module 270 and a storage module 280.
  • the image preprocessing module 210 may receive a vehicle front image from the camera module 100, calculate an integral image thereof, and output the calculated image.
  • the initial lane detection module 220 may detect the initial lane equation using an integrated image input from the image preprocessing module 210.
  • the lane tracking module 230 may obtain a new lane equation using the previous lane equation if there is one.
  • the lane type recognition module 240 may perform a function of recognizing whether the lane is a solid line or a dotted line.
  • the lane color recognition module 250 performs a function of recognizing whether the lane color is white, yellow, or blue. Through this, information about whether the lane is a center line or a bus-only lane can be obtained.
  • the lane departure warning module 260 determines a lane departure situation of the vehicle and performs a warning function.
  • the control module 270 controls the overall operation of the lane recognition system 200.
  • the storage module 280 stores various kinds of information and data necessary for the operation of the lane recognizing system 200 and performs a function of providing the information according to a request of each component.
  • FIG. 3 is a flowchart provided to explain the operation of the lane recognition system according to the present invention.
  • the image preprocessing module 210 receives an image of the vehicle front from the camera module 100 (S310).
  • the image preprocessing module 210 selects a G channel component from the input color components of the vehicle front image and calculates and outputs an integrated image thereof (S320).
  • the reason for selecting the G channel component is that the division of the lane portion and the road portion is clearer than other channel components even in a tunnel or at night. Therefore, it is also possible to perform the operation described below by selecting the R, B channel image, but it is preferable to use the G channel image.
  • the image preprocessing module 210 may additionally perform a function of correcting a distortion or an error in an image input from the camera module 100.
  • control module 270 determines whether there is a previous lane equation (S330), and controls the initial lane detection module 220 accordingly to detect the initial lane equation.
  • the initial lane detection module 220 detects the initial lane equation using the integrated image of the G channel calculated by the image preprocessing module 210 (S340). .
  • An initial lane equation detection operation in step S340 will be described in more detail with reference to FIGS. 4 and 5.
  • FIG. 4 is a diagram illustrating an actual distance coordinate system and an image coordinate system used in a lane detection operation
  • FIG. 5 is a flowchart illustrating the initial lane equation detection step of FIG. 3 in more detail
  • FIG. 6 is a lane using a lane candidate point template. A diagram provided for explaining a method of extracting candidate points.
  • FIG. 4 shows an actual distance coordinate system starting from the center of the front of the vehicle, and (b) shows an image coordinate system used in an image captured in front of the vehicle.
  • the initial lane detection module 220 calculates a lane detection target region for an integrated image input by the image preprocessing module 210 (S3410).
  • the lane detection target area may be obtained as an image area corresponding to a rectangular area of 3m to 30m in front and -4m to 4m in left and right from the front center of the vehicle (eg, the center of the vehicle hood tip).
  • an image is generated by using Equation 1 below for (-4, 3), (-4, 30), (4, 3), and (4, 30) corresponding to each corner point of the rectangular area in the actual distance coordinate system.
  • the lane detection target area may be obtained.
  • (X, Y) is the coordinate in the actual distance coordinate system
  • (u, v) is the coordinate in the image coordinate system
  • u ', v' is the u, v coordinate in the image coordinate system before the perspective projection is applied
  • s is Perspective Transform (PT) represents a perspective projection ratio, and is a matrix for transforming coordinates (X, Y) into coordinates (u ', v') of an image coordinate system in an actual distance coordinate system. It is generally known to find the components of the matrix PT, and thus detailed description thereof will be omitted.
  • the initial lane detection module 220 extracts a lane candidate point in the lane detection target region (S3420).
  • candidate lanes having a step function in which '+1' and '-1' values have the same width (N / 2) for the coordinates u 0 and v 0 are consecutive.
  • Lane candidate points are extracted using the templates 610 and 620. If the value of the convolution of the integrated image and the lane candidate point templates 610 and 620 in the lane detection target area 630 is greater than or equal to a predetermined threshold, the corresponding coordinates may be extracted as the lane candidate points u 0 and v 0 . have.
  • the step function representing the lane candidate point template may be expressed as in Equation 2 below.
  • f L (u) represents the left lane candidate point template 610
  • f R (u) represents the right lane candidate point template 620.
  • the initial lane detection module 220 calculates the width N of the lane candidate point templates 610 and 620.
  • the width N of the lane candidate point templates 610 and 620 may be set to correspond to the width of the lane painted on the road. In general, since the width of one lane painted on the road is 20 cm, the following equation (3) can be used to obtain the width (N).
  • X 'and Y' are coordinates in the actual distance coordinate system
  • s is a perspective projection ratio
  • (u, v) is a coordinate in the image coordinate system
  • u ' is a u coordinate in the image coordinate system before the perspective projection is applied
  • V ' is the v coordinate in the image coordinate system before the perspective projection is applied
  • the matrix (IPT: Inverse Perspective Transform) is the coordinate in the image coordinate system (u, v) in the actual distance coordinate system (X', Y ')
  • the matrix to convert to. Obtaining the components of the matrix IPT is generally known, and thus detailed description thereof will be omitted.
  • the lane width in the image becomes narrower as it moves away from the vehicle, it can be calculated as a function of the value of v.
  • the coordinates (X, Y) in the corresponding actual distance coordinate system are obtained with respect to the coordinates (u, v), and the coordinates (X + 0.2, Y) moved 20 cm from the coordinates (X, Y) to the X axis are obtained.
  • the width of the coordinates (u, v) and coordinates (u2, v2) in the u axis (u2-u) (N) can be obtained.
  • the initial lane detection module 220 performs convolution of the lane candidate point templates 610 and 620 with the vehicle front image to extract the lane candidate points. do. Convolution of the lane candidate point templates 610 and 620 and the vehicle front image may be performed by using Equation 4 below.
  • I (u, v) is a brightness value of an integrated image in pixels (u, v)
  • conv_left is a convolution value of a left lane candidate point template 610 and an integrated image
  • conv_right is a right lane candidate point template 610.
  • the convolution value of the integral image Both convolution values represent the difference in average brightness between the road and lane sections. Therefore, we select the coordinates (u, v) where both values are above the threshold as the lane candidate points. Meanwhile, a large number of lane candidate points satisfying the threshold or more are detected in pixels adjacent to each other. Among the candidate candidates in close proximity, the candidate point having the highest threshold value is selected as the representative value.
  • the reference for the close distance may use the width N of the lane in the horizontal direction.
  • the lane candidate points in the vehicle detection area may be removed from the lane candidate point because they may be wrong candidates hidden by the vehicle.
  • a method for detecting the vehicle area in the vehicle front image a method already known to those skilled in the art may be used, and various other methods may be used.
  • the initial lane detection module 220 clusters the lane candidate points obtained in step S3423 (S3430). Clustering may be performed based on the distance between lane candidate points in the image coordinate system. When the distance between lane candidate points is equal to or less than a predetermined criterion (eg, 6 pixels), the same cluster is defined. On the other hand, the number of candidate points belonging to the same cluster is less than a predetermined number (for example, 5) can be considered as noise and excluded. As a result of clustering lane candidate points, lane candidate clusters for markers similar to lanes or other lanes can be obtained.
  • a predetermined criterion eg, 6 pixels
  • the initial lane detection module 220 calculates a lane equation with respect to the extracted lane candidate cluster (S3440).
  • a cluster pair that satisfies the next lane pair satisfaction requirement is selected as the initially detected lane pair from the lane equation calculated for each lane candidate cluster (S3450). Meanwhile, some of the following five lane pair satisfaction requirements may be omitted or additionally added according to embodiments.
  • Condition 4 When there are several lane pairs satisfying conditions 1) to 3), select the pair with the smallest distance between lanes under condition 2).
  • step S3450 the control module 270 considers that there is no lane in the current input image, and controls the initial lane detection operation to be performed on the next input image.
  • the initial lane detection module 220 converts the lane equation in the actual distance coordinate system to the lane equation in the image coordinate system (S3460).
  • the reason for the conversion to the lane equation in the image coordinate system is as follows. If there is previous lane information, the lane tracking module 230 is used to track the lane, since the lane tracking is performed in the image coordinate system for computational efficiency. In the lane equation transformation between the actual distance coordinate and the image coordinate system, the equation itself cannot be transformed because the transformation between the two coordinate systems is nonlinear, and the coefficients of the equation are again found by converting the sampled points on the lane into the image coordinate system. Can be done.
  • the lane equation in the image coordinate system is a hyperbolar equation of the v coordinate with respect to the u coordinate of the image, as shown in FIG.
  • This equation corresponds to a quadratic equation in the real coordinate system, the coefficient k representing the curvature of the lane, the asymptotic slope b L in the left lane, the asymptotic slope b K in the right lane, and the coordinates of the vanishing point where the two asymptotes meet (c, h )
  • the points on the lane are sampled at intervals of 1m from 3m to 30m for the first-lane equations obtained from the actual distance coordinate system, and each point is converted into image coordinates using a matrix (PT).
  • h value which is the v coordinate of the vanishing point, is obtained as a corresponding value when Y is infinite in actual coordinates using Equation 6 below using a matrix (PT).
  • control module 260 controls the lane tracking module 230 to track the new lane equation based on the previous lane equation (S350).
  • FIG. 8 is a flowchart illustrating the lane equation tracking step of FIG. 3 in more detail.
  • the lane tracking module 230 sets a region of interest at a previous lane position (S3510), and extracts lane candidate points within the region of interest (S3510). S3520).
  • the region of interest may be set according to a predetermined criterion. For example, it may be set within a range of 60 cm from the left and right at the point located on the previous lane equation, and may be appropriately set by the user in consideration of arithmetic speed and accuracy.
  • the lane candidate point extraction method in the ROI may use the lane candidate point template as in the initial lane extraction.
  • the lane candidate point located on the right side may be selected as the representative value among the lane candidate points, and the lane candidate point located on the left side in the ROI of the right lane may be selected. This allows you to select a candidate point on the original lane when a lane splits into two, instead of selecting a candidate point on the new lane that splits, so that even if there are two split lanes within the area of interest
  • follow-on tracking is possible.
  • the lane tracking module 230 selects a valid lane candidate point using a random sample concensus (RANSAC) algorithm on the lane candidate point extracted in step S3510 (S3530).
  • RANSAC random sample concensus
  • the RANSAC algorithm effectively removes outliers from model fitting.
  • the RANSAC algorithm uses a hyperbolar equation as a fitting model for each extracted left and right lane candidate points. Choose only inliers.
  • the inlier threshold used in the RANSAC algorithm may use a width of 20 cm (which should be converted into a distance in image coordinates using a matrix PT) of one lane, and the number of repetitions may be preset. have. For example, the number of repetitions can be set to 100 considering the system load.
  • the following is a process of selecting an inliner corresponding to a valid lane candidate point using the RANSAC algorithm.
  • Step 2 The left lane equation coefficient (k, b L , c) having the least squares error is obtained as the selected lane candidate point.
  • Step 3 Inliers are selected points whose distance difference of u coordinate is less than 20cm from the calculated lane equation.
  • Step 4) If the number of inliers is larger than the previous result, the inliner is stored and the steps 1) to 3) are repeated. If the process 1) to 3) is repeated a predetermined number of times, or if the number of inliers is equal to the entire candidate points, the repetition is stopped and the selected inliers are selected as valid lane candidate points until then.
  • Step 5) Repeat steps 1) to 4) for the extracted right lane candidate points to select an effective lane candidate point.
  • the lane tracking module 230 updates the new lane equation by applying a Kalman filter using the valid lane candidate points selected through the RANSAC algorithm as a measurement (S3540). Meanwhile, if the number of valid lane candidate points selected in the left or right ROI is less than 10, the candidate points of the ROI are not included in the measurement. If the left or right ROI is less than 10 valid lane candidate points, the lane equation may be processed without performing an update process.
  • the number of valid lane candidate points for which the update process is not performed is set to 10 in this embodiment, but the present invention is not limited thereto. Since there is a relationship between the accuracy and the trade-off, an appropriate number is added or subtracted according to the required accuracy according to the embodiment. Can be adjusted with
  • EKF Extended Kalman Filtering
  • the lane tracking module 230 performs a lane change and a vanishing point change on the updated lane equation (S3550).
  • the lane change can be divided into two cases of changing to the left neighboring lane and changing to the right neighboring lane.
  • the updated lane pair refers to a lane pair represented by the lane equation updated in step S3530 by using a Kalman filter, and the new lane pair applies a lane change and a vanishing point change to finally detect the lane pair. it means.
  • the change to the left neighboring lane is defined as a case where the slope b R of the right lane in the updated lane pair is smaller than ⁇ 0.2.
  • + is a value obtained by converting a lane width (for example, 3.5m) into an image coordinate system in an actual distance coordinate system.
  • the change to the right neighboring lane is defined as a case where the slope b L of the left lane is greater than 0.2 in the updated lane pair.
  • the updated lane pair's left lane equation (Line L ) as the new lane pair's right lane equation (Line R ' ), and shift it width-wise in parallel to reset the left lane equation of the new lane pair. do. Equation 8 below shows such lane information change.
  • the updated vanishing point is larger than the preset maximum value, it is changed to the maximum value, and if it is smaller than the minimum value, the updated vanishing point is changed to the minimum value.
  • the reason for changing the vanishing point is to prevent the vanishing point from diverging during the lane tracking process.
  • the possible range of vanishing points is the maximum value (v 80 m ) And minimum value (v 30 m If set to), the updated vanishing point is the maximum value (v 80 m ) And minimum value (v 30 m ), The vanishing point is used as is, and the maximum value (v 80 m Greater than), the vanishing point is the maximum value (v 80 m ), And the minimum value (v 30 m Less than), the minimum value (v 30 m Can be changed to Where v 80 m , v 30 m Are the v coordinate values corresponding to the Y coordinates corresponding to 80 m and 30 m ahead of the vehicle in the actual distance coordinate system, respectively.
  • the lane type recognition module 240 may calculate a dotted line, a solid line, and a lane curvature of the lane (S360).
  • the dotted line and solid line recognition of the lane may be performed as follows.
  • the G channel intensity is scanned with 20 pixels on the left and right sides of the points sampled at predetermined intervals (for example, 1 m) on each lane, and the difference between the maximum value and the minimum value among them. Is a point above the lane, and a point below the threshold is regarded as a point of the road area where the lane is broken.
  • the ratio of the number of points on the lane is calculated with respect to the total number of points corresponding to 5m to 20m in front of the vehicle, and if the value is 0.9 or more, it may be determined as a solid line and 0.9 or less.
  • the dotted line and the solid line are determined based on the case where the number of points on the lane is 0.9 or more for the lanes corresponding to 5m to 20m in front of the vehicle. Can be set differently.
  • the radius of curvature of the lane can calculate the curvature for the lane between 15 m and 30 m of the detected lane.
  • FIG. 10 is a diagram provided to explain a method of obtaining a lane curvature. Referring to FIG. 10, the radius of curvature may be first calculated using a matrix equation (IPT) and a lane equation in an image coordinate system at 15 m, 22.5 m, and 30 m points of a lane that is a curvature reference position.
  • IPT matrix equation
  • the center of curvature is the intersection of a straight line perpendicular to the line connecting the 15 m and 22.5 m lanes and a straight line perpendicular to the line connecting the 22.5 m and 30 m points, and between the 22.5 m and the center of curvature.
  • the distance of can be calculated as the radius of curvature.
  • the lane color recognition module 250 may recognize the color of the lane (S370).
  • 11 is a flowchart of a lane color recognition operation according to the present invention
  • FIG. 12 is a view provided to explain the lane color recognition operation.
  • a color average is obtained by sampling a point and a road area on a lane (S3710). For lanes between 5 m and 20 m ahead of the currently detected or tracked vehicle, select the appropriately sized rectangular area around the points sampled at predetermined intervals in the same way as the lane type recognition process. Find the average. As illustrated in FIG. 12, the road color average is obtained using a road area having a predetermined size (for example, 20 ⁇ 20 pixels) centered on a point 10 pixels away from the lane with respect to a 5 m area in front of the vehicle.
  • the lane colors and road colors are normalized and combined to become neural network input. The normalization method is shown in Equation 9 below.
  • (R L , B L , G L ) is the color value of the point on the lane
  • (R R , B R , G R ) is the average color value of the road area.
  • the neural network has a structure of '4-5-3' of the input layer-hidden layer-output layer as shown in FIG.
  • the input of the neural network is a four-dimensional vector, which is composed of normalized B and G channel values for lane colors and B and G channel values for road colors corresponding to lane colors. Adding road colors instead of using only lane colors as inputs is to allow the neural network to learn nonlinear color conversions for various lighting.
  • the output of the neural network is a three-dimensional bipolar vector, which outputs [1 -1 -1] for white lanes, [-1 1 -1] for yellow lanes, and [-1 -1 1] for blue lanes. do.
  • the 3D bipolar vector output for each lane of each color may be set to different values.
  • Lane color and road color learning data may be configured by sampling road color and lane color in daylight, tunnel, backlight, and blue white balance situations as shown in FIG. 12. For road color, the road area near the lane is extracted as a square of appropriate size, and the average value of each channel of RGB is obtained. This value represents a lighting state of the current image.
  • the lane color is extracted as a rectangle of a suitable size on the lane.
  • the input consists of the normalized B and G channel values of each pixel of the lane color and the normalized B and G channels of the road color, and the target output is (1 -1 -1) and (- 1 1 -1) and (-1 -1 1).
  • the learning can be learned by the Levenberg-Marquart backpropagation method.
  • the process of recognizing the lane color with the learned neural network can obtain outputs for the calculated neural network inputs, and output the most obtained color as the recognized color.
  • the lane departure warning module 260 may determine the lane departure of the vehicle by calculating the X coordinate of a point away from the vehicle in a direction in front of the vehicle (Y-axis direction) in the updated lane equation. For example, the lane departure warning module 260 determines the lane departure by calculating the X coordinate of the lane at 3 m in front of the vehicle from the newly obtained lane equation, and performs a warning operation (S380). The lane departure determination may be performed as follows. If the calculated X coordinate of the left lane is larger than -50cm at 3m ahead, it can be regarded as a left lane departure situation.
  • the lane departure warning module 260 may warn the lane departure situation through an output means (not shown) such as a speaker or a warning light.
  • Embodiments of the invention include a computer readable medium containing program instructions for performing various computer-implemented operations.
  • This medium records a program for executing the lane detection method described above.
  • the media may include, alone or in combination with the program instructions, data files, data structures, and the like. Examples of such media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CDs and DVDs, floppy disks and program commands such as magnetic-optical media, ROM, RAM, flash memory, and the like.
  • Hardware devices configured to store and perform such operations.
  • the medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a data structure, and the like.
  • program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the present invention can be used in a system and method for performing lane detection using an image captured by a camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차선 인식 시스템 및 방법에 관한 것으로, 차량에 장착된 카메라 모듈에서 획득된 차량 전방 영상을 적분 영상으로 전처리하는 단계, 이전 차선 방정식이 없는 경우 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하는 단계, 추출된 차선 후보점의 좌표를 실제 거리 좌표계에서 좌표로 변환한 후 클러스터링하여 구해지는 차선 후보 클러스터의 1차 차선 방정식을 구하는 단계, 구해진 차선 후보 클러스터 중에서 미리 정해진 조건을 만족하는 차선 후보 클러스터 쌍을 초기 검출된 차선 쌍으로 선택하는 단계를 포함한다.

Description

차선 인식 시스템 및 방법
본 발명은 차선 인식 시스템 및 방법에 관한 것으로, 보다 상세하게는 카메라로 촬영한 이미지를 이용하여 차선 인식을 수행하는 시스템 및 방법에 관한 것이다.
종래의 차선 검출 방법으로 모바일 기기를 기반으로 빠르고 간단한 에지(Edge) 추출과 호프 트랜스폼(Hough transform)을 이용한 직선 차선 검출 방법이 있다. 그리고 PC 기반으로는 직선 또는 쌍곡선(hyperbola) 쌍으로 차선을 검출하는 방법이 있다. 이러한 방법들은 단순한 계산과정으로 인해서 속도 면에서는 빠르지만, 주행중 발생할 수 있는 차선의 소실이나, 진동 등에 약한 단점이 있다. 한편 PC 기반으로 차선의 끊어짐에 강인한 랜덤 워크(random walk), 진동이나 기타 노이즈에 강인한 칼만 필터(Kalman filter) 등의 다소 복잡한 처리과정을 사용하여 2차 곡선 또는 B-스플라인(spline)으로 차선을 안정적으로 검출하는 방법들은 3.0 GHz 이상의 고성능 PC에서 복잡한 계산을 사용하여 차선의 끊어짐, 가려짐, 도로상의 트래픽 신호(traffic sign) 등에 강인한 성능을 낸다. 에지(edge)의 방향성을 고려하는 스티어러블 필터(steerable filter)와 레이저 센서(laser sensor)의 전방 스캔(scan) 정보를 사용하여 차선의 검색 영역 최소화 및 장애물로 인한 차선 가림을 해결하는 방법도 있다. 그러나 이러한 방법들은 고성능 PC에서 처리속도가 13 ms ~ 100 ms 이상이고, 고가의 레인지 센서(range sensor)를 필요로 하기 때문에, DSP 기반의 스탠드 얼론(stand-alone) 시스템으로 구현하기에는 적합하지 않은 부분이 있다. 따라서 DSP 기반의 개별 제품을 고려할 때는, 적은 연산량을 갖는 매우 간단한 차선 검출 방법과 함께, 차량의 진동이나 조명의 변화, 차선 변경 상황 등에도 강인한 추적 방법이 요구된다.
차선의 종류 인식에 관하여서는, 차선 위의 후보점의 분포를 샘플링하여 후보점 간격을 보고 점선과 실선을 판단하는 방법이 있으나, 조명 조건의 변화에 따라 차선과 도로 간의 경계가 모호해 져서 판단이 어려운 경우가 있다. 따라서 차선 위의 점과 도로 간의 차이를 판단하는 방법이 요구된다.
차선 색 인식 방법에 관하여서는, 조명 조건에 따라 차선 색이 매우 다양하게 바뀌므로 차선 색을 여러 조건에서 샘플링하여 방대한 데이터를 모아 인식기를 학습하는 방법이 있다. 그러나, 이러한 방법은 색변화의 비선형성을 충분히 반영하지 못하는 면이 있다. 따라서 조명으로 인한 색변화를 충분히 반영하여, 색변화가 있더라도 차선 색을 정확히 인식하는 방법이 요구된다.
차선 이탈 경보에 관해서는, 차선과 차량 간의 수평 거리를 계산하고, 또한 차량이 차선을 이탈하는 예상시간 (Time to Lane Crossing: TLC)을 계산하여, 임계치와 비교하여 경보하는 방법이 통상적으로 사용된다. 이를 적용하기 위해서는 영상에서의 차선 방정식으로부터 차선의 실제 방정식 및 거리를 계산하는 방법이 요구된다.
따라서 본 발명이 해결하고자 하는 과제는 카메라로 촬영한 이미지를 이용하여 차선 방정식, 차선 종류, 차선 색, 차선 이탈 상황 등을 인식하고 경고를 수행하는 차선 인식 시스템 및 방법을 제공하는 것이다.
이러한 기술적 과제를 해결하기 위한 본 발명의 한 실시예에 따른 차선 인식 방법은, 차량에 장착된 카메라 모듈에서 획득된 차량 전방 영상을 적분 영상으로 전처리하는 단계, 이전 차선 방정식이 없는 경우, 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하는 단계, 상기 추출된 차선 후보점의 좌표를 실제 거리 좌표계에서 좌표로 변환한 후 클러스터링하여 구해지는 차선 후보 클러스터의 1차 차선 방정식을 구하는 단계, 상기 구해진 차선 후보 클러스터 중에서 미리 정해진 조건을 만족하는 차선 후보 클러스터 쌍을 초기 검출된 차선 쌍으로 선택하는 단계, 그리고 상기 선택된 차선 쌍의 실제 거리 좌표계에서의 차선 방정식을 영상 좌표계에서의 차선 방정식으로 변환하는 단계를 포함한다.
상기 적분 영상은 상기 차량 전방 영상의 G 채널 성분에 대한 적분 영상일 수 있다.
이전 차선 방정식이 있는 경우, 상기 이전 차선 방정식 상에 위치하는 점에서 일정 범위 내로 관심 영역을 설정하는 단계, 상기 관심 영역 내에서 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하는 단계, 상기 추출된 차선 후보점에 대해 RANSAC(RANdom Sample Concensus) 알고리즘을 이용하여 유효 차선 후보점을 선택하는 단계, 그리고 상기 유효 차선 후보점을 측정값으로 하여 칼만 필터를 적용하여 상기 이전 차선 방정식을 업데이트 한 차선 방정식을 구하는 단계를 포함할 수 있다.
상기 관심 영역 내에서 차선 후보점 템플릿의 컨벌루션을 수행하여 추출된 차선 후보점 중에서 대표값으로 왼쪽 차선의 관심 영역에서는 가장 오른쪽에 위치한 차선 후보점을 선택하고, 오른쪽 차선의 관심 영역에서는 가장 왼쪽에 위치한 차선 후보점을 선택하여 상기 RANSAC 알고리즘을 이용하여 유효 차선 후보점을 선택할 수 있다.
상기 차선 후보점 템플릿은 좌표(u, v)에 대해 '+1'과 '-1' 값이 동일 폭(N/2)으로 연속된 스텝 함수 형태(step function)를 가지며, 상기 차선 후보점 템플릿과 상기 적분 영상에 대한 컨벌루션 수행은 수학식
Figure PCTKR2011005290-appb-I000001
을 이용하여 이루어지되, I(u,v)는 픽셀(u, v)에서 적분 영상의 밝기 값이고, conv_left는 좌측 차선 후보점 템플릿과 적분 영상의 컨벌루션 값이며, conv_right는 우측 차선 후보점 템플릿과 적분 영상의 컨벌루션 값이고, 상기 컨벌루션 값(conv_left, conv_right)이 임계치 이상인 좌표(u, v)를 차선 후보점으로 추출할 수 있다.
상기 업데이트 된 차선 방정식을 수학식
Figure PCTKR2011005290-appb-I000002
에 따라 새로운 차선 방정식으로 변경하되, bR은 상기 업데이트 된 차선 방정식에서 우측 차선 방정식의 기울기이고, bL은 상기 업데이트 된 차선 방정식에서 좌측 차선 방정식의 기울기이며, b1, b2는 미리 정해진 기울기이고, LineL', LineR'은 새로운 좌우 차선 방정식이고, LineL, LineR은 상기 업데이트 된 차선 방정식에서 좌우 차선 방정식일 수 있다.
상기 업데이트 된 차선 방정식의 소실점이 미리 설정된 최대값보다 큰 경우 최대값으로 변경하고, 미리 설정된 최소값보다 작은 경우 최소값으로 변경할 수 있다.
상기 업데이트 된 차선 방정식에서 미리 정해진 간격으로 샘플링된 점을 중심으로 좌우로 일정 픽셀의 채널 밝기를 스캔하여 최대값과 최소값의 차이가 임계치 이상인 경우 상기 샘플링된 점을 차선 위의 점으로 판단하고, 상기 샘플링된 점 중에서 차선 위의 점으로 판단된 경우가 미리 정해진 기준 이하인 경우 상기 업데이트 된 차선을 점선으로 판단할 수 있다.
상기 업데이트 된 차선 방정식에 위치하는 점을 중심으로 하는 영역의 차선 색 평균과, 미리 정해진 크기의 도로 영역에 대해 구해지는 도로 색 평균을 신경망에 입력하여 차선 색을 인식할 수 있다.
상기 업데이트 된 차선 방정식에서 차량 전방 방향(Y축 방향)으로 상기 차량과 일정 거리 떨어진 점의 X 좌표를 계산하여, 상기 차량의 차선 이탈 여부를 판단할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 차선 인식 시스템은 차량에 장착된 카메라 모듈에서 획득된 차량 전방 영상을 적분 영상으로 전처리하는 전처리 영상 모듈, 그리고 이전 차선 방정식이 없는 경우, 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하고, 상기 추출된 차선 후보점의 좌표를 실제 거리 좌표계에서 좌표로 변환한 후 클러스터링하여 구해지는 차선 후보 클러스터의 1차 차선 방정식을 구하며, 상기 구해진 차선 후보 클러스터 중에서 미리 정해진 조건을 만족하는 차선 후보 클러스터 쌍을 초기 검출된 차선 쌍으로 선택하고, 상기 선택된 차선 쌍의 실제 거리 좌표계에서의 차선 방정식을 영상 좌표계에서의 차선 방정식으로 변환하는 초기 차선 검출 모듈을 포함한다.
이전 차선 방정식이 있는 경우, 상기 이전 차선 방정식 상에 위치하는 점에서 일정 범위 내로 관심 영역을 설정하고, 상기 관심 영역 내에서 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하며, 상기 추출된 차선 후보점에 대해 RANSAC(RANdom Sample Concensus) 알고리즘을 이용하여 유효 차선 후보점을 선택하고, 상기 유효 차선 후보점을 측정값으로 하여 칼만 필터를 적용하여 상기 이전 차선 방정식을 업데이트 한 차선 방정식을 구하는 차선 추적 모듈을 더 포함할 수 있다.
상기 업데이트 된 차선 방정식에서 미리 정해진 간격으로 샘플링된 점을 중심으로 좌우로 일정 픽셀의 채널 밝기를 스캔하여 최대값과 최소값의 차이가 임계치 이상인 경우 상기 샘플링된 점을 차선 위의 점으로 판단하고, 상기 샘플링된 점 중에서 차선 위의 점으로 판단된 경우가 미리 정해진 기준 이하인 경우 상기 업데이트 된 차선을 점선으로 판단하는 차선 종류 인식 모듈을 더 포함할 수 있다.
상기 업데이트 된 차선 방정식에 위치하는 점을 중심으로 하는 영역의 차선 색 평균과, 미리 정해진 크기의 도로 영역에 대해 구해지는 도로 색 평균을 신경망에 입력하여 차선 색을 인식하는 차선 색 인식 모듈을 더 포함할 수 있다.
상기 업데이트 된 차선 방정식에서 차량 전방 방향(Y축 방향)으로 상기 차량과 일정 거리 떨어진 점의 X 좌표를 계산하여, 상기 차량의 차선 이탈 여부를 판단하고 경고하는 차선 이탈 경고 모듈을 더 포함할 수 있다.
본 발명에 의하면, 차량의 진동이나 조명의 변화, 차선 변경 상황 등에도 적은 연산량으로 매우 간단하게 차선 추적 및 차선 종류, 차선 색, 차선 이탈 경고 등을 강인하게 수행할 수 있다.
도 1은 본 발명의 실시예에 따른 차선 인식 시스템을 설명하기 위해 제공되는 블록도이다.
도 2는 도 1의 차선 인식 시스템을 보다 상세하게 나타낸 블록도이다.
도 3은 도 2의 차선 인식 시스템의 동작을 설명하기 위해 제공되는 흐름도이다.
도 4는 차선 검출 동작에서 사용되는 실제거리 좌표계와 영상 좌표계를 도시한 도면이다.
도 5는 도 3의 초기 차선 방정식 검출 단계를 보다 자세히 나타낸 흐름도이다.
도 6은 차선 후보점 템플릿을 이용하여 차선 후보점을 추출하는 방법을 설명하기 위해 제공되는 도면이다.
도 7은 영상 좌표계에서 차선 방정식을 설명하기 위해 제공되는 도면이다.
도 8은 도 3의 차선 방정식 추적 단계를 보다 자세히 나타낸 흐름도이다.
도 9는 차선 종류 인식 동작을 설명하기 위해 제공되는 도면이다.
도 10은 차선 곡률을 구하는 방법을 설명하기 위해 제공되는 도면이다.
도 11은 본 발명에 따른 차선색 인식 동작의 흐름도이다.
도 12는 차선색 인식 동작을 설명하기 위해 제공되는 도면이다.
도 13은 신경망을 이용한 색 인식 과정을 설명하기 위해 제공되는 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 차선 인식 시스템을 설명하기 위해 제공되는 블록도이다.
도 1을 참고하면, 먼저 차선 인식 시스템(200)은 차량(도시하지 않음)에 설치된 카메라 모듈(100)로부터 획득된 영상을 전달받고, 이를 기초로 자기 차량이 현재 위치한 차로의 차선에 대한 각종 정보를 인식하는 기능을 수행한다. 예컨대 차선에 대한 정보는 차선 방정식, 차선 종류(실선, 점선 여부), 차선 곡률, 차선 색, 차선 이탈 상황 등을 포함할 수 있다.
카메라 모듈(100)은 차량의 전방에 설치되어 차량 전방 도로에 대한 컬러 영상을 획득하는 기능을 수행한다. 카메라 모듈(100)은 획득된 영상을 실시간으로 차선 인식 시스템(200)에 전달한다. 카메라 모듈(100)은 광각 렌즈 또는 어안 렌즈와 같이 화각이 큰 렌즈를 구비할 수 있으며 핀홀 카메라를 포함한다. 카메라 모듈(100)은 60°에서 120°정도의 넓은 화각을 가지는 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 획득할 수 있다.
그러면 도 2 및 도 3을 참고하여 본 발명에 따른 차선 인식 시스템에 대해 보다 자세하게 설명한다.
도 2는 도 1의 차선 인식 시스템을 보다 상세하게 나타낸 블록도이고, 도 3은 도 2의 차선 인식 시스템의 동작을 설명하기 위해 제공되는 흐름도이다.
도 2를 참고하면, 차선 인식 시스템(200)은 영상 전처리 모듈(210), 초기 차선 검출 모듈(220), 차선 추적 모듈(230), 차선 종류 인식 모듈(240), 차선 색 인식 모듈(250), 차선 이탈 경고 모듈(260), 제어 모듈(270) 및 저장 모듈(280)을 포함할 수 있다.
영상 전처리 모듈(210)은 카메라 모듈(100)로부터 차량 전방 영상을 입력받고, 그에 대한 적분 영상(integral image)을 계산하여 출력할 수 있다.
초기 차선 검출 모듈(220)은 영상 전처리 모듈(210)에서 입력되는 적분 영상을 이용하여 초기 차선 방정식을 검출할 수 있다.
차선 추적 모듈(230)은 이전 차선 방정식이 있을 경우 이를 이용하여 새로운 차선 방정식을 구할 수 있다.
차선 종류 인식 모듈(240)은 차선이 실선인지 점선인지 여부를 인식하는 기능을 수행할 수 있다.
차선 색 인식 모듈(250)은 차선 색이 백색, 노랑색 또는 파랑색인지 여부를 인식하는 기능을 수행한다. 이를 통해 차선이 중앙선인지, 버스 전용 차선인지 등에 대한 정보를 획득할 수 있다.
차선 이탈 경고 모듈(260)은 차량의 차선 이탈 상황을 판단하고 경고하는 기능을 수행한다.
제어 모듈(270)은 차선 인식 시스템(200)의 전체적인 동작을 제어한다.
저장 모듈(280)은 차선 인식 시스템(200)의 동작에 필요한 각종 정보 및 데이터를 저장하고, 각 구성요소의 요청에 따라 제공하는 기능을 수행한다.
그러면 도 3을 참고하여 본 발명에 따른 차선 인식 시스템의 동작을 자세하게 설명한다.
도 3은 본 발명에 따른 차선 인식 시스템의 동작을 설명하기 위해 제공되는 흐름도이다.
먼저 영상 전처리 모듈(210)은 카메라 모듈(100)로부터 차량 전방 영상을 입력받는다(S310). 영상 전처리 모듈(210)은 입력된 차량 전방 영상의 컬러 성분 중에서 G 채널 성분을 선택하여 그에 대한 적분 영상(integral image)을 계산하여 출력한다(S320). G 채널 성분을 선택하는 이유는 터널 또는 야간에도 차선 부분과 도로 부분의 구분이 다른 채널 성분보다 명확하기 때문이다. 따라서 R, B 채널 영상을 선택하여 이하에서 설명하는 동작을 수행하는 것도 가능하나 G 채널 영상을 이용하는 것이 바람직하다. 한편 영상 전처리 모듈(210)은 카메라 모듈(100)에서 입력된 영상에 왜곡, 오류가 있을 경우 이를 보정하는 기능을 추가적으로 수행할 수도 있다.
다음으로 제어 모듈(270)은 이전 차선 방정식이 있는지 여부를 판단하고(S330), 그에 따라 초기 차선 검출 모듈(220)을 제어하여 초기 차선 방정식을 검출하게 한다.
보다 자세하게는 유효한 이전 차선 방정식이 없는 경우(S330-N), 초기 차선 검출 모듈(220)은 영상 전처리 모듈(210)에서 계산된 G 채널의 적분 영상을 이용하여 초기 차선 방정식을 검출한다(S340). 단계(S340)의 초기 차선 방정식 검출 동작에 대해 도 4 및 도 5를 참고하여 보다 자세히 설명한다.
도 4는 차선 검출 동작에서 사용되는 실제거리 좌표계와 영상 좌표계를 도시한 도면이고, 도 5는 도 3의 초기 차선 방정식 검출 단계를 보다 자세히 나타낸 흐름도이며, 도 6은 차선 후보점 템플릿을 이용하여 차선 후보점을 추출하는 방법을 설명하기 위해 제공되는 도면이다.
도 4에서 (a)는 차량의 전면 중심을 원점으로 하는 실제 거리 좌표계를 나타내고 있으며, (b)는 차량 전방을 촬영한 영상에서 사용되는 영상 좌표계를 나타내고 있다.
먼저 초기 차선 검출 모듈(220)은 영상 전처리 모듈(210)에서 입력된 적분 영상에 대한 차선 검출 대상 영역을 계산한다(S3410). 차선 검출 대상 영역은 자기 차량의 전면 중심(예컨대 차량 후드 선단의 중심)으로부터 전방 3m ~ 30m, 그리고 좌우 -4m ~ 4m의 사각 영역에 대응하는 영상 영역으로 구해질 수 있다. 예컨대, 실제 거리 좌표계에서 사각 영역의 각 코너점에 대응하는 (-4, 3), (-4, 30), (4, 3), (4, 30)에 대해 아래 수학식 1을 이용하여 영상 좌표계에서 대응하는 코너점을 구하면 차선 검출 대상 영역이 구해질 수 있다.
수학식 1
Figure PCTKR2011005290-appb-M000001
여기서 (X,Y)는 실제거리 좌표계에서의 좌표이고, (u,v)는 영상 좌표계에서의 좌표이며, u', v'는 원근 투영 적용 전의 영상 좌표계에서의 u, v 좌표이고, s는 원근 투영비를 나타내며, 행렬(PT: Perspective Transform)은 실제 거리 좌표계에서 좌표(X,Y)를 영상 좌표계의 좌표(u', v')로 변환하는 행렬이다. 행렬(PT)의 성분을 구하는 것은 일반적으로 알려져 있으므로 자세한 설명은 생략한다.
다음으로 초기 차선 검출 모듈(220)은 차선 검출 대상 영역 내에서 차선 후보점을 추출한다(S3420). 도 6에 예시한 것과 같이 좌표(u0, v0)에 대해 '+1'과 '-1' 값이 동일 폭(N/2)으로 연속된 스텝 함수 형태(step function)를 가지는 차선 후보점 템플릿(610, 620)을 이용하여 차선 후보점을 추출한다. 차선 검출 대상 영역(630)에서 적분 영상과 차선 후보점 템플릿(610, 620)에 대해 컨벌루션을 수행한 값이 미리 정해진 임계치 이상인 경우 해당 좌표를 차선 후보점(u0, v0)으로 추출할 수 있다.
차선 후보점 템플릿을 나타내는 스텝 함수는 다음 수학식 2와 같이 표현될 수 있다.
수학식 2
Figure PCTKR2011005290-appb-M000002
Figure PCTKR2011005290-appb-I000003
여기서, fL(u)는 좌측 차선 후보점 템플릿(610)이고, fR(u)는 우측 차선 후보점 템플릿(620)을 나타낸다.
이하에서 차선 후보점 추출에 대해 보다 자세히 설명한다.
먼저 초기 차선 검출 모듈(220)은 차선 후보점 템플릿(610, 620)의 폭(N)을 계산한다. 차선 후보점 템플릿(610, 620)의 폭(N)은 도로에 페인팅된 차선의 폭과 대응되게 설정될 수 있다. 일반적으로 도로에 페인팅된 차선 하나의 폭은 20cm이므로 다음 수학식 3을 이용하면 폭(N)을 구할 수 있다.
수학식 3
Figure PCTKR2011005290-appb-M000003
Figure PCTKR2011005290-appb-I000004
여기서, X', Y'는 실제거리 좌표계에서의 좌표이고, s는 원근 투영비를 나타내며, (u,v)는 영상 좌표계에서의 좌표이며, u'는 원근 투영 적용 전의 영상 좌표계에서의 u 좌표이고, v'는 원근 투영 적용 전의 영상 좌표계에서의 v 좌표이며, 행렬(IPT: Inverse Perspective Transform)은 영상 좌표계에서의 좌표(u, v)를 실제 거리 좌표계에서의 좌표(X', Y')로 변환하는 행렬이다. 행렬(IPT)의 성분을 구하는 것은 일반적으로 알려져 있으므로 자세한 설명은 생략한다.
영상에서 차선의 폭은 차량에서 멀어질수록 좁아지므로 v 값에 대한 함수로 계산될 수 있다. 먼저 좌표(u, v)에 대해 대응하는 실제 거리 좌표계에서의 좌표(X, Y)를 구하고, 좌표(X, Y)로부터 X축으로 20cm 이동한 좌표(X+0.2, Y)를 구한다. 그리고 좌표(X, Y)와 좌표(X+0.2, Y)를 다시 영상 좌표계로 변환한 후 좌표(u, v)와 좌표(u2, v2)의 u 축으로의 거리(u2-u)로 폭(N)을 구할 수 있다.
차선 후보점 템플릿(610, 620)의 폭(N)이 구해지면, 다음으로 초기 차선 검출 모듈(220)은 차선 후보점 템플릿(610, 620)과 차량 전방 영상의 컨벌루션을 행하여 차선 후보점을 추출한다. 차선 후보점 템플릿(610, 620)과 차량 전방 영상의 컨벌루션은 아래 수학식 4를 이용하여 수행할 수 있다.
수학식 4
Figure PCTKR2011005290-appb-M000004
여기서, I(u,v)는 픽셀(u, v)에서 적분 영상의 밝기 값이고, conv_left는 좌측 차선 후보점 템플릿(610)과 적분 영상의 컨벌루션 값이고, conv_right는 우측 차선 후보점 템플릿(610)과 적분 영상의 컨벌루션 값이다. 양 컨벌루션 값은 도로 부분과 차선 부분의 평균 밝기 차이를 의미한다. 따라서 이 두 값이 모두 임계치 이상인 좌표 (u,v)를 차선 후보점으로 선택한다. 한편 임계치 이상을 만족하는 차선 후보점들이 서로 이웃한 픽셀(pixel)에서 매우 많이 검출되는데, 가까운 거리에 있는 차선 후보점들 중에서 임계치가 가장 높은 후보점을 대표값으로 선택한다. 여기서 가까운 거리의 기준은 가로방향으로 차선의 폭(N)을 사용할 수 있다. 한편, 차량 전방 영상에서 일정 영역이 차량 영역으로 검출된 정보가 있는 경우, 차량 검출 영역 안에 있는 차선 후보점들은 차량에 가려져 있는 잘못된 후보점일 수 있기 때문에 차선 후보점에서 제거한다. 차량 전방 영상에서 차량 영역을 검출하는 방법은 당업자에게 이미 공지된 방법이 이용될 수 있으며, 기타 다양한 방법이 이용될 수 있다.
다음으로 초기 차선 검출 모듈(220)은 단계(S3423)에서 얻어진 차선 후보점을 클러스터링한다(S3430). 영상 좌표계에서 차선 후보점 사이의 거리에 기반하여 클러스터링할 수 있는데, 차선 후보점 간의 거리가 미리 정해진 기준(예컨대 6 픽셀 등)이하일 때 동일한 클러스터로 정의한다. 한편, 동일 클러스터에 속한 후보점의 개수가 미리 정해진 개수(예컨대 5개) 미만인 것은 노이즈로 간주하여 제외할 수 있다. 차선 후보점에 대한 클러스터링 결과로 차선 또는 기타 차선과 비슷한 표식에 대한 차선 후보 클러스터를 얻을 수 있다.
다음으로, 초기 차선 검출 모듈(220)은 추출된 차선 후보 클러스터에 대하여 차선 방정식을 계산한다(S3440). 초기 차선 검출을 위한 각 클러스터의 차선 방정식은 실제 거리 좌표계에서 X에 대한 Y의 1차 방정식으로 계산할 수 있다. 즉 'X = a1Y+a0' 로 나타낼 수 있다. 이를 기초로 초기 차선 방정식을 구하는 방법을 보다 자세히 설명한다.
먼저 영상 좌표계에서 차선 후보점의 좌표(u, v)를 실제 거리 좌표계에서 좌표(X, Y)로 행렬(IPT)을 이용하여 변환한다. 다음으로 실제 거리 좌표계로 변환된 복수 개의 후보점 집합{(X1, Y1), (X2, Y2) …, (Xn, Yn)}으로 이루어진 각 클러스터에 대한 1차 차선 방정식을 구한다. 최소자승법(LS: least squares method)을 이용하여 아래 수학식 5에 의해 구할 수 있다.
수학식 5
Figure PCTKR2011005290-appb-M000005
이렇게 각 차선 후보 클러스터에 대해 계산된 차선 방정식으로부터 다음의 차선 쌍 만족 요건을 충족하는 클러스터 쌍을 초기 검출된 차선 쌍으로 선택한다(S3450). 한편 실시예에 따라서 하기 5개의 차선 쌍 만족 요건 중 일부를 생략하거나 일부를 추가로 할 수 있음은 물론이다.
조건 1) 실제 거리 좌표계에서 3 m ~ 10 m 사이의 차선 후보점 개수가 10 개 이상인 차선 쌍
조건 2) 5 m 지점에서 두 차선 사이의 거리가 2.2 m ~ 3.0 m 영역에 있는 차선 쌍
조건 3) 실제 거리 좌표계에서 두 차선의 기울기 차이가 2°이하
조건 4) 조건 1)~3) 을 만족하는 차선 쌍이 여럿 있을 경우, 조건 2)의 차선 사이 거리가 가장 작은 쌍을 선택
조건 5) 선택된 차선 쌍에서 5 m 지점에서의 X 좌표가 큰 것이 오른쪽 차선, 작은 것이 왼쪽 차선
단계(S3450)에서 차선 쌍 검출이 실패한 경우, 제어 모듈(270)은 현재 입력 영상에 차선이 없는 것으로 간주하고, 다음 입력 영상에서 초기 차선 검출 동작이 수행되도록 제어한다.
한편 단계(S3450)에서 차선 쌍 검출에 성공한 경우, 초기 차선 검출 모듈(220)은 실제 거리 좌표계에서의 차선 방정식을 영상 좌표계에서의 차선 방정식으로 변환한다(S3460). 영상 좌표계에서의 차선 방정식으로 변환하는 이유는 다음과 같다. 이전 차선 정보가 있는 경우 차선 추적 모듈(230)을 이용하여 차선을 추적하는 동작을 수행하게 되는데, 차선 추적은 계산 상의 효율을 위해 영상 좌표계에서 이루어지기 때문이다. 실제 거리 좌표계와 영상 좌표계 사이에서의 차선 방정식 변환은 두 좌표계 간의 변환이 비선형이므로 방정식 자체를 변환할 수 없고, 차선 위에서 샘플링(sampling)된 점들을 영상 좌표계로 변환하여 다시 방정식의 계수를 찾아내는 방법으로 이루어질 수 있다.
영상 좌표계에서의 차선 방정식은 도 7에 나타낸 것과 같이 영상의 u 좌표에 대한 v 좌표의 쌍곡선(hyperbolar) 방정식이다. 이 방정식은 실제 좌표계에서의 2차 방정식에 대응되는 것으로, 차선의 곡률을 나타내는 계수 k, 왼쪽 차선의 점근선 기울기 bL, 오른쪽 차선의 점근선 기울기 bK, 두 점근선이 만나는 소실점의 좌표(c, h)로 표현된다. 좌표계 변환을 위해 실제 거리 좌표계에서 구해진 1차 차선 방정식에 대하여 3m ~ 30m 사이에서 1m 간격으로 차선 위의 점을 샘플링(sampling)하고 행렬(PT)을 이용하여 각 점들을 영상 좌표로 변환한다. 그리고 소실점의 v 좌표인 h 값은 행렬(PT)을 이용하여 아래 수학식 6과 같이 실제 좌표에서 Y가 무한대일 때 대응 값으로 구한다.
수학식 6
Figure PCTKR2011005290-appb-M000006
다음으로는 샘플링된 좌우 차선 위의 점에 대하여 아래의 수학식 7을 이용하여 최소 자승법을 통해 쌍곡선 방정식의 계수를 구한다.
수학식 7
Figure PCTKR2011005290-appb-M000007
다시 도 3으로 돌아가서 이전 차선 정보가 있는 경우(S330-Y), 제어 모듈(260)은 차선 추적 모듈(230)은 제어하여 이전 차선 방정식을 기초로 새로운 차선 방정식을 추적한다(S350).
도 8은 도 3의 차선 방정식 추적 단계를 보다 자세히 나타낸 흐름도이다.
도 8을 참고하면, 먼저 차선 추적 모듈(230)은 이전 차선 정보가 있는 경우 이전의 차선 위치에서 관심 영역(Region of Interest)을 설정하고(S3510), 관심 영역 내에서 차선 후보점을 추출한다(S3520). 관심 영역은 미리 정해진 기준에 따라 설정될 수 있다. 예컨대 이전 차선 방정식 상에 위치하는 점에서 좌우로 60cm 범위 내로 설정될 수 있으며 이는 연산속도, 정확도 등을 고려하여 사용자에 의해 적절하게 설정될 수 있다. 관심 영역 내에서 차선 후보점을 추출하는 방법은 초기 차선 추출에서와 같이 차선 후보점 템플릿을 이용할 수 있다. 한편 차선 후보점 중에서 대표값으로 왼쪽 차선의 관심 영역에서는 가장 오른쪽에 위치한 차선 후보점을 선택하고, 오른쪽 차선의 관심 영역에서는 가장 왼쪽에 위치한 차선 후보점을 선택하도록 구현할 수 있다. 이렇게 하면 두 갈래로 차선이 갈라질 때, 갈라져 나오는 새로운 차선 위의 후보점을 선택하지 않고 원래 차선 위의 후보점을 선택할 수 있기 때문에 관심 영역 내에서 두 갈래로 갈라지는 차선이 있을 경우에도 현재 추적되는 차선을 따라 지속적인 추적이 가능하다.
다음으로 차선 추적 모듈(230)은 단계(S3510)에서 추출된 차선 후보점에 대해 RANSAC(RANdom Sample Concensus) 알고리즘을 이용하여 유효 차선 후보점을 선택한다(S3530). 보다 자세하게는 RANSAC 알고리즘은 모델 피팅(model fitting)에서 아웃라이어(outlier)를 효과적으로 제거하는 방법인데, 추출된 좌우 차선 후보점 각각에 대하여 차선 쌍곡선(hyperbolar) 방정식을 피팅 모델(fitting model)로 하여 인라이어(inlier)만 선택한다. 이때, RANSAC 알고리즘에서 사용된 인라이어(inlier) 임계치는 차선 하나의 폭인 20cm(행렬(PT)을 이용하여 영상 좌표에서의 거리로 환산해야 함)가 이용될 수 있으며, 반복 횟수는 미리 설정될 수 있다. 예컨대 반복 횟수를 시스템 부하 등을 고려하여 100번으로 설정할 수 있다. 아래는 RANSAC 알고리즘으로 유효 차선 후보점에 해당하는 인라이너(inlier)를 선택하는 과정이다.
과정 1) 추출된 왼쪽 차선 후보점에서 3개의 서로 다른 점을 무작위로 선택한다.
과정 2) 선택된 차선 후보점으로 최소 자승 에러(least squares error)를 가지는 왼쪽 차선 방정식 계수(k, bL, c)를 구한다.
과정3) 계산된 차선 방정식으로부터 u 좌표의 거리 차이가 20cm 이하인 점들을 인라이너(inlier)로 선택한다.
과정4) 인라이너(inlier)의 개수가 이전 결과보다 많으면 인라이너(inlier)를 저장하고, 과정 1) ~ 3) 을 반복한다. 과정 1) ~ 3) 을 미리 정해진 횟수만큼 반복했거나, 인라이너(inlier)의 개수가 후보점 전체와 같아지면 반복을 중단하고 그 때까지 선택된 인라이너(inlier)를 유효 차선 후보점으로 선택한다.
과정 5) 추출된 오른쪽 차선 후보점에 대해서도 과정 1) ~ 4) 를 반복하여, 유효 차선 후보점을 선택한다.
다음으로 차선 추적 모듈(230)은 RANSAC 알고리즘을 통해 선별된 유효 차선 후보점을 측정값(measurement)으로 하여 칼만 필터를 적용함으로써 새로운 차선 방정식으로 업데이트한다(S3540). 한편 왼쪽 또는 오른쪽 관심영역에서 선택된 유효 차선 후보점의 개수가 10개 미만이면 그 관심영역의 후보점은 측정값(measurement)에 포함하지 않는다. 만약 왼쪽 또는 오른쪽의 관심영역 모두 유효 차선 후보점의 개수가 10개 미만이면 업데이트(update) 과정을 수행하지 않고 차선 방정식이 없다고 처리할 수 있다. 업데이트 과정을 수행하지 않는 유효 차선 후보점의 개수는 본 실시예에서는 10개로 설정하였으나 반드시 이에 한정되는 것은 아니며, 정확도와 트레이드 오프되는 관계가 있으므로, 실시예에 따라 요구되는 정확도에 따라 가감하여 적절한 숫자로 조정 가능하다.
이와 같이 차선 후보점에 대해 RANSAC 알고리즘을 사용하여 관심 영역 내의 차선 후보점만을 새로운 차선을 찾는 데에 이용하면, 도로상의 표지로 인한 영향을 배제할 수 있고, 매우 빠른 연산이 가능하다. 한편 도로 주행시에 있는 진동과 차선의 일시적인 끊어짐, 조명 변화 등으로 인해 차선 후보점이 관심 영역 내에서 존재하지 않을 경우가 있다. 따라서 이런 경우를 견디기 위한 방법으로, 가우션 잡음(Gaussian noise)에 강인하며 비선형 방정식을 추적할 수 있는 확장 칼만 필터(Extended Kalman Filtering:EKF) 방법을 사용하여 차선을 추적하는 것이 바람직하다.
다음으로 차선 추적 모듈(230)은 업데이트 된 차선 방정식에 대해 차선 변경 및 소실점 변경을 수행한다(S3550). 차선 변경은 좌측 이웃 차선으로 변경하는 경우와 우측 이웃 차선으로 변경하는 경우 두 가지로 나눌 수 있다. 이하에서 업데이트된 차선 쌍은 칼만 필터를 이용하여 단계(S3530)에서 업데이트된 차선 방정식에 의해 표현되는 차선 쌍을 의미하고, 새로운 차선 쌍은 차선 변경 및 소실점 변경을 적용하여 최종적으로 추적된 차선 쌍을 의미한다.
좌측 이웃 차선으로 변경하는 경우는, 업데이트된 차선 쌍에서 우측 차선의 기울기(bR)가 -0.2 보다 작은 경우로 정의한다. 이 경우, 업데이트된 차선 쌍의 우측 차선 방정식(LineR)을 새로운 차선 쌍의 좌측 차선 방정식(LineL')으로 변경하고, u 축을 기준으로 폭 + 만큼 평행 이동하여 새로운 차선 쌍의 우측 차선 방정식을 다시 설정한다. 여기서 +은 실제 거리 좌표계에서 차선 폭(예컨대 3.5m)을 영상 좌표계로 변환한 값이다.
한편 우측 이웃 차선으로 변경하는 경우는, 업데이트된 차선 쌍에서 좌측 차선의 기울기(bL)가 0.2 보다 큰 경우로 정의한다. 이 경우, 업데이트된 차선 쌍의 좌측 차선 방정식(LineL)을 새로운 차선 쌍의 우측 차선 방정식(LineR')으로 간주하고, 그에 대해 폭 - 만큼 평행 이동하여 새로운 차선 쌍의 좌측 차선 방정식을 다시 설정한다. 아래 수학식 8은 이러한 차선 정보 변경을 나타낸 것이다.
수학식 8
Figure PCTKR2011005290-appb-M000008
한편 업데이트된 소실점이 미리 설정된 최대값보다 큰 경우 최대값으로 변경하고, 최소값보다 작은 경우 최소값으로 변경한다. 이렇게 소실점을 변경하는 이유는 차선 추적 과정에서 소실점이 발산하는 것을 방지하기 위해서다. 예를 들어 소실점의 가능 범위를 최대값(v80m)과 최소값(v30m)으로 설정한 경우 업데이트된 소실점이 최대값(v80m)과 최소값(v30m) 범위 내면 해당 소실점을 그대로 사용하고, 최대값(v80m)보다 크면 소실점을 최대값(v80m)으로 변경하고, 최소값(v30m)보다 작으면 최소값(v30m)으로 변경할 수 있다. 여기서 v80m, v30m는 각각 실제 거리 좌표계에서 차량으로부터 전방 80m, 30m에 해당하는 Y 좌표를 영상 거리 좌표계로 변환했을 때 그에 대응하는 v 좌표값이다.
차선 추적이 완료되면, 차선 종류 인식 모듈(240)은 차선의 점선, 실선 여부와 차선 곡률을 계산할 수 있다(S360).
차선의 점선, 실선 인식은 다음과 같이 이루어질 수 있다. 차량 전방 영상의 차선 방정식에서 차량 전방 5m ~ 20m에 해당하는 차선 위의 픽셀(pixel)값과 주위 픽셀값을 이용하여 실선인지 점선인지를 인식한다. 도 9와 같이 각 차선 위에서 미리 정해진 간격(예컨대 1m 등)으로 샘플링된 점(point)을 중심으로 좌우 20 픽셀로 G 채널 밝기(intensity)를 스캔(scan)하고, 그 중에서 최대값과 최소값의 차이가 미리 정해진 임계치 이상인 점은 차선 위의 점, 임계치 이하인 점은 차선이 끊어진 도로 영역의 점으로 간주한다. 차량 전방 5m ~ 20m에 해당하는 전체 점의 개수에 대하여 차선 위의 점의 개수 비율을 계산하고, 이 값이 0.9 이상이면 실선, 0.9 이하이면 점선으로 판단할 수 있다. 본 실시예에서는 차량 전방 5m ~ 20m 에 해당하는 차선에 대해 차선 위의 점의 개수 비율이 0.9 이상인 경우를 기준으로 점선, 실선 여부를 판단하였으나, 실시예에 따라 차량 전방의 범위와 점의 개수 비율을 다르게 설정될 수 있다.
차선의 곡률 반경은 검출된 차선의 15 m ~ 30 m 사이의 차선에 대한 곡률을 계산할 수 있다. 도 10은 차선 곡률을 구하는 방법을 설명하기 위해 제공되는 도면이다. 도 10을 참고하면, 곡률 반경은 먼저 곡률 기준 위치인 차선의 15 m 지점과 22.5 m, 30 m 지점을 행렬(IPT)과 영상 좌표계에서의 차선 방정식을 이용하여 계산할 수 있다. 그 다음으로 차선의 15 m 지점과 22.5 m 지점을 잇는 선분에 수직인 직선과, 22.5 m와 30 m 지점을 잇는 선분에 수직인 직선과의 교점을 곡률 중심으로 하고, 22.5 m 지점과 곡률 중심 사이의 거리를 곡률 반경으로 계산할 수 있다.
한편 차선색 인식 모듈(250)은 차선의 색상을 인식할 수 있다(S370). 도 11은 본 발명에 따른 차선색 인식 동작의 흐름도이고, 도 12는 차선색 인식 동작을 설명하기 위해 제공되는 도면이다.
먼저 차선 위의 점 및 도로 영역을 샘플링(sampling)하여 색 평균을 구한다(S3710). 현재 검출 또는 추적된 차량의 전방 5 m ~ 20 m 사이의 차선에 대하여 차선 종류 인식과정에서와 동일한 방법으로 미리 정해진 간격으로 샘플링된 점(point)을 중심으로 적절한 크기의 사각형 영역을 선택하여 차선 색 평균을 구한다. 그리고 도 12에 예시한 것과 같이 차량 전방 5m 영역에 대해 차선과 10 픽셀(pixel) 떨어진 점을 중심으로 하는 미리 정해진 크기(예컨대 20×20 픽셀)의 도로 영역을 이용하여 도로 색 평균을 구한다. 그리고 차선 색과 도로 색을 정규화(normalize)하여 신경망 입력이 되도록 합친다. 정규화 방법은 아래 수학식 9와 같다.
수학식 9
Figure PCTKR2011005290-appb-M000009
여기서, (RL, BL, GL)은 차선 위의 점의 색상 값이고, (RR, BR, GR)은 도로 영역의 평균 색상 값이다.
다음으로 학습된 신경망으로 색 인식을 수행한다(S3730). 도 13은 신경망을 이용한 색 인식 과정을 설명하기 위해 제공되는 도면이다. 신경망은 도 13에서와 같이 입력층-은닉층-출력층의 '4-5-3'의 구조로 되어 있다. 신경망의 입력은 4차원 벡터인데, 차선 색에 대한 정규화된 B, G 채널 값과 차선 색에 대응되는 도로 색에 대한 B, G 채널 값으로 구성된다. 차선 색만을 입력으로 사용하지 않고 도로 색을 추가하는 것은 다양한 조명에 따른 비선형 색변환을 신경망이 학습할 수 있도록 하기 위함이다. 신경망의 출력은 3차원 바이폴라(bipolar) 벡터인데, 흰색 차선의 경우 [1 -1 -1], 노란색 차선의 경우 [-1 1 -1], 파란색 차선의 경우 [-1 -1 1] 을 출력한다. 물론 각 색상의 차선 별로 출력되는 3차원 바이폴라 벡터를 다른 값으로 설정할 수도 있다. 한편 신경망을 학습하기 위해서는 다양한 조명상황에서 얻은 차선 색과 도로 색의 데이터가 필요하다. 차선 색 및 도로 색 학습데이터는 도 12와 같이 주광, 터널, 역광, 푸른색 화이트밸런스 상황에서 도로 색과 차선 색을 샘플링하여 구성할 수 있다. 도로 색은 차선과 가까운 위치의 도로 영역을 적당한 크기의 사각형으로 추출한 뒤 RGB 각 채널의 평균 값을 구한다. 이 값이 현재 영상의 조명 상태를 대표하는 값이다. 그리고 차선 색은 차선 위를 적당한 크기의 사각형으로 추출한다. 입력은 차선 색의 각 픽셀의 정규화된 B, G 채널 값과 도로색의 정규화된 B, G 채널로 구성하고, 타겟 출력은 흰색, 노란색, 파란색에 대하여 각각 (1 -1 -1), (-1 1 -1), (-1 -1 1) 로 구성한다. 이때, 학습은 Levenberg-Marquart backpropagation 방법으로 학습할 수 있다. 이렇게 학습 된 신경망으로 차선 색을 인식하는 과정은 계산된 신경망 입력들에 대한 출력들을 얻고, 가장 많은 수의 출력을 얻은 색을 인식된 색으로 출력할 수 있다.
마지막으로 차선 이탈 경고 모듈(260)은 업데이트된 차선 방정식에서 차량 전방 방향(Y축 방향)으로 차량과 일정 거리 떨어진 점의 X 좌표를 계산하여, 차량의 차선 이탈 여부를 판단할 수 있다. 예컨대 차선 이탈 경고 모듈(260)은 새로 구해진 차선 방정식으로부터 차량 전방 3m에서 차선의 X 좌표를 계산하여 차선 이탈 여부를 판단하고 경고 동작을 수행한다(S380). 차선 이탈 여부 판단은 다음과 같이 수행될 수 있다. 전방 3m에서 왼쪽 차선의 계산된 X 좌표가 -50cm보다 큰 경우 왼쪽 차선 이탈 상황으로, 오른쪽 차선의 계산된 X 좌표가 50cm보다 작은 경우 오른쪽 차선 이탈 상황으로 인지할 수 있다. 물론 실시예에 따라 차선의 X 좌표를 계산하는 지점을 다르게 설정할 수 있고 이 경우 차선 이탈의 기준이 되는 X 좌표 값도 그에 맞추어 다르게 설정할 수 있다. 한편 차선 이탈 상황으로 인지된 경우, 차선 이탈 경고 모듈(260)은 스피커 또는 경고등 등의 출력수단(도시하지 않음)을 통해 차선 이탈 상황을 경고할 수 있다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 차선 검출 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
본 발명은 카메라로 촬영한 이미지를 이용하여 차선 인식을 수행하는 시스템 및 방법에 이용될 수 있다.

Claims (20)

  1. 차량에 장착된 카메라 모듈에서 획득된 차량 전방 영상을 적분 영상으로 전처리하는 단계,
    이전 차선 방정식이 없는 경우, 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하는 단계,
    상기 추출된 차선 후보점의 좌표를 실제 거리 좌표계에서 좌표로 변환한 후 클러스터링하여 구해지는 차선 후보 클러스터의 1차 차선 방정식을 구하는 단계,
    상기 구해진 차선 후보 클러스터 중에서 미리 정해진 조건을 만족하는 차선 후보 클러스터 쌍을 초기 검출된 차선 쌍으로 선택하는 단계, 그리고
    상기 선택된 차선 쌍의 실제 거리 좌표계에서의 차선 방정식을 영상 좌표계에서의 차선 방정식으로 변환하는 단계
    를 포함하는 것을 특징으로 하는 차선 인식 방법.
  2. 제 1 항에서,
    상기 적분 영상은 상기 차량 전방 영상의 G 채널 성분에 대한 적분 영상인 것을 특징으로 하는 차선 인식 방법.
  3. 제 2 항에서,
    이전 차선 방정식이 있는 경우, 상기 이전 차선 방정식 상에 위치하는 점에서 일정 범위 내로 관심 영역을 설정하는 단계,
    상기 관심 영역 내에서 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하는 단계,
    상기 추출된 차선 후보점에 대해 RANSAC(RANdom Sample Concensus) 알고리즘을 이용하여 유효 차선 후보점을 선택하는 단계, 그리고
    상기 유효 차선 후보점을 측정값으로 하여 칼만 필터를 적용하여 상기 이전 차선 방정식을 업데이트 한 차선 방정식을 구하는 단계
    를 포함하는 것을 특징으로 하는 차선 인식 방법.
  4. 제 3 항에서,
    상기 관심 영역 내에서 차선 후보점 템플릿의 컨벌루션을 수행하여 추출된 차선 후보점 중에서 대표값으로 왼쪽 차선의 관심 영역에서는 가장 오른쪽에 위치한 차선 후보점을 선택하고, 오른쪽 차선의 관심 영역에서는 가장 왼쪽에 위치한 차선 후보점을 선택하여 상기 RANSAC 알고리즘을 이용하여 유효 차선 후보점을 선택하는 것을 특징으로 하는 차선 인식 방법.
  5. 제 3 항에서,
    상기 차선 후보점 템플릿은 좌표(u, v)에 대해 '+1'과 '-1' 값이 동일 폭(N/2)으로 연속된 스텝 함수 형태(step function)를 가지며,
    상기 차선 후보점 템플릿과 상기 적분 영상에 대한 컨벌루션 수행은 수학식
    Figure PCTKR2011005290-appb-I000005
    을 이용하여 이루어지되, I(u,v)는 픽셀(u, v)에서 적분 영상의 밝기 값이고, conv_left는 좌측 차선 후보점 템플릿과 적분 영상의 컨벌루션 값이며, conv_right는 우측 차선 후보점 템플릿과 적분 영상의 컨벌루션 값이고, 상기 컨벌루션 값(conv_left, conv_right)이 임계치 이상인 좌표(u, v)를 차선 후보점으로 추출하는 것을 특징으로 하는 차선 인식 방법.
  6. 제 3 항에서,
    상기 업데이트 된 차선 방정식을 수학식
    Figure PCTKR2011005290-appb-I000006
    에 따라 새로운 차선 방정식으로 변경하되, bR은 상기 업데이트 된 차선 방정식에서 우측 차선 방정식의 기울기이고, bL은 상기 업데이트 된 차선 방정식에서 좌측 차선 방정식의 기울기이며, b1, b2는 미리 정해진 기울기이고, LineL', LineR'은 새로운 좌우 차선 방정식이고, LineL, LineR은 상기 업데이트 된 차선 방정식에서 좌우 차선 방정식인 것을 특징으로 하는 차선 인식 방법.
  7. 제 3 항에서,
    상기 업데이트 된 차선 방정식의 소실점이 미리 설정된 최대값보다 큰 경우 최대값으로 변경하고, 미리 설정된 최소값보다 작은 경우 최소값으로 변경하는 것을 특징으로 하는 차선 인식 방법.
  8. 제 3 항에서,
    상기 업데이트 된 차선 방정식에서 미리 정해진 간격으로 샘플링된 점을 중심으로 좌우로 일정 픽셀의 채널 밝기를 스캔하여 최대값과 최소값의 차이가 임계치 이상인 경우 상기 샘플링된 점을 차선 위의 점으로 판단하고, 상기 샘플링된 점 중에서 차선 위의 점으로 판단된 경우가 미리 정해진 기준 이하인 경우 상기 업데이트 된 차선을 점선으로 판단하는 것을 특징으로 하는 차선 인식 방법.
  9. 제 3 항에서,
    상기 업데이트 된 차선 방정식에 위치하는 점을 중심으로 하는 영역의 차선 색 평균과, 미리 정해진 크기의 도로 영역에 대해 구해지는 도로 색 평균을 신경망에 입력하여 차선 색을 인식하는 것을 특징으로 하는 차선 인식 방법.
  10. 제 3 항에서,
    상기 업데이트 된 차선 방정식에서 차량 전방 방향(Y축 방향)으로 상기 차량과 일정 거리 떨어진 점의 X 좌표를 계산하여, 상기 차량의 차선 이탈 여부를 판단하는 것을 특징으로 하는 차선 인식 방법.
  11. 차량에 장착된 카메라 모듈에서 획득된 차량 전방 영상을 적분 영상으로 전처리하는 전처리 영상 모듈, 그리고
    이전 차선 방정식이 없는 경우, 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하고, 상기 추출된 차선 후보점의 좌표를 실제 거리 좌표계에서 좌표로 변환한 후 클러스터링하여 구해지는 차선 후보 클러스터의 1차 차선 방정식을 구하며, 상기 구해진 차선 후보 클러스터 중에서 미리 정해진 조건을 만족하는 차선 후보 클러스터 쌍을 초기 검출된 차선 쌍으로 선택하고, 상기 선택된 차선 쌍의 실제 거리 좌표계에서의 차선 방정식을 영상 좌표계에서의 차선 방정식으로 변환하는 초기 차선 검출 모듈
    을 포함하는 것을 특징으로 하는 차선 인식 시스템.
  12. 제 11 항에서,
    상기 적분 영상은 상기 차량 전방 영상의 G 채널 성분에 대한 적분 영상인 것을 특징으로 하는 차선 인식 시스템.
  13. 제 12 항에서,
    이전 차선 방정식이 있는 경우, 상기 이전 차선 방정식 상에 위치하는 점에서 일정 범위 내로 관심 영역을 설정하고, 상기 관심 영역 내에서 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하며, 상기 추출된 차선 후보점에 대해 RANSAC(RANdom Sample Concensus) 알고리즘을 이용하여 유효 차선 후보점을 선택하고, 상기 유효 차선 후보점을 측정값으로 하여 칼만 필터를 적용하여 상기 이전 차선 방정식을 업데이트 한 차선 방정식을 구하는 차선 추적 모듈을 포함하는 것을 특징으로 하는 차선 인식 시스템.
  14. 제 13 항에서,
    상기 관심 영역 내에서 차선 후보점 템플릿의 컨벌루션을 수행하여 추출된 차선 후보점 중에서 대표값으로 왼쪽 차선의 관심 영역에서는 가장 오른쪽에 위치한 차선 후보점을 선택하고, 오른쪽 차선의 관심 영역에서는 가장 왼쪽에 위치한 차선 후보점을 선택하여 상기 RANSAC 알고리즘을 이용하여 유효 차선 후보점을 선택하는 것을 특징으로 하는 차선 인식 시스템.
  15. 제 13 항에서,
    상기 차선 후보점 템플릿은 좌표(u, v)에 대해 '+1'과 '-1' 값이 동일 폭(N/2)으로 연속된 스텝 함수 형태(step function)를 가지며,
    상기 차선 후보점 템플릿과 상기 적분 영상에 대한 컨벌루션 수행은 수학식
    Figure PCTKR2011005290-appb-I000007
    을 이용하여 이루어지되, I(u,v)는 픽셀(u, v)에서 적분 영상의 밝기 값이고, conv_left는 좌측 차선 후보점 템플릿과 적분 영상의 컨벌루션 값이며, conv_right는 우측 차선 후보점 템플릿과 적분 영상의 컨벌루션 값이고, 상기 컨벌루션 값(conv_left, conv_right)이 임계치 이상인 좌표(u, v)를 차선 후보점으로 추출하는 것을 특징으로 하는 차선 인식 시스템.
  16. 제 13 항에서,
    상기 업데이트 된 차선 방정식을 수학식
    Figure PCTKR2011005290-appb-I000008
    에 따라 새로운 차선 방정식으로 변경하되, bR은 상기 업데이트 된 차선 방정식에서 우측 차선 방정식의 기울기이고, bL은 상기 업데이트 된 차선 방정식에서 좌측 차선 방정식의 기울기이며, b1, b2는 미리 정해진 기울기이고, LineL', LineR'은 새로운 좌우 차선 방정식이고, LineL, LineR은 상기 업데이트 된 차선 방정식에서 좌우 차선 방정식인 것을 특징으로 하는 차선 인식 시스템.
  17. 제 13 항에서,
    상기 업데이트 된 차선 방정식의 소실점이 미리 설정된 최대값보다 큰 경우 최대값으로 변경하고, 미리 설정된 최소값보다 작은 경우 최소값으로 변경하는 것을 특징으로 하는 차선 인식 시스템.
  18. 제 13 항에서,
    상기 업데이트 된 차선 방정식에서 미리 정해진 간격으로 샘플링된 점을 중심으로 좌우로 일정 픽셀의 채널 밝기를 스캔하여 최대값과 최소값의 차이가 임계치 이상인 경우 상기 샘플링된 점을 차선 위의 점으로 판단하고, 상기 샘플링된 점 중에서 차선 위의 점으로 판단된 경우가 미리 정해진 기준 이하인 경우 상기 업데이트 된 차선을 점선으로 판단하는 차선 종류 인식 모듈을 더 포함하는 것을 특징으로 하는 차선 인식 시스템.
  19. 제 13 항에서,
    상기 업데이트 된 차선 방정식에 위치하는 점을 중심으로 하는 영역의 차선 색 평균과, 미리 정해진 크기의 도로 영역에 대해 구해지는 도로 색 평균을 신경망에 입력하여 차선 색을 인식하는 차선 색 인식 모듈을 더 포함하는 것을 특징으로 하는 차선 인식 시스템.
  20. 제 13 항에서,
    상기 업데이트 된 차선 방정식에서 차량 전방 방향(Y축 방향)으로 상기 차량과 일정 거리 떨어진 점의 X 좌표를 계산하여, 상기 차량의 차선 이탈 여부를 판단하고 경고하는 차선 이탈 경고 모듈을 더 포함하는 것을 특징으로 하는 차선 인식 시스템.
PCT/KR2011/005290 2010-07-19 2011-07-19 차선 인식 시스템 및 방법 WO2012011713A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100069537A KR101225626B1 (ko) 2010-07-19 2010-07-19 차선 인식 시스템 및 방법
KR10-2010-0069537 2010-07-19

Publications (2)

Publication Number Publication Date
WO2012011713A2 true WO2012011713A2 (ko) 2012-01-26
WO2012011713A3 WO2012011713A3 (ko) 2012-05-10

Family

ID=45497281

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/005290 WO2012011713A2 (ko) 2010-07-19 2011-07-19 차선 인식 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101225626B1 (ko)
WO (1) WO2012011713A2 (ko)

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103057470A (zh) * 2012-12-06 2013-04-24 重庆交通大学 一种车辆违章压线预先提示装置及其提示方法
CN103150337A (zh) * 2013-02-04 2013-06-12 北京航空航天大学 一种基于Bézier曲线的车道线重构方法
CN104670085A (zh) * 2013-11-29 2015-06-03 现代摩比斯株式会社 车道脱离警报***
WO2015105239A1 (ko) * 2014-01-13 2015-07-16 삼성테크윈 주식회사 차량 및 차선 위치 검출 시스템 및 방법
EP2882187A4 (en) * 2012-08-03 2016-02-24 Clarion Co Ltd VEHICLE IN-HOUSE IMAGING DEVICE
CN106778605A (zh) * 2016-12-14 2017-05-31 武汉大学 导航数据辅助下的遥感影像道路网自动提取方法
US9704063B2 (en) 2014-01-14 2017-07-11 Hanwha Techwin Co., Ltd. Method of sampling feature points, image matching method using the same, and image matching apparatus
KR20170085752A (ko) 2016-01-15 2017-07-25 현대자동차주식회사 자율 주행 차량의 차선 인지 방법 및 장치
CN109084782A (zh) * 2017-06-13 2018-12-25 蔚来汽车有限公司 基于摄像头传感器的车道线地图构建方法以及构建***
CN110211371A (zh) * 2018-02-28 2019-09-06 罗伯特·博世有限公司 用于求取道路交叉口的拓扑信息的方法
CN110222658A (zh) * 2019-06-11 2019-09-10 腾讯科技（深圳）有限公司 道路灭点位置的获取方法及装置
CN110879961A (zh) * 2018-09-05 2020-03-13 斯特拉德视觉公司 利用车道模型的车道检测方法和装置
CN110909588A (zh) * 2018-09-15 2020-03-24 斯特拉德视觉公司 基于cnn的用于车道线检测的方法和装置
CN111008600A (zh) * 2019-12-06 2020-04-14 中国科学技术大学 一种车道线检测方法
CN111507154A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 使用横向滤波器掩膜来检测车道线元素的方法和装置
CN112285734A (zh) * 2020-10-30 2021-01-29 北京斯年智驾科技有限公司 基于道钉的港口无人集卡高精度对准方法及其对准***
CN112597846A (zh) * 2020-12-14 2021-04-02 合肥英睿***技术有限公司 车道线检测方法、装置、计算机设备和存储介质
CN112818804A (zh) * 2021-01-26 2021-05-18 重庆长安汽车股份有限公司 目标级车道线的平行处理方法、***、车辆及存储介质
CN113239733A (zh) * 2021-04-14 2021-08-10 重庆利龙科技产业(集团)有限公司 一种多车道车道线检测方法
US11170299B2 (en) 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
CN114120258A (zh) * 2022-01-26 2022-03-01 深圳佑驾创新科技有限公司 一种车道线识别方法、装置及存储介质
US11308338B2 (en) 2018-12-28 2022-04-19 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
CN114889606A (zh) * 2022-04-28 2022-08-12 吉林大学 一种基于多传感融合的低成本高精定位方法
US11436484B2 (en) 2018-03-27 2022-09-06 Nvidia Corporation Training, testing, and verifying autonomous machines using simulated environments
WO2022204867A1 (zh) * 2021-03-29 2022-10-06 华为技术有限公司 一种车道线检测方法及装置
US11520345B2 (en) 2019-02-05 2022-12-06 Nvidia Corporation Path perception diversity and redundancy in autonomous machine applications
US11537139B2 (en) 2018-03-15 2022-12-27 Nvidia Corporation Determining drivable free-space for autonomous vehicles
US11604967B2 (en) 2018-03-21 2023-03-14 Nvidia Corporation Stereo depth estimation using deep neural networks
US11604470B2 (en) 2018-02-02 2023-03-14 Nvidia Corporation Safety procedure analysis for obstacle avoidance in autonomous vehicles
US11610115B2 (en) 2018-11-16 2023-03-21 Nvidia Corporation Learning to generate synthetic datasets for training neural networks
US11609572B2 (en) 2018-01-07 2023-03-21 Nvidia Corporation Guiding vehicles through vehicle maneuvers using machine learning models
US11648945B2 (en) 2019-03-11 2023-05-16 Nvidia Corporation Intersection detection and classification in autonomous machine applications
US11676364B2 (en) 2018-02-27 2023-06-13 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles
US11698272B2 (en) 2019-08-31 2023-07-11 Nvidia Corporation Map creation and localization for autonomous driving applications
US11704890B2 (en) 2018-12-28 2023-07-18 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
CN116630928A (zh) * 2023-07-25 2023-08-22 广汽埃安新能源汽车股份有限公司 一种车道线优化方法、装置及电子设备
US11966838B2 (en) 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
US11978266B2 (en) 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications
US12032380B2 (en) 2023-07-19 2024-07-09 Nvidia Corporation Guiding vehicles through vehicle maneuvers using machine learning models

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101327348B1 (ko) * 2012-06-15 2013-11-11 재단법인 경북아이티융합 산업기술원 주행도로 영상에 정의된 마스크를 이용한 자기 차로 인식 시스템
KR101382902B1 (ko) * 2012-06-29 2014-04-23 엘지이노텍 주식회사 차선이탈 경고 시스템 및 차선이탈 경고 방법
KR101428165B1 (ko) * 2012-06-29 2014-08-07 엘지이노텍 주식회사 차선이탈 경고 시스템 및 차선이탈 경고 방법
KR101338347B1 (ko) * 2013-04-02 2014-01-03 라온피플 주식회사 차선 이탈 경고 시스템 및 방법
KR101483742B1 (ko) 2013-06-21 2015-01-16 가천대학교 산학협력단 지능형 차량의 차선 검출방법
KR101878490B1 (ko) 2017-03-10 2018-07-13 만도헬라일렉트로닉스(주) 차선 인식 시스템 및 방법
KR102499398B1 (ko) 2017-08-09 2023-02-13 삼성전자 주식회사 차선 검출 방법 및 장치
WO2019161300A1 (en) 2018-02-18 2019-08-22 Nvidia Corporation Detecting objects and determining confidence scores
KR102097869B1 (ko) * 2018-04-25 2020-04-06 연세대학교 산학협력단 자가 지도 학습을 이용한 딥러닝 기반 도로 영역 추정 장치 및 방법
US10262214B1 (en) * 2018-09-05 2019-04-16 StradVision, Inc. Learning method, learning device for detecting lane by using CNN and testing method, testing device using the same
KR102475042B1 (ko) * 2018-09-28 2022-12-06 현대오토에버 주식회사 정밀 지도 구축 장치 및 방법
CN111401251B (zh) * 2020-03-17 2023-12-26 北京百度网讯科技有限公司 车道线提取方法、装置、电子设备及计算机可读存储介质
CN112613344B (zh) * 2020-12-01 2024-04-16 浙江华锐捷技术有限公司 车辆占道检测方法、装置、计算机设备和可读存储介质
KR102629639B1 (ko) * 2021-04-21 2024-01-29 계명대학교 산학협력단 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037541A (ja) * 2007-08-03 2009-02-19 Nissan Motor Co Ltd レーンマーカ認識装置及びその方法、並びに車線逸脱防止装置
JP2009237706A (ja) * 2008-03-26 2009-10-15 Honda Motor Co Ltd 車両用車線認識装置、車両、及び車両用車線認識プログラム
US20100002911A1 (en) * 2008-07-06 2010-01-07 Jui-Hung Wu Method for detecting lane departure and apparatus thereof
US20100110193A1 (en) * 2007-01-12 2010-05-06 Sachio Kobayashi Lane recognition device, vehicle, lane recognition method, and lane recognition program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100110193A1 (en) * 2007-01-12 2010-05-06 Sachio Kobayashi Lane recognition device, vehicle, lane recognition method, and lane recognition program
JP2009037541A (ja) * 2007-08-03 2009-02-19 Nissan Motor Co Ltd レーンマーカ認識装置及びその方法、並びに車線逸脱防止装置
JP2009237706A (ja) * 2008-03-26 2009-10-15 Honda Motor Co Ltd 車両用車線認識装置、車両、及び車両用車線認識プログラム
US20100002911A1 (en) * 2008-07-06 2010-01-07 Jui-Hung Wu Method for detecting lane departure and apparatus thereof

Cited By (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9723282B2 (en) 2012-08-03 2017-08-01 Clarion Co., Ltd. In-vehicle imaging device
EP2882187A4 (en) * 2012-08-03 2016-02-24 Clarion Co Ltd VEHICLE IN-HOUSE IMAGING DEVICE
CN103057470B (zh) * 2012-12-06 2015-09-16 重庆交通大学 一种车辆违章压线预先提示装置及其提示方法
CN103057470A (zh) * 2012-12-06 2013-04-24 重庆交通大学 一种车辆违章压线预先提示装置及其提示方法
CN103150337A (zh) * 2013-02-04 2013-06-12 北京航空航天大学 一种基于Bézier曲线的车道线重构方法
CN104670085A (zh) * 2013-11-29 2015-06-03 现代摩比斯株式会社 车道脱离警报***
WO2015105239A1 (ko) * 2014-01-13 2015-07-16 삼성테크윈 주식회사 차량 및 차선 위치 검출 시스템 및 방법
US9704063B2 (en) 2014-01-14 2017-07-11 Hanwha Techwin Co., Ltd. Method of sampling feature points, image matching method using the same, and image matching apparatus
KR20170085752A (ko) 2016-01-15 2017-07-25 현대자동차주식회사 자율 주행 차량의 차선 인지 방법 및 장치
CN106778605A (zh) * 2016-12-14 2017-05-31 武汉大学 导航数据辅助下的遥感影像道路网自动提取方法
CN106778605B (zh) * 2016-12-14 2020-05-05 武汉大学 导航数据辅助下的遥感影像道路网自动提取方法
CN109084782A (zh) * 2017-06-13 2018-12-25 蔚来汽车有限公司 基于摄像头传感器的车道线地图构建方法以及构建***
CN109084782B (zh) * 2017-06-13 2024-03-12 蔚来(安徽)控股有限公司 基于摄像头传感器的车道线地图构建方法以及构建***
US11755025B2 (en) 2018-01-07 2023-09-12 Nvidia Corporation Guiding vehicles through vehicle maneuvers using machine learning models
US11609572B2 (en) 2018-01-07 2023-03-21 Nvidia Corporation Guiding vehicles through vehicle maneuvers using machine learning models
US11604470B2 (en) 2018-02-02 2023-03-14 Nvidia Corporation Safety procedure analysis for obstacle avoidance in autonomous vehicles
US11966228B2 (en) 2018-02-02 2024-04-23 Nvidia Corporation Safety procedure analysis for obstacle avoidance in autonomous vehicles
US11676364B2 (en) 2018-02-27 2023-06-13 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles
CN110211371B (zh) * 2018-02-28 2022-10-11 罗伯特·博世有限公司 用于求取道路交叉口的拓扑信息的方法
CN110211371A (zh) * 2018-02-28 2019-09-06 罗伯特·博世有限公司 用于求取道路交叉口的拓扑信息的方法
US11537139B2 (en) 2018-03-15 2022-12-27 Nvidia Corporation Determining drivable free-space for autonomous vehicles
US11941873B2 (en) 2018-03-15 2024-03-26 Nvidia Corporation Determining drivable free-space for autonomous vehicles
US11604967B2 (en) 2018-03-21 2023-03-14 Nvidia Corporation Stereo depth estimation using deep neural networks
US11436484B2 (en) 2018-03-27 2022-09-06 Nvidia Corporation Training, testing, and verifying autonomous machines using simulated environments
US11966838B2 (en) 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
CN110879961B (zh) * 2018-09-05 2023-10-17 斯特拉德视觉公司 利用车道模型的车道检测方法和装置
CN110879961A (zh) * 2018-09-05 2020-03-13 斯特拉德视觉公司 利用车道模型的车道检测方法和装置
CN110909588B (zh) * 2018-09-15 2023-08-22 斯特拉德视觉公司 基于cnn的用于车道线检测的方法和装置
CN110909588A (zh) * 2018-09-15 2020-03-24 斯特拉德视觉公司 基于cnn的用于车道线检测的方法和装置
US11610115B2 (en) 2018-11-16 2023-03-21 Nvidia Corporation Learning to generate synthetic datasets for training neural networks
US11704890B2 (en) 2018-12-28 2023-07-18 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
US11769052B2 (en) 2018-12-28 2023-09-26 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
US11308338B2 (en) 2018-12-28 2022-04-19 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
US11790230B2 (en) 2018-12-28 2023-10-17 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
US11170299B2 (en) 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
CN111507154B (zh) * 2019-01-31 2023-10-17 斯特拉德视觉公司 使用横向滤波器掩膜来检测车道线元素的方法和装置
CN111507154A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 使用横向滤波器掩膜来检测车道线元素的方法和装置
US11520345B2 (en) 2019-02-05 2022-12-06 Nvidia Corporation Path perception diversity and redundancy in autonomous machine applications
US11897471B2 (en) 2019-03-11 2024-02-13 Nvidia Corporation Intersection detection and classification in autonomous machine applications
US11648945B2 (en) 2019-03-11 2023-05-16 Nvidia Corporation Intersection detection and classification in autonomous machine applications
CN110222658A (zh) * 2019-06-11 2019-09-10 腾讯科技（深圳）有限公司 道路灭点位置的获取方法及装置
US11698272B2 (en) 2019-08-31 2023-07-11 Nvidia Corporation Map creation and localization for autonomous driving applications
US11713978B2 (en) 2019-08-31 2023-08-01 Nvidia Corporation Map creation and localization for autonomous driving applications
US11788861B2 (en) 2019-08-31 2023-10-17 Nvidia Corporation Map creation and localization for autonomous driving applications
CN111008600A (zh) * 2019-12-06 2020-04-14 中国科学技术大学 一种车道线检测方法
CN111008600B (zh) * 2019-12-06 2023-04-07 中国科学技术大学 一种车道线检测方法
US11978266B2 (en) 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications
CN112285734B (zh) * 2020-10-30 2023-06-23 北京斯年智驾科技有限公司 基于道钉的港口无人集卡高精度对准方法及其对准***
CN112285734A (zh) * 2020-10-30 2021-01-29 北京斯年智驾科技有限公司 基于道钉的港口无人集卡高精度对准方法及其对准***
CN112597846A (zh) * 2020-12-14 2021-04-02 合肥英睿***技术有限公司 车道线检测方法、装置、计算机设备和存储介质
CN112597846B (zh) * 2020-12-14 2022-11-11 合肥英睿***技术有限公司 车道线检测方法、装置、计算机设备和存储介质
CN112818804A (zh) * 2021-01-26 2021-05-18 重庆长安汽车股份有限公司 目标级车道线的平行处理方法、***、车辆及存储介质
CN112818804B (zh) * 2021-01-26 2024-02-20 重庆长安汽车股份有限公司 目标级车道线的平行处理方法、***、车辆及存储介质
WO2022204867A1 (zh) * 2021-03-29 2022-10-06 华为技术有限公司 一种车道线检测方法及装置
CN113239733A (zh) * 2021-04-14 2021-08-10 重庆利龙科技产业(集团)有限公司 一种多车道车道线检测方法
CN113239733B (zh) * 2021-04-14 2023-05-12 重庆利龙中宝智能技术有限公司 一种多车道车道线检测方法
CN114120258A (zh) * 2022-01-26 2022-03-01 深圳佑驾创新科技有限公司 一种车道线识别方法、装置及存储介质
CN114889606A (zh) * 2022-04-28 2022-08-12 吉林大学 一种基于多传感融合的低成本高精定位方法
US12032380B2 (en) 2023-07-19 2024-07-09 Nvidia Corporation Guiding vehicles through vehicle maneuvers using machine learning models
CN116630928B (zh) * 2023-07-25 2023-11-17 广汽埃安新能源汽车股份有限公司 一种车道线优化方法、装置及电子设备
CN116630928A (zh) * 2023-07-25 2023-08-22 广汽埃安新能源汽车股份有限公司 一种车道线优化方法、装置及电子设备

Also Published As

Publication number Publication date
KR20120009590A (ko) 2012-02-02
WO2012011713A3 (ko) 2012-05-10
KR101225626B1 (ko) 2013-01-24

Similar Documents

Publication Publication Date Title
WO2012011713A2 (ko) 차선 인식 시스템 및 방법
WO2018101526A1 (ko) 라이다 데이터를 이용하여 도로 영역과 차선을 검출하는 방법 및 그 시스템
CN111753797B (zh) 一种基于视频分析的车辆测速方法
WO2021006441A1 (ko) 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
US20160034778A1 (en) Method for detecting traffic violation
WO2015105239A1 (ko) 차량 및 차선 위치 검출 시스템 및 방법
Dong et al. A completely non-contact recognition system for bridge unit influence line using portable cameras and computer vision
WO2023277371A1 (ko) 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
CN110348463B (zh) 用于识别车辆的方法和装置
Premachandra et al. Detection and tracking of moving objects at road intersections using a 360-degree camera for driver assistance and automated driving
WO2020159076A1 (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
WO2020067751A1 (ko) 이종 센서 간의 데이터 융합 장치 및 방법
CN113011283B (zh) 一种基于视频的非接触式钢轨轨枕相对位移实时测量方法
WO2021235682A1 (en) Method and device for performing behavior prediction by using explainable self-focused attention
WO2013022153A1 (en) Apparatus and method for detecting lane
CN117078717A (zh) 基于无人机单目相机的道路车辆轨迹提取方法
JP4762026B2 (ja) 道路標識データベース構築装置
KR20100105160A (ko) 자동 교통정보추출 시스템 및 그의 추출방법
CN116901089A (zh) 一种多角度视距的机器人控制方法及***
Unno et al. Vehicle motion tracking using symmetry of vehicle and background subtraction
WO2022255678A1 (ko) 다중 관측정보를 이용한 신호등 배치정보 추정 방법
WO2016104842A1 (ko) 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
WO2022114283A1 (ko) 지면 요철 결정 전자 장치 및 그 동작방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11809840

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11809840

Country of ref document: EP

Kind code of ref document: A2