KR101645322B1 - System and method for detecting lane using lane variation vector and cardinal spline - Google Patents
System and method for detecting lane using lane variation vector and cardinal spline Download PDFInfo
- Publication number
- KR101645322B1 KR101645322B1 KR1020140194722A KR20140194722A KR101645322B1 KR 101645322 B1 KR101645322 B1 KR 101645322B1 KR 1020140194722 A KR1020140194722 A KR 1020140194722A KR 20140194722 A KR20140194722 A KR 20140194722A KR 101645322 B1 KR101645322 B1 KR 101645322B1
- Authority
- KR
- South Korea
- Prior art keywords
- lane
- area
- point
- change vector
- frame
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 시스템 및 그 방법에 관한 것으로서, 입력영상에 역 투시변환 및 차선 필터를 적용하는 전처리부; 상기 전처리부를 통해 처리된 영상의 시작 프레임과 그 다음 프레임에서 차선 후보 영역을 추출하고, 차선 후보 영역으로부터 좌우 차선 위치에 따른 차선 영역을 설정하며, 설정된 영역으로부터 차선의 시작점 및 끝점을 검색하는 차선 영역 추출부; 상기 차선 영역 추출부를 통해 검색된 차선의 시작점 및 끝점을 이용하여 시작 프레임과 그 다음 프레임에서의 차선 변화벡터를 계산하고, 이 후의 프레임에서 차선이 위치할 지점을 예측하며, 예측된 차선 위치에서 설정된 스캔 영역 내에서 새로운 차선 위치 영역을 예측하는 차선 예측부; 및 상기 차선 예측부를 통해 예측된 새로운 차선 위치 영역 내 제어점을 설정하고, 설정된 제어점에 카디널 스플라인을 적용하여 차선을 검출하는 차선 검출부; 를 포함한다. The present invention relates to a lane detecting system using a lane change vector and a cardinal spline, and a method thereof, and more particularly, to a lane detecting system and method using a lane change vector and a cardinal spline, A lane marker area for detecting a start point and an end point of a lane from a set area, a lane marker area for detecting a start point and an end point of the lane from the lane marker candidate area, An extraction unit; Calculating a lane change vector in a start frame and a next frame using the start point and the end point of the lane detected through the lane area extracting unit, predicting a position where the lane will be located in the following frame, A lane predictor for predicting a new lane location area within the area; A lane detection unit for setting a control point in a new lane area predicted through the lane predictor and applying a cardinal spline to a set control point to detect a lane; .
Description
본 발명은 차선 검출 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 카메라 파라미터가 필요없는 역 투시변환 영상에 차선 변화벡터와 카디널 스플라인을 이용하여 변화에 강인한 곡선 및 직선 차선을 검출하는 기술에 관한 것이다. The present invention relates to a lane detection system and a method thereof, and more particularly, to a technique of detecting a curve and a straight lane which are robust to a change using a lane change vector and a cardinal spline on a back- .
미래에는 자동차의 가치가 기계적 사양이 아니라 차량 내 통신 등 IT 기술에 의해 좌우될 것으로 전망되는 가운데, 자동차 업체들은 지능형 자동차와 같은 고부가가치화에 매진하고 있다. In the future, the value of automobiles is expected to be driven by IT technologies such as in-vehicle communications, not mechanical specifications. In the future, automakers are striving for high added value such as intelligent automobiles.
지능형 자동차 진화의 핵심은 최첨단 기술을 적극 수용함에 따라 폭넓은 서비스가 가능하게 되었다. 이러한 지능형 자동차의 구성 요소 중 하나인 차선 이탈 경고 시스템(Lane Departure Warning System)은 영상, 레이더, 레이저 등 다양한 입력 센서를 이용하여 센서로부터 입력받은 영상정보를 분석, 처리해 운전자의 안전운전을 지원한다[1]. The key to the evolution of intelligent vehicles is the availability of cutting-edge technologies that enable a wide range of services. The Lane Departure Warning System, which is one of the components of the intelligent vehicle, analyzes and processes image information received from the sensor using various input sensors such as image, radar, and laser to support safe driving of the driver [ One].
카메라를 이용하여 차선 이탈 여부를 판별하기 위한 실시간 알고리즘은 단순하고 적은 연산으로 처리시간을 단축시켜야 한다. 최근에는 단순히 영상에서 바로 색 정보나 에지 정보를 이용하는 것이 아닌 영상의 전처리 단계에서 영상을 변형시켜 정보를 이용하기 편하게 만드는 방법이 연구되고 있다[1].The real-time algorithm for determining whether or not a lane departure has been made using a camera should be shortened by simple and small operation. In recent years, there has been a research on a method of making information easy to use by transforming an image in a preprocessing step of an image, rather than simply using color information or edge information directly from the image [1].
이러한 영상의 변형을 이용한 방법으로는 Alberto Broggi가 카메라 파라미터를 이용하여 투시변환에 필요한 정보를 계산하고 이를 이용하여 원근 효과를 제거해 탑 뷰(top view) 영상을 생성해 차선을 검출하는 방법을 제안하였다[2].As a method of using this image transformation, Alberto Broggi proposed a method of calculating the information necessary for perspective transformation by using camera parameters and generating a top view image by removing the perspective effect using the camera parameters to detect a lane [2].
이 방법에서는 영상을 IPM(Inverse Perspective Mapping) 방법으로 탑 뷰 형태로 변환시켜 차선 정보를 사용하기 쉽게 만들어 영상 전체를 사용하지 않고 차선이 존재하는 영역만을 지정함으로써 검출에 소요되는 시간을 절약할 수 있었다. In this method, the image is transformed into the top view form using the IPM (Inverse Perspective Mapping) method, making it easy to use the lane information, so that the time required for the detection can be saved by designating only the area where the lane is present without using the entire image .
다만, 이 방법은 카메라 파라미터를 사전에 알아야 하는 단점이 존재했지만 최근에 진행된 연구로 카메라 파라미터가 필요 없는 상황에서도 IPM 방법과 같은 결과를 얻을 수 있는 알고리즘이 개발되었다. 이 방법은 카메라 파라미터 대신 영상에서 차선 예측을 통하여 역 투시변환에 필요한 호모그래피 행렬 H를 추출해 낼 수 있는 방법이다[3]. Although this method has a disadvantage of knowing camera parameters in advance, recent research has developed an algorithm that can obtain the same result as IPM method even when camera parameters are not needed. This method can extract the homography matrix H necessary for back-to-back transformation through lane prediction in the image instead of the camera parameter [3].
하지만, 이 방법은 곡선 차선 검출은 고려하지 않아 곡선 차선인 경우에도 직선으로 판단하였기 때문에 곡선 차선이 검출되지 않거나 차선 영역이 아닌 위치를 차선으로 오판단하는 문제가 존재하였다.However, this method does not consider curved lane detection, and therefore, even when the curved lane is determined as a straight line, there is a problem that a curved lane is not detected or a position other than a lane area is judged as a lane.
또한 곡선 차선의 추출을 위하여 Y. Wang은 B-Snake 기반의 차선 검출 방법을 제안하였다[4]. 이 방법은 B-스플라인에 필요한 제어점을 획득하기 위하여 Snake 알고리즘을 이용한 제어점 설정 알고리즘으로 다양한 형태의 차선을 검출할 수 있었다. 그렇지만 이 방법은 연산 시간이 길어 실시간 처리에는 적합하지 않았다.In addition, Y. Wang proposed a B-Snake-based lane detection method to extract curved lanes [4]. This method was able to detect various types of lanes with the control point setting algorithm using the Snake algorithm to obtain the control points necessary for the B-spline. However, this method has a long computation time and is not suitable for real-time processing.
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 카메라 파라미터가 필요없는 역 투시변환 영상에 차선 변화벡터와 카디널 스플라인을 이용하여 변화에 강인한 곡선 및 직선 차선을 검출할 수 있는 시스템 및 방법을 제공함에 목적이 있다. SUMMARY OF THE INVENTION The present invention has been made in view of the above problems and provides a system and method for detecting a curve and a straight lane that are robust to changes using a lane change vector and a cardinal spline on a back- There is purpose in.
이러한 기술적 과제를 달성하기 위한 본 발명은 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 시스템에 관한 것으로서, 입력영상에 역 투시변환 및 차선 필터를 적용하는 전처리부; 상기 전처리부를 통해 처리된 영상의 시작 프레임과 그 다음 프레임에서 차선 후보 영역을 추출하고, 차선 후보 영역으로부터 좌우 차선 위치에 따른 차선 영역을 설정하며, 설정된 영역으로부터 차선의 시작점 및 끝점을 검색하는 차선 영역 추출부; 상기 차선 영역 추출부를 통해 검색된 차선의 시작점 및 끝점을 이용하여 시작 프레임과 그 다음 프레임에서의 차선 변화벡터를 계산하고, 이 후의 프레임에서 차선이 위치할 지점을 예측하며, 예측된 차선 위치에서 설정된 스캔 영역 내에서 새로운 차선 위치 영역을 예측하는 차선 예측부; 및 상기 차선 예측부를 통해 예측된 새로운 차선 위치 영역 내 제어점을 설정하고, 설정된 제어점에 카디널 스플라인을 적용하여 차선을 검출하는 차선 검출부; 를 포함한다.According to an aspect of the present invention, there is provided a lane detection system using a lane change vector and a cardinal spline, the lane change detection system comprising: a pre-processing unit for applying a back- A lane marker area for detecting a start point and an end point of a lane from a set area, a lane marker area for detecting a start point and an end point of the lane from the lane marker candidate area, An extraction unit; Calculating a lane change vector in a start frame and a next frame using the start point and the end point of the lane detected through the lane area extracting unit, predicting a position where the lane will be located in the following frame, A lane predictor for predicting a new lane location area within the area; A lane detection unit for setting a control point in a new lane area predicted through the lane predictor and applying a cardinal spline to a set control point to detect a lane; .
또한 상기 차선 영역 추출부는, 상기 전처리부를 통해 역 투시변환이 적용된 영상으로 변환할 때 사용되는 차선의 정보를 이용하여, 그 주변 영역을 대상으로 시작 프레임과 그 다음 프레임에서 차선 후보 영역을 추출하는 차선 후보 영역 추출모듈; 및 추출된 차선 후보 영역의 좌, 우 차선 위치에서 각각 가장 큰 영역을 차선 영역으로 설정하여 추출하고, 설정된 영역으로부터 차선의 시작점 및 끝점을 찾는 차선 영역 추출모듈; 을 포함하는 것을 특징으로 한다.The lane area extracting unit may further include a lane extracting unit for extracting a lane marker candidate area in a start frame and a lane marker candidate area in a neighboring area using the lane information used in the conversion into an image to which reverse- Candidate region extraction module; A lane area extracting module for extracting and setting the largest area as the lane area at the left and right lane positions of the extracted lane candidate area and finding the starting point and the end point of the lane from the set area; And a control unit.
또한 상기 차선 영역 추출부는, 상기 차선의 시작점과 끝점으로부터 외부 영역을 스캔하여 차선 영역으로 편입시키는 것을 특징으로 한다.The lane area extracting unit may scan the outside area from the starting point and the ending point of the lane to incorporate the lane area into the lane area.
또한 상기 차선 영역 추출부는, 상기 차선 위치로부터 차선의 기울기 방향으로 외부 영역을 스캔하는 것을 특징으로 한다.And the lane area extracting unit scans the outside area in the lane slant direction from the lane position.
또한 상기 차선 예측부는, 상기 차선 영역 추출부를 통해 검색된 차선의 시작점 및 끝점을 이용하여 시작 프레임과 그 다음 프레임에서 검출된 차선의 위치 변화를 바탕으로, 차선 변화벡터를 계산하는 변화벡터 계산모듈; 및 차선의 각 시작점과 끝점에서 계산된 변화벡터를 이 후의 프레임에 적용하여 이 후의 프레임에서 차선이 나타날 위치를 예측하며, 실제 차선 위치를 찾기 위하여 예측된 지점을 기준으로 스캔 영역을 설정하고, 상기 스캔 영역 내에서 새로운 차선 위치 영역을 검색하여, 검색된 차선 영역 중 어느 하나를 차선 위치로 지정하는 차선 위치 예측모듈; 을 포함하는 것을 특징으로 한다. The lane prediction unit may further include a change vector calculation module that calculates a lane change vector based on a positional change of a lane detected in a start frame and a next frame using a start point and an end point of the lane retrieved through the lane area extraction unit; And a change vector calculated at each start point and end point of the lane is applied to the subsequent frame to predict a position where the lane will appear in the subsequent frame, a scan area is set based on the predicted point to find the actual lane position, A lane-position predicting module for searching a new lane-position area in the scan area and designating one of the searched lane areas as a lane position; And a control unit.
또한 상기 차선 위치 예측모듈은, 상기 스캔 영역 내에서 차선 영역이 한 개 이상 나올 경우, 가장 큰 영역을 차선 위치로 지정하는 것을 특징으로 한다.Further, the lane-position predicting module may designate the largest area as a lane position when one or more lane areas are present in the scan area.
또한 상기 차선 검출부는, 상기 차선 예측부를 통해 예측된 새로운 차선 위치 영역의 좌, 우 차선에 대하여 시작점, 끝점 및 중간 제어점을 바탕으로 카디널 스플라인을 적용하여 직선 또는 곡선인 경우에 대한 차선 검출을 수행하는 것을 특징으로 한다.The lane detecting unit may perform lane detection for a straight line or a curved line by applying a cardinal spline based on a start point, an end point, and an intermediate control point with respect to the left and right lanes of the new lane location area predicted through the lane predictor .
그리고 상기 차선 검출부는, 각 차선의 시작점과 끝점에서부터 같은 영역을 추적하여 시작점과 끝점의 1/3 지점에 제어점을 위치시킴으로써 중간 제어점을 획득하는 것을 특징으로 한다.The lane detecting unit tracks the same area from the starting point and the ending point of each lane, and obtains the intermediate control point by locating the control point at a starting point and a one third point of the ending point.
한편, 본 발명은 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 방법에 관한 것으로서, (a) 전처리부가 입력영상에 역 투시변환 및 차선 필터를 적용하는 과정; (b) 상기 차선 영역 추출부가 상기 (a) 과정을 통해 처리된 영상의 시작 프레임과 그 다음 프레임에서 차선 후보 영역을 검출하고, 차선 후보 영역으로부터 좌우 차선 위치에 따른 차선 영역을 설정하며, 설정된 영역으로부터 차선의 시작점 및 끝점을 검색하는 과정; (c) 차선 예측부가 상기 (b) 과정을 통해 검색된 차선의 시작점 및 끝점을 이용하여 시작 프레임과 그 다음 프레임에서의 차선 변화벡터를 계산하고, 이 후의 프레임에서 차선이 위치할 지점을 예측하며, 예측된 차선 위치에서 설정된 스캔 영역 내에서 새로운 차선 위치 영역을 예측하는 과정; 및 (d) 차선 검출부가 상기 (c) 과정을 통해 예측된 새로운 차선 위치 영역 내 제어점을 설정하고, 설정된 제어점에 카디널 스플라인을 적용하여 차선을 검출하는 과정; 을 포함한다.According to another aspect of the present invention, there is provided a lane detection method using a lane change vector and a cardinal spline, the method comprising the steps of: (a) applying a back-projection transformation and a lane filter to a pre- (b) the lane area extracting unit detects a lane candidate area in a start frame and a following frame of the image processed in the step (a), sets a lane area corresponding to the lane marker position from the lane marker candidate area, Searching for a start point and an end point of a lane from the lane; (c) The lane prediction unit calculates a lane change vector in the start frame and the next frame using the start point and the end point of the lane retrieved in the step (b), predicts a point where the lane will be located in the following frame, A step of predicting a new lane-position area within a scan area set at a predicted lane position; And (d) setting a control point in the new lane-position area predicted through the process (c) and detecting a lane by applying a cardinal spline to the set control point; .
또한 상기 (b) 과정은, (b-1) 상기 차선 영역 추출부가 상기 (a) 과정을 통해 역 투시변환이 적용된 영상으로 변환할 때 사용되는 차선의 정보를 이용하여, 그 주변 영역을 대상으로 시작 프레임과 그 다음 프레임에서 차선 후보 영역을 검출하는 단계; 및 (b-2) 상기 차선 영역 추출부가 검출된 차선 후보 영역의 좌, 우 차선 위치에서 각각 가장 큰 영역을 차선 영역으로 설정하여 추출하고, 설정된 영역으로부터 차선의 시작점 및 끝점을 찾는 단계; 를 포함하는 것을 특징으로 한다.The step (b) further includes the steps of: (b-1) extracting the lane area using the lane information used when the lane area extracting unit converts the back- Detecting a lane candidate region in a start frame and a next frame; And (b-2) extracting and setting a largest area as a lane area at the left and right lane positions of the lane candidate area in which the lane area extracting unit is detected, and searching for a start point and an end point of the lane from the set area; And a control unit.
또한 상기 (b) 과정은, (b-3) 상기 차선 영역 추출부가 차선의 시작점과 끝점으로부터 외부 영역을 스캔하여 차선 영역으로 편입시키는 단계; 를 포함하는 것을 특징으로 한다.The step (b) further includes the steps of: (b-3) inserting the lane area extractor into the lane area by scanning the outer area from the start point and the end point of the lane; And a control unit.
또한 상기 (b-3) 단계에서, 상기 차선 영역 추출부가 차선 위치로부터 차선의 기울기 방향으로 외부 영역을 스캔하는 것을 특징으로 한다.In the step (b-3), the lane area extracting unit scans the outer area in the lane slant direction from the lane position.
또한 상기 (c) 과정은, (c-1) 상기 차선 예측부가 상기 (b) 과정을 통해 검색된 차선의 시작점 및 끝점을 이용하여 시작 프레임과 그 다음 프레임에서 검출된 차선의 위치 변화를 바탕으로, 차선 변화벡터를 계산하는 단계; (c-2) 상기 차선 예측부가 차선의 각 시작점과 끝점에서 계산된 변화벡터를 이 후의 프레임에 적용하여 이 후의 프레임에서 차선이 나타날 위치를 예측하며, 실제 차선 위치를 찾기 위하여 예측된 지점을 기준으로 스캔 영역을 설정하는 단계; 및 (c-3) 상기 차선 예측부가 상기 스캔 영역 내에서 새로운 차선 위치 영역을 검색하여, 검색된 차선 영역 중 어느 하나를 차선 위치로 지정하는 단계; 를 포함하는 것을 특징으로 한다.The step (c) includes the steps of: (c-1) using the starting point and the ending point of the lane retrieved through the step (b), based on the positional change of the lane detected in the start frame and the next frame, Calculating a lane change vector; (c-2) The lane-predicting unit applies the calculated change vector at each starting point and the ending point of the lane to the following frame to predict the position where the lane will appear in the subsequent frame, Setting a scan area to the scan area; And (c-3) searching the new lane-position area within the scan area by the lane-predicting unit and designating any one of the searched lane areas as a lane position; And a control unit.
또한 (c-4) 상기 (c-3) 단계에서, 상기 차선 예측부가 스캔 영역 내에서 차선 영역이 한 개 이상 나오는지 여부를 판단하는 단계; 및 (c-5) 상기 (c-4) 단계의 판단결과, 상기 스캔 영역 내에서 차선 영역이 한 개 이상 나올 경우, 상기 차선 예측부가 가장 큰 영역을 차선 위치로 지정하는 단계; 를 포함하는 것을 특징으로 한다. (C-4) In the step (c-3), it is determined whether the lane predictor finds one or more lane areas in the scan area. And (c-5) designating, as a result of the determining in the step (c-4), the lane marker to be the lane marker when the lane marker is present in the scan area. And a control unit.
또한 상기 (d) 과정에서, 상기 차선 검출부가 상기 (c) 과정을 통해 예측된 새로운 차선 위치 영역의 좌, 우 차선에 대하여 시작점, 끝점 및 중간 제어점을 바탕으로 카디널 스플라인을 적용하여 직선 또는 곡선인 경우에 대한 차선 검출을 수행하는 것을 특징으로 한다.Also, in the step (d), the lane detecting unit applies a cardinal spline to the left and right lanes of the new lane area predicted through the process (c) based on the starting point, the end point, and the intermediate control point, And the lane detection for the case is performed.
그리고 상기 (d) 과정에서, 각 차선의 시작점과 끝점에서부터 같은 영역을 추적하여 시작점과 끝점의 1/3 지점에 제어점을 위치시킴으로써 중간 제어점을 획득하는 것을 특징으로 한다. In the step (d), the same area is traced from the starting point and the ending point of each lane, and the control point is located at the starting point and the ending point, thereby obtaining the intermediate control point.
상기와 같은 본 발명에 따르면, 시작 프레임(s 프레임)과 그 다음 프레임(s+1 프레임)에서 차선 영역을 설정하여 차선의 시작점과 끝점을 추출하고 이를 이용하여 차선 변화벡터를 계산하며, 이 변화벡터를 이용하여 이 후의 프레임(s+2 프레임 ~ s+n 프레임)에서의 차선이 위치할 지점을 예상하여 차선의 시작점 및 끝점을 추출하고, 이후 추출된 점과 차선 사이의 제어점들을 설정하여 여기에 카디널 스플라인을 적용함으로써, 곡선 및 직선 차선 모두를 검출할 수 있는 효과가 있다. According to the present invention, a lane area is set in a start frame (s frame) and the next frame (s + 1 frame) to extract a start point and an end point of a lane, A start point and an end point of a lane are extracted by predicting a point where a lane in a subsequent frame (s + 2 frame to s + n frame) is to be located using the vector, and then control points between the extracted point and the lane are set, The curve and the straight lane can be detected by applying the cardinal spline.
도 1 은 본 발명에 따른 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 시스템을 개념적으로 도시한 전체 구성도.
도 2a 는 본 발명에 따른 입력영상을 보이는 일예시도.
도 2b 는 본 발명에 따른 입력영상이 전처리된 모습을 보이는 일예시도.
도 3 은 본 발명에 따른 도 2b 의 영상으로부터 다양한 크기의 차선 후보 영역이 추출된 모습을 보이는 일예시도.
도 4a 는 본 발명에 따른 차선의 모양이 불규칙한 입력영상을 보이는 일예시도.
도 4b 는 본 발명에 따른 도 4a 영상으로부터 차선 후보 영역을 추출한 모습을 보이는 일예시도.
도 5a 는 본 발명에 따른 도 3 의 차선 후보 영역에서 차선 영역을 추출한 결과를 보이는 일예시도.
도 5b 는 본 발명에 따른 도 4b 의 차선 후보 영역에서 차선 영역을 추출한 결과를 보이는 일예시도.
도 6a 는 본 발명에 따른 외부 영역을 스캔 이전의 영상을 보이는 일예시도.
도 6b 는 본 발명에 따른 차선 영역으로 편입시키기 위하여, 외부 영역을 스캔한 영상을 보이는 일예시도.
도 7a 는 본 발명에 따른 시작 프레임 영상을 보이는 일예시도.
도 7b 는 본 발명에 따른 도 7a 의 다음 프레임 영상에 대한 차선 추출 결과를 보이는 일예시도.
도 8a 는 본 발명에 따른 도 7a 와 도 7b 에 대한 차선의 위치를 보이는 일예시도.
도 8b 는 본 발명에 따른 도 7a 와 도 7b 에 대한 차선의 위치에 대한 변화벡터를 보이는 일예시도.
도 9 는 본 발명에 따른 차선 변화벡터를 이용한 차선 위치 영역의 스캔 범위를 보이는 일예시도.
도 10 은 본 발명에 따른 곡선의 정확한 추출을 위해 제어점을 설정한 모습을 보이는 일예시도.
도 11a 는 본 발명에 따른 입력영상을 보이는 일예시도.
도 11b 는 본 발명에 따른 도 11a 영상으로부터 제어점을 검출한 모습을 보이는 일예시도.
도 11c 는 본 발명에 따른 입력영상을 보이는 일예시도.
도 11d 는 본 발명에 따른 도 11c 영상으로부터 제어점을 검출한 모습을 보이는 일예시도.
도 12a 는 본 발명에 따른 입력영상을 보이는 일예시도.
도 12b 는 본 발명에 따른 도 12a 영상으로부터 카디널 스플라인을 적용하여 곡선 차선을 검출한 모습을 보이는 일예시도.
도 12c 는 본 발명에 따른 입력영상을 보이는 일예시도.
도 12d 는 본 발명에 따른 도 12c 영상으로부터 카디널 스플라인을 적용하여 곡선 차선을 검출한 모습을 보이는 일예시도.
도 13 은 본 발명에 따른 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 방법에 관한 전체 흐름도. BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is an overall block diagram conceptually showing a lane detection system using a lane change vector and a cardinal spline according to the present invention; FIG.
FIG. 2A shows an example of an input image according to the present invention. FIG.
FIG. 2B is a diagram illustrating an example in which an input image according to the present invention is preprocessed. FIG.
FIG. 3 is a view illustrating an example in which lane candidate regions of various sizes are extracted from the image of FIG. 2B according to the present invention. FIG.
4A is an exemplary view showing an input image having irregular shape of a lane according to the present invention.
FIG. 4B is an exemplary view showing a lane candidate region extracted from the image of FIG. 4A according to the present invention. FIG.
FIG. 5A is an example of a result of extracting a lane area in the lane candidate region of FIG. 3 according to the present invention. FIG.
FIG. 5B is an example of a result of extracting a lane area in the lane candidate region of FIG. 4B according to the present invention. FIG.
6A is an exemplary view showing an image before scanning an outer region according to the present invention.
FIG. 6B is a view illustrating an image in which an outer region is scanned in order to incorporate it into a lane area according to the present invention; FIG.
FIG. 7A illustrates an example of a start frame image according to the present invention. FIG.
FIG. 7B is an example of a lane-extracting result of the next frame image of FIG. 7A according to the present invention. FIG.
FIG. 8A is an exemplary view showing the positions of the lanes in FIGS. 7A and 7B according to the present invention. FIG.
FIG. 8B illustrates an example of a change vector for a position of a lane in FIGS. 7A and 7B according to the present invention. FIG.
9 is a view showing an example of a scan range of a lane-position area using a lane change vector according to the present invention.
10 is an exemplary view showing a control point set for accurate extraction of a curve according to the present invention.
11A is an exemplary view showing an input image according to the present invention.
FIG. 11B is a diagram illustrating an example of detecting a control point from the image of FIG. 11A according to the present invention. FIG.
11C is an example of an input image according to the present invention.
11 (d) is an example of a control point detected from the image of FIG. 11 (c) according to the present invention.
12A is an example of an input image according to the present invention.
12B illustrates an example in which a curved lane is detected by applying a cardinal spline from the image of FIG. 12A according to the present invention.
12C is an exemplary view showing an input image according to the present invention.
12D illustrates an example of detecting a curved lane by applying a cardinal spline from the image of FIG. 12C according to the present invention.
13 is an overall flowchart of a lane detection method using a lane change vector and a cardinal spline according to the present invention.
본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.Specific features and advantages of the present invention will become more apparent from the following detailed description based on the accompanying drawings. It is to be noted that the detailed description of known functions and constructions related to the present invention is omitted when it is determined that the gist of the present invention may be unnecessarily blurred.
이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described in detail with reference to the accompanying drawings.
본 발명에 따른 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 시스템에 관하여 도 1 내지 도 12d 를 참조하여 설명하면 다음과 같다. A lane detecting system using a lane change vector and a cardinal spline according to the present invention will be described with reference to FIGS. 1 to 12D.
본 발명에서는, 입력영상의 차선영역 내에 제어점을 설정하고, 이 제어점을 가지고 차선을 검출하기 위하여 보간 스플라인 방법 중의 하나인 카디널 스플라인을 이용한다.In the present invention, a control point is set in a lane area of an input image, and a cardinal spline, which is one of interpolation spline methods, is used to detect a lane with the control point.
카디널 스플라인은 두 점 사이의 곡선을 생성하는 에르미트 스플라인을 기반으로 다수의 점에 곡선으로 연결하는 방법이다. 이는 지역적인 곡선 생성이 가능하고 연산의 빠른 속도로 인해 컴퓨터 그래픽스에서 주로 사용되는 방법이다.A cardinal spline is a method of connecting curves to multiple points based on an Hermite spline that creates a curve between two points. This is a method that is mainly used in computer graphics because of its ability to generate local curves and the speed of computation.
베지어 및 B-스플라인 방법은 근사 스플라인 방법으로 제어점을 조정하여 전체 곡선을 부드럽게 설정은 가능하나 제어점을 통과하지는 않으므로 에르미트 스플라인과 유사한 지역적 곡선을 생성하나 다수의 제어점을 연결하기 위해서는 제어점의 조정이 필요한 단점이 있다. The Bézier and B-spline methods are similar to the Hermite spline because they do not pass through the control points but can be adjusted smoothly by adjusting the control points using the approximate spline method. However, to connect multiple control points, There are disadvantages.
따라서, 본 발명에서는 곡선 차선 검출을 위하여 모든 제어점을 통과하는 보간 스플라인 방법인 카디널 스플라인을 이용하고자 한다.Therefore, in the present invention, a cardinal spline, which is an interpolation spline method passing through all control points, is used for curve lane detection.
카디널 스플라인은 에르미트 형식을 만족하는 3차 스플라인에 해당하며, 매개변수 t가 [0, 1]인 구간에서 
[수식 1][Equation 1]
여기서, 
[수식 2] [Equation 2]
이 에르미트 함수를 일반식에 적용할 경우 다음의 [수식 3] 과 같은 보간함수를 얻을 수 있다. When this Hermitian function is applied to a general expression, an interpolation function such as the following [Equation 3] can be obtained.
[수식 3][Equation 3]
여기서, t가 
[수식 4][Equation 4]
카디널 스플라인은 여기서 기울기 
[수식 5][Equation 5]
여기서, c 는 tension 파라미터로 곡선의 모양을 결정하게 된다. c 값이 1이 될 경우 각 제어점을 직선으로 연결하며, 반대로 0에 가까워질수록 완만한 곡선의 형태를 띠게 된다.
Here, c determines the shape of the curve with the tension parameter. When the value of c is 1, each control point is connected by a straight line. On the contrary, when the value is near 0, the control point becomes a gentle curve.
도 1 은 본 발명에 따른 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 시스템(S)을 개념적으로 도시한 전체 구성도로서, 도시된 바와 같이 전처리부(100), 차선 영역 추출부(200), 차선 예측부(300) 및 차선 검출부(400)를 포함하여 이루어진다. FIG. 1 is a block diagram conceptually showing a lane detecting system S using a lane change vector and a cardinal spline according to the present invention. As shown in the figure, the preprocessing unit 100, the lane area extracting unit 200, A prediction unit 300 and a
전처리부(100)는 입력영상에 역 투시변환 및 차선 필터를 적용하여 전처리 과정을 수행한다. 즉, 전처리부(100)는 RANSAC 알고리즘을 이용하여 소실점을 검출하고, 차선을 예측할 수 있다.The preprocessing unit 100 performs a preprocessing process by applying a backsight transformation and a lane filter to the input image. That is, the preprocessing unit 100 can detect the vanishing point and predict the lane using the RANSAC algorithm.
참고로, RANSAC(random sample consensus) 알고리즘은 Fischler와 Bolles에 의해 제안된 알고리즘("Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography," Communications of the Association for Computing Machinery, 1981)으로서, 측정 노이즈가 심한 원본 데이터로부터 모델 파라미터를 예측하는 방법이 개시되어 있다. For reference, the random sample consensus (RANSAC) algorithm is based on the algorithm proposed by Fischler and Bolles ("Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography," Communications of the Association for Computing Machinery, Discloses a method for predicting model parameters from original data with a large measurement noise.
도 2a 와 같은 입력영상에 전처리부(100)를 통해 역 투시변환 및 차선 필터를 적용하는 경우, 도 2b 처럼 나타나게 된다. 이때, 차선 영역뿐만 아니라 그 이외의 영역들이 결과영상에 나타나는데, 이는 잡음이나 영상의 선명도가 부족한 이유 등 다양한 요인에 의한 결과이다. 따라서, 이러한 상황에서는 어느 영역이 차선에 해당하는지 알 수 없게 된다.When a back-to-front transformation and a lane filter are applied to the input image shown in FIG. 2A through the preprocessing unit 100, as shown in FIG. 2B. At this time, not only the lane area but also other areas appear in the result image, which is a result of various factors such as noise and lack of sharpness of the image. Therefore, in such a situation, it is impossible to know which area corresponds to the lane.
이러한 문제를 해결하고자, 차선 영역을 하나의 영역으로 검출하기로 한다.
To solve this problem, the lane area is detected as one area.
차선 영역 추출부(200)는 전처리부(100)를 통해 처리된 영상의 시작 프레임과 그 다음 프레임에서 차선 후보 영역을 추출하고, 차선 후보 영역으로부터 좌우 차선 위치에 따른 차선 영역을 설정하며, 설정된 영역으로부터 차선의 시작점 및 끝점을 검색하는 기능을 수행하는 바, 도 1 에 도시된 바와 같이 차선 후보 영역 추출모듈(210) 및 차선 영역 추출모듈(220)을 포함한다. The lane area extraction unit 200 extracts a lane candidate area from the start frame and the following frame of the processed image through the preprocessing unit 100, sets a lane area corresponding to the lane marker position from the lane marker candidate area, As shown in FIG. 1, includes a lane candidate region extraction module 210 and a lane region extraction module 220, as shown in FIG.
구체적으로, 차선 후보 영역 추출모듈(210)은 전처리부(100)를 통해 역 투시변환이 적용된 영상으로 변환할 때 사용되는 이상형 차선의 정보를 이용하여, 그 주변 영역을 대상으로 시작 프레임과 그 다음 프레임에서 차선 후보 영역을 추출한다. Specifically, the lane candidate region extracting module 210 extracts a lane candidate region using the information of the ideal lane, which is used when the lane candidate region extracting module 210 transforms the image into the image to which the back-projection transformation is applied through the preprocessing section 100, The lane candidate region is extracted from the frame.
이 경우, 도 2b 영상에서 차선 후보 영역을 추출한 결과, 다양한 크기의 차선 후보 영역들이 추출되며, 그 결과는 도 3 에 도시된 바와 같다.In this case, as a result of extracting the lane candidate region from the image of Fig. 2B, lane candidate regions of various sizes are extracted, and the result is as shown in Fig.
도 4a 는 차선의 모양이 불규칙적인 상황이며, 이러한 상황에서의 차선 후보 영역에 대한 추출 결과를 도 4b 에서 보여주고 있다.FIG. 4A shows a situation where the shape of the lane is irregular, and the extraction result of the lane candidate region in such a situation is shown in FIG. 4B.
일반적으로, 차선은 도로에서 가장 큰 영역을 차지하며, 그 이외의 작은 영역들은 도로상의 빛의 반사, 잡음, 기타 장애물에 의한 것들로 큰 비중을 차지하지 못하는 특징을 가진다. Generally, the lane occupies the largest area on the road, and the other small areas are characterized by light reflection on the road, noise, and other obstacles, which do not take up a great deal of weight.
이러한 특징을 이용하여, 차선 영역 추출모듈(220)은 추출된 차선 후보 영역의 좌, 우 차선 위치에서 각각 가장 큰 영역을 차선 영역으로 설정하여 추출하고, 설정된 영역으로부터 차선의 시작점 및 끝점을 찾는다. Using this feature, the lane area extraction module 220 extracts the largest area as the lane area at the left and right lane positions of the extracted lane candidate area, and finds the starting point and the end point of the lane from the set area.
도 5 는 도 3 과 도 4b 의 차선 후보 영역에서 차선 영역을 추출한 결과를 각각 보여준다. 도 5b 의 경우, 왼쪽 차선의 추출된 시작점 위로 차선 영역으로 추측되는 영역이 존재한다. FIG. 5 shows the result of extracting the lane area in the lane candidate area of FIG. 3 and FIG. 4B, respectively. In the case of FIG. 5B, there is an area estimated as a lane area above the extracted starting point of the left lane.
이러한 영역을 차선 영역으로 편입시키기 위하여, 차선 영역 추출모듈(220)은 차선의 시작점과 끝점으로부터 외부 영역을 스캔하여 차선 영역으로 편입시킨다. In order to incorporate such an area into the lane area, the lane area extracting module 220 scans the outside area from the starting point and the end point of the lane and incorporates the area into the lane area.
여기서, 차선 영역 추출모듈(220)은 차선 위치로부터 차선의 기울기 방향으로 외부 영역을 스캔한다. 이때, 스캔 범위는 차선 영역의 너비만큼을 가지게 되고, 이를 이용하여 외부 영역을 찾아낸다. 이 방법으로 찾아낸 결과는 도 6b 와 같다.Here, the lane area extraction module 220 scans the outer area in the lane slant direction from the lane position. At this time, the scan range has a width equal to the width of the lane area, and the external area is found using the width. The result of this method is shown in FIG. 6B.
이와 같이, 시작 프레임(s 프레임)과 그 다음 프레임(s+1 프레임) 동안 차선 영역을 찾아내어 좌, 우 차선의 시작점과 끝점의 위치를 저장하고 다음 단계인 차선 변화벡터를 추출하는데 사용하도록 한다.
As described above, the lane area is searched for the start frame (s frame) and the next frame (s + l frame), and the start and end positions of the left and right lanes are stored and used for extracting the next lane change vector .
차선 영역을 추출하여 차선의 정보를 얻어내었다면, 이를 이용하여 차선의 시작점과 끝점의 변화벡터를 추출할 수 있다. 도 7a 는 시작 프레임의 영상이며, 도 7b 는 그 바로 다음 프레임에 대한 차선 추출 결과를 나타내고 있다.If the lane area is extracted and lane information is obtained, the change vector of the start point and the end point of the lane can be extracted. FIG. 7A shows the image of the start frame, and FIG. 7B shows the lane-extraction result for the immediately following frame.
차선 예측부(300)는 차선 영역 추출부(200)를 통해 검색된 차선의 시작점 및 끝점을 이용하여 시작 프레임(s 프레임)과 그 다음 프레임(s+1 프레임)에서의 차선 변화벡터를 계산하고, 이 후의 프레임(s+2 프레임 ~ s+n 프레임)에서 차선이 위치할 지점을 예측하며, 예측된 차선 위치에서 설정된 스캔 영역 내에서 새로운 차선 위치 영역을 예측하는 기능을 수행하는 바, 도 1 에 도시된 바와 같이 변화벡터 계산모듈(310) 및 차선 위치 예측모듈(320)을 포함한다. The lane predicting unit 300 calculates a lane change vector in a start frame (s frame) and the next frame (s + 1 frame) using the start point and the end point of the lane retrieved through the lane
구체적으로, 변화벡터 계산모듈(310)은 차선 예측부(300)는 차선 영역 추출부(200)를 통해 검색된 차선의 시작점 및 끝점을 이용하여 시작 프레임과 그 다음 프레임에서 추출된 차선의 위치 변화를 바탕으로, 차선 변화벡터를 계산한다. Specifically, the change vector calculation module 310 determines whether or not the lane predictor 300 determines a change in the position of the lane extracted from the start frame and the next frame using the start point and the end point of the lane detected through the lane area extraction unit 200 On the basis of this, the lane change vector is calculated.
이러한 방법으로 계산된 차선 변화벡터는, 이 후의 프레임에서 차선의 위치를 예측하는데 사용되며 프레임마다 새롭게 갱신된다. The lane change vector calculated in this way is used to predict the position of the lane in the subsequent frame and is renewed for each frame.
차선 변화벡터를 구하는 방법은 일반적인 이동벡터의 계산방법을 사용한다. A method of calculating a lane change vector uses a general motion vector calculation method.
차선의 좌측 시작점의 변화벡터를 구하는 방법은 다음의 [수식 6] 과 같으며, 본 발명에서 다른 위치에 있는 점들도 같은 방법으로 구할 수 있다.The method for obtaining the change vector of the left start point of the lane is as shown in the following Equation 6, and the points at different positions in the present invention can also be obtained by the same method.
[수식 6][Equation 6]
도 8a 는 도 7a 와 도 7b 에 대한 차선의 위치를 보여주며 도 8b 는 이에 대한 변화벡터의 예시를 나타내고 있다. Fig. 8A shows the position of the lane for Figs. 7A and 7B, and Fig. 8B shows an example of the change vector for this.
이 차선 변화벡터는 이 후의 프레임에서 차선의 위치를 예측할 수 있으며, 차선 변화벡터가 가르키는 위치가 이 후의 프레임에서 예측된 차선의 위치가 된다.This lane change vector can predict the position of the lane in the subsequent frame, and the position indicated by the lane change vector becomes the position of the lane predicted in the subsequent frame.
각 차선 위치로부터 차선 변화벡터를 계산하고, 계산된 차선 변화벡터를 이용하여 차선을 예측한다. The lane change vector is calculated from each lane position, and the lane is predicted using the calculated lane change vector.
즉, 차선 위치 예측모듈(320)은 차선의 각 시작점과 끝점에서 계산된 변화벡터를 이 후의 프레임에 적용하여, 이 후의 프레임에서 차선이 나타날 위치를 예측한다.That is, the lane-
이후, 차선 위치 예측모듈(320)은 실제 차선 위치를 찾기 위하여, 예측된 지점을 기준으로 윈도우를 설정을 통해 스캔 영역을 설정하고, 그 윈도우 스캔 영역 내에서 새로운 차선 위치 영역을 검색한다. 이때, 검색하는 윈도우 영역의 크기는 차선 변화벡터의 크기가 r이라 할 때, 예측된 지점에서부터 반지름이 r인 정사각형 범위이다. Then, the lane-
이 범위 안에서 차선 영역이 한 개의 영역만 나오는 경우, 차선 위치 예측모듈(320)은 그 위치를 새로운 차선 위치로 지정하고 다시 차선 변화벡터를 추출하며, 도 9 에 도시된 바와 같이 스캔 범위를 나타낼 수 있다. If the lane
한편, 차선 영역이 한 개 이상 나올 경우, 차선 위치 예측모듈(320)은 검색 영역 내의 모든 영역을 추출하여 가장 큰 영역을 차선 위치로 지정한다.On the other hand, if more than one lane area is found, the lane-
만약, 탐색영역에 차선영역이 나타나지 않을 경우, 차선 이동벡터보다 더 많은 이동을 하였거나 차선 위치를 잃어버렸다고 판단하고, 탐색 범위를 2배 확장시켜 탐색한다.If the lane area does not appear in the search area, it is determined that the lane shift position has been shifted more than the lane travel vector, and the search range is expanded by two times.
또한, 확장시켜 검색하여도 차선 위치를 검색하지 못할 경우 차선 영역을 완전히 잃어버렸다고 판단하고, 다시 차선 영역을 탐색하여 이동벡터를 새롭게 갱신한다.
Further, if the lane position can not be searched even after searching by extension, it is determined that the lane area is completely lost, and the moving vector is newly updated by searching the lane area again.
차선 검출부(400)는 차선 예측부(300)를 통해 예측된 새로운 차선 위치 영역 내 제어점을 설정하고, 설정된 제어점에 카디널 스플라인을 적용하여 차선을 검출한다. The
구체적으로, 차선 검출부(400)는 차선 예측부(300)를 통해 예측된 새로운 차선 위치 영역의 좌, 우 차선에 대하여 시작점, 끝점 및 중간 제어점을 바탕으로 카디널 스플라인을 적용하여 직선 또는 곡선인 경우에 대한 차선 검출을 수행한다. Specifically, the
본 발명에 따른 카디널 스플라인은 최소 4개의 제어점을 필요로 하는데, 각 차선의 시작점과 끝점에 제어점을 설정하고, 시작과 끝점의 중간에 2개의 제어점을 설정하여 카디널 스플라인의 제어점으로 총 4개의 제어점을 사용한다. The cardinal spline according to the present invention requires at least four control points. A control point is set at the start point and end point of each lane, and two control points are set at the middle point between the start point and the end point. use.
이를 위하여, 지속적으로 중간 제어점의 위치를 획득하여야 하는데, 각 차선의 시작점과 끝점에서부터 같은 영역을 추적하여 시작점과 끝점의 1/3 지점에 제어점을 위치시킴으로써 중간 제어점을 획득한다. 이때, 곡선의 정확한 추출을 위하여, 검출된 차선 영역의 정가운데 위치를 제어점으로 설정하는데, 이는 도 10 에 나타낸 바와 같다. To achieve this, it is necessary to acquire the position of the intermediate control point continuously. The same control point is traced from the start point and the end point of each lane, and the control point is located at the start point and the end point, thereby obtaining the intermediate control point. At this time, in order to accurately extract the curve, the center position of the detected lane area is set as a control point, as shown in FIG.
이러한 방법을 이용하여 중간 제어점을 검출해 사용하며, 검출된 중간 제어점의 결과는 도 11a 내지 도 11d 에 도시된 바와 같다. An intermediate control point is detected and used by using this method, and the result of the detected intermediate control point is as shown in FIGS. 11A to 11D.
좌, 우 차선에 대하여 검출된 4개의 제어점을 바탕으로 카디널 스플라인을 적용하여 곡선 차선을 검출한다. 여기서, 차선을 자연스러운 곡선 형태로 표현하기 위하여 매개변수 tension 값을 0.1로 설정하였으며, 그 결과는 다음의 도 12a 내지 도 12d 에 도시된 바와 같다.
Based on the four control points detected for the left and right lanes, a cardinal spline is applied to detect a curved lane. Here, in order to express the lane in a natural curve form, the parameter tension value is set to 0.1, and the result is as shown in FIGS. 12A to 12D.
이하에서는, 상술한 시스템을 이용한 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 방법에 관하여 도 13 을 참고하여 설명하면 다음과 같다. Hereinafter, a method of detecting a lane using a lane change vector and a cardinal spline using the system will be described with reference to FIG.
도 13 은 본 발명에 따른 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 방법에 관한 전체 흐름도로서, 도시된 바와 같이 전처리부(100)는 입력영상에 역 투시변환 및 차선 필터를 적용하여 전처리 과정을 수행한다(S10). FIG. 13 is an overall flowchart of a lane detection method using a lane change vector and a cardinal spline according to the present invention. As shown in FIG. 13, the preprocessing unit 100 performs a preprocessing process by applying a back- (S10).
또한, 차선 영역 추출부(200)의 차선 후보 영역 추출모듈(210)은 전처리부(100)를 통해 역 투시변환이 적용된 영상으로 변환할 때 사용되는 이상형 차선의 정보를 이용하여, 그 주변 영역을 대상으로 시작 프레임과 그 다음 프레임에서 차선 후보 영역을 추출한다(S20). In addition, the lane candidate region extraction module 210 of the lane region extraction unit 200 extracts the surrounding area using the information of the ideal lane used when converting into the image to which the back-projection transformation is applied through the preprocessing unit 100 The lane candidate region is extracted as a target in the start frame and the next frame (S20).
차선 영역 추출모듈(220)은 추출된 차선 후보 영역의 좌, 우 차선 위치에서 각각 가장 큰 영역을 차선 영역으로 설정하여 추출하고(S30), 설정된 영역으로부터 차선의 시작점 및 끝점을 찾으며(S40), 차선 위치로부터 차선의 기울기 방향으로 외부 영역을 스캔하여, 차선의 시작점과 끝점으로부터 차선 영역으로 편입시킨다(S50). The lane-area extracting module 220 extracts the largest area from the left and right lane positions of the extracted lane candidate area by setting the lane area as a lane area (S30), finds a start point and an end point of the lane from the set area (S40) The external area is scanned in the direction of the lane of the lane from the lane position to incorporate it into the lane area from the starting point and the end point of the lane (S50).
뒤이어, 차선 예측부(300)의 변화벡터 계산모듈(310)은 차선 영역 추출부(200)를 통해 검색된 차선의 시작점 및 끝점을 이용하여 시작 프레임과 그 다음 프레임에서 추출된 차선의 좌우측 위치 변화를 바탕으로, 차선 변화벡터를 계산하며(S60), 차선 위치 예측모듈(320)은 차선의 각 시작점과 끝점에서 계산된 변화벡터를 이 후의 프레임에 적용하여, 이 후의 프레임에서 차선이 나타날 위치를 예측한다(S70).Subsequently, the change vector calculation module 310 of the lane predicting unit 300 calculates the change of the left and right positions of the lane extracted from the start frame and the next frame using the start point and the end point of the lane retrieved through the lane region extracting unit 200 The lane-
또한, 차선 위치 예측모듈(320)은 실제 차선 위치를 찾기 위하여, 예측된 지점을 기준으로 윈도우를 설정을 통해 스캔 영역을 설정하고(S80), 그 윈도우 스캔 영역 내에서 새로운 차선 위치 영역을 검색하여, 검색된 차선 영역 중 어느 하나를 차선 위치로 지정한다(S90). In order to find the actual lane position, the lane-
그리고, 차선 검출부(400)는 차선 예측부(300)를 통해 예측된 새로운 차선 위치 영역의 좌, 우 차선에 대하여 시작점, 끝점 및 중간 제어점을 바탕으로 카디널 스플라인을 적용하여 직선 또는 곡선인 경우에 대한 차선 검출을 수행한다(S100).
The
지금까지 상술한 바와 같은, 본 발명에 따른 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 시스템 및 그 방법은, 카메라 파라미터가 필요없는 역 투시변환 방법 및 차선 필터를 이용함으로써 차선 영역을 추출하고, 이 과정을 시작 프레임과 그 다음 프레임 동안 반복 수행하여 차선 변화벡터를 획득한다. The lane detection system and method using the lane change vector and cardinal spline according to the present invention as described above extracts the lane area by using the back-view transformation method and the lane filter that do not require camera parameters, Is repeated for the start frame and the next frame to obtain a lane change vector.
획득한 차선 변화벡터를 이 후의 프레임에 적용하여 차선의 위치를 예측함으로써 검출시간을 단축시킬 수 있었다. 또한, 차선 내 4개의 제어점을 설정하여 카디널 스플라인을 이용함으로써 곡선 차선의 검출이 가능하였다. The obtained lane change vector was applied to the succeeding frame to estimate the position of the lane, thereby shortening the detection time. In addition, it was possible to detect the curved lane by using the cardinal spline by setting four control points in the lane.
이 방법은 기존의 영상을 모두 스캔하여 차선의 위치를 찾아내는 방법과 달리 차선 벡터 부분만을 탐색함으로써 검출 시간을 현저하게 단축시킬 수 있었다.
In this method, the detection time can be shortened significantly by searching only the lane vector part, unlike the method of detecting the position of the lane by scanning all existing images.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다. While the present invention has been particularly shown and described with reference to preferred embodiments thereof, it will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. It will be appreciated by those skilled in the art that numerous changes and modifications may be made without departing from the invention. Accordingly, all such appropriate modifications and changes, and equivalents thereof, should be regarded as within the scope of the present invention.
S: 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 시스템
100: 전처리부 200: 차선 영역 추출부
300: 차선 예측부 400: 차선 검출부
210: 차선 후보 영역 추출모듈 220: 차선 영역 추출모듈
310: 변화벡터 계산모듈 320: 차선 위치 예측모듈S: Lane detection system using lane change vector and cardinal spline
100: preprocessing unit 200: lane area extracting unit
300: lane prediction unit 400: lane detection unit
210: lane candidate region extraction module 220: lane region extraction module
310: Change vector calculation module 320: Lane position prediction module
Claims (16)
상기 전처리부를 통해 역 투시변환이 적용된 영상으로 변환할 때 사용되는 차선의 정보를 이용하여, 그 주변 영역을 대상으로 시작 프레임과 그 다음 프레임에서 차선 후보 영역을 추출하는 차선 후보 영역 추출모듈; 및 추출된 차선 후보 영역의 좌, 우 차선 위치에서 각각 가장 큰 영역을 차선 영역으로 설정하여 추출하고, 설정된 영역으로부터 차선의 시작점 및 끝점을 찾는 차선 영역 추출모듈;을 포함하는 차선 영역 추출부;
상기 차선 영역 추출부를 통해 검색된 차선의 시작점 및 끝점을 이용하여 시작 프레임과 그 다음 프레임에서의 차선 변화벡터를 계산하고, 이 후의 프레임에서 차선이 위치할 지점을 예측하며, 예측된 차선 위치에서 설정된 스캔 영역 내에서 새로운 차선 위치 영역을 예측하는 차선 예측부; 및
상기 차선 예측부를 통해 예측된 새로운 차선 위치 영역 내 제어점을 설정하고, 설정된 제어점에 카디널 스플라인을 적용하여 차선을 검출하는 차선 검출부; 를 포함하는 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 시스템.
A preprocessing unit for applying a backsight transformation and a lane filter to an input image;
A lane candidate region extraction module for extracting a lane candidate region in a start frame and a lane candidate region in a next frame using the lane information used in converting the image to be subjected to the backsight transformation through the preprocessing portion; And a lane area extracting module including a lane area extracting module for extracting and setting the largest area as a lane area at the left and right lane positions of the extracted lane candidate area and finding a starting point and an end point of the lane from the set area,
Calculating a lane change vector in a start frame and a next frame using the start point and the end point of the lane detected through the lane area extracting unit, predicting a position where the lane will be located in the following frame, A lane predictor for predicting a new lane location area within the area; And
A lane detecting unit configured to set a control point in a new lane location area predicted through the lane predictor and applying a cardinal spline to a set control point to detect a lane; And a lane change vector using the cardinal spline.
상기 차선 영역 추출부는,
상기 차선의 시작점과 끝점으로부터 외부 영역을 스캔하여 차선 영역으로 편입시키는 것을 특징으로 하는 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 시스템.
The method according to claim 1,
The lane area extracting unit
Wherein the control unit scans an outer area from a start point and an end point of the lane to incorporate the lane change area into the lane area.
상기 차선 영역 추출부는,
상기 차선 위치로부터 차선의 기울기 방향으로 외부 영역을 스캔하는 것을 특징으로 하는 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 시스템.
The method of claim 3,
The lane area extracting unit
And scan the outer region in the direction of the slope of the lane from the lane position. The lane detection system using the cardinal spline and the lane change vector.
상기 차선 예측부는,
상기 차선 영역 추출부를 통해 검색된 차선의 시작점 및 끝점을 이용하여 시작 프레임과 그 다음 프레임에서 검출된 차선의 위치 변화를 바탕으로, 차선 변화벡터를 계산하는 변화벡터 계산모듈; 및
차선의 각 시작점과 끝점에서 계산된 변화벡터를 이 후의 프레임에 적용하여 이 후의 프레임에서 차선이 나타날 위치를 예측하며, 실제 차선 위치를 찾기 위하여 예측된 지점을 기준으로 스캔 영역을 설정하고, 상기 스캔 영역 내에서 새로운 차선 위치 영역을 검색하여, 검색된 차선 영역 중 어느 하나를 차선 위치로 지정하는 차선 위치 예측모듈; 을 포함하는 것을 특징으로 하는 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 시스템.
The method according to claim 1,
The lane-
A change vector calculation module for calculating a lane change vector based on a change in position of a lane detected in a start frame and a frame following the start point and the end point of the lane detected through the lane area extraction unit; And
A change vector calculated at each starting point and an end point of a lane is applied to a subsequent frame to predict a position at which a lane will appear in a subsequent frame, a scan area is set based on a predicted point to find an actual lane position, A lane-position predicting module for searching a new lane-position area within the area and designating any one of the searched lane areas as a lane position; And a lane change vector and a cardinal spline.
상기 차선 위치 예측모듈은,
상기 스캔 영역 내에서 차선 영역이 한 개 이상 나올 경우, 가장 큰 영역을 차선 위치로 지정하는 것을 특징으로 하는 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 시스템.
6. The method of claim 5,
The lane-position predicting module includes:
Wherein when a lane area is more than one in the scan area, the largest area is designated as a lane position.
상기 차선 검출부는,
상기 차선 예측부를 통해 예측된 새로운 차선 위치 영역의 좌, 우 차선에 대하여 시작점, 끝점 및 중간 제어점을 바탕으로 카디널 스플라인을 적용하여 직선 또는 곡선인 경우에 대한 차선 검출을 수행하는 것을 특징으로 하는 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 시스템.
The method according to claim 1,
Wherein the lane-
Wherein a lane detection for a straight line or a curve is performed by applying a cardinal spline based on a start point, an end point, and an intermediate control point with respect to left and right lanes of a new lane area predicted through the lane predictor, Lane detection system using vector and cardinal spline.
상기 차선 검출부는,
각 차선의 시작점과 끝점에서부터 같은 영역을 추적하여 시작점과 끝점의 1/3 지점에 제어점을 위치시킴으로써 중간 제어점을 획득하는 것을 특징으로 하는 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 시스템.
8. The method of claim 1 or 7,
Wherein the lane-
And the control point is located at a point between the start point and the end point of the end point, thereby obtaining the intermediate control point, and the lane change detection system using the cardinal spline.
(b-1)차선 영역 추출부가 상기 (a) 과정을 통해 역 투시변환이 적용된 영상으로 변환할 때 사용되는 차선의 정보를 이용하여, 그 주변 영역을 대상으로 시작 프레임과 그 다음 프레임에서 차선 후보 영역을 검출하는 단계; 및 (b-2) 상기 차선 영역 추출부가 검출된 차선 후보 영역의 좌, 우 차선 위치에서 각각 가장 큰 영역을 차선 영역으로 설정하여 추출하고, 설정된 영역으로부터 차선의 시작점 및 끝점을 찾는 단계;를 포함하는 (b) 과정;
(c) 차선 예측부가 상기 (b) 과정을 통해 검색된 차선의 시작점 및 끝점을 이용하여 시작 프레임과 그 다음 프레임에서의 차선 변화벡터를 계산하고, 이 후의 프레임에서 차선이 위치할 지점을 예측하며, 예측된 차선 위치에서 설정된 스캔 영역 내에서 새로운 차선 위치 영역을 예측하는 과정; 및
(d) 차선 검출부가 상기 (c) 과정을 통해 예측된 새로운 차선 위치 영역 내 제어점을 설정하고, 설정된 제어점에 카디널 스플라인을 적용하여 차선을 검출하는 과정; 을 포함하는 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 방법.
(a) a process of applying a back-to-front transformation and a lane filter to a pre-processing unit input image;
(b-1) The lane-area extracting unit extracts, from the lane information used in the conversion of the reverse-perspective transformed image through the process of (a) Detecting a region; And (b-2) extracting and setting the largest area as the lane area at the left and right lane positions of the lane candidate area in which the lane area extracting unit is detected, and searching for the starting point and the end point of the lane from the set area (B) process;
(c) The lane prediction unit calculates a lane change vector in the start frame and the next frame using the start point and the end point of the lane retrieved in the step (b), predicts a point where the lane will be located in the following frame, A step of predicting a new lane-position area within a scan area set at a predicted lane position; And
(d) setting a control point in the new lane location area predicted through the process (c) and detecting a lane by applying a cardinal spline to the set control point; And a lane change vector including the cardinal spline.
상기 (b) 과정은,
(b-3) 상기 차선 영역 추출부가 차선의 시작점과 끝점으로부터 외부 영역을 스캔하여 차선 영역으로 편입시키는 단계; 를 포함하는 것을 특징으로 하는 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 방법.
10. The method of claim 9,
The step (b)
(b-3) inserting the lane area extractor into the lane area by scanning the outer area from the starting point and the end point of the lane; And calculating a lane change vector using a cardinal spline.
상기 (b-3) 단계에서,
상기 차선 영역 추출부가 차선 위치로부터 차선의 기울기 방향으로 외부 영역을 스캔하는 것을 특징으로 하는 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 방법.
12. The method of claim 11,
In the step (b-3)
Wherein the lane area extracting unit scans an outer area in a lane slant direction from a lane position. The lane detecting method using a cardinal spline and a lane change vector.
상기 (c) 과정은,
(c-1) 상기 차선 예측부가 상기 (b) 과정을 통해 검색된 차선의 시작점 및 끝점을 이용하여 시작 프레임과 그 다음 프레임에서 검출된 차선의 위치 변화를 바탕으로, 차선 변화벡터를 계산하는 단계;
(c-2) 상기 차선 예측부가 차선의 각 시작점과 끝점에서 계산된 변화벡터를 이 후의 프레임에 적용하여 이 후의 프레임에서 차선이 나타날 위치를 예측하며, 실제 차선 위치를 찾기 위하여 예측된 지점을 기준으로 스캔 영역을 설정하는 단계; 및
(c-3) 상기 차선 예측부가 상기 스캔 영역 내에서 새로운 차선 위치 영역을 검색하여, 검색된 차선 영역 중 어느 하나를 차선 위치로 지정하는 단계; 를 포함하는 것을 특징으로 하는 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 방법.
10. The method of claim 9,
The step (c)
(c-1) calculating a lane change vector based on a lane change detected in the start frame and the next frame using the lane start point and the end point of the lane detected in the step (b);
(c-2) The lane-predicting unit applies the calculated change vector at each starting point and the ending point of the lane to the following frame to predict the position where the lane will appear in the subsequent frame, Setting a scan area to the scan area; And
(c-3) the lane prediction section searches for a new lane location area in the scan area and designates any one of the searched lane areas as a lane location; And calculating a lane change vector using a cardinal spline.
(c-4) 상기 (c-3) 단계에서, 상기 차선 예측부가 스캔 영역 내에서 차선 영역이 한 개 이상 나오는지 여부를 판단하는 단계; 및
(c-5) 상기 (c-4) 단계의 판단결과, 상기 스캔 영역 내에서 차선 영역이 한 개 이상 나올 경우, 상기 차선 예측부가 가장 큰 영역을 차선 위치로 지정하는 단계; 를 포함하는 것을 특징으로 하는 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 방법.
14. The method of claim 13,
(c-4) In the step (c-3), it is determined whether the lane predictor finds one or more lane areas in the scan area. And
(c-5) designating, as a result of the determining in the step (c-4), the lane-predicting unit as a lane position when the lane area is more than one in the scan area; And calculating a lane change vector using a cardinal spline.
상기 (d) 과정에서,
상기 차선 검출부가 상기 (c) 과정을 통해 예측된 새로운 차선 위치 영역의 좌, 우 차선에 대하여 시작점, 끝점 및 중간 제어점을 바탕으로 카디널 스플라인을 적용하여 직선 또는 곡선인 경우에 대한 차선 검출을 수행하는 것을 특징으로 하는 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 방법.
10. The method of claim 9,
In the step (d)
The lane detecting unit performs lane detection for a straight line or a curved line by applying a cardinal spline based on the start point, the end point, and the intermediate control point with respect to the left and right lanes of the new lane location area predicted through the process (c) And a lane change vector using a cardinal spline.
상기 (d) 과정에서,
각 차선의 시작점과 끝점에서부터 같은 영역을 추적하여 시작점과 끝점의 1/3 지점에 제어점을 위치시킴으로써 중간 제어점을 획득하는 것을 특징으로 하는 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 방법.16. The method according to claim 9 or 15,
In the step (d)
Wherein the intermediate control point is obtained by tracking the same area from the starting point and the ending point of each lane and placing the control point at a starting point and a 1/3 point of the ending point, thereby obtaining the lane change point using the lane change vector and the cardinal spline.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140194722A KR101645322B1 (en) | 2014-12-31 | 2014-12-31 | System and method for detecting lane using lane variation vector and cardinal spline |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140194722A KR101645322B1 (en) | 2014-12-31 | 2014-12-31 | System and method for detecting lane using lane variation vector and cardinal spline |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160083410A KR20160083410A (en) | 2016-07-12 |
| KR101645322B1 true KR101645322B1 (en) | 2016-08-04 |
Family
ID=56504959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140194722A KR101645322B1 (en) | 2014-12-31 | 2014-12-31 | System and method for detecting lane using lane variation vector and cardinal spline |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101645322B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101869266B1 (en) * | 2017-05-08 | 2018-06-21 | 경북대학교 산학협력단 | Lane detection system based on extream learning convolutional neural network and method thereof |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102384430B1 (en) * | 2017-05-31 | 2022-04-07 | 현대오토에버 주식회사 | Method for filtering the lane and generating the lane map using high precision running trajectory of MMS vehicle |
| WO2019001698A1 (en) * | 2017-06-28 | 2019-01-03 | Huawei Technologies Co., Ltd. | Advanced driver assistance system and method |
| US12030507B2 (en) * | 2020-06-29 | 2024-07-09 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Method and system for predicting a trajectory of a target vehicle in an environment of a vehicle |
| CN116503818A (en) * | 2023-04-27 | 2023-07-28 | 内蒙古工业大学 | Multi-lane vehicle speed detection method and system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004164034A (en) | 2002-11-08 | 2004-06-10 | Toshiba Corp | Device and method for detecting line segment |
| KR101240499B1 (en) | 2011-10-28 | 2013-03-11 | 인하대학교 산학협력단 | Device and method for real time lane recogniton and car detection |
| KR101455835B1 (en) * | 2014-06-16 | 2014-11-04 | 주식회사 지티 | Lane Recognition and Tracking System Using Images, And Method For Recognition And Tracking Lane Using The Same |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5621645A (en) | 1995-01-24 | 1997-04-15 | Minnesota Mining And Manufacturing Company | Automated lane definition for machine vision traffic detector |
| KR101295077B1 (en) * | 2011-12-28 | 2013-08-08 | 전자부품연구원 | Lane Departure Warning System |
-
2014
- 2014-12-31 KR KR1020140194722A patent/KR101645322B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004164034A (en) | 2002-11-08 | 2004-06-10 | Toshiba Corp | Device and method for detecting line segment |
| KR101240499B1 (en) | 2011-10-28 | 2013-03-11 | 인하대학교 산학협력단 | Device and method for real time lane recogniton and car detection |
| KR101455835B1 (en) * | 2014-06-16 | 2014-11-04 | 주식회사 지티 | Lane Recognition and Tracking System Using Images, And Method For Recognition And Tracking Lane Using The Same |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101869266B1 (en) * | 2017-05-08 | 2018-06-21 | 경북대학교 산학협력단 | Lane detection system based on extream learning convolutional neural network and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160083410A (en) | 2016-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101645322B1 (en) | System and method for detecting lane using lane variation vector and cardinal spline | |
| Chen et al. | Gaussian-process-based real-time ground segmentation for autonomous land vehicles | |
| US9460352B2 (en) | Lane boundary line recognition device | |
| US11747444B2 (en) | LiDAR-based object detection and classification | |
| Zhou et al. | A robust lane detection and tracking method based on computer vision | |
| US20150367781A1 (en) | Lane boundary estimation device and lane boundary estimation method | |
| JP2015060595A (en) | Method for estimating ego motion of object | |
| EP2948927A1 (en) | A method of detecting structural parts of a scene | |
| JP2008168811A (en) | Traffic lane recognition device, vehicle, traffic lane recognition method, and traffic lane recognition program | |
| JP2003296736A (en) | Device for detecting obstacle and method thereof | |
| JP2002197444A (en) | Run lane recognition device for vehicle | |
| US20140002655A1 (en) | Lane departure warning system and lane departure warning method | |
| JP6139465B2 (en) | Object detection device, driving support device, object detection method, and object detection program | |
| WO2019009110A1 (en) | Exterior recognition device for vehicles | |
| Liu et al. | Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions | |
| JP2007141052A (en) | Road section line detector | |
| Konrad et al. | Localization in digital maps for road course estimation using grid maps | |
| Vajak et al. | A rethinking of real-time computer vision-based lane detection | |
| JP2024038322A (en) | Measurement device, measurement method, and program | |
| JP5189556B2 (en) | Lane detection device | |
| CN114821517A (en) | Method and system for learning neural networks to determine vehicle poses in an environment | |
| CN109191473B (en) | Vehicle adhesion segmentation method based on symmetry analysis | |
| JP4462533B2 (en) | Road lane detection device | |
| JP4070450B2 (en) | Forward vehicle recognition device and recognition method | |
| JP7290104B2 (en) | SELF-LOCATION ESTIMATING DEVICE, METHOD AND PROGRAM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190702 Year of fee payment: 4 |