KR101561382B1 - Device and method for tracking car lane based on road geometry model - Google Patents

Device and method for tracking car lane based on road geometry model Download PDF

Info

Publication number
KR101561382B1
KR101561382B1 KR1020140017403A KR20140017403A KR101561382B1 KR 101561382 B1 KR101561382 B1 KR 101561382B1 KR 1020140017403 A KR1020140017403 A KR 1020140017403A KR 20140017403 A KR20140017403 A KR 20140017403A KR 101561382 B1 KR101561382 B1 KR 101561382B1
Authority
KR
South Korea
Prior art keywords
lane
unit
road
candidate group
histogram
Prior art date
Application number
KR1020140017403A
Other languages
Korean (ko)
Other versions
KR20150096232A (en
Inventor
선우명호
조기춘
이민철
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020140017403A priority Critical patent/KR101561382B1/en
Publication of KR20150096232A publication Critical patent/KR20150096232A/en
Application granted granted Critical
Publication of KR101561382B1 publication Critical patent/KR101561382B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 도로 기하 모델 기반 차선 추적 장치는 도로에 관한 촬영 영상으로부터 차선(car lane)의 특징을 추출하는 차선 특징 추출부; 도로 기하 모델에 관한 정보를 이용하여 차선 후보군을 생성하는 차선 후보군 생성부; 상기 추출된 차선의 특징과 상기 생성된 차선 후보군을 정합(matching)하는 차선 정합부; 및 상기 차선의 특징과 상기 차선 후보군의 정합 결과에 기초하여 차선을 추적하는 차선 추적부를 포함한다.A lane feature extraction unit for extracting features of a car lane from a photographed image of a road; A lane candidate group generation unit for generating a lane candidate group using information on the road geometry model; A lane matching unit for matching the extracted lane characteristic with the generated lane candidate group; And a lane-tracking unit for tracking the lane on the basis of the characteristic of the lane and the matching result of the lane candidate group.

Description

도로 기하 모델 기반 차선 추적 장치 및 방법{DEVICE AND METHOD FOR TRACKING CAR LANE BASED ON ROAD GEOMETRY MODEL}BACKGROUND OF THE INVENTION Field of the Invention [0001] The present invention relates to a lane-

본 발명의 실시예들은 도로 기하 모델에 기반하여 차선을 추적하는 장치 및 방법에 관한 것이다.
Embodiments of the present invention are directed to an apparatus and method for tracking a lane based on a road geometry model.

최근 컴퓨터 하드웨어 성능의 발달로 컴퓨터비전 및 영상처리 기술이 급속히 발달하였고, 고해상도의 영상 데이터를 분석할 수 있을 뿐 아니라, 실시간 동영상 처리가 가능해졌다.Recently, computer vision and image processing technology has been rapidly developed due to the development of computer hardware performance, so that not only high resolution image data can be analyzed, but also real time video processing becomes possible.

이러한 컴퓨터비전을 자동차에 응용하여 사고율을 줄이고자 많은 연구들이 진행되고 있으며, 더욱이, 21세기 첨단 산업과 맞물려 지능형 자동차에 대한 연구가 활발히 진행 중이다. 또한, 지능형 자동차에서만 아니라, 일반 차량에서도 영상처리 응용에 대한 관심이 높아지고 있다.Many researches have been carried out to reduce the accident rate by applying this computer vision to automobiles. Moreover, researches on intelligent automobiles are being actively carried out in conjunction with advanced industries in the 21st century. In addition, interest in image processing applications is increasing not only in intelligent vehicles but also in ordinary vehicles.

최근 차량용 블랙박스 제품이 출시되고 있는데, 이는 충돌감지 센서와 이미지 센서들을 사용하여 사고 발생 시, 전후 영상을 저장하는 것이다. 이를 이용하여 과실을 판단하는 증거자료로 활용할 수 있다. 이러한 차량용 블랙박스 제품의 수요가 높아짐에 따라, 여러 기업에서 차선 이탈 검출 및 경보와 같은 안전에 관련된 기능을 추가하기 위한 노력이 지속되고 있다.Recently, black box products for automobiles are being released, which use collision detection sensors and image sensors to store the images before and after an accident. This can be used as evidence to judge negligence. As the demand for such black box products for automobiles increases, efforts are being made by various companies to add safety related functions such as lane departure detection and alarm.

한편, 우리나라와 같이 포장이 잘 된 도로에서는 자동차의 주행 속도가 매우 빠르다. 지능형 자동차가 실생활에 적용되기 위해서는, 빠른 주행 속도에도 성능의 저하 없이 정확한 연산의 처리가 가능해야 한다. 이를 위해서는 하드웨어의 발전과 동시에 소프트웨어 알고리즘의 최적화가 요구되고 있다.On the other hand, the driving speed of the car is very fast on the road which is packed like Korea. In order for an intelligent vehicle to be applied to real life, accurate computation must be possible without compromising performance even at high driving speeds. This requires the optimization of software algorithms as well as the development of hardware.

국내외에서 차선 인식과 관련하여 많은 연구들이 진행되고 있다. 차선 인식과 관련하여, 종래에는 고정밀 지도의 도로 기하 모델에 관한 정보를 사용하지 않고 영상 인식 정보만을 바탕으로 차선 정보를 보간 및 추적하였다. 따라서, 영상 정보가 불확실한 구간에서는 차선 인식 성능이 현저하게 저하되는데, 이는 영상 정보만을 바탕으로 하는 경우 인식 거리에 한계(예: 100m 이하)가 있기 때문이다.Numerous studies have been conducted in relation to lane recognition at home and abroad. With regard to lane recognition, lane information has been interpolated and tracked based on only image recognition information in the past without using information about road geometry models of high-precision maps. Therefore, the lane recognition performance is remarkably degraded in the section where the video information is uncertain, because the recognition distance is limited (for example, 100 m or less) based on only the image information.

또한, 추출된 차선 특징(feature)들을 보간(fitting)하기 위하여 복잡한 다항식 및 스플라인 곡선을 사용하고, 추출된 곡선들을 복잡한 방정식의 형태로 표현하기 때문에 추적 알고리즘이 복잡해지는 문제점이 있다.In addition, complex polynomials and spline curves are used to fit the extracted lane features, and the extracted curves are expressed in the form of complicated equations, thus complicating the tracking algorithm.

따라서, 정밀 지도에 이미 포함되어 있는 도로의 곡선 모양 정보(곡선 좌표계 기반의 도로 기하 모델에 관한 정보)를 사용하여 보간의 정밀도를 향상시키고, 곡선 좌표계에서 차선을 추적함으로써 심플하고 강건한 추적 알고리즘을 제공할 수 있는 기술의 개발이 요구되고 있다.Therefore, by using the curve shape information (information about the road geometry model based on the curved coordinate system) already included in the precision map, it is possible to improve the accuracy of the interpolation and provide a simple and robust tracking algorithm by tracking the lane in the curved coordinate system It is required to develop a technology that can be used in the future.

관련 선행기술로는 한국 등록특허공보 제0-1225626호(발명의 명칭: 차선 인식 시스템 및 방법, 등록일자: 2013년 1월 17일)가 있다.
Related Prior Art Korean Patent Registration No. 0-1225626 entitled " Lane Recognition System and Method ", Registered Date: January 17, 2013) is available.

본 발명의 일 실시예는 도로 기하 모델을 기반으로 생성된 차선 후보군을 차선의 특징을 추출한 이미지와 정합하고 그 결과를 토대로 차선을 추적함으로써, 차선 추적 장치의 추적 성능을 향상시킬 수 있는 도로 기하 모델 기반 차선 추적 장치 및 방법을 제공한다.An embodiment of the present invention is a road geometry model which can improve the tracking performance of a lane tracking device by matching a lane candidate generated based on a road geometry model with an extracted image of a lane and tracking a lane based on the result, Based lane tracking apparatus and method.

본 발명의 일 실시예는 곡선 좌표계를 이용하여 차선을 표현함으로써 차선 추적을 위한 알고리즘을 심플하고 강건하게 할 수 있는 도로 기하 모델 기반 차선 추적 장치 및 방법을 제공한다.
An embodiment of the present invention provides a road geometry model-based lane tracking apparatus and method that can simplify and robust an algorithm for lane-tracking by expressing lanes using a curved coordinate system.

본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
The problems to be solved by the present invention are not limited to the above-mentioned problem (s), and another problem (s) not mentioned can be clearly understood by those skilled in the art from the following description.

본 발명의 일 실시예에 따른 도로 기하 모델 기반 차선 추적 장치는 도로에 관한 촬영 영상으로부터 차선(car lane)의 특징을 추출하는 차선 특징 추출부; 도로 기하 모델에 관한 정보를 이용하여 차선 후보군을 생성하는 차선 후보군 생성부; 상기 추출된 차선의 특징과 상기 생성된 차선 후보군을 정합(matching)하는 차선 정합부; 및 상기 차선의 특징과 상기 차선 후보군의 정합 결과에 기초하여 차선을 추적하는 차선 추적부를 포함한다.A lane feature extraction unit for extracting features of a car lane from a photographed image of a road; A lane candidate group generation unit for generating a lane candidate group using information on the road geometry model; A lane matching unit for matching the extracted lane characteristic with the generated lane candidate group; And a lane-tracking unit for tracking the lane on the basis of the characteristic of the lane and the matching result of the lane candidate group.

상기 차선 후보군 생성부는 GPS 위성으로부터 상기 도로의 위치 정보를 획득하는 GPS 수신부; 상기 획득된 위치 정보를 이용하여 정밀 지도로부터 해당 위치의 도로 기하 모델에 관한 정보를 추출하는 기하 모델 추출부; 및 상기 추출된 도로 기하 모델에 관한 정보를 이용하여 상기 차선 후보군을 생성하는 차선 후보군 배치부를 포함할 수 있다.Wherein the lane candidate group generating unit comprises: a GPS receiving unit for obtaining position information of the road from a GPS satellite; A geometry model extracting unit for extracting information on a road geometry model at a corresponding position from the precision map using the obtained position information; And a lane candidate group arrangement unit for generating the lane candidate group using information on the extracted road geometry model.

상기 차선 후보군 배치부는 상기 생성된 차선 후보군을 곡선 좌표계를 기반으로 상기 도로 기하 모델과 평행하게 배치할 수 있다.The lane candidate group arrangement unit may arrange the generated lane candidate group in parallel with the road geometry model based on a curved coordinate system.

본 발명의 일 실시예에 따른 도로 기하 모델 기반 차선 추적 장치는 상기 차선의 특징과 상기 차선 후보군의 정합 결과를 토대로 정합 정도에 관한 도수분포를 표시하는 히스토그램(histogram)을 생성하는 히스토그램 생성부; 및 상기 생성된 히스토그램을 필터링(filtering)하는 히스토그램 필터링부를 더 포함하고, 상기 차선 추적부는 상기 히스토그램의 필터링 결과에 기초하여, 상기 차선의 특징에 관한 이미지로부터 상기 차선을 추적할 수 있다.The road geometry model-based lane tracking device according to an embodiment of the present invention includes a histogram generator for generating a histogram representing a frequency distribution of degree of matching on the basis of the characteristics of the lane and the matching result of the lane candidate group; And a histogram filtering unit filtering the generated histogram, and the lane-finding unit may track the lane from the image related to the lane characteristic based on the filtering result of the histogram.

상기 히스토그램 필터링부는 상기 히스토그램의 도수분포에서 각각의 도수(frequency)를 미리 설정된 임계값과 비교하고, 상기 비교의 결과에 기초하여 상기 히스토그램을 필터링할 수 있다.The histogram filtering unit may compare the frequency of each frequency in the frequency distribution of the histogram with a preset threshold value, and filter the histogram based on a result of the comparison.

상기 히스토그램 필터링부는 상기 비교의 결과에 기초하여, 상기 히스토그램의 도수분포에서 상기 임계값보다 작은 도수를 제거할 수 있다.The histogram filtering unit may remove a frequency less than the threshold value in the frequency distribution of the histogram based on a result of the comparison.

상기 도로에 관한 촬영 영상은 차량에 탑재된 카메라로부터 입력될 수 있다.The photographed image relating to the road can be input from a camera mounted on the vehicle.

본 발명의 일 실시예에 따른 도로 기하 모델 기반 차선 추적 장치는 상기 도로에 관한 촬영 영상에 대해 이미지 전처리 작업을 수행하는 이미지 전처리부를 더 포함할 수 있다.The lane tracking apparatus based on the road geometry model according to an embodiment of the present invention may further include an image preprocessing unit for performing an image preprocessing operation on the photographed image related to the road.

상기 이미지 전처리부는 상기 도로에 관한 촬영 영상에 대해, 와이.유.브이 컬러 공간(YUV Color Space) 변환을 수행하고, IPM(Inverse Perspective Mapping)을 통해 조감도(Bird-eye view)로 변환할 수 있다.The image preprocessing unit may perform a YUV color space conversion on the photographed image relating to the road and convert it into Bird-eye view through IPM (Inverse Perspective Mapping) .

상기 차선 특징 추출부는 스티어러블 필터(steerable filter) 기반 차선 에지 검출 알고리즘을 포함하는 차선 검출 알고리즘을 이용하여, 상기 도로에 관한 촬영 영상으로부터 상기 차선의 특징을 추출할 수 있다.The lane feature extraction unit may extract the feature of the lane from the photographed image related to the road using a lane detection algorithm including a steerable filter based lane edge detection algorithm.

본 발명의 일 실시예에 따른 도로 기하 모델 기반 차선 추적 방법은 차선 추적 장치의 차선 특징 추출부에서, 도로에 관한 촬영 영상으로부터 차선(car lane)의 특징을 추출하는 단계; 상기 차선 추적 장치의 차선 후보군 생성부에서, 도로 기하 모델에 관한 정보를 이용하여 차선 후보군을 생성하는 단계; 상기 차선 추적 장치의 차선 정합부에서, 상기 추출된 차선의 특징과 상기 생성된 차선 후보군을 정합(matching)하는 단계; 및 상기 차선 추적 장치의 차선 추적부에서, 상기 차선의 특징과 상기 차선 후보군의 정합 결과에 기초하여 차선을 추적하는 단계를 포함한다.A road geometry model based lane tracking method according to an embodiment of the present invention includes the steps of: extracting features of a car lane from a photographed image of a road in a lane feature extraction unit of the lane tracking device; Generating a lane candidate group using the information about the road geometry model in the lane candidate group generating unit of the lane tracking device; Matching the feature of the extracted lane with the generated lane candidate group in the lane matching unit of the lane tracking device; And tracing the lane in the lane-tracking unit of the lane-tracking device based on the result of the matching of the characteristic of the lane and the lane candidate group.

상기 차선 후보군을 생성하는 단계는 상기 차선 후보군 생성부의 GPS 수신부에서, GPS 위성으로부터 상기 도로의 위치 정보를 획득하는 단계; 상기 차선 후보군 생성부의 기하 모델 추출부에서, 상기 획득된 위치 정보를 이용하여 정밀 지도로부터 해당 위치의 도로 기하 모델에 관한 정보를 추출하는 단계; 및 상기 차선 후보군 생성부의 차선 후보군 배치부에서, 상기 추출된 도로 기하 모델에 관한 정보를 이용하여 상기 차선 후보군을 곡선 좌표계를 기반으로 상기 도로 기하 모델과 평행하게 배치하는 단계를 포함할 수 있다.The step of generating the lane candidate group includes: acquiring position information of the road from a GPS satellite in a GPS receiver of the lane candidate group generating unit; Extracting information on a road geometry model at the corresponding position from the precision map using the obtained position information in the geometry model extraction unit of the lane candidate generation unit; And arranging the lane candidate group based on the extracted road geometry model in parallel with the road geometry model based on the curved coordinate system in the lane candidate group arrangement unit of the lane candidate group generation unit.

본 발명의 일 실시예에 따른 도로 기하 모델 기반 차선 추적 방법은 상기 차선 추적 장치의 히스토그램 생성부에서, 상기 차선의 특징과 상기 차선 후보군의 정합 결과를 토대로 정합 정도에 관한 도수분포를 표시하는 히스토그램(histogram)을 생성하는 단계; 및 상기 차선 추적 장치의 히스토그램 필터링부에서, 상기 생성된 히스토그램을 필터링(filtering)하는 단계를 더 포함하고, 상기 차선을 추적하는 단계는 상기 히스토그램의 필터링 결과에 기초하여, 상기 차선의 특징에 관한 이미지로부터 상기 차선을 추적하는 단계를 포함할 수 있다.
A road geometry model-based lane tracking method according to an embodiment of the present invention includes a histogram generation unit of the lane-tracking apparatus, a histogram indicating a frequency distribution of degree of matching based on a result of matching the lane feature and the lane candidate group histogram; And filtering the generated histogram in a histogram filtering unit of the lane tracking apparatus, wherein the step of tracing the lane comprises, based on the filtering result of the histogram, And tracking the lane from the lane.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
The details of other embodiments are included in the detailed description and the accompanying drawings.

본 발명의 일 실시예에 따르면, 정밀 지도의 도로 기하 모델에 기반하여 생성된 차선 후보군과 차선의 특징을 추출한 이미지를 정합한 결과를 토대로 하여 도로 촬영 영상으로부터 차선을 보다 효율적으로 추적할 수 있다.According to an embodiment of the present invention, it is possible to track lanes more efficiently from the road image based on the result of matching the lane candidate group generated based on the road geometry model of the accurate map and the extracted image of the lane feature.

본 발명의 일 실시예에 따르면 차선 추적 장치의 곡선 모델링 및 추적의 성능을 향상시킬 수 있으며, 도로의 횡방향(Y축) 위치로만 차선이 표현되기 때문에 차량 안전 관련 응용 시스템에 사용될 수 있다.According to one embodiment of the present invention, the performance of curve modeling and tracking of the lane-tracking device can be improved and the lane can be expressed only in the lateral direction (Y-axis) position of the road.

본 발명의 일 실시예에 따르면, 곡선 좌표계 위에서 차선이 표현되기 때문에 차선이 기존의 2차원 평면 좌표계의 곡선 방정식에서 곡률좌표계의 수직 방향의 차선 위치인 1차원으로 표현이 단순화되며, 이에 따라 차선 추적을 위한 알고리즘이 단순화될 수 있다.
According to the embodiment of the present invention, since the lane is represented on the curved coordinate system, the lane is simplified in the one-dimensional lane position of the vertical direction of the curvilinear coordinate system in the curve equation of the existing two-dimensional plane coordinate system, Can be simplified.

도 1은 본 발명의 일 실시예에 따른 도로 기하 모델 기반 차선 추적 장치를 설명하기 위해 도시한 블록도이다.
도 2는 도 1의 차선 후보군 생성부의 상세 구성을 설명하기 위해 도시한 블록도이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따라 도로 기하 모델을 기반으로 차선을 추적하는 구성을 설명하기 위해 도시한 예시도이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 도로 기하 모델 기반 차선 추적 방법을 설명하기 위해 도시한 흐름도이다.1 is a block diagram illustrating a road geometry model based lane tracking apparatus according to an exemplary embodiment of the present invention.
FIG. 2 is a block diagram illustrating a detailed configuration of a lane-based candidate group generating unit of FIG. 1. FIG.
FIGS. 3 to 5 are diagrams for explaining a configuration for tracking a lane based on a road geometry model according to an embodiment of the present invention.
FIG. 6 and FIG. 7 are flowcharts for explaining a lane-tracking method based on a road geometry model according to an embodiment of the present invention.

본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
BRIEF DESCRIPTION OF THE DRAWINGS The advantages and / or features of the present invention, and how to accomplish them, will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. It should be understood, however, that the invention is not limited to the disclosed embodiments, but is capable of many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 도로 기하 모델 기반 차선 추적 장치를 설명하기 위해 도시한 블록도이다.1 is a block diagram illustrating a road geometry model based lane tracking apparatus according to an exemplary embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 도로 기하 모델 기반 차선 추적 장치(100)는 이미지 전처리부(110), 차선 특징 추출부(120), 차선 후보군 생성부(130), 차선 정합부(140), 히스토그램 생성부(150), 히스토그램 필터링부(160), 차선 추적부(170), 및 제어부(180)를 포함할 수 있다.1, a lane tracking apparatus 100 based on a road geometry model according to an embodiment of the present invention includes an image preprocessing unit 110, a lane feature extraction unit 120, a lane candidate generation unit 130, A histogram generating unit 150, a histogram filtering unit 160, a lane-tracking unit 170, and a control unit 180. The control unit 180 includes a control unit 180,

상기 이미지 전처리부(110)는 도로에 관한 촬영 영상에 대해 이미지 전처리 작업을 수행할 수 있다. 이를 위해, 상기 이미지 전처리부(110)는 상기 도로에 관한 촬영 영상에 대해, 와이.유.브이 컬러 공간(YUV Color Space) 변환을 수행할 수 있다. 그리고, 상기 이미지 전처리부(110)는 상기 YUV 컬러 공간 변환이 수행된 촬영 영상을 IPM(Inverse Perspective Mapping)을 통해 조감도(Bird-eye view)로 변환할 수 있다.The image preprocessing unit 110 may perform an image preprocessing operation on the photographed image relating to the road. For this, the image preprocessing unit 110 may perform a YUV color space conversion on the photographed image related to the road. The image preprocessing unit 110 may convert the photographed image on which the YUV color space conversion has been performed into a Bird-eye view through Inverse Perspective Mapping (IPM).

여기서, 상기 도로에 관한 촬영 영상은 차량에 탑재된 카메라로부터 입력될 수 있다. 이때, 상기 카메라는 상기 차량의 전방 도로를 촬영하여 상기 도로에 관한 촬영 영상을 출력할 수 있으며, 이렇게 출력된 촬영 영상은 상기 이미지 전처리부(110)에 입력되어 이미지 전처리 과정을 통해 도로 위 차선의 특징을 추출하기에 적절한 이미지, 즉 조감도로 변환될 수 있다.Here, the photographed image relating to the road can be input from a camera mounted on the vehicle. At this time, the camera can photograph an image of the road ahead of the vehicle and output an image of the road. The image thus output is input to the image preprocessing unit 110, It can be converted into an image suitable for extracting the feature, i.e., a bird's-eye view.

상기 차선 특징 추출부(120)는 상기 도로에 관한 촬영 영상으로부터 차선(car lane)의 특징을 추출한다. 이때, 상기 차선 특징 추출부(120)는 소정의 차선 검출 알고리즘을 이용하여 상기 도로에 관한 촬영 영상으로부터 상기 차선의 특징을 추출할 수 있다.The lane feature extraction unit 120 extracts features of a car lane from the photographed image of the road. At this time, the lane feature extraction unit 120 can extract the feature of the lane from the photographed image of the road using a predetermined lane detection algorithm.

본 발명의 일 실시예에서는 상기 소정의 차선 검출 알고리즘으로서 스티어러블 필터(steerable filter) 기반 차선 에지 검출 알고리즘이 사용될 수 있다. 하지만, 이에 한정되지 않고 다른 실시예로서, 클러스터링을 이용한 차선 검출 알고리즘, OpenMP 기반 병렬기법을 이용한 차선 검출 알고리즘, 밝기 변화의 패턴 분석을 통한 차선 검출 알고리즘 등, 현존하는 모든 차선 검출 알고리즘이 사용될 수도 있다.In one embodiment of the present invention, a steerable filter based lane edge detection algorithm may be used as the predetermined lane detection algorithm. However, the present invention is not limited to this, and all existing lane detection algorithms, such as a lane detection algorithm using clustering, a lane detection algorithm using OpenMP-based parallelism, and a lane detection algorithm using brightness variation pattern analysis may be used as another embodiment .

상기 차선 후보군 생성부(130)는 정밀 지도에 포함된 도로 기하 모델에 관한 정보를 이용하여 차선 후보군을 생성한다. 여기서, 상기 도로 기하 모델은 도로에 대한 기하학적 모델로서 이와 관련된 정보는 상기 정밀 지도에 포함될 수 있다. 또한, 상기 차선 후보군은 상기 도로 기하 모델에 대해 곡선좌표계를 기반으로 하여 X축을 기준으로 일정 간격으로 Y축에 그어진 선(line)으로 표현될 수 있다(도 4 참조).The lane candidate group generation unit 130 generates a lane candidate group using information on the road geometry model included in the precision map. Here, the road geometry model is a geometric model of the road, and information related thereto can be included in the precision map. In addition, the lane candidate group may be represented by a line drawn on the Y axis at regular intervals based on the X axis based on a curved coordinate system with respect to the road geometry model (see FIG. 4).

구체적으로, 도 2를 참조하면, 상기 차선 후보군 생성부(130)는 GPS 수신부(210), 기하 모델 추출부(220), 차선 후보군 배치부(230), 및 지도 정보 DB(240)를 포함하여 구성될 수 있다. 참고로, 도 2는 도 1의 차선 후보군 생성부(130)의 상세 구성을 설명하기 위해 도시한 블록도이다.2, the lane candidate group generation unit 130 includes a GPS receiving unit 210, a geometry model extraction unit 220, a lane candidate group arrangement unit 230, and a map information DB 240 Lt; / RTI > 2 is a block diagram illustrating a detailed configuration of the lane-based candidate generation unit 130 shown in FIG. 1. Referring to FIG.

상기 GPS 수신부(210)는 GPS 위성(미도시)으로부터 상기 도로의 위치 정보를 획득할 수 있다. 예를 들어, 상기 GPS 수신부(210)는 상기 GPS 위성으로부터 현재의 위치 정보를 수신하여 상기 카메라가 탑재된 차량의 위치를 확인할 수 있으며, 이러한 차량의 위치 정보를 상기 도로의 위치 정보로서 획득할 수 있다.The GPS receiver 210 may acquire the location information of the road from a GPS satellite (not shown). For example, the GPS receiving unit 210 can receive the current position information from the GPS satellite to confirm the position of the vehicle on which the camera is mounted, and can acquire the position information of the vehicle as the position information of the road have.

상기 기하 모델 추출부(220)는 상기 GPS 수신부(210)에 의해 획득된 위치 정보를 이용하여 상기 정밀 지도로부터 해당 위치의 도로 기하 모델에 관한 정보를 추출할 수 있다. 여기서, 상기 정밀 지도는 상기 지도 정보 DB(240)에 저장되어 있을 수 있다.The geometry model extracting unit 220 can extract information on the road geometry model of the corresponding position from the precision map using the position information obtained by the GPS receiver 210. [ Here, the precision map may be stored in the map information DB 240.

즉, 상기 기하 모델 추출부(220)는 상기 GPS 수신부(210)에 의해 획득된 위치 정보를 이용하여 상기 정밀 지도 DB(240)로부터 해당 위치의 정밀 지도를 검색하고, 상기 검색된 정밀 지도로부터 해당 위치의 도로 기하 모델에 관한 정보를 추출할 수 있다.That is, the geometry model extracting unit 220 searches for the precise map of the corresponding position from the precise map DB 240 using the position information acquired by the GPS receiver 210, The information on the road geometry model of the road can be extracted.

상기 차선 후보군 배치부(230)는 상기 기하 모델 추출부(220)에 의해 추출된 도로 기하 모델에 관한 정보를 이용하여 상기 차선 후보군을 생성할 수 있다. 이때, 상기 차선 후보군 배치부(230)는 상기 생성된 차선 후보군을 곡선 좌표계를 기반으로 상기 도로 기하 모델과 평행하게 배치할 수 있다.The lane candidate group arrangement unit 230 can generate the lane candidate group using the information about the road geometry model extracted by the geometry model extraction unit 220. [ At this time, the lane candidate group arrangement unit 230 may arrange the generated lane candidate group in parallel with the road geometry model based on a curved coordinate system.

상기 지도 정보 DB(240)는 상기 도로 기하 모델에 관한 정보를 포함하는 정밀 지도를 데이터베이스화하여 저장할 수 있다. 상기 지도 정보 DB(240)는 상기 차선 후보군 생성부(130)에 포함될 수도 있으며, 별도의 DB 서버(미도시)로 구현될 수도 있다.The map information DB 240 may store a precision map including information about the road geometry model in a database. The map information DB 240 may be included in the lane candidate group generating unit 130 or may be implemented as a separate DB server (not shown).

다시 도 1을 참조하면, 상기 차선 정합부(140)는 상기 차선 특징 추출부(120)에 의해 추출된 차선의 특징과 상기 차선 후부군 생성부(130)에 의해 생성된 차선 후보군을 정합(matching)하는 역할을 한다.Referring to FIG. 1 again, the lane-matching unit 140 receives the lane characteristic extracted by the lane feature extraction unit 120 and the lane candidate group generated by the lane tail group generation unit 130 ).

즉, 상기 차선 정합부(140)는 상기 차선의 특징에 관한 이미지와 상기 차선 후보군에 관한 이미지를 매칭시킴으로써, 두 개의 이미지가 서로 정확히 오버랩(overlap)되도록 배치할 수 있다.That is, the lane-matching unit 140 can arrange the two images so that they overlap each other by matching the image of the lane characteristic and the image of the lane candidate group.

상기 히스토그램 생성부(150)는 상기 차선의 특징과 상기 차선 후보군의 정합 결과를 토대로 정합 정도에 관한 도수분포를 표시하는 히스토그램(histogram)을 생성할 수 있다.The histogram generator 150 may generate a histogram indicating a frequency distribution of degree of matching on the basis of the lane feature and the matching result of the lane candidate group.

여기서, 상기 정합 정도는 상기 차선의 특징에 관한 이미지에 포함된 선과 상기 차선 후보군에 포함된 선의 일치하는 정도를 나타낼 수 있다. 이러한 정합 정도는 예를 들면 두 선의 일치하는 픽셀의 개수를 카운트(count)하여 나타낼 수 있다.Here, the degree of matching may indicate a degree of matching between a line included in the image related to the feature of the lane and a line included in the lane candidate group. This degree of matching can be represented, for example, by counting the number of matching pixels of two lines.

상기 히스토그램 필터링부(160)는 상기 생성된 히스토그램을 필터링(filtering)할 수 있다. 즉, 상기 히스토그램 필터링부(160)는 상기 히스토그램의 도수분포에서 각각의 도수(frequency)를 미리 설정된 임계값(threshold)과 비교하고, 상기 비교의 결과에 기초하여 상기 히스토그램을 필터링할 수 있다.The histogram filtering unit 160 may filter the generated histogram. That is, the histogram filtering unit 160 may compare the frequency of each frequency in the frequency distribution of the histogram with a preset threshold value, and may filter the histogram based on a result of the comparison.

예컨대, 상기 히스토그램 필터링부(160)는 상기 히스토그램의 도수분포에서 각각의 도수를 상기 임계값과 비교한 결과에 기초하여, 상기 히스토그램의 도수분포에서 상기 임계값보다 작은 도수를 제거함으로써 상기 히스토그램을 필터링할 수 있다.For example, the histogram filtering unit 160 may filter the histogram by removing frequencies less than the threshold value in the frequency distribution of the histogram, based on a result of comparing the respective frequencies with the threshold value in the frequency distribution of the histogram, can do.

다시 말해, 상기 히스토그램 필터링부(160)는 상기 히스토그램의 도수분포에서 상기 임계값 이상의 값을 가지는 도수만이 남도록 상기 히스토그램을 필터링할 수 있다.In other words, the histogram filtering unit 160 may filter the histogram so that only frequencies having a value equal to or greater than the threshold value are left in the frequency distribution of the histogram.

상기 차선 추적부(170)는 상기 차선의 특징과 상기 차선 후보군의 정합 정도에 따라 생성된 히스토그램의 필터링 결과에 기초하여, 상기 차선의 특징에 관한 이미지로부터 상기 차선을 추적할 수 있다.The lane-tracking unit 170 may track the lane from the image related to the characteristic of the lane based on the filtering result of the histogram generated according to the characteristic of the lane and the degree of matching of the lane candidate group.

즉, 상기 차선 추적부(170)는 상기 히스토그램의 도수분포에서, 상기 임계값 이상의 값을 가지는 도수에 해당하는 이미지를 상기 차선의 특징에 관한 이미지로부터 검출하여 그 검출된 이미지를 상기 차선으로서 추적할 수 있다.That is, in the frequency distribution of the histogram, the lane-finding unit 170 detects an image corresponding to a frequency having a value equal to or greater than the threshold value from the image related to the characteristic of the lane, and tracks the detected image as the lane .

상기 제어부(180)는 본 발명의 일 실시예에 따른 도로 기하 모델 기반 차선 추적 장치(100), 즉 상기 이미지 전처리부(110), 상기 차선 특징 추출부(120), 상기 차선 후보군 생성부(130), 상기 차선 정합부(140), 상기 히스토그램 생성부(150), 상기 히스토그램 필터링부(160), 상기 차선 추적부(170) 등의 동작을 제어할 수 있다.
The control unit 180 controls the lane tracking apparatus 100 based on the road geometry model according to an embodiment of the present invention such as the image preprocessing unit 110, the lane feature extraction unit 120, the lane candidate generation unit 130 The lane matching unit 140, the histogram generating unit 150, the histogram filtering unit 160, the lane tracking unit 170, and the like.

도 3 내지 도 5는 본 발명의 일 실시예에 따라 도로 기하 모델을 기반으로 차선을 추적하는 구성을 설명하기 위해 도시한 예시도이다.FIGS. 3 to 5 are diagrams for explaining a configuration for tracking a lane based on a road geometry model according to an embodiment of the present invention.

먼저, 도 1 및 도 3을 참조하면, 상기 차선 특징 추출부(120)는 이미지 전처리 작업이 완료된 촬영 영상으로부터 차선의 특징을 추출할 수 있다. 이렇게 추출된 차선의 특징은 도 3과 같은 이미지로서 출력될 수 있다.First, referring to FIGS. 1 and 3, the lane feature extraction unit 120 may extract a feature of a lane from an image captured by the image preprocessing operation. The feature of the extracted lane can be output as an image as shown in Fig.

다음으로, 도 1 및 도 4를 참조하면, 상기 차선 후보군 생성부(130)는 정밀 지도로부터 해당 위치의 도로에 대한 기하학적 모델, 즉 도로 기하 모델(도 4의 양 끝 라인)을 추출하고, 상기 추출된 도로 기하 모델에 일정 간격으로 도로의 라인과 같은 방향(Y축 방향)으로 라인을 형성하여 상기 차선 후보군을 생성할 수 있다. 이렇게 생성된 차선 후보군은 도 4와 같은 이미지로서 출력될 수 있다.1 and 4, the lane candidate group generation unit 130 extracts a geometric model, that is, a road geometry model (both end lines in FIG. 4) for the road at the corresponding position from the precision map, The lane candidate group can be generated by forming lines in the extracted road geometry model in the same direction (Y axis direction) as the lines of the road at regular intervals. The thus generated lane candidate group can be outputted as an image as shown in Fig.

다음으로, 도 1 및 도 5를 참조하면, 상기 차선 정합부(140)는 도 3과 도 4의 이미지를 정합하고, 상기 히스토그램 생성부(150)는 각 이미지의 라인이 일치하는 정도를 나타내는 정합 정도를 바탕으로 히스토그램을 생성할 수 있다. 이렇게 생성된 히스토그램은 도 5와 같은 이미지로 출력될 수 있다.1 and 5, the lane matching unit 140 matches the images of FIG. 3 and FIG. 4, and the histogram generating unit 150 generates a histogram of the matching of the lines of the respective images The histogram can be generated based on the degree of the histogram. The histogram thus generated can be output as an image as shown in FIG.

상기 히스토그램 필터링부(160)는 도 5의 히스토그램에 표시된 도수분포에서 임계값보다 작은 도수를 제거하는 과정을 통해 상기 히스토그램을 필터링할 수 있다. 즉, 도 5의 히스토그램에서는 좌측의 도수를 제외한 나머지 도수(동그라미로 표시된 부분)만이 남겨지게 된다.The histogram filtering unit 160 may filter the histogram by removing a frequency less than a threshold value in the frequency distribution shown in the histogram of FIG. That is, in the histogram of FIG. 5, only the remaining frequencies (parts indicated by circles) except for the left frequency are left.

이에 따라, 상기 차선 추적부(150)는 도 5의 히스토그램에서 남겨진 나머지 도수에 대응하는 부분을, 도 3의 차선 특징에 관한 이미지에서 추출하여 상기 차선으로서 추적할 수 있다.
Accordingly, the lane-tracking unit 150 can extract the portion corresponding to the remaining dioptric power remaining in the histogram of Fig. 5 from the image of the lane characteristic of Fig. 3 and trace it as the lane.

도 6 및 도 7은 본 발명의 일 실시예에 따른 도로 기하 모델 기반 차선 추적 방법을 설명하기 위해 도시한 흐름도이다.FIG. 6 and FIG. 7 are flowcharts for explaining a lane-tracking method based on a road geometry model according to an embodiment of the present invention.

도 1 및 도 6을 참조하면, 단계(610)에서 상기 차선 추적 장치(100)의 차선 특징 추출부(120)는 도로에 관한 촬영 영상으로부터 차선(car lane)의 특징을 추출한다.1 and 6, in step 610, the lane feature extraction unit 120 of the lane tracking device 100 extracts features of a car lane from an image taken on the road.

여기서, 상기 촬영 영상은 차량에 탑재된 카메라로부터 입력된 것으로, 이미지 전처리 작업을 통해 YUV Color Space로 변환되고, IPM(Inverse Perspective Mapping)을 통해 조감도(bird-eye view)로 변환된 이미지를 가리킬 수 있다.Here, the photographed image is input from a camera mounted on a vehicle, and converted into a YUV color space through an image preprocessing operation, and can be pointed to an image converted into a bird-eye view through IPM (Inverse Perspective Mapping) have.

다음으로, 단계(620)에서 상기 차선 추적 장치(100)의 차선 후보군 생성부(130)는 정밀 지도에 포함된 도로 기하 모델에 관한 정보를 이용하여 차선 후보군을 생성한다. 이하에서는 상기 단계(620)에 대해 보다 구체적으로 설명하기로 한다.Next, in step 620, the lane candidate group generation unit 130 of the lane-tracking device 100 generates a lane candidate group using information on the road geometry model included in the precision map. Hereinafter, the step 620 will be described in more detail.

즉, 도 1 및 도 7을 참조하면, 단계(710)에서 상기 차선 후보군 생성부(130)의 GPS 수신부(210)는 GPS 위성으로부터 상기 도로의 위치 정보를 획득한다.1 and 7, in step 710, the GPS receiving unit 210 of the lane candidate group generating unit 130 obtains the position information of the road from the GPS satellite.

이후, 단계(720)에서 상기 차선 후보군 생성부(130)의 기하 모델 추출부(220)는 상기 획득된 위치 정보를 이용하여 상기 정밀 지도로부터 해당 위치의 도로 기하 모델에 관한 정보를 추출한다.Thereafter, in step 720, the geometry model extraction unit 220 of the lane-based candidate generation unit 130 extracts information on the road geometry model of the corresponding position from the precision map using the obtained position information.

이후, 상기 차선 후보군 생성부(130)의 차선 후보군 배치부(230)는 상기 추출된 도로 기하 모델에 관한 정보를 이용하여 상기 차선 후보군을 곡선 좌표계를 기반으로 상기 도로 기하 모델과 평행하게 배치한다. 이로써, 상기 차선 후보군이 최종적으로 생성된다.The lane candidate group arrangement unit 230 of the lane candidate group generation unit 130 then arranges the lane candidate group on the basis of the extracted road geometry model in parallel with the road geometry model based on the curved coordinate system. Thus, the lane candidate group is finally generated.

다시 도 1 및 도 6을 참조하면, 단계(630)에서 상기 차선 추적 장치(100)의 차선 정합부(140)는 상기 추출된 차선의 특징과 상기 생성된 차선 후보군을 정합(matching)한다.Referring again to FIGS. 1 and 6, in step 630, the lane matching unit 140 of the lane-tracking device 100 matches the extracted lane characteristic and the generated lane candidate group.

다음으로, 단계(640)에서 상기 차선 추적 장치(110)의 히스토그램 생성부(150)는 상기 차선의 특징과 상기 차선 후보군의 정합 결과를 토대로 정합 정도에 관한 도수분포를 표시하는 히스토그램(histogram)을 생성한다.Next, in step 640, the histogram generation unit 150 of the lane tracking device 110 generates a histogram indicating a frequency distribution of degrees of matching based on the lane feature and the matching result of the lane candidate group .

다음으로, 단계(650)에서 상기 차선 추적 장치(110)의 히스토그램 필터링부(160)는 상기 생성된 히스토그램을 필터링(filtering)한다.Next, in step 650, the histogram filtering unit 160 of the lane tracking device 110 filters the generated histogram.

다음으로, 단계(660)에서 상기 차선 추적 장치(110)의 차선 추적부(170)는 상기 차선의 특징과 상기 차선 후보군의 정합 결과에 따라 생성된 히스토그램의 필터링 결과에 기초하여, 상기 차선의 특징에 관한 이미지로부터 상기 차선을 추적한다.
Next, in step 660, the lane-tracking unit 170 of the lane-tracking device 110, based on the filtering result of the histogram generated according to the characteristic of the lane and the matching result of the lane candidate group, To track the lane.

이와 같이, 본 발명의 일 실시예에서는 정밀 지도의 도로 모양 정보, 즉 도로 기하 모델에 관한 정보를 이용하여 차선 후보군을 생성하고, 상기 생성된 차선 후보군과 차선의 특징을 추출한 이미지를 정합한 결과를 토대로 하여 도로 촬영 영상으로부터 차선을 보다 효율적으로 추적할 수 있다. 따라서, 본 발명의 일 실시예에 따르면 차선 추적 장치의 곡선 모델링 및 추적의 성능을 향상시킬 수 있으며, 도로의 횡방향(Y축) 위치로만 차선이 표현되기 때문에 차량 안전 관련 응용 시스템에 사용될 수 있다.As described above, in the embodiment of the present invention, the lane candidate group is generated by using the road shape information of the precision map, that is, the information about the road geometry model, and the result of matching the generated lane candidate group with the extracted image It is possible to more efficiently track the lane from the road taken image. Therefore, according to the embodiment of the present invention, it is possible to improve the performance of curve modeling and tracking of the lane tracking device, and it can be used in a vehicle safety related application system because the lane is represented only in the lateral direction (Y axis) .

또한, 본 발명의 일 실시예에서는 곡선 좌표계 위에서 차선이 표현되기 때문에 차선이 기존의 2차원 평면 좌표계의 곡선 방정식에서 곡률좌표계의 수직 방향의 차선 위치인 1차원으로 표현이 단순화되며, 이에 따라 차선 추적을 위한 알고리즘이 단순화될 수 있다.
In addition, in the embodiment of the present invention, since the lane is represented on the curved coordinate system, the expression of the lane in the curved line equation of the existing two-dimensional plane coordinate system is simplified as a one-dimensional lane position in the vertical direction of the curvilinear coordinate system, Can be simplified.

본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
Embodiments of the present invention include computer readable media including program instructions for performing various computer implemented operations. The computer-readable medium may include program instructions, local data files, local data structures, etc., alone or in combination. The media may be those specially designed and constructed for the present invention or may be those known to those skilled in the computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floppy disks, and ROMs, And hardware devices specifically configured to store and execute the same program instructions. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.

지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the scope of the appended claims and equivalents thereof.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Modification is possible. Accordingly, the spirit of the present invention should be understood only in accordance with the following claims, and all equivalents or equivalent variations thereof are included in the scope of the present invention.

110: 이미지 전처리부
120: 차선 특징 추출부
130: 차선 후보군 생성부
140: 차선 정합부
150: 히스토그램 생성부
160: 히스토그램 필터링부
170: 차선 추적부
180: 제어부110: Image preprocessing unit
120: lane feature extraction unit
130: Lane candidate group generating unit
140: lane matching portion
150: histogram generator
160: histogram filtering unit
170: lane-
180:

Claims (11)

도로에 관한 촬영 영상으로부터 차선(car lane)의 특징을 추출하는 차선 특징 추출부;
도로 기하 모델에 관한 정보를 이용하여 차선 후보군을 생성하는 차선 후보군 생성부;
상기 추출된 차선의 특징과 상기 생성된 차선 후보군을 정합(matching)하는 차선 정합부; 및
상기 차선의 특징과 상기 차선 후보군의 정합 결과에 기초하여 차선을 추적하는 차선 추적부를 포함하고,
상기 차선 후보군 생성부는,
GPS 위성으로부터 상기 도로의 위치 정보를 획득하는 GPS 수신부;
상기 획득된 위치 정보를 이용하여 정밀 지도로부터 해당 위치의 도로 기하 모델에 관한 정보를 추출하는 기하 모델 추출부; 및
상기 추출된 도로 기하 모델에 관한 정보를 이용하여 상기 차선 후보군을 생성하며, 생성된 차선 후보군을 곡선 좌표계를 기반으로 상기 도로 기하 모델과 평행하게 배치하는 차선 후보군 배치부
를 포함하는 것을 특징으로 하는 도로 기하 모델 기반 차선 추적 장치.
A lane feature extraction unit for extracting a feature of a car lane from a photographed image of the road;
A lane candidate group generation unit for generating a lane candidate group using information on the road geometry model;
A lane matching unit for matching the extracted lane characteristic with the generated lane candidate group; And
And a lane-tracking unit for tracking the lane on the basis of the characteristic of the lane and the matching result of the lane candidate group,
Wherein the lane-candidate-
A GPS receiver for acquiring position information of the road from GPS satellites;
A geometry model extracting unit for extracting information on a road geometry model at a corresponding position from the precision map using the obtained position information; And
A lane candidate group arrangement unit that generates the lane candidate group using the information about the extracted road geometry model and arranges the generated lane candidate group in parallel with the road geometric model based on a curved coordinate system,
The lane tracking device comprising:
삭제delete 삭제delete 제1항에 있어서,
상기 차선의 특징과 상기 차선 후보군의 정합 결과를 토대로 정합 정도에 관한 도수분포를 표시하는 히스토그램(histogram)을 생성하는 히스토그램 생성부; 및
상기 생성된 히스토그램을 필터링(filtering)하는 히스토그램 필터링부
를 더 포함하고,
상기 차선 추적부는
상기 히스토그램의 필터링 결과에 기초하여, 상기 차선의 특징에 관한 이미지로부터 상기 차선을 추적하는 것을 특징으로 하는 도로 기하 모델 기반 차선 추적 장치.
The method according to claim 1,
A histogram generation unit for generating a histogram representing a frequency distribution of degree of matching based on the lane characteristic and the matching result of the lane candidate group; And
A histogram filtering unit for filtering the generated histogram;
Further comprising:
The lane-
And the lane is traced from an image related to the characteristic of the lane based on the filtering result of the histogram.
제4항에 있어서,
상기 히스토그램 필터링부는
상기 히스토그램의 도수분포에서 각각의 도수(frequency)를 미리 설정된 임계값과 비교하고, 상기 비교의 결과에 기초하여 상기 히스토그램을 필터링하는 것을 특징으로 하는 도로 기하 모델 기반 차선 추적 장치.
5. The method of claim 4,
The histogram filtering unit
Compares the frequency of each frequency in the frequency distribution of the histogram with a preset threshold value, and filters the histogram based on a result of the comparison.
제5항에 있어서,
상기 히스토그램 필터링부는
상기 비교의 결과에 기초하여, 상기 히스토그램의 도수분포에서 상기 임계값보다 작은 도수를 제거하는 것을 특징으로 하는 도로 기하 모델 기반 차선 추적 장치.
6. The method of claim 5,
The histogram filtering unit
And a frequency less than the threshold value is removed from a frequency distribution of the histogram based on a result of the comparison.
제1항에 있어서,
상기 도로에 관한 촬영 영상은
차량에 탑재된 카메라로부터 입력되는 것을 특징으로 하는 도로 기하 모델 기반 차선 추적 장치.
The method according to claim 1,
The photographed image relating to the road
Wherein the lane marker is input from a camera mounted on a vehicle.
제1항 또는 제7항에 있어서,
상기 도로에 관한 촬영 영상에 대해 이미지 전처리 작업을 수행하는 이미지 전처리부
를 더 포함하는 것을 특징으로 하는 도로 기하 모델 기반 차선 추적 장치.
8. The method of claim 1 or 7,
An image preprocessing section for performing an image preprocessing operation on the photographed image relating to the road,
The lane tracking device further comprising:
제8항에 있어서,
상기 이미지 전처리부는
상기 도로에 관한 촬영 영상에 대해, 와이.유.브이 컬러 공간(YUV Color Space) 변환을 수행하고, IPM(Inverse Perspective Mapping)을 통해 조감도(Bird-eye view)로 변환하는 것을 특징으로 하는 도로 기하 모델 기반 차선 추적 장치.
9. The method of claim 8,
The image pre-
(YUV Color Space) conversion is performed on the photographed image relating to the road and converted into a Bird-eye view through IPM (Inverse Perspective Mapping) Model - based lane tracking device.
제1항에 있어서,
상기 차선 특징 추출부는
스티어러블 필터(steerable filter) 기반 차선 에지 검출 알고리즘을 포함하는 차선 검출 알고리즘을 이용하여, 상기 도로에 관한 촬영 영상으로부터 상기 차선의 특징을 추출하는 것을 특징으로 하는 도로 기하 모델 기반 차선 추적 장치.
The method according to claim 1,
The lane feature extraction unit
Wherein the characteristics of the lane are extracted from the photographed image related to the road using a lane detection algorithm including a steerable filter based lane edge detection algorithm.
차선 추적 장치의 차선 특징 추출부에서, 도로에 관한 촬영 영상으로부터 차선(car lane)의 특징을 추출하는 단계;
상기 차선 추적 장치의 차선 후보군 생성부에서, 도로 기하 모델에 관한 정보를 이용하여 차선 후보군을 생성하는 단계;
상기 차선 추적 장치의 차선 정합부에서, 상기 추출된 차선의 특징과 상기 생성된 차선 후보군을 정합(matching)하는 단계; 및
상기 차선 추적 장치의 차선 추적부에서, 상기 차선의 특징과 상기 차선 후보군의 정합 결과에 기초하여 차선을 추적하는 단계를 포함하고,
상기 차선 후보군 생성부의 GPS 수신부에서, GPS 위성으로부터 상기 도로의 위치 정보를 획득하는 단계;
상기 차선 후보군 생성부의 기하 모델 추출부에서, 상기 획득된 위치 정보를 이용하여 정밀 지도로부터 해당 위치의 도로 기하 모델에 관한 정보를 추출하는 단계; 및
상기 차선 후보군 생성부의 차선 후보군 배치부에서, 상기 추출된 도로 기하 모델에 관한 정보를 이용하여 상기 차선 후보군을 생성하고 생성된 차선 후보군을 곡선 좌표계를 기반으로 상기 도로 기하 모델과 평행하게 배치하는 단계
를 포함하는 것을 특징으로 하는 도로 기하 모델 기반 차선 추적 방법.Extracting features of a car lane from a photographed image of a road in a lane feature extraction unit of the lane tracking device;
Generating a lane candidate group using the information about the road geometry model in the lane candidate group generating unit of the lane tracking device;
Matching the feature of the extracted lane with the generated lane candidate group in the lane matching unit of the lane tracking device; And
And tracing a lane in the lane-tracking unit of the lane-tracking device based on a result of matching the lane feature and the lane candidate group,
Obtaining positional information of the road from a GPS satellite at a GPS receiver of the lane-candidate-group generating unit;
Extracting information on a road geometry model at the corresponding position from the precision map using the obtained position information in the geometry model extraction unit of the lane candidate generation unit; And
Generating a candidate lane by using the information about the extracted road geometry model and arranging the generated lane candidate group in parallel with the road geometry model based on a curved coordinate system in the lane candidate group arrangement unit of the lane candidate group generation unit
The lane tracking method comprising the steps of:
KR1020140017403A 2014-02-14 2014-02-14 Device and method for tracking car lane based on road geometry model KR101561382B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140017403A KR101561382B1 (en) 2014-02-14 2014-02-14 Device and method for tracking car lane based on road geometry model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140017403A KR101561382B1 (en) 2014-02-14 2014-02-14 Device and method for tracking car lane based on road geometry model

Publications (2)

Publication Number Publication Date
KR20150096232A KR20150096232A (en) 2015-08-24
KR101561382B1 true KR101561382B1 (en) 2015-10-16

Family

ID=54058781

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140017403A KR101561382B1 (en) 2014-02-14 2014-02-14 Device and method for tracking car lane based on road geometry model

Country Status (1)

Country Link
KR (1) KR101561382B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101748675B1 (en) * 2016-05-19 2017-06-19 연세대학교 산학협력단 Appapratus and method for extracting road area

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GPS 정보와 차선정보의 정합을 통한 이동로봇의 실외 위치추정
Hough Transform을 이용한 도로차선형상 인식에 관한 연구
역투영 변환과 칼만필터를 이용한 주행차선 추적
탑뷰영상을 이용한 곡선 템플릿 정합 기반 차선 및 곡률 검출 알고리즘

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101748675B1 (en) * 2016-05-19 2017-06-19 연세대학교 산학협력단 Appapratus and method for extracting road area

Also Published As

Publication number Publication date
KR20150096232A (en) 2015-08-24

Similar Documents

Publication Publication Date Title
US10217007B2 (en) Detecting method and device of obstacles based on disparity map and automobile driving assistance system
CN108345822B (en) Point cloud data processing method and device
CN105718888B (en) Barrier method for early warning and barrier prior-warning device
JP6595182B2 (en) Systems and methods for mapping, locating, and attitude correction
CN112997187A (en) Two-dimensional object bounding box information estimation based on aerial view point cloud
KR20200060194A (en) Method of predicting depth values of lines, method of outputting 3d lines and apparatus thereof
CN110197173B (en) Road edge detection method based on binocular vision
CN105300403A (en) Vehicle mileage calculation method based on double-eye vision
CN115049700A (en) Target detection method and device
CN111652072A (en) Track acquisition method, track acquisition device, storage medium and electronic equipment
CN115176288A (en) Method for reconstructing features in an environmental scene of a road
CN106803262A (en) The method that car speed is independently resolved using binocular vision
CN117576652B (en) Road object identification method and device, storage medium and electronic equipment
CN112805766A (en) Apparatus and method for updating detailed map
CN107220632B (en) Road surface image segmentation method based on normal characteristic
Xiong et al. Road-Model-Based road boundary extraction for high definition map via LIDAR
CN112435336B (en) Curve type identification method and device, electronic equipment and storage medium
US11461944B2 (en) Region clipping method and recording medium storing region clipping program
CN111488762A (en) Lane-level positioning method and device and positioning equipment
CN116309943B (en) Parking lot semantic map road network construction method and device and electronic equipment
KR101561382B1 (en) Device and method for tracking car lane based on road geometry model
Zhao et al. Real-world trajectory extraction from aerial videos-a comprehensive and effective solution
Lee et al. Feature-based lateral position estimation of surrounding vehicles using stereo vision
CN111860084B (en) Image feature matching and positioning method and device and positioning system
JP2022513828A (en) How and system to generate an environmental model for positioning

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee