KR101862994B1 - A method of Stop-line Detection for Autonomous Vehicles - Google Patents

A method of Stop-line Detection for Autonomous Vehicles Download PDF

Info

Publication number
KR101862994B1
KR101862994B1 KR1020170065477A KR20170065477A KR101862994B1 KR 101862994 B1 KR101862994 B1 KR 101862994B1 KR 1020170065477 A KR1020170065477 A KR 1020170065477A KR 20170065477 A KR20170065477 A KR 20170065477A KR 101862994 B1 KR101862994 B1 KR 101862994B1
Authority
KR
South Korea
Prior art keywords
image
stop line
line
mask
stop
Prior art date
Application number
KR1020170065477A
Other languages
Korean (ko)
Inventor
강재웅
민지홍
곽기호
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020170065477A priority Critical patent/KR101862994B1/en
Application granted granted Critical
Publication of KR101862994B1 publication Critical patent/KR101862994B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G06K9/00798—
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G06K9/4652—
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

According to the present invention, a method of stop line detection for an autonomous vehicle rotates an input image in accordance with a steering angle, obtains gradient images in a direction perpendicular to the input image, applies primary and secondary line filters (20-1, 20-2) to the gradient images to designate a stop line candidate area and a non-candidate area, fuses the candidate area and non-candidate area to generate a stop line candidate mask, and allows a stop line to be searched in the stop line candidate mask. By applying a matching method by line filter and Gaussian weight fusion, the method shows an excellent detection result even on a decrepit road where a line segment is not detected. Specifically, a disadvantage of a stop line method of the Hough transform by line segment detection is supplemented.

Description

자율차량을 위한 정지선 검출 방법{A method of Stop-line Detection for Autonomous Vehicles}[0001] The present invention relates to a stop-line detection method for an autonomous vehicle,

본 발명은 자율차량에 관한 것으로, 특히 도로에 그어진 선분의 선명도에 구애 받지 않는 정지선 검출 방법이 적용된 자율차량에 관한 것이다.The present invention relates to an autonomous vehicle, and more particularly, to an autonomous vehicle to which a stop line detection method regardless of the sharpness of a line segment drawn on a road is applied.

최근 각국에서는 무인 자율 주행에 대한 연구가 활발히 이루어지는 가운데, 정지선 탐색(Stop-line Detection)은 전역 자기위치인식(Global Localization)기술로 활발한 연구가 진행되고 있다.In recent years, studies on autonomous autonomous navigation have been actively conducted, and stop-line detection has been actively studied as a global localization technique.

일례로, 정지선 탐색은 Hough Transform(하우 또는 허프 변환)을 이용하여 차량과 직교하는 선분을 탐색하는 방법이 주로 적용된다. 여기서 상기 Hough Transform은 화상으로부터 직선이나 원 등의 도형을 추출하기 위한 한 방법 또는 복잡한 패턴을 인식하기 위하여 P. V. G Hough에 의해 제안된 영상 변환 방법으로, 국부적인 증거를 제공해주는 원소들을 보다 명확하고 전체적인 특성을 만들어주는 다른 도메인(domain)으로 투영(projection)시키는 변환 방법을 의미한다.For example, a stop line search is mainly applied to a method of searching for a line orthogonal to the vehicle using a Hough Transform (Wheat or Hough Transform). Here, the Hough Transform is a method for extracting a straight line or a circle shape from an image or an image transformation method proposed by PV G Hough for recognizing a complex pattern, And a projection method to another domain that creates a characteristic.

국내 공개특허공보 10-2012-0034352(2012년04월12일)Korean Patent Publication No. 10-2012-0034352 (April 12, 2012)

하지만 자율차량의 정지선 탐색이 선분 검출에 의존하면 정지선 탐색을 방해하는 노후화된 도로 및 장애물, 그림자 등에 대한 강인한 전처리가 요구될 수밖에 없다.However, if the stop line search of the autonomous vehicle depends on the segment detection, robust preprocessing against aged roads, obstacles, and shadows that interfere with the stop line search is inevitably required.

이에 상기와 같은 점을 감안한 본 발명은 라인필터와 가우시안 가중치 융합에 의한 정합방식을 적용함으로써 선분이 검출되지 않는 노후화된 도로에서도 우수한 검출 결과를 보여주고, 특히 선분 검출에 의한 Hough Transform의 정지선 탐색 방식의 단점이 보완되는 자율차량을 위한 정지선 검출 방법의 제공에 목적이 있다.In view of the above, the present invention provides excellent detection results even on aged roads where line segments are not detected by applying a matching method using a Gaussian weighted fusion of a line filter, and in particular, a Hough Transform stop line search method The present invention is directed to a method of detecting a stop line for an autonomous vehicle.

상기와 같은 목적을 달성하기 위한 본 발명의 자율차량을 위한 정지선 검출 방법은 입력영상을 조향각에 따라 회전하는 단계, 입력영상을 직교하는 방향으로 각각의 기울기(Gradient)영상을 구하는 단계, 각각의 기울기(Gradient)영상에 정지선이 배경색상과의 이원영상임을 착안하고 수평형태를 나타내는 1차 라인필터와 화면의 조도에 따라 정지선이 탐색되는 세기를 반영하는 2차 라인필터로 구분된 라인필터가 적용되어 정지선을 정지선 후보영역과 정지선 비후보영역을 지정하는 단계, 후보영역과 비후보영역을 융합하여 정지선 후보 마스크를 생성하는 단계, 마스크 밀도와 서브-샘플링 정합을 이용하여 계산량을 최소화하면서 정지선과 유사한 밝기를 가지나 완벽한 직선형태가 아닌 영역을 구분하기 위해 직선방향으로 정지선 영역과 비 정지선 영역을 구분하여 1차 GMM 가중치를 적용하고, 정지선 후보 마스크로부터 정지선을 탐색하는 단계로 수행되는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of detecting a stop line for an autonomous vehicle, the method comprising: rotating an input image according to a steering angle; obtaining each gradient image in a direction orthogonal to the input image; The line filter is divided into a first line filter indicating a horizontal shape and a second line filter reflecting a strength in which a stop line is searched according to the illuminance of the screen, Generating a stop line candidate mask by merging a candidate region and a non-candidate region, and generating a stop line candidate mask by mask density and sub-sampling match to minimize a calculation amount and a brightness similar to a stop line In order to distinguish regions that are not perfectly linear but have a stop line region and a non-stop line region in a straight line direction, To separate them is characterized in that applying the first GMM weight, and performing a step of searching the limit line from the stop line candidate mask.

바람직한 실시예로서, 자율차량을 위한 정지선 검출 방법은 (A) 자율차량에서 촬영된 입력영상을 받은 컨트롤러에서 상기 자율차량의 주행방향에 따라 상기 입력영상을 회전시켜주는 영상조작 단계; (B) 상기 입력영상의 RGB 색상공간을 Y-공간으로 변환하여 상기 입력영상이 명도처리(Intensity Value)되고, 상기 명도처리된 입력영상에 휘도처리(Luminance Gradient)하여 상기 각각의 기울기(Gradient)영상이 수직방향 휘도기울기를 갖는 수직미분 영상과 수평방향 휘도기울기를 갖는 수평미분 영상으로 변환되며, 상기 수직미분 영상과 상기 수평미분 영상을 라인필터로 수직 라인필터 영상과 수평 라인필터 영상으로 변환시켜 상기 정지선 후보영역과 상기 정지선 비후보영역이 지정되고, 상기 수직 라인필터 영상과 상기 수평 라인필터 영상을 융합하여 이진 마스크 영상으로 변환되어져 상기 이진 마스크 영상이 상기 정지선 후보 마스크로 생성되는 영상필터링 단계; (C) 직선의 형태를 가지는 마스크로 상기 정지선의 위치를 식별하도록 상기 정지선 후보 마스크가 정합되고, 상기 정합의 속도 향상을 위해 상기 정지선 후보 마스크의 탐색영역 축소가 이루어지며, 상기 정합의 속도 향상을 더 높이기 위해 상기 탐색영역에 대한 계산복잡도 축소가 이루어지고, GMM(Gaussian Mixture Model)가중치의 적용으로 상기 정지선과 유사한 밝기를 가지나 완벽한 직선형태가 아닌 영역이 구분되어 상기 정지선이 검출되며, 상기 정지선 후보 마스크에서 정지선이 검출되는 영상정합 단계;로 수행된다.As a preferred embodiment, a stop line detection method for an autonomous vehicle includes: (A) an image manipulation step of rotating the input image according to a traveling direction of the autonomous vehicle in a controller that receives an input image photographed by the autonomous vehicle; (B) transforming an RGB color space of the input image into Y-space, and intensity-processing the input image, performing a luminance gradient on the brightness-processed input image, The image is converted into a vertical differential image having a vertical luminance gradient and a horizontal differential image having a horizontal luminance gradient, and the vertical differential image and the horizontal differential image are converted into a vertical line filter image and a horizontal line filter image with a line filter An image filtering step in which the stop line candidate region and the stop line non-candidate region are specified, the vertical line filter image and the horizontal line filter image are fused and converted into a binary mask image, and the binary mask image is generated as the stop line candidate mask; (C) the stop line candidate mask is matched to identify the position of the stop line with a mask having a shape of a straight line, and a search area reduction of the stop line candidate mask is performed to improve the matching speed, The calculation complexity for the search area is reduced to increase the search area, the stop line is detected by dividing a region having a brightness similar to the stop line but not a complete straight line type by application of a Gaussian Mixture Model (GMM) weight, And an image matching step in which a stop line is detected in the mask.

바람직한 실시예로서, 상기 수직미분 영상은 상기 라인필터의 처리전 노이즈 처리(Noise Reduction)된다. 상기 라인필터는 상기 정지선이 배경색상과의 이원영상에 기반되어 수평형태로 나타내는 1차 라인필터, 상기 정지선이 화면의 조도에 따라 탐색되는 세기가 반영된 2차 라인필터로 구분된다.As a preferred embodiment, the vertical differential image is subjected to noise reduction processing before processing of the line filter. The line filter is divided into a first line filter represented by a horizontal line based on the binary color of the stop line and a background color, and a second line filter reflecting the strength by which the stop line is searched according to the illuminance of the screen.

바람직한 실시예로서, 상기 탐색영역 축소는 상기 마스크의 마스킹 된 영역의 마스킹 픽셀 밀도가 10% 이내 인 영역을 탐색영역에서 제외하여 이루어지고, 상기 계산복잡도 축소는 짝수나 홀수에 해당하는 픽셀의 정합수행으로 이루어지며, 상기 GMM 가중치는 상기 정지선 후보 마스크의 마스크 형상에 수직방향으로 적용되는 1차 가우시안 형태이다.In a preferred embodiment, the search area reduction is performed by excluding, from the search area, an area having a masking pixel density of 10% or less of the masked area of the mask. The calculation complexity reduction may be performed by performing matching And the GMM weight is a first-order Gaussian shape applied perpendicularly to the mask shape of the stop line candidate mask.

그리고 상기와 같은 목적을 달성하기 위한 본 발명의 자율차량은 주행하는 도로에 대한 영상을 촬영하는 영상 촬영기; 상기 영상 촬영기의 촬영 방향을 검출하도록 조향휠 조작에 따른 조타각이 검출되는 주행방향 검출기; 상기 영상 촬영기의 촬영영상을 입력영상으로 처리하면서 검출된 조타각에 맞춰 상기 입력영상을 회전시켜주고, 상기 입력영상에 대한 필터링 처리와 영상정합 및 GMM(Gaussian Mixture Model)가중치의 적용으로 정지선의 검출을 위한 처리가 이루어지는 컨트롤러;가 포함되는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an autonomous vehicle including: a video camera for capturing an image of a road; A traveling direction detector for detecting a steering angle according to a steering wheel operation so as to detect a photographing direction of the video camera; The input image is rotated according to the detected steering angle while the photographed image of the photographing apparatus is processed as an input image, filtering of the input image, detection of the stop line by applying image matching and GMM (Gaussian Mixture Model) And a controller for performing a process for performing a process for the display device.

바람직한 실시예로서, 상기 영상 촬영기는 카메라이고, 상기 주행방향 검출기는 상기 조타각을 검출하는 조타각 센서이며, 상기 컨트롤러는 상기 입력영상에서 기울기의 상승값과 하강값이 0에 근접하면 정지선으로 판단하는 1차 라인필터, 상기 입력영상의 화면에서 동일색상, 동일색상의 배경을 가지면서 평행한 두 직선 내에 위치한 영역을 정지선으로 정의하는 2차 라인필터로 구성된다.In a preferred embodiment, the image capturing apparatus is a camera, the traveling direction detector is a steering angle sensor for detecting the steering angle, and the controller determines that the input image is a stop line when the rising and falling values of the tilt are close to zero And a second line filter for defining an area located within two parallel lines having the same color and background of the same color on the screen of the input image as a stop line.

이러한 본 발명의 정지선 검출 방법은 선분 검출에 의한 Hough Transform의 정지선 탐색 방식의 단점이 보완된다.Such a stop line detection method of the present invention is supplemented with disadvantages of the stop line search method of Hough Transform by line segment detection.

또한 본 발명의 정지선 검출 방법은 라인 필터와 가중치 정합 방식을 설계 및 반영함으로써 선분이 검출되지 않는 노후화된 도로에서도 우수한 검출 결과를 나타낸다. Further, the stop line detection method of the present invention design and reflects a line filter and a weight matching method, thereby exhibiting excellent detection results even on aged roads where line segments are not detected.

또한 본 발명의 정지선 검출 방법이 적용된 자율차량은 차량에 설치된 카메라가 차량의 조향각에 따라 회전됨으로써 차량의 주행 방향 전환에 대해서도 우수한 대응을 구현할 수 있다.In addition, the autonomous vehicle to which the stop line detection method of the present invention is applied can realize excellent correspondence to the direction of travel of the vehicle by rotating the camera installed in the vehicle according to the steering angle of the vehicle.

도 1은 본 발명에 따른 자율차량을 위한 정지선 검출 방법의 순서도익도, 도 2는 본 발명에 따른 정지선 검출 방법이 구현되는 자율차량의 예이며, 도 3은 본 발명에 따른 영상 필터링이 라인 필터(line filter)를 이용한 정지선 탐색 과정으로 예시된 예이고, 도 4는 본 발명에 따른 영상 정합이 이진 정합 마스크와 가중치 분포 맵으로 예시된 예이며, 도 5는 본 발명에 따른 정지선 위치 식별이 이루어진 영상 판독의 결과 예이다.FIG. 1 is a flowchart of a stop line detection method for an autonomous vehicle according to the present invention; FIG. 2 is an example of an autonomous vehicle in which a stop line detection method according to the present invention is implemented; FIG. 4 is a diagram illustrating an example of the image matching according to the present invention as a binary matching mask and a weight distribution map. FIG. 5 is a diagram illustrating an example in which a stop line position identification This is an example of the result of reading.

이하 본 발명의 실시 예를 첨부된 예시도면을 참조로 상세히 설명하며, 이러한 실시 예는 일례로서 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 여러 가지 상이한 형태로 구현될 수 있으므로, 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which illustrate exemplary embodiments of the present invention. The present invention is not limited to these embodiments.

도 1을 참조하면, 자율차량을 위한 정지선 검출 방법은 차량 주행에 따른 영상 시스템의 촬영영상을 입력영상(Input Image)로 받아 영상 조작하고(S10,S20,S30), 조작된 입력영상에 대한 영상 필터링으로 마스크(Mask)를 생성하며(S40), 생성된 마스크에 대한 영상정합으로 입력영상의 정지선 처리가 이루어지고(S50), 영상정합의 결과를 이용한 영상 판독으로 입력영상의 정지선 위치 식별이 이루어진다(S60).Referring to FIG. 1, a stop line detection method for an autonomous vehicle includes a step S10, S20, and S30 of receiving a captured image of an image system according to a driving of the vehicle as an input image (S10, S20, and S30) A mask is generated by filtering (S40), stop line processing of the input image is performed by image matching on the generated mask (S50), and stop line position identification of the input image is performed by image reading using the result of image matching (S60).

특히 자율차량을 위한 정지선 검출 방법은 상기 과정에서, 정지선은 선형이 아닌 두께를 가진 객체(object) 인식의 관점에서 접근하고, 정지선과 배경은 이원화된 색상을 가진다는 가정 하에 세로 방향의 미분을 취한다. 세로 방향 미분 결과, 정지선의 상단은 양의 값을 가지는 기울기를 가지며 하단은 음의 값을 가지는 기울기를 가지게 되므로 이를 응용하여 정지선에 해당하는 영역의 마스크(mask)를 생성하기 위한 라인필터(line filter)를 적용함에 특징이 있다.In particular, the stop line detection method for an autonomous vehicle is based on the assumption that the stop line approaches from the viewpoint of object recognition with a non-linear thickness and the stop line and the background have a binary color. do. As a result of the vertical direction derivative, the upper end of the stop line has a slope having a positive value and the lower end has a slope having a negative value. Therefore, a line filter ) Is applied.

이로부터 자율차량을 위한 정지선 검출 방법은 라인필터(line filter)를 적용하여 영상필터링처리와 함께 가중치 정합의 영상정합처리가 이루어짐으로써 기존의 선분 검출에 의한 Hough Transform의 정지선 탐색 방식이 선분이 검출되지 않는 노후화된 도로에서 정지선 검출이 불가하던 한계를 극복하고 정지선에 대한 우수한 검출 결과를 나타낸다.From this, the stop line detection method for autonomous vehicles uses a line filter to perform image matching processing with weighting matching along with image filtering processing, so that the Hough Transform stop line search method based on existing line segment detection can not detect a line segment Overcoming the limitation that the stop line can not be detected on the aged road and showing the excellent detection result for the stop line.

도 2를 참조하면, 자율차량(100)은 영상 촬영기(1), 주행방향 검출기(3), 컨트롤러(5)를 구비한다.Referring to FIG. 2, the autonomous vehicle 100 includes a photographing machine 1, a traveling direction detector 3, and a controller 5.

구체적으로 상기 영상 촬영기(1)는 자율차량(100)이 주행하는 도로(100-1)에 대한 영상을 촬영하여 컨트롤러(5)로 전송하는 장비이고, 일례로 카메라를 이용한 영상 장비일 수 있다. 상기 주행방향 검출기(3)는 영상 촬영기(1)의 촬영 방향을 자율차량(100)의 진행방향에 맞춰 파악하도록 자율차량(100)의 주행 방향 변화를 검출하여 컨트롤러(5)로 전송하는 센서이고, 일례로 자율차량(100)의 조향휠 조작에 따른 조타각을 검출하는 조타각 센서이다. 상기 컨트롤러(5)는 정지선을 선형이 아닌 두께가 있는 객체(object)로 인식하고, 양의 값을 가지는 기울기의 정지선 상단과 음의 값을 가지는 기울기를 가지는 정지선 하단을 세로 방향 미분으로 구하도록 정지선과 배경을 이원화된 색상으로 인식하며, 이를 응용하여 정지선에 해당하는 영역의 마스크(mask)를 생성하기 위한 라인필터(20)(도 3 참조)가 적용된다. 그러므로 상기 컨트롤러(5)는 영상 촬영기(1)의 촬영영상을 입력영상(Input Image)으로 처리하고, 주행방향 검출기(3)에서 검출한 조타각 신호를 차량 주행방향신호로 한 회전(Image Rotation)으로 입력영상에 대한 영상 조작을 수행하며, 라인필터(20)를 이용한 처리 과정을 통하여 촬영된 도로(100-1)에서 검출된 정지선 정보를 출력한다. 이 경우 컨트롤러(5)는 자율차량(100)의 전체를 제어하는 상위제어기와 네트워크 됨으로써 정지선 정보를 상위제어기로 전송한다.Specifically, the image capturing apparatus 1 captures an image of the road 100-1 on which the autonomous vehicle 100 travels and transmits the image to the controller 5, and may be, for example, a video equipment using a camera. The travel direction detector 3 is a sensor that detects a change in the travel direction of the autonomous vehicle 100 and transmits it to the controller 5 so as to grasp the photographing direction of the video camera 1 in accordance with the traveling direction of the autonomous vehicle 100 For example, a steering angle sensor for detecting a steering angle in accordance with manipulation of the steering wheel of the autonomous vehicle 100. [ The controller 5 recognizes the stop line as an object having a thickness that is not a linear shape and sets the stop line so that the stop line is an object having a thickness that is not a linear shape and the lower end of the stop line having a slope having a positive slope And a line filter 20 (see FIG. 3) for generating a mask of an area corresponding to the stop line is applied by applying the background. Therefore, the controller 5 processes the photographed image of the video camera 1 as an input image, and performs rotation (Image Rotation) using the steering angle signal detected by the traveling direction detector 3 as a vehicle traveling direction signal, And outputs the stop line information detected on the photographed road 100-1 through a process using the line filter 20. [ In this case, the controller 5 transmits stop line information to the host controller by being networked with the host controller that controls the entire autonomous vehicle 100.

이하 자율차량을 위한 정지선 검출 방법을 도 2 내지 도 5를 참조로 상세히 설명한다. 이 경우 제어주체는 컨트롤러(5)이고, 제어 대상은 영상 촬영기(1)의 입력영상이다.Hereinafter, a stop line detection method for an autonomous vehicle will be described in detail with reference to Figs. 2 to 5. Fig. In this case, the control subject is the controller 5, and the controlled object is the input image of the video camera 1.

컨트롤러(5)는 S10과 같이 자율차량(100)이 도로(100-1)를 주행하는 상태에서 S20과 같이 자율차량(100)의 영상 촬영기(1)가 촬영한 영상을 전송받아 입력영상(Input Image)으로 처리한다.The controller 5 receives the image photographed by the video camera 1 of the autonomous vehicle 100 in the state where the autonomous vehicle 100 is traveling on the road 100-1 as in the case of S10, Image).

이어 컨트롤러(5)는 입력영상 처리 시점에서 주행방향 검출기(3)의 조타각 신호(즉, 검출 값)로 읽어 S30과 같이 입력영상에 대한 영상 조작을 수행한다. 이 영상 조작은 입력영상을 조타각 신호에 의한 자율차량(100)의 주행 방향에 일치시켜주는 회전(Image Rotation)(S31)로 구현된다. 일례로, 자율차량(100)의 조타각이 좌측으로 약 3도인 경우 입력 이미지도 좌측 방향으로 약 3도로 회전시켜 준다. 그 결과 입력영상은 조향각에 따라 회전된다.The controller 5 reads the steering angle signal (that is, the detection value) of the traveling direction detector 3 at the input image processing time and performs the image manipulation for the input image as in S30. This image manipulation is implemented by an image rotation (S31) that matches the input image with the running direction of the autonomous vehicle 100 by the steering angle signal. For example, when the steering angle of the autonomous vehicle 100 is about 3 degrees to the left, the input image is also rotated about 3 degrees to the left. As a result, the input image is rotated according to the steering angle.

이후 컨트롤러(5)는 S40의 영상 필터링을 S41의 입력영상 명도처리(Intensity Value) 단계, S42의 입력영상 휘도처리(Luminance Gradient) 단계, S43의 마스크 생성(Fused Mask) 단계로 수행한다. 그 결과 입력영상이 이진 마스크 영상(40)으로 변환된다.Thereafter, the controller 5 performs image filtering in step S40 by an input image brightness processing step (S41), an input image brightness processing step (Luminance Gradient) step S42, and a mask generation step (Fused Mask) step S43. As a result, the input image is converted into the binary mask image 40.

도 3을 참조하면, S41의 입력영상 명도처리 단계는 입력영상의 색상공간을 YIQ나 YCbCr의 Y-공간으로 변환한다. S42의 입력영상 휘도처리단계는 Y-공간으로 변환된 입력영상에서 휘도기울기(Luminance Gradient)를 구한 후 이진 마스크영상(40)을 획득한다. 일례로, S42A-1과 같이 입력영상의 Y-공간 변환으로부터 수직미분 영상(10-1)을 획득하여 수직방향 휘도기울기를 구한 후 S42A-2의 노이즈 처리(Noise Reduction)하고 또한 S42B-1과 같이 입력영상의 Y-공간 변환으로부터 수평미분 영상(10-2)을 획득하여 수평방향 휘도기울기를 구한다. 그 결과 입력영상을 직교하는 방향으로 각각의 Gradient 영상이 구해진다.Referring to FIG. 3, the input image brightness processing step of S41 converts the color space of the input image into Y-space of YIQ or YCbCr. In the input image brightness processing step S42, a luminance gradient is obtained from the input image converted into the Y-space, and then the binary mask image 40 is obtained. For example, the vertical differential image 10-1 is obtained from the Y-space transform of the input image as in S42A-1 to obtain the vertical direction luminance gradient, followed by noise reduction (noise reduction) of S42A-2, Similarly, the horizontal differential image 10-2 is obtained from the Y-space transform of the input image to obtain the horizontal luminance gradient. As a result, each gradient image is obtained in a direction orthogonal to the input image.

이어 S42A-3 및 S42B-3과 같이 수직미분 영상(10-1)과 수평미분 영상(10-2)에 대해 라인필터(20)의 1차 라인필터(20-1)와 2차 라인필터(20-2)를 거침으로써 각각 수직 라인필터 영상(30-1)과 수평 라인필터 영상(30-2)으로 변환한다. 상기 1차 라인필터(20-1)는 정지선이 배경색상과의 이원영상임을 착안하여 수평형태를 나타내고, 2차 라인필터(20-2)는 입력영상의 화면의 조도에 따라 정지선이 탐색되는 세기를 반영한다. 그 결과 각각의 Gradient영상에 적용된 1/2차 라인필터(20-1,20-2)에 의해 정지선 후보영역과 비후보영역이 지정된다. S43의 마스크 생성 단계는 수직/수평 라인필터 영상(30-1,30-2)의 병합으로 이진 마스크 영상(40)을 획득한다. 그 결과 후보영역과 비후보영역의 융합으로 정지선 후보 마스크가 생성되고, 상기 정지선 후보 마스크는 S50의 영상정합을 거친 후 S60의 영상 판독에서 정지선 탐색을 가능하게 한다. 이 경우 수직/수평 구분을 위해 1/2차 라인필터(20-1,20-2)로 표현되었으나 수직미분 영상(10-1)은 1/2차 라인필터(20-1,20-2)를 거쳐 수직방향 휘도기울기가 구해진 수직 라인필터 영상(30-1)으로 변환되고, 수평미분 영상(10-2)은 1/2차 라인필터(20-1,20-2)를 거쳐 수평방향 휘도기울기가 구해진 수평 라인필터 영상(30-2)으로 변환되므로 1/2차 라인필터(20-1,20-2)의 구분은 수직/수평 구분을 의미한다. 또한 상기 이진 마스크 영상(40)은 직선의 형태를 가지는 이진 마스크로서, 1/2차 라인필터(20-1,20-2)를 거친 수직/수평방향 휘도기울기의 영역에서 직선의 형태를 띄는 마스크를 직선의 형태로 탐색된다. Next, the first-order line filter 20-1 and the second-order line filter 20-1 of the line filter 20 are connected to the vertical differential image 10-1 and the horizontal differential image 10-2 as S42A-3 and S42B- 20-2 to convert them into a vertical line filter image 30-1 and a horizontal line filter image 30-2, respectively. The primary line filter 20-1 indicates a horizontal line in which the stop line stands in front of the background color, and the secondary line filter 20-2 indicates the strength of a stop line search according to the illuminance of the screen of the input image. . As a result, the stop line candidate region and the non-candidate region are designated by the half-order line filters 20-1 and 20-2 applied to the respective gradient images. The mask generation step of S43 acquires the binary mask image 40 by merging the vertical / horizontal line filter images 30-1 and 30-2. As a result, a stop line candidate mask is generated by the fusion of the candidate region and the non-candidate region, and the stop line candidate mask enables the stop line search in the image reading of S60 after the image matching of S50. In this case, the vertical differential image 10-1 is represented by the half-order line filters 20-1 and 20-2 for vertical / horizontal division, The horizontal differential image 10-2 is converted into a vertical line filter image 30-1 through a half-order line filter 20-1 and 20-2, Since the slope is converted into the obtained horizontal line filter image 30-2, the division of the half-order line filters 20-1 and 20-2 means vertical / horizontal division. The binary mask image 40 is a binary mask having a straight line shape. The binary mask image 40 is a mask in the form of a straight line in the area of the vertical / horizontal direction luminance gradient passing through the half-order line filters 20-1 and 20-2. Are searched in the form of a straight line.

실제적인 S40의 영상 필터링의 세부 사항은 하기와 같다.Details of the actual S40 image filtering are as follows.

S41의 입력영상 명도처리 단계를 위해 입력영상의 RGB 색상에 대해 Y-공간 변환을 수행하며, 이를 수식 1로 적용한다.For the input image brightness processing step of S41, Y-space conversion is performed on the RGB colors of the input image, and this is applied to Equation (1).

Figure 112017050556328-pat00001
Figure 112017050556328-pat00002
Figure 112017050556328-pat00003
Figure 112017050556328-pat00004
Figure 112017050556328-pat00005
Figure 112017050556328-pat00006
Figure 112017050556328-pat00007
(수식 1)
Figure 112017050556328-pat00001
Figure 112017050556328-pat00002
Figure 112017050556328-pat00003
Figure 112017050556328-pat00004
Figure 112017050556328-pat00005
Figure 112017050556328-pat00006
Figure 112017050556328-pat00007
(Equation 1)

여기서 Y는 Y-공간의 Y축이고, RGB는 Red(R), Green(G), Blue(B)이며, 0,299,0.587.0.114는 가중치이다. 이 경우 Y-공간은 YIQ의 Y-공간 및 YCbCr의 Y-공간으로 구분될 수 있고, YIQ의 Y-공간 및 YCbCr의 Y-공간의 각각은 RGB 색 공간에 가중치를 더하여 색상의 특성을 이용한 신호전달이 이루어지는 방식이다. Y축은 색상의 밝고 어두움을 나타내는 성분이고, IQ나 CbCr의 두 축은 색상정보(Crominance)를 나타내는 성분이다.Here, Y is the Y axis of Y-space, RGB is Red (R), Green (G), Blue (B), and 0,299,0.587.0.114 is a weight. In this case, the Y-space can be divided into the Y-space of YIQ and the Y-space of YCbCr, and the Y-space of YIQ and the Y-space of YCbCr are weighted to the RGB color space, This is how the transfer takes place. The Y axis is a component representing bright and dark colors, and the two axes IQ and CbCr are components representing color information (Crominance).

S42의 입력영상 휘도처리단계를 위해 Y-공간 변환된 입력영상에 대한 기울기(Gradient)를 벡터 형태로 생성하며, 이를 수식 2로 표현한다.For the input image brightness processing step of S42, the gradient of the Y-space-transformed input image is generated in the form of a vector, which is expressed by Equation (2).

Figure 112017050556328-pat00008
Figure 112017050556328-pat00009
(수식 2)
Figure 112017050556328-pat00008
Figure 112017050556328-pat00009
(Equation 2)

여기서

Figure 112017050556328-pat00010
는 화면좌표의
Figure 112017050556328-pat00011
,
Figure 112017050556328-pat00012
에 해당하는 픽셀의 명도(intensity)를 나타내며, G는 기울기이다. 그러므로 상기 수식2는
Figure 112017050556328-pat00013
,
Figure 112017050556328-pat00014
각 방향으로 미분하면 명도의 변화율을 구할 수 있음을 나타낸다.here
Figure 112017050556328-pat00010
Of the screen coordinates
Figure 112017050556328-pat00011
,
Figure 112017050556328-pat00012
And G is the slope of the pixel. Therefore, Equation (2)
Figure 112017050556328-pat00013
,
Figure 112017050556328-pat00014
The differentiation in each direction indicates that the rate of change of brightness can be obtained.

그리고 변화율은 양의 수와 음의 수를 양자 포함하므로 각각의 크기는 수식 3으로 구해진다.Since the rate of change includes both positive and negative numbers, the magnitude of each is obtained by Equation (3).

Figure 112017050556328-pat00015
(수식 3)
Figure 112017050556328-pat00015
(Equation 3)

Figure 112017050556328-pat00016
Figure 112017050556328-pat00016

이어 기울기를 미분하는 방향에 따라 수직과 수평 방향으로 미분하고, 수직미분영상과 수평미분영상의 각각에 대한 기울기를 수식 4와 같이 각각 따로 생성하고, 수식 5와 같이 절대값 크기를 갖는다.Then, the slope of each of the vertical differential image and the horizontal differential image is separately generated as shown in Equation (4), and has an absolute value magnitude as shown in Equation (5).

Figure 112017050556328-pat00017
,
Figure 112017050556328-pat00018
(수식 4)
Figure 112017050556328-pat00017
,
Figure 112017050556328-pat00018
(Equation 4)

Figure 112017050556328-pat00019
,
Figure 112017050556328-pat00020
(수식 5)
Figure 112017050556328-pat00019
,
Figure 112017050556328-pat00020
(Equation 5)

그 결과 입력영상은 도로(100-1)에서 보는 것과 같이 수평성분의 엣지(즉, 정지선(50-2))들이 검출된 도 3의 수직미분 영상(10-1), 도로(100-1)에서 보는 것과 같이 수직성분의 엣지(예, 차선(50-1))가 검출된 도 3의 수평미분 영상(10-2)으로 변환된다. 특히 수직으로 미분한 영상을 기준으로 보면, 수직방향의 명도(intensity) 변화율을 해당 픽셀에서 계측이 가능하며 정지선(50-2)의 경우에는 명도가 증가하는 부분과 감소하는 부분의 쌍선영역으로 구분되며, 각각의 대응되는 변화율을 합계가 0에 가까워야 한다. 그러므로 1차 라인필터(20-1)는 필터의 중앙에 위치한 0의 위치에 중앙선의 존재유무를 마스킹하고, 2차 라인필터(20-2)는 1차 라인필터(20-1)의 결과에서 더욱 신뢰성 높은 결과를 얻기 위해 1차 라인필터(20-1)의 결과와 논리연산 AND를 취하기 위한 마스크를 생성한다. 이를 위해 상기 1차 라인필터(20-1)의 구조는 기울기의 상승값과 하강값이 0에 근접하면 정지선으로 판단하는 논리로서, 입력영상의 화면에서 동일색상, 동일색상의 배경을 가지면서 평행한 두 직선 내에 위치한 영역을 정지선으로 정의하는 역할을 수행한다. 반면 2차 라인필터(20-2)의 구조는 기울기의 절대값이 높은 영역을 추출하기 위한 논리로서, 정지선(50-2)과 도로면의 대비를 반영함으로써 신뢰성을 높여준다.As a result, the input image is the vertical differential image 10-1, the road 100-1 shown in Fig. 3 where the edge of the horizontal component (i.e., the stop line 50-2) As shown in Fig. 3, the edge of the vertical component (e.g., the lane 50-1) is detected. In particular, when the vertically differentiated image is used as a reference, the intensity change rate in the vertical direction can be measured by the corresponding pixel, and in the case of the stop line 50-2, And the sum of the corresponding rate of change must be close to zero. Therefore, the primary line filter 20-1 masks the presence or absence of the center line at the position of 0 located at the center of the filter, and the secondary line filter 20-2 masks the presence or absence of the center line To obtain a more reliable result, a mask for logical ANDing the result of the first-order line filter 20-1 is generated. To this end, the structure of the primary line filter 20-1 is a logic that determines the stop line when the rising and falling values of the tilt are close to zero. The logic of the primary line filter 20-1 is parallel It defines the area within one or two straight lines as a stop line. On the other hand, the structure of the secondary line filter 20-2 increases the reliability by reflecting the contrast between the stop line 50-2 and the road surface as logic for extracting an area having a high absolute value of the gradient.

따라서 이진 마스크 영상(40)은 수직 라인필터 영상(30-1)과 수평 라인필터 영상(30-2)의 각각에 대해 1/2차 라인필터(20-1,20-2)의 결과가 반영된 영역에서 직선의 형태를 띄는 마스크를 탐색할 수 있다.Therefore, the binary mask image 40 is a binary mask image in which the results of the half-order line filters 20-1 and 20-2 are reflected on each of the vertical line filter image 30-1 and the horizontal line filter image 30-2 You can search for masks in the form of straight lines in the area.

이어서 컨트롤러(5)는 S50의 영상정합을 S51의 마스크 정합(Cumulative Map) 단계, S52의 정합 처리 효율화 실행 단계로 수행하며, 그 결과로 S40의 이진 마스크 영상(40)이 마스크 정합영상(60)으로 변환된다.Subsequently, the controller 5 performs the image registration of step S50 in the step of cumulative mapping of step S51 and the step of performing matching processing efficiency of step S52. As a result, the binary mask image 40 of step S40 corresponds to the mask matching image 60, .

일례로, S51의 마스크 정합 단계는 이진 마스크 영상(40)에서 직선의 형태를 가지는 마스크로 정지선의 위치가 식별되도록 이진 마스크를 정합한다. S52의 정합 처리 효율화 실행 단계는 상관도를 계산하기 위한 정합위치를 줄이기 위한 탐색영역 축소로 정합과정의 속도를 향상하고, 52-1의 탐색영역 축소(Search Area)(마스킹 픽셀 밀도) 단계, 52-2의 계산복잡도 축소(x,y 픽셀 정합) 단계, 52-3의 가중치 융합 단계로 수행된다.In one example, the mask matching step of S51 matches the binary mask so that the position of the stop line is identified by the mask having a straight line shape in the binary mask image 40. [ The matching process efficiency execution step of S52 increases the speed of the matching process by reducing the search area to reduce the matching position for calculating the degree of correlation, and the search area (masking pixel density) step of 52-1 (X, y pixel matching) step of -2, and a weight fusion step of 52-3.

구체적으로 52-1의 탐색영역 축소 단계와 52-2의 계산복잡도 축소 단계는 마스크 밀도와 서브-샘플링 정합을 이용하여 계산량을 최소화함으로써 속도 향상이 이루어진다. 52-1의 탐색영역 축소 단계는 상관도를 계산하기 위한 정합위치를 줄여줌으로써 탐색영역을 축소하고 정합과정의 속도를 향상 한다. 52-2의 계산복잡도 축소 단계는 축소된 탐색영역 내에서 계산 복잡도가 줄여 속도를 더욱 향상한다. 이 경우 상기 탐색영역 축소를 위해 라인필터(20)의 결과 영상인 이진 마스크 영상(40)에서 마스크의 밀도를 측정하여 마스킹 된 영역의 마스킹 픽셀 밀도가 10%이내 인 영역을 탐색영역에서 제외하는 방식이 적용된다. 또한 상기 계산복잡도 축소를 위해 짝수나 홀수에 해당하는

Figure 112017050556328-pat00021
,
Figure 112017050556328-pat00022
픽셀의 정합을 수행하여 탐색영역을 최소화한다. 하지만 영상추적에서 탐색영역(Search Area)을 줄이기 위한 일반적인 방법인 해당 영역의 분산을 측정하는 방법이 적용될 수 있다.Specifically, in the step of reducing the search area 52-1 and the step of reducing the calculation complexity 52-2, the speed is improved by minimizing the calculation amount using the mask density and the sub-sampling matching. The reduction step of the search area 52-1 reduces the search area to reduce the registration position for calculating the correlation degree, thereby improving the speed of the registration process. The step of reducing the computational complexity of 52-2 further improves the speed by reducing the computational complexity within the reduced search area. In this case, in order to reduce the search area, the density of the mask is measured in the binary mask image 40, which is a result of the line filter 20, and a method in which the masking pixel density within 10% Is applied. In order to reduce the computational complexity,
Figure 112017050556328-pat00021
,
Figure 112017050556328-pat00022
Pixel matching is performed to minimize the search area. However, a method of measuring the variance of the corresponding region, which is a general method for reducing the search area in image tracking, can be applied.

구체적으로 52-3의 가중치 융합 단계는 최소화된 탐색영역 내에서 가중 정합을 수행하여 최종 정지선의 위치를 식별한다. 이는 직선방향으로 정지선 영역과 비 정지선 영역을 구분하여 1차 GMM(Gaussian Mixture Model)가중치를 적용함으로써 정지선과 유사한 밝기를 가지나 완벽한 직선형태가 아닌 영역을 구분한다.Specifically, the weight fusion step of 52-3 performs weight matching in the minimized search area to identify the position of the final stop line. It separates the stop line region and the non-stop line region in a straight line direction and applies a first order GMM (Gaussian Mixture Model) weight to distinguish a region having a brightness similar to a stop line but not a perfect straight line shape.

도 4를 참조하면, (a)은 마스크 형상을 (b)와 (c)는 (a)에 대한 가중치를 나타낸다. 상기 (a)의 마스크 형상은 최초의 입력영상이 주어지고 입력영상을 회전했을 때, 정지선이 화면의 수평각도와 8도 이내의 오차를 가진다는 가정 하에 ??4도, 0도, 4도의 각각에 대해 생성된 정지선 마스크 중 4도에 해당하는 경우이다. 그리고 (b)와 (c)는 이진 마스크 영상(40)의 마스크 형상(a)에 수직방향으로 적용되는 1차 가우시안 형태의 가중치이다.Referring to FIG. 4, (a) shows a mask shape, and (b) and (c) show a weight for (a). When the input image is rotated, the mask shape of (a) is given as the first input image, and it is assumed that the stop line has an error of less than 8 degrees with the horizontal angle of the screen. Is 4 degrees out of the generated stop line mask. And (b) and (c) are weights of the first-order Gaussian form applied in a direction perpendicular to the mask shape (a) of the binary mask image 40. [

특히 (b)와 (c)에 대한 가중치의 융합(Gaussian Mixture Model)은 하기의 수식 6으로 표현된다.In particular, the Gaussian Mixture Model for (b) and (c) is expressed by Equation (6) below.

Figure 112017050556328-pat00023
(수식 6)
Figure 112017050556328-pat00023
(Equation 6)

이 경우 1차 가우시안은 수직 마스크 영상의

Figure 112017050556328-pat00024
좌표에 모두 적용되며 기준점은 중앙선의 중심이다.
Figure 112017050556328-pat00025
은 (b)의 가중치를
Figure 112017050556328-pat00026
은 (c)의 가중치이다.In this case, the first-order Gaussian
Figure 112017050556328-pat00024
The reference point is the center of the center line.
Figure 112017050556328-pat00025
The weight of (b)
Figure 112017050556328-pat00026
Is the weight of (c).

이어 컨트롤러(5)는 S60의 영상 판독단계에서 S61과 같이 정지선 위치 식별이 이루어진다. 도 5는 입력영상을 1/2차 라인필터(20-1,20-2)로 이진 마스크 영상(40)으로 처리한 후 가중치의 융합으로 마스크 정합영상(60)을 생성하고, 상기 마스크 정합영상(60)에서 정지선(50-2)이 차선(50-1)과 구별되어 검출된 정지선 검출 결과를 나타낸다.The controller 5 then performs the stop line position identification in step S61 in the image reading step of S60. FIG. 5 shows a mask matching image 60 obtained by processing an input image by a half-order line filter 20-1 and 20-2 with a binary mask image 40, merging weights to generate a mask matching image 60, The stop line 50-2 is distinguished from the lane 50-1 in the stop line 60 and indicates the detected stop line detection result.

한편 컨트롤러(5)는 S70과 같이 정지선 검출 지속 하에서 S20으로 피드백하여 전술한 과정을 반복하거나 정지선 검출 중단 하에서 전술한 과정을 중지하면서 로직을 초기화 한다.On the other hand, the controller 5 repeats the above-described process by feeding back to S20 under the stop line detection continuation as in S70, or initializes the logic while stopping the above process under stop line detection stop.

전술된 바와 같이, 본 실시예에 따른 자율차량을 위한 정지선 검출 방법은 입력영상을 조향각에 따라 회전하고, 입력영상을 직교하는 방향으로 각각의 기울기(Gradient) 영상을 구하며, 각각의 기울기(Gradient) 영상에 1/2차 라인필터(20-1,20-2)를 적용하여 정지선 후보영역과 비후보영역을 지정하고, 후보영역과 비후보영역을 융합하여 정지선 후보 마스크를 생성하며, 정지선 후보 마스크에서 정지선이 탐색됨으로써 라인필터와 가우시안 가중치 융합에 의한 정합방식의 적용으로, 선분이 검출되지 않는 노후화된 도로에서도 우수한 검출 결과를 보여주고, 특히 선분 검출에 의한 Hough Transform의 정지선 탐색 방식의 단점을 보완한다.As described above, the stop line detection method for the autonomous vehicle according to the present embodiment rotates the input image according to the steering angle, obtains each gradient image in a direction orthogonal to the input image, By applying the half-order line filters 20-1 and 20-2 to the image, the stop line candidate region and the non-candidate region are designated, the stop line candidate mask is generated by merging the candidate region and the non-candidate region, , It shows excellent detection results even on aged roads where line segments are not detected by applying the matching method by line filter and Gaussian weighted fusion. In particular, it compensates the disadvantages of Hough Transform's stop line search method by line segment detection do.

1 : 영상 촬영기 3 : 주행방향 검출기
5 : 컨트롤러
10-1 : 수직미분 영상 10-2 : 수평미분 영상
20 : 라인필터
20-1 : 1차 라인필터 20-2 : 2차 라인필터
30-1 : 수직 라인필터 영상 30-2 : 수평 라인필터 영상
40 : 이진 마스크 영상
50-1 : 차선 50-2 : 정지선
60 : 마스크 정합영상
100 : 자율차량 100-1 : 도로1: photographing machine 3: traveling direction detector
5: Controller
10-1: Vertical Differential Image 10-2: Horizontal Differential Image
20: Line filter
20-1: primary line filter 20-2: secondary line filter
30-1: Vertical line filter image 30-2: Horizontal line filter image
40: Binary mask image
50-1: Lane 50-2: Stop line
60: mask matching image
100: autonomous vehicle 100-1: road

Claims (12)

(A) 자율차량에서 촬영된 입력영상을 받은 컨트롤러에서 상기 자율차량의 주행방향에 따라 상기 입력영상을 회전시켜주는 영상조작 단계;
(B) 상기 입력영상을 직교하는 방향으로 각각의 기울기(Gradient)영상을 구하고, 상기 각각의 기울기(Gradient)영상에 라인필터를 적용하여 상기 입력영상 내 정지선 후보영역과 정지선 비후보영역이 지정되며, 상기 정지선 후보영역과 상기 정지선 비후보영역을 융합하여 정지선 후보 마스크가 생성되는 영상필터링 단계;
(C) 상기 정지선 후보 마스크에서 정지선이 검출되는 영상정합 단계;가 포함되고,
상기 영상필터링 단계는, (b-1) RGB 색상공간을 Y-공간으로 변환하여 상기 입력영상이 명도처리(Intensity Value)되는 단계, (b-2) 상기 명도처리된 입력영상에 휘도처리(Luminance Gradient)하여 상기 각각의 기울기(Gradient)영상이 수직방향 휘도기울기를 갖는 수직미분 영상과 수평방향 휘도기울기를 갖는 수평미분 영상으로 변환되는 단계, (b-3) 상기 수직미분 영상과 상기 수평미분 영상을 라인필터로 수직 라인필터 영상과 수평 라인필터 영상으로 변환시켜 상기 정지선 후보영역과 상기 정지선 비후보영역이 지정되는 단계, (b-4) 상기 수직 라인필터 영상과 상기 수평 라인필터 영상을 융합하여 이진 마스크 영상으로 변환되고, 상기 이진 마스크 영상이 상기 정지선 후보 마스크로 생성되는 단계
로 이루어지는 것을 특징으로 하는 자율차량을 위한 정지선 검출 방법.
(A) an image manipulation step of rotating the input image according to a running direction of the autonomous vehicle in a controller which receives an input image photographed by the autonomous vehicle;
(B) a gradient image is obtained in a direction orthogonal to the input image, and a stop line candidate region and a stop line ratio candidate region in the input image are designated by applying a line filter to each of the gradient images An image filtering step of merging the stop line candidate region and the stop line ratio candidate region to generate a stop line candidate mask;
(C) an image matching step in which a stop line is detected in the stop line candidate mask,
Wherein the image filtering step includes the steps of (b-1) transforming the RGB color space into Y-space and intensity-processing the input image, (b-2) The gradient image is converted into a vertical differential image having a vertical luminance gradient and a horizontal differential image having a horizontal luminance gradient, (b-3) the vertical differential image and the horizontal differential image (B-4) converting the vertical line filter image and the horizontal line filter image into a vertical line filter image and a horizontal line filter image by using a line filter to designate the stop line candidate region and the stop line non- The binary mask image is transformed into a binary mask image, and the binary mask image is generated as the stop line candidate mask
And a stop line detecting step of detecting the stop line of the autonomous vehicle.
청구항 1에 있어서, 상기 영상조작 단계에서, 상기 입력영상의 회전은 상기 자율차량의 조향각에 따라 이루어지는 것을 특징으로 하는 자율차량을 위한 정지선 검출 방법.
The method according to claim 1, wherein, in the image manipulation step, rotation of the input image is performed according to a steering angle of the autonomous vehicle.
삭제delete 청구항 1에 있어서, 상기 수직미분 영상은 상기 라인필터의 처리전 노이즈 처리(Noise Reduction)되는 것을 특징으로 하는 자율차량을 위한 정지선 검출 방법.
The method according to claim 1, wherein the vertical differential image is noise-reduced before processing of the line filter.
청구항 1에 있어서, 상기 라인필터는 상기 정지선이 배경색상과의 이원영상에 기반되어 수평형태로 나타내는 1차 라인필터, 상기 정지선이 화면의 조도에 따라 탐색되는 세기가 반영된 2차 라인필터로 구분되는 것을 특징으로 하는 자율차량을 위한 정지선 검출 방법.

The line filter according to claim 1, wherein the line filter is divided into a first line filter represented by a horizontal line based on the binary color of the stop line and a background color, and a second line filter reflecting the strength of the stop line detected according to the illuminance of the screen And detecting a stop line for an autonomous vehicle.

청구항 1에 있어서, 상기 영상정합 단계는, (c-1) 직선의 형태를 가지는 마스크로 상기 정지선의 위치를 식별하도록 상기 정지선 후보 마스크가 정합되는 단계, (c-2) 상기 정합의 속도 향상을 위해 상기 정지선 후보 마스크의 탐색영역 축소가 이루어지는 단계, (c-3) 상기 정합의 속도 향상을 더 높이기 위해 상기 탐색영역에 대한 계산복잡도 축소가 이루어지는 단계, (c-4) GMM(Gaussian Mixture Model)가중치의 적용으로 상기 정지선과 유사한 밝기를 가지나 완벽한 직선형태가 아닌 영역이 구분되어 상기 정지선이 검출되는 단계
로 이루어지는 것을 특징으로 하는 자율차량을 위한 정지선 검출 방법.
The method of claim 1, wherein the matching step comprises: (c-1) matching the stop line candidate mask to a position of the stop line with a mask having a straight line shape; (c-2) (C-3) reducing computational complexity for the search area to further increase the speed of the registration; (c-4) performing a Gaussian Mixture Model (GMM) A step of detecting the stop line by dividing a region having a brightness similar to the stop line but not a perfectly straight line by applying a weight,
And a stop line detecting step of detecting the stop line of the autonomous vehicle.
청구항 6에 있어서, 상기 탐색영역 축소는 상기 마스크의 마스킹 된 영역의 마스킹 픽셀 밀도가 10%이내 인 영역을 탐색영역에서 제외하여 이루어지는 것을 특징으로 하는 자율차량을 위한 정지선 검출 방법.
7. The method according to claim 6, wherein the search area reduction is performed by excluding, from the search area, an area having a masking pixel density of 10% or less of the masked area of the mask.
청구항 6에 있어서, 상기 계산복잡도 축소는 짝수나 홀수에 해당하는 픽셀의 정합수행으로 이루어지는 것을 특징으로 하는 자율차량을 위한 정지선 검출 방법.

7. The method of claim 6, wherein the calculation complexity reduction is performed by performing matching of pixels corresponding to an even number or an odd number.

청구항 6에 있어서, 상기 GMM 가중치는 상기 정지선 후보 마스크의 마스크 형상에 수직방향으로 적용되는 1차 가우시안 형태인 것을 특징으로 하는 자율차량을 위한 정지선 검출 방법.
7. The method of claim 6, wherein the GMM weight is in a first order Gaussian form applied perpendicularly to the mask shape of the stop line candidate mask.
주행하는 도로에 대한 영상을 촬영하는 영상 촬영기;
상기 영상 촬영기의 촬영 방향을 검출하도록 조향휠 조작에 따른 조타각이 검출되는 주행방향 검출기;
상기 영상 촬영기의 촬영영상을 입력영상으로 처리하면서 검출된 조타각에 맞춰 상기 입력영상을 회전시켜주고, 상기 입력영상에 대한 필터링 처리와 영상정합 및 GMM(Gaussian Mixture Model)가중치의 적용으로 정지선의 검출을 위한 처리가 이루어지는 컨트롤러;
가 포함되는 것을 특징으로 하는 자율차량.
An image photographing device for photographing an image of a road on which the vehicle is traveling;
A traveling direction detector for detecting a steering angle according to a steering wheel operation so as to detect a photographing direction of the video camera;
The input image is rotated according to the detected steering angle while the photographed image of the photographing apparatus is processed as an input image, filtering of the input image, detection of the stop line by applying image matching and GMM (Gaussian Mixture Model) A controller for performing a process for the control unit;
And an autonomous vehicle.
청구항 10에 있어서, 상기 영상 촬영기는 카메라이고, 상기 주행방향 검출기는 상기 조타각을 검출하는 조타각 센서인 것을 특징으로 하는 자율차량.

11. The autonomous vehicle according to claim 10, wherein the video camera is a camera, and the traveling direction detector is a steering angle sensor for detecting the steering angle.

청구항 10에 있어서, 상기 컨트롤러는 상기 입력영상에서 기울기의 상승값과 하강값이 0에 근접하면 정지선으로 판단하는 1차 라인필터, 상기 입력영상의 화면에서 동일색상, 동일색상의 배경을 가지면서 평행한 두 직선 내에 위치한 영역을 정지선으로 정의하는 2차 라인필터로 구성되는 것을 특징으로 하는 자율차량.[Claim 11] The system of claim 10, wherein the controller comprises: a first line filter for determining a stop line when the rising and falling values of the tilt are close to 0 in the input image; And a second line filter which defines an area located within one or two straight lines as a stop line.
KR1020170065477A 2017-05-26 2017-05-26 A method of Stop-line Detection for Autonomous Vehicles KR101862994B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170065477A KR101862994B1 (en) 2017-05-26 2017-05-26 A method of Stop-line Detection for Autonomous Vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170065477A KR101862994B1 (en) 2017-05-26 2017-05-26 A method of Stop-line Detection for Autonomous Vehicles

Publications (1)

Publication Number Publication Date
KR101862994B1 true KR101862994B1 (en) 2018-05-30

Family

ID=62299998

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170065477A KR101862994B1 (en) 2017-05-26 2017-05-26 A method of Stop-line Detection for Autonomous Vehicles

Country Status (1)

Country Link
KR (1) KR101862994B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020051203A1 (en) * 2018-09-07 2020-03-12 Waymo Llc Ambient lighting conditions for autonomous vehicles
US20210319237A1 (en) * 2020-04-10 2021-10-14 Thinkware Corporation Method, apparatus, electronic device, computer program and computer-readable recording medium for detecting lane marking based on vehicle image
KR20220108220A (en) * 2020-11-26 2022-08-03 주식회사 와이즈오토모티브 Method of detecting stopline of vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013060128A (en) * 2011-09-14 2013-04-04 Suzuki Motor Corp Rear side video display device for motorcycle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013060128A (en) * 2011-09-14 2013-04-04 Suzuki Motor Corp Rear side video display device for motorcycle

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020051203A1 (en) * 2018-09-07 2020-03-12 Waymo Llc Ambient lighting conditions for autonomous vehicles
US11280625B2 (en) 2018-09-07 2022-03-22 Waymo Llc Ambient lighting conditions for autonomous vehicles
US11747167B2 (en) 2018-09-07 2023-09-05 Waymo Llc Ambient lighting conditions for autonomous vehicles
US20210319237A1 (en) * 2020-04-10 2021-10-14 Thinkware Corporation Method, apparatus, electronic device, computer program and computer-readable recording medium for detecting lane marking based on vehicle image
US11727693B2 (en) * 2020-04-10 2023-08-15 Thinkware Corporation Method, apparatus, electronic device, computer program and computer-readable recording medium for detecting lane marking based on vehicle image
KR20220108220A (en) * 2020-11-26 2022-08-03 주식회사 와이즈오토모티브 Method of detecting stopline of vehicle
KR102445635B1 (en) * 2020-11-26 2022-09-21 주식회사 와이즈오토모티브 Method of detecting stopline of vehicle

Similar Documents

Publication Publication Date Title
Wu et al. Lane-mark extraction for automobiles under complex conditions
JP5699788B2 (en) Screen area detection method and system
CN102598057B (en) Method and system for automatic object detection and subsequent object tracking in accordance with the object shape
Yan et al. A method of lane edge detection based on Canny algorithm
KR101409340B1 (en) Method for traffic sign recognition and system thereof
KR20180049024A (en) FEATURES Industrial vehicles using part-based positioning and navigation
Hechri et al. Automatic detection and recognition of road sign for driver assistance system
Tian et al. A two-stage character segmentation method for Chinese license plate
KR101862994B1 (en) A method of Stop-line Detection for Autonomous Vehicles
KR102314520B1 (en) Apparatus and method for detecting object
CN104899888A (en) Legemdre moment-based image subpixel edge detection method
Kim et al. Autonomous vehicle detection system using visible and infrared camera
Wu et al. Strong shadow removal via patch-based shadow edge detection
Li et al. Road markings extraction based on threshold segmentation
CN110348307B (en) Path edge identification method and system for crane metal structure climbing robot
CN106874897A (en) A kind of licence plate recognition method and device
Ying et al. An illumination-robust approach for feature-based road detection
Hommos et al. Hd Qatari ANPR system
Le et al. Pedestrian lane detection in unstructured environments for assistive navigation
Yao et al. Real-time multiple moving targets detection from airborne IR imagery by dynamic Gabor filter and dynamic Gaussian detector
Wen et al. Feature-level image fusion for SAR and optical images
JP2006172262A (en) Road sign detector for vehicle
CN111833384A (en) Method and device for quickly registering visible light and infrared images
CN110321828A (en) A kind of front vehicles detection method based on binocular camera and vehicle bottom shade
Yazdani et al. Sub-pixel X-marker detection by Hough transform

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant