KR102499398B1 - 차선 검출 방법 및 장치 - Google Patents

차선 검출 방법 및 장치 Download PDF

Info

Publication number
KR102499398B1
KR102499398B1 KR1020170100993A KR20170100993A KR102499398B1 KR 102499398 B1 KR102499398 B1 KR 102499398B1 KR 1020170100993 A KR1020170100993 A KR 1020170100993A KR 20170100993 A KR20170100993 A KR 20170100993A KR 102499398 B1 KR102499398 B1 KR 102499398B1
Authority
KR
South Korea
Prior art keywords
lane
interest
pixels
image
additional
Prior art date
Application number
KR1020170100993A
Other languages
English (en)
Other versions
KR20190016717A (ko
Inventor
장철훈
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020170100993A priority Critical patent/KR102499398B1/ko
Priority to US15/892,525 priority patent/US10650529B2/en
Priority to CN201810331435.2A priority patent/CN109389026B/zh
Priority to EP18167424.3A priority patent/EP3441909B1/en
Publication of KR20190016717A publication Critical patent/KR20190016717A/ko
Application granted granted Critical
Publication of KR102499398B1 publication Critical patent/KR102499398B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/10—Number of lanes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Transportation (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Probability & Statistics with Applications (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)

Abstract

차선 검출 방법 및 장치가 개시된다. 일 실시예에 따른 차선 검출 장치는 카메라에 의해 획득된 차량의 전방 영상에서 복수의 관심 영역들을 설정하고, 뉴럴 네트워크 기반의 검출기를 이용하여 각 관심 영역들에서 차선에 대응하는 차선 픽셀들을 추정할 수 있다. 차선 검출 장치는 차선 픽셀들의 추정 결과에 기초하여 전방 영상에서 차선 영역을 결정할 수 있다.

Description

차선 검출 방법 및 장치{LANE DETECTION METHOD AND APPARATUS}
아래의 설명은 차선 검출 기술에 관한 것이다.
자율 주행(automatic driving)은 차량의 주행 중 요구되는 각종 조작을 자동으로 수행하는 것으로, 예를 들어 자율 주행하는 차량은 운전자가 핸들과 가속 페달 또는 브레이크 등을 직접 조작하지 않아도 도로에서 스스로 달릴 수 있다. 이러한 자율 주행을 위한 다양한 기술들은 차량에서 수집되는 주변 영상 정보를 통해 수행될 수 있다. 자율 주행을 안전하게 수행하기 위해서는 영상 정보를 이용하여 차선의 위치를 정확하게 인식하는 것이 중요하다.
일 실시예에 따른 차선 검출 방법, 차량의 전방 영상에서 복수의 관심 영역들을 설정하는 단계; 뉴럴 네트워크 기반의 검출기를 이용하여 상기 관심 영역들 각각에서 차선에 대응하는 차선 픽셀들을 추정하는 단계; 및 상기 추정의 결과에 기초하여 상기 전방 영상에서 차선 영역을 결정하는 단계를 포함할 수 있다.
상기 차선 픽셀들을 추정하는 단계는, 상기 관심 영역들 중 적어도 하나의 영상 해상도를 보다 낮은 영상 해상도로 변환하는 단계; 및 상기 낮은 영상 해상도로 변환된 적어도 하나의 관심 영역에서 차선 픽셀들을 추정하는 단계를 포함할 수 있다.
상기 관심 영역들을 설정하는 단계는, 상기 전방 영상에 나타난 전체적인 도로 영역을 포함하는 기본 관심 영역 및 상기 전방 영상에 나타난 국부적인 도로 영역을 포함하는 추가 관심 영역을 설정할 수 있다.
상기 추가 관심 영역은, 상기 차량을 기준으로 원거리의 도로 영역을 포함할 수 있다.
상기 관심 영역들을 설정하는 단계는, 이전 시간에서 결정된 차선들에 기초하여 차선들의 소실점 위치를 추정하고, 상기 추정된 소실점 위치에 기초하여 상기 추가 관심 영역의 위치를 결정하는 단계를 포함할 수 있다.
상기 차선 픽셀들을 추정하는 단계는, 상기 기본 관심 영역의 영상 해상도를 상기 추가 관심 영역의 영상 해상도로 조정하는 단계; 및 상기 검출기를 이용하여, 상기 추가 관심 영역과 상기 영상 해상도가 조정된 기본 관심 영역에서 각각 차선 픽셀들을 추정하는 단계를 포함할 수 있다.
상기 차선 영역을 결정하는 단계는, 상기 영상 해상도가 조정된 상기 기본 관심 영역에서 추정된 차선 픽셀들에 기초하여 원 영상 해상도의 기본 관심 영역에서의 차선 픽셀들을 결정하는 단계; 및 상기 원 영상 해상도의 기본 관심 영역에서 결정된 차선 픽셀들의 위치와 상기 추가 관심 영역에서 결정된 차선 픽셀들의 위치에 기초하여 상기 차선 영역을 결정하는 단계를 포함할 수 있다.
상기 관심 영역들을 설정하는 단계는, 상기 전방 영상에 나타난 전체적인 도로 영역을 포함하는 기본 관심 영역 및 상기 차량의 전방 도로 상황에 기초한 추가 관심 영역을 설정할 수 있다.
일 실시예에 따른 차선 검출 장치는, 차량의 전방을 촬영하여 전방 영상을 획득하는 카메라; 및 상기 전방 영상에 기초하여 차선의 위치를 검출하는 프로세서를 포함하고, 상기 프로세서는, 차량의 전방 영상에서 복수의 관심 영역들을 설정하고, 뉴럴 네트워크 기반의 검출기를 이용하여 상기 관심 영역들 각각에서 차선에 대응하는 차선 픽셀들을 추정하고, 상기 추정의 결과에 기초하여 상기 전방 영상에서 차선 영역을 결정할 수 있다.
상기 프로세서는, 상기 전방 영상에 나타난 전체적인 도로 영역을 포함하는 기본 관심 영역 및 상기 전방 영상에 나타난 국부적인 도로 영역을 포함하는 추가 관심 영역을 설정할 수 있다.
도 1은 차량의 전방 영상에서 차선 영역을 검출한 일례를 도시한 도면이다.
도 2는 일 실시예에 따른 차선 검출 방법의 동작을 도시하는 흐름도이다.
도 3은 일 실시예에 따른 차선 픽셀들을 추정하고, 차선 영역을 결정하는 과정을 보다 상세히 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 복수의 관심 영역들에 기초하여 차선 영역을 결정하는 일례를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 추가 관심 영역을 설정하는 일례를 설명하기 위한 도면이다.
도 6a 내지 도 6d는 일 실시예에 따른 추가 관심 영역을 설정하는 다른 예들을 설명하기 위한 도면들이다.
도 7은 일 실시예에 따른 복수의 관심 영역들에 기반하여 차선 영역을 결정하는 일례를 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 차선 검출 장치의 구성을 도시하는 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 또한, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 달리 명시되지 않는 한 일반적으로 "하나 이상의"를 의미하는 것으로 해석되어야 한다. 본 명세서에서, "포함하다", "구성하다", 및 "가지다" 등의 용어는 특별히 반대되는 기재가 없는 한 해당 구성요소가 내재될 수 있음을 의미하는 것이므로 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
실시예들은 첨부된 도면들을 참조하여 상세하게 설명된다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다. 아래의 실시예들은 자율 주행, 운전자 보조 시스템(Advanced Driver Assistance System; ADAS) 또는 증강 현실 내비게이션 시스템(augmented reality navigation system)에서 차선(lane)을 검출하는데 이용될 수 있다. 실시예들은 예를 들어, 자율 주행 자동차, 지능형 자동차, 또는 스마트 폰과 같은 모바일 기기 등에 적용될 수 있다.
자율 주행 및 ADAS에서의 차량 주행 제어, 증강 현실 내비게이션 시스템에서의 가이드 경로 결정은 영상 분석을 통해 인식된 차선(lane)에 기반하여 수행된다. 이러한 실시예들에서, 차선을 정확히 인식하는 것은 운전자 및 탑승자의 안전에 직결되는 매우 중요한 이슈이다. 차선 인식은 차량의 전방 뷰(front view)를 촬영한 영상인 전방 영상에 기초하여 수행될 수 있다. 전방 영상은 차량에 설치된 카메라를 통해 획득될 수 있으며, 이와 같은 전방 영상의 일례가 도 1에 도시되어 있다.
도 1을 참조하면, 차량의 전방 뷰가 촬영된 전방 영상(110)이 도시되어 있다. 전방 영상(110)에는 차량을 기준으로 전방에 펼쳐진 도로 영역의 장면이 나타나 있다. 차선 인식에서는 영상 처리를 통해 전방 영상(110)에서 차선에 해당될 확률이 높은 차선 픽셀들을 검출하고, 검출한 차선 픽셀들을 특정한 차선 모델로 피팅(fitting)하여 전방의 차선 배치 상황을 결정한다. 이 때, 전방 영상(110)에서 차선 픽셀들을 검출하기 위해 뉴럴 네트워크(neural network) 기반의 검출기가 이용될 수 있다. 검출기는 입력된 영상에서 차선에 대응되는 차선 픽셀들을 검출하도록 학습(training)된 모델이다. 검출기는 복수의 레이어들(layers)을 포함하는 뉴럴 네트워크에 기반하고, 검출기의 학습 과정은 학습 데이터(예를 들어, 다양한 상황의 많은 전방 영상들)에 기초하여 수행될 수 있다.
뉴럴 네트워크 기반의 검출기를 이용함으로써, 전방 영상(110)에서 차선 픽셀들을 정확히 검출할 수 있다. 검출기에 전방 영상(110)에 나타난 전체적인 도로 상황에 대한 정보가 입력되기 때문에, 다양한 도로 상황에 강인하게 차선 픽셀들을 검출할 수 있다. 검출기에 의한 차선 픽셀들의 검출 결과가 도면 부호(120)에 도시되어 있다. 검출기는 전방 영상(110)에 포함된 각 영상 픽셀이 차선에 해당할 확률을 나타내는 확률 정보를 출력할 수 있다. 해당 확률 정보가 나타내는 확률 값에 기초하여 차선 픽셀들(130)이 검출될 수 있다. 예를 들어, 전방 영상(110)의 영상 픽셀들 중 검출기에 의해 결정된 확률 값이 임계 값보다 큰 영상 픽셀들이 차선 픽셀들로 결정될 수 있다.
한편, 최근 카메라의 성능 향상으로 인하여, 전방 영상의 영상 해상도가 높아지는 추세이다. 전방 영상의 영상 해상도가 높아질수록 전방 영상이 보다 많은 수의 영상 픽셀을 포함하기 때문에, 이러한 전방 영상을 그대로 이용하면 검출기에 기반한 전체적인 처리 속도가 낮아질 수 있다. 이러한 처리 속도 저하를 개선시키기 위해 전방 영상(110)의 영상 해상도(또는 영상 크기)를 줄인 뒤 검출기를 이용하여 차선 픽셀들을 검출한다. 그러나, 전방 영상(110)의 영상 해상도를 줄여서 처리하는 경우, 전방 영상(110)에서 원거리의 도로 영역(115)의 영상 해상도도 저하되어 도로 영역(115)에 대응되는 영역(125)에서 차선 픽셀들이 정확하게 검출되지 않거나 검출이 불가능할 가능성이 있다. 처리 속도 개선을 위해 전방 영상(110)의 영상 해상도를 줄여 처리하더라도, 정확한 차선 인식을 위해 멀리 있는 원거리의 도로 영역(115)에서도 차선을 정확하고, 세밀하게 검출하는 것이 필요하다.
이하에서 설명할 차선 검출 장치 및 방법은 전방 영상의 영상 해상도를 줄여 처리하더라도 근거리뿐만 아니라 원거리의 도로 영역에서도 차선을 정확하게 검출하는 것을 가능하게 한다. 차선 검출 장치는 카메라에 의해 획득된 차량의 전방 영상에 기반하여 차선을 인식하고, 앞으로의 차선을 예측하는 장치이다. 차선 검출 장치는 전방 영상에서 다중(multiple)의 관심 영역들(region of interests; ROIs)을 설정하고, 설정된 관심 영역들에 기반하여 검출기를 통해 차선 픽셀들을 검출한다. 예를 들어, 차선 검출 장치는 전방 영상(110)에서 전체 도로 상황을 나타내는 관심 영역과 원거리의 도로 영역(115)을 나타내는 관심 영역을 설정하고, 각각의 관심 영역들에서 차선 픽셀들을 검출할 수 있다. 관심 영역은 전방 영상에서 차선 검출의 대상이 되는 국부적인 영역이다. 차선 검출 장치는 관심 영역들에서의 차선 픽셀 검출 결과를 병합(merge)하여 최종의 차선 픽셀 검출 결과를 결정할 수 있다. 이 때, 차선 검출 장치는 전체 도로 상황을 나타내는 관심 영역에 대해서는 영상 해상도를 줄여 처리함으로써 처리 속도를 증가시키고, 원거리의 도로 영역에 대해서는 원래의 영상 해상도를 유지하여 처리함으로써 원거리의 도로 영역에 포함된 차선 픽셀들을 보다 정확하게 검출할 수 있다. 이하에서는, 이러한 차선 검출 장치에 의해 수행되는 차선 검출 방법을 보다 자세히 설명하도록 한다.
도 2는 일 실시예에 따른 차선 검출 방법의 동작을 도시하는 흐름도이다.
도 2를 참조하면, 단계(210)에서 차선 검출 장치는 차량의 전방 영상에서 복수의 관심 영역들을 설정한다. 관심 영역들은 서로 중첩되어 설정될 수 있다. 차량이 주행하는 동안, 차량에 설치된 카메라에 의해 차량의 전방 뷰가 촬영되어 전방 영상이 획득된다. 본 명세서에서 전방 영상은 컬러 영상인 경우를 예로 들어 설명하나, 이에 한정되는 것은 아니다. 예를 들어, 전방 영상은 그레이 스케일 영상 또는 적외선 영상일 수 있다. 차선 검출 장치는 카메라에 의해 획득된 전방 영상에서 차선 검출이 필요하다고 판단한 관심 영역들을 설정한다.
일 실시예에서, 차선 검출 장치는 차량을 기준으로 근거리의 도로 영역뿐만 아니라 원거리의 도로 영역을 포함하는 기본 관심 영역(전체적인 도로 영역이 나타남)과 차량을 기준으로 원거리의 도로 영역을 포함하는 추가 관심 영역(차량으로부터 멀리 있는 도로 영역이 나타남)을 설정할 수 있다. 예를 들어, 전방 영상의 전체 영역 또는 전방 영상의 중심점을 기준으로 미리 설정된 범위의 영역이 기본 관심 영역으로 설정될 수 있다. 추가 관심 영역의 경우, 이전 시간에서 결정된 차선들에 기초하여 소실점 위치를 추정하고, 추정된 소실점 위치에 기초하여 추가 관심 영역의 위치가 결정될 수 있다. 여기서, 추가 관심 영역의 크기는 전방 영상에 나타난 차선의 개수 및 차선 폭 등에 따라 달라질 수 있다. 차선의 개수가 많아지거나 또는 차선 폭이 넓을수록 추가 관심 영역의 크기는 커질 수 있다. 위와 같은 추가 관심 영역은 원거리의 차선을 보다 정밀하게 검출하기 위한 영역이다. 한편, 전방 영상에서 설정될 수 있는 관심 영역의 개수에는 제한이 없으며, 실시예에 따라 전방 영상에서 3개 이상의 관심 영역들이 설정될 수도 있다. 예를 들어, 위 기본 관심 영역 및 추가 관심 영역 이외에 원거리 및 중거리의 도로 영역을 포함하는 관심 영역이 설정될 수도 있다.
다른 실시예에서, 차선 검출 장치는 전방 영상에 나타난 전체적인 도로 영역을 포함하는 기본 관심 영역 및 차량의 전방 도로 상황에 기초한 추가 관심 영역을 설정할 수도 있다. 차선 검출 장치는 전방 영상에 나타난 특수한 도로 상황에 기반하여 추가 관심 영역을 설정할 수 있다. 차선 검출 장치는 예를 들어, 전방 영상에서 교차로, 갈림길, 병합로, 톨게이트 입구 및 출입로 중 하나 이상의 존재 여부를 검출하고, 해당 검출 결과에 기초하여 추가 관심 영역을 설정할 수 있다. 다른 예로, 차선 검출 장치는 차량의 위치 정보와 지도 정보에 나타난 도로 정보에 기초하여, 차량의 전방에 교차로, 갈림길, 병합로, 톨게이트 입구 및 출입로 중 하나 이상의 존재 여부를 검출하고, 해당 검출 결과에 기초하여 추가 관심 영역을 설정할 수도 있다. 이러한 추가 관심 영역은 앞으로의 차량 진행 방향을 결정하거나, 다른 차량을 추적하거나 또는 차선이 급하게 변경되는 상황에 대비하기 위해 차선을 정밀하게 검출할 필요가 있는 영역이다. 위 특수한 도로 상황의 인식은, 예를 들어, 입력된 영상에서 특수한 도로 상황을 인식하도록 학습된 뉴럴 네트워크 기반의 인식기를 통해 수행될 수 있다.
실시예에 따라, 원거리의 도로 영역을 포함하는 추가 관심 영역과 전방 영상에 나타난 특수한 도로 상황에 따른 추가 관심 영역이 함께 설정될 수도 있다. 정밀한 차선 검출이 필요하다고 판단되는 영역들은 모두 추가 관심 영역으로 설정될 수 있는 대상이 된다.
단계(220)에서, 차선 검출 장치는 뉴럴 네트워크 기반의 검출기를 이용하여 관심 영역들 각각에서 차선에 대응하는 차선 픽셀들을 추정한다. 검출기는 입력된 관심 영역의 픽셀 값 정보에 기초하여 관심 영역에서 차선 픽셀들을 검출할 수 있다. 검출기는 관심 영역을 구성하는 각 영상 픽셀이 차선 픽셀에 해당할 확률에 대한 확률 정보를 출력할 수 있다. 예를 들어, 검출기는 관심 영역에서 차선이 아닌 곳으로 결정된 영상 픽셀에 대해서는 '0'의 확률 값을 할당하고, 차선이 확실하다고 판단한 곳의 영상 픽셀에 대해서는 '1'의 확률 값을 할당할 수 있다. 검출기는 차선이라고 확신할 수 없지만, 차선일 것이라고 추정되는 곳의 영상 픽셀에 대해서는 0보다 크고 1보다 작은 범위 내에서 그 추정의 정도에 따른 확률 값을 할당할 수 있다.
일 실시예에서, 차선 검출 장치는 관심 영역들 중 하나 이상의 영상 해상도를 원(original) 영상 해상도보다 낮은 영상 해상도로 변환하고, 낮은 영상 해상도로 변환된 하나 이상의 관심 영역에서 차선 픽셀들을 추정할 수 있다. 예를 들어, 차선 검출 장치는 전체적인 도로 영역을 포함하는 기본 관심 영역의 영상 해상도를 낮은 영상 해상도로 변환하고, 낮은 영상 해상도의 기본 관심 영역에서 차선 픽셀들을 추정할 수 있다. 정밀한 차선 검출이 필요한 추가 관심 영역의 경우, 차선 검출 장치는 영상 해상도의 변환 없이 추가 관심 영역에서 차선 픽셀들을 추정할 수 있다. 기본 관심 영역은 전체적인 도로 영역을 포함하기 때문에, 일반적으로 기본 관심 영역의 영상 해상도는 국부적인 도로 영역을 포함하는 추가 관심 영역의 영상 해상도보다 크다. 차선 검출 장치는 예를 들어, 기본 관심 영역의 영상 해상도를 추가 관심 영역의 영상 해상도로 줄인 후에 차선 픽셀들을 추정할 수 있다. 위와 같은 과정을 통해 전체적인 도로 영역에 대해서는 차선 픽셀들을 보다 빠르게 검출하고, 정밀한 차선 검출이 필요한 국부적인 도로 영역에 대해서는 차선 픽셀들을 세밀하게 검출하는 것이 가능해 진다. 위 실시예에 대해서는, 도 3을 참조하여 아래에서 보다 자세히 설명한다.
단계(230)에서, 차선 검출 장치는 단계(220)에서의 차선 픽셀의 추정 결과에 기초하여 전방 영상에서 차선 영역을 결정한다. 차선 영역은 차선 픽셀들의 집합에 대응될 수 있다. 차선 검출 장치는 검출기에 의해 결정된 관심 영역들(기본 관심 영역 및 추가 관심 영역) 각각에 대한 확률 정보(영상 픽셀이 차선 픽셀일 확률에 대한 정보)를 병합(merging)하고, 병합된 확률 정보에 기초하여 전방 영상에서 차선 영역을 결정할 수 있다. 여기서, 확률 정보의 병합은 차선 검출 장치는 검출기에 의해 추정된 기본 관심 영역의 확률 정보에 추가 관심 영역의 확률 정보를 업데이트하는 과정을 포함한다. 차선 검출 장치는 예를 들어, 확률 정보의 병합 결과에서 확률 값이 임계 값 이상인 영상 픽셀들을 차선 픽셀들로서 결정할 수 있고, 결정된 차선 픽셀들에 기초하여 전방 영상에서 차선 영역이 최종적으로 결정될 수 있다. 위와 같은 과정을 통해, 전방 영상에서 차선이 빠르고 정밀하게 검출될 수 있으며, 이 때 근거리뿐만 아니라 원거리의 차선까지 정밀하게 검출될 수 있다. 일 실시예에서, 위 결정된 차선 영역에 기초하여 차량의 전방 차선을 피팅(fitting)하는 과정이 수행된 후 차선 피팅 결과에 기초하여 차량의 자율 주행이 제어될 수 있다.
도 3은 일 실시예에 따른 차선 픽셀들을 추정하고, 차선 영역을 결정하는 과정을 보다 상세히 설명하기 위한 흐름도이다.
도 3을 참조하면, 단계(310)에서 차선 검출 장치는 도 2의 단계(210)에서 설정된 관심 영역들 중 하나 이상의 관심 영역의 영상 해상도를 조정한다. 이하에서는, 설명의 편의를 위해, 전방 영상에서 차량을 기준으로 근거리의 도로 영역 및 원거리의 도로 영역을 포함하는 기본 관심 영역, 및 해당 원거리의 도로 영역을 포함하고, 기본 관심 영역보다 영상 해상도가 작은 추가 관심 영역이 설정되었다고 가정한다. 여기서, 기본 관심 영역은 전체적인 도로 영역을 나타내고, 추가 관심 영역은 정밀한 차선 검출이 필요한 원거리의 도로 영역을 나타낸다. 추가 관심 영역은 기본 관심 영역의 일부 영역일 수 있다. 차선 검출 장치는 영상 해상도가 보다 큰 기본 관심 영역의 영상 해상도를 추가 관심 영역의 영상 해상도로 줄일 수 있다. 영상 해상도를 줄여 처리함으로써 처리 시간을 줄일 수 있다.
단계(320)에서, 차선 검출 장치는 뉴럴 네트워크 기반의 검출기를 이용하여 관심 영역들 각각에서 차선 픽셀들을 추정한다. 예를 들어, 복수의 검출기들에 기초하여 각각의 관심 영역들에서 차선 픽셀들이 병렬적으로 추정될 수 있다. 이 때, 복수의 검출기들은 서로 구별되는 별개의 검출기들일 수 있다. 다른 예로, 각각의 관심 영역들에 대한 영상 정보(픽셀 값)가 서로 다른 입력 레이어에 입력되고, 중간 레이어 구조는 공유하며, 서로 다른 출력 레이어를 통해 각 관심 영역들에 대한 차선 픽셀의 추정 결과가 출력되는 통합된(unified) 뉴럴 네트워크 구조의 검출기가 이용될 수도 있다. 또 다른 예로, 하나의 검출기에 각각의 관심 영역들이 순차적으로 입력되어, 각 관심 영역들에 대한 차선 픽셀 추정이 순차적으로 수행될 수도 있다. 차선 검출 장치는 이와 같은 검출기를 이용하여 영상 해상도가 조정된 기본 관심 영역(이하, '저해상도의 기본 관심 영역')과 추가 관심 영역에서 차선 픽셀들을 추정할 수 있다. 검출기는 저해상도의 기본 관심 영역과 추가 관심 영역에 포함된 각 영상 픽셀이 차선에 해당될 확률에 대한 확률 정보를 출력할 수 있다.
단계(330)에서, 차선 검출 장치는 저해상도의 기본 관심 영역에서 추정된 차선 픽셀들에 기초하여 원 영상 해상도의 기본 관심 영역에서의 차선 픽셀들을 결정할 수 있다. 차선 검출 장치는 저해상도의 기본 관심 영역에 대한 추정 결과를 원 영상 해상도로 복원하고, 원 영상 해상도의 기본 관심 영역에 나타난 확률 정보에 기초하여 차선 픽셀들을 결정할 수 있다. 실시예에 따라, 원 영상 해상도로 복원하는 과정에서 보간(interpolation) 등의 영상 처리 기법이 이용될 수도 있다.
단계(340)에서, 차선 검출 장치는 단계(320)에서의 추정 결과에 기초하여 추가 관심 영역에서 차선 픽셀들을 결정하고, 원 영상 해상도의 기본 관심 영역에서 결정된 차선 픽셀들의 위치와 추가 관심 영역에서 결정된 차선 픽셀들의 위치에 기초하여 전방 영상에서의 차선 영역을 결정할 수 있다.
도 4는 일 실시예에 따른 복수의 관심 영역들에 기초하여 차선 영역을 결정하는 일례를 설명하기 위한 도면이다.
도 4를 참조하면, 차량에 설치된 카메라에 의해 차량의 전방 뷰를 나타내는 전방 영상(405)이 획득된다. 차선 검출 장치는 전방 영상(405)이 전달되면, 전체 도로 영역을 나타내는 기본 관심 영역(415)과 원거리의 도로 영역을 포함하는 추가 관심 영역(410)과 같이 전방 영상(405)에서 복수의 관심 영역들을 설정한다. 추가 관심 영역(410)은 전방 영상(405)에서 정밀한 차선 검출이 요구되는 영역이다. 이후에, 차선 검출 장치는 빠른 처리를 위해 기본 관심 영역(415)의 영상 해상도를 줄일 수 있다. 예를 들어, 전방 영상(405)에서 크롭(crop)의 영상 처리에 의해 추가 관심 영역(410)이 추출되고, 크롭 및 다운샘플링(down sampling)의 영상 처리를 통해 저해상도의 기본 관심 영역(420)이 추출될 수 있다. 예를 들어, 전방 영상(405)의 영상 해상도가 1920X1200이고, 추가 관심 영역(410)의 영상 해상도가 768X480이라면, 기본 관심 영역(415)의 영상 해상도는 768X480으로 조정되어 저해상도의 기본 관심 영역(420)이 획득될 수 있다.
저해상도의 기본 관심 영역(420)의 픽셀 값 정보는 제1 검출기(425)에 입력되고, 추가 관심 영역(410)의 픽셀 값 정보는 제2 검출기(430)에 입력된다. 제1 검출기(425)는 저해상도의 기본 관심 영역(420)에서 차선 픽셀들을 추정하고, 제2 검출기(430)는 추가 관심 영역(410)에서 차선 픽셀들을 추정한다. 차선 픽셀들의 추정은 제1 검출기(425) 및 제2 검출기(430)에 의해 병렬적으로 수행될 수 있다.
차선 검출 장치는 제1 검출기(425)로부터 출력된 저해상도의 기본 관심 영역(420)에 대한 차선 추정 결과(435)를 기본 관심 영역(415)의 영상 해상도에 대응하는 원 영상 해상도로 복원할 수 있다. 차선 검출 장치는 복원된 추정 결과(445)와 제2 검출기(430)로부터 출력된 추가 관심 영역(410)에 대한 차선 추정 결과(440)를 병합하여 최종적인 추정 결과(450)를 도출할 수 있다. 차선 검출 장치는 추정 결과(450)에 나타난 차선 픽셀들의 위치에 기초하여 전방 영상(405)에 나타난 도로 영역을 결정할 수 있다. 이러한 과정을 통해, 전체적인 처리 시간을 단축시키면서 원거리의 도로 영역에서도 차선을 정확하게 검출할 수 있고, 보다 멀리까지 차선 피팅이 가능해 진다.
본 실시예에서는 기본 관심 영역(415)의 영상 해상도가 추가 관심 영역(410)의 영상 해상도와 동일하게 줄어드는 것을 예를 들어 설명하였으나, 이에 한정되는 것은 아니고, 기본 관심 영역(415)의 영상 해상도는 추가 관심 영역(410)의 영상 해상도와 다르게 조정될 수 있다. 또는, 실시예에 따라, 기본 관심 영역(415)뿐만 아니라 추가 관심 영역(410)의 영상 해상도도 저해상도로 조정될 수도 있다.
도 5는 일 실시예에 따른 추가 관심 영역을 설정하는 일례를 설명하기 위한 도면이다.
도 5를 참조하면, 차선 검출 장치는 이전 시간에서 결정된 복수의 차선들(520, 530)에 기초하여 소실점(540)의 위치를 추정하고, 추정한 소실점(540)의 위치를 중심으로 하는 일정 범위의 영역을 추가 관심 영역(550)으로 설정할 수 있다. 이전 전방 영상에 기초하여 수행된 차선 피팅 결과에 기반하여 현재 전방 영상(510)에서의 소실점(540)의 위치가 추정될 수 있다. 추가 관심 영역(550)의 너비(width)는 전방 영상(510)에 나타난 차선의 개수가 많거나 또는 차선 폭이 넓을수록 커질 수 있다. 이와 같은 과정을 통해 원거리의 도로 영역을 포함하는 추가 관심 영역(550)이 설정될 수 있다.
정밀한 차선 검출이 요구되는 추가 관심 영역은 도 5에서 설명한 원거리의 도로 영역뿐만 아니라 전방의 도로 상황에 따라 다양하게 결정될 수 있다. 도 6a 내지 도 6d는 이러한 다양한 도로 상황에서 추가 관심 영역을 설정하는 일례들을 설명하기 위한 도면들이다.
도 6a를 참조하면, 전방 영상(610)에서 전체적인 도로 영역을 포함하는 기본 관심 영역(616)과 갈림길의 도로 상황에서 갈림길의 도로 영역들을 포함하는 추가 관심 영역들(612, 614)이 설정될 수 있다. 도 6b를 참조하면, 전방 영상(620)에서 기본 관심 영역(622)과 함께 교차로의 도로 상황에서 교차로의 각 도로 영역들을 포함하는 추가 관심 영역들(624, 626)이 설정될 수 있다. 도 6c를 참조하면, 전방 영상(630)에서 기본 관심 영역(632)과 함께 톨게이트의 근처 도로 영역을 포함하는 추가 관심 영역(634)이 설정될 수 있다. 도 6d를 참조하면, 전방 영상(640)에서 기본 관심 영역(642)과 병합로의 도로 상황에서 병합로의 도로 영역을 포함하는 추가 관심 영역(644)이 설정될 수 있다. 도 6a 내지 도 6d에서 설정된 각 추가 관심 영역들은 다양한 도로 상황에서 정밀하게 차선을 검출할 필요가 있는 관심 영역들이다. 해당 추가 관심 영역들의 위치는 각 전방 영상에서 갈림길, 교차로, 톨게이트, 병합로 등의 검출 결과에 기초하거나, 또는 차량의 위치 정보와 지도 정보에 나타난 도로 정보에 기초하여 결정될 수 있다.
도 7은 일 실시예에 따른 복수의 관심 영역들에 기반하여 차선 영역을 결정하는 일례를 설명하기 위한 도면이다.
도 7을 참조하면, 전방 영상(610)에서 기본 관심 영역(616)과 함께 정밀한 차선 검출이 필요하다고 판단한 추가 관심 영역들(612, 614, 618)이 설정될 수 있다. 차선 검출 장치는 전방 영상(610)에서 기본 관심 영역(616)과 각 추가 관심 영역들(612, 614, 618)을 추출하고, 기본 관심 영역(616)과 추가 관심 영역들(612, 614, 618) 중 하나 이상의 영상 해상도를 조정할 수 있다. 예를 들어, 차선 검출 장치는 기본 관심 영역(616)과 추가 관심 영역들(612, 614, 618)의 영상 해상도가 서로 동일해 지도록 영상 해상도를 조정할 수 있다. 이 경우, 기본 관심 영역(616) 및 추가 관심 영역들(612, 614)의 영상 해상도는 가장 작은 추가 관심 영역(618)의 영상 해상도로 줄어들 수 있다.
위와 같은 영상 해상도의 조정 과정이 완료된 기본 관심 영역(716) 및 추가 관심 영역들(712, 714, 718) 각각의 픽셀 값 정보가 제1 검출기 내지 제4 검출기(722, 724, 726, 728)에 입력될 수 있다. 실시예에 따라, 제1 검출기 내지 제4 검출기(722, 724, 726, 728)는 하나의 통합된 검출기(720)로 구현될 수도 있다. 제1 검출기 내지 제4 검출기(722, 724, 726, 728)를 통해 기본 관심 영역(716) 및 추가 관심 영역들(712, 714, 718)에서 차선 픽셀들이 병렬적으로 추정될 수 있다. 제1 검출기 내지 제4 검출기(722, 724, 726, 728)를 통해 출력된 차선 픽셀들의 추정 결과들(732, 734, 736, 738)는 기본 관심 영역(616) 및 추가 관심 영역들(612, 614, 618) 각각의 원 영상 해상도로 복원된다. 원 영상 해상도로 복원된 결과들(742, 744, 746, 748)이 병합되어 최종적인 차선 검출 결과 영상(740)이 획득된다.
도 8은 일 실시예에 따른 차선 검출 장치의 구성을 도시하는 도면이다.
도 8을 참조하면, 차선 검출 장치(800)는 차량의 전방을 촬영한 전방 영상에 나타난 차선을 인식할 수 있다. 차선 검출 장치(800)는 복수의 관심 영역들에 기반하여 전방 영상에서 차선을 검출할 수 있다. 차선 검출 장치(800)는 본 명세서에서 설명된 차선 검출 장치에 대응하고, 차량에 포함되어 동작할 수 있다. 일 실시예에서, 차선 검출 장치(800)는 인지된 주행 환경에 따라 자율 모드(autonomous mode)로 주행하는 자율 주행 차량에 포함되어 동작할 수 있다. 자율 주행 차량은 주행 환경을 인식하고, 주행 환경에 적합한 자율 주행 경로를 결정한다. 자율 주행 차량은 결정된 자율 주행 경로를 따라가도록 자율 주행 차량의 내외부의 요소들을 제어한다. 차선 검출 장치(800)에 의해 검출된 차선 정보는 차선 피팅 과정을 거쳐 자율 주행 차량의 주행 제어를 위해 이용될 수 있다.
차선 검출 장치(800)는 카메라(810), 센서(820), 통신 인터페이스(830), 프로세서(840) 및 메모리(850)를 포함할 수 있다. 카메라(810)는 차량의 전방을 촬영하여 전방 영상을 획득할 수 있다. 전방 영상은 정지 영상 또는 비디오 영상일 수 있다. 센서(820)는 차선 검출에 필요한 정보를 센싱하는 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센서(820)는 차량의 위치 정보를 측정하기 위한 GPS 센서, 객체와의 거리를 측정하기 위해 이용되는 라이다(LIDAR) 및 레이더(RADAR)를 포함할 수 있으나, 실시예의 범위가 해당 센서들에 의해 제한되는 것은 아니다.
프로세서(840)는 차선 검출 장치(800) 내에서 실행하기 위한 기능 및 인스트럭션들을 실행한다. 프로세서(840)는 메모리(850) 또는 별도의 저장 장치(미도시)에 저장된 인스트럭션들 또는 프로그램 실행 코드를 처리할 수 있다. 프로세서(840)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다.
프로세서(840)는 도 1 내지 도 7을 통하여 전술한 하나 이상의 동작을 수행할 수 있다. 예를 들어, 프로세서(840)는 차량의 전방 영상에서 복수의 관심 영역들을 설정하고, 뉴럴 네트워크 기반의 검출기를 이용하여 해당 관심 영역들 각각에서 차선에 대응하는 차선 픽셀들을 추정할 수 있다. 일 실시예에서, 프로세서(840)는 전방 영상에 나타난 전체적인 도로 영역을 포함하는 기본 관심 영역과 전방 영상에 나타난 국부적인 도로 영역을 포함하는 하나 이상의 추가 관심 영역을 설정할 수 있다. 추가 관심 영역은 정밀한 차선 검출이 필요하다고 판단되어 설정된 관심 영역으로, 예를 들어 원거리의 도로 영역을 포함하도록 설정되거나 또는 차량의 전방 도로 상황(예를 들어, 교차로, 진입로 또는 병합로 등의 존재)에 기초하여 설정될 수 있다. 프로세서(840)는 기본 관심 영역에 대해서는 영상 해상도를 저해상도로 조정하고, 저해상도의 기본 관심 영역과 상대적으로 높은 영상 해상도의 추가 관심 영역에서 차선 검출을 수행할 수 있다. 이를 통해, 프로세서(840)는 전방 영상에서 빠르면서도 정확하게 차선 영역을 결정할 수 있다. 위 추정의 결과에 기초하여 전방 영상에서 차선 영역이 결정될 수 있다.
메모리(850)는 차선 검출을 수행하기 위한 정보를 저장한다. 메모리(850)는 프로세서(840)에 의해 실행하기 위한 인스트럭션들을 저장할 수 있고, 차선 검출 과정에서 필요한 정보 또는 차선 검출 결과에 대한 정보를 저장할 수 있다. 또한, 메모리(850)는 본 명세서에서 설명한 검출기 및 인식기에 관한 정보를 저장할 수도 있다. 메모리(850)는 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 판독가능한 저장 장치를 포함할 수 있다. 예를 들어, 메모리(850)는 RAM(random access memories), DRAM(dynamic random access memories), SRAM(static random access memories), 플래쉬 메모리 또는 이 기술 분야에서 알려진 다른 형태의 비휘발성 메모리를 포함할 수 있다.
통신 인터페이스(830)는 카메라(810), 센서(820), 프로세서(840) 및 메모리(850)와 연결되어 데이터를 송수신한다. 또한, 통신 인터페이스(830)는 유선 또는 무선 네트워크를 통해 외부 장치와 통신할 수 있다. 예를 들어, 통신 인터페이스(830)는 내부 버스(internal bus), 이더넷(Ethernet) 카드, 광학 트랜시버, 무선 주파수 트랜시버 또는 정보를 송수신할 수 있는 임의의 다른 네트워크 인터페이스를 포함할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (21)

  1. 차량의 전방 영상에서 전체 도로 영역을 포함하는 기본 관심 영역을 설정하는 단계;
    상기 전방 영상에서 도로 부분을 포함하는 추가 관심 영역을 설정하되,
    상기 도로 부분이 상기 전체 도로 영역의 일부와 중첩되도록 상기 추가 관심 영역을 설정하는 단계;
    상기 추가 관심 영역의 영상 해상도를 기초로 상기 기본 관심 영역의 영상 해상도를 낮추는 단계;
    뉴럴 네트워크 기반의 검출기를 이용하여, 상기 영상 해상도가 낮춰진 기본 관심 영역으로부터 제1 차선에 대응하는 제1 차선 픽셀들을 측정하고, 상기 추가 관심 영역으로부터 제2 차선에 대응하는 제2 차선 픽셀들을 측정하는 단계; 및
    상기 제1 차선 픽셀들 및 상기 제2 차선 픽셀들에 기초하여 상기 전방 영상에서 차선 영역을 결정하는 단계;를 포함하는 차선 검출 방법.
  2. 제1항에 있어서,
    상기 추가 관심 영역의 영상 해상도를 유지하는 단계;를 포함하고,
    상기 제1 차선 픽셀들 및 상기 제2 차선 픽셀들을 측정하는 단계는,
    상기 유지된 본래의 영상 해상도를 갖는 상기 추가 관심 영역으로부터 제2 차선 픽셀들을 측정하는 것을 특징으로 하는 차선 검출 방법.
  3. 제1항에 있어서,
    상기 기본 관심 영역의 영상 해상도를 낮추는 단계는,
    상기 추가 관심 영역의 영상 해상도에 대응하는 영상 해상도로 상기 기본 관심 영역의 영상 해상도를 낮추는 것을 특징으로 하는 차선 검출 방법.
  4. 제1항에 있어서,
    상기 추가 관심 영역을 설정하는 단계는,
    상기 전방 영상에서 복수의 도로 부분들을 포함하는 복수의 추가 관심 영역들을 설정하고,
    상기 기본 관심 영역의 영상 해상도를 낮추는 단계는,
    상기 기본 관심 영역의 영상 해상도를 상기 복수의 추가 관심 영역들의 영상 해상도들 중 가장 작은 영상 해상도로 낮추는 것을 특징으로 하는 차선 검출 방법.
  5. 제4항에 있어서,
    상기 제1 차선 픽셀들 및 상기 제2 차선 픽셀들을 측정하는 단계는,
    상기 복수의 추가 관심 영역들 각각으로부터 차선 픽셀들을 측정하고,
    상기 차선 영역을 결정하는 단계는,
    상기 제1 차선 픽셀들 및 상기 복수의 추가 관심 영역들 각각의 상기 차선 픽셀들을 기초로 상기 전방 영상에서 상기 차선 영역을 결정하는 것을 특징으로 하는 차선 검출 방법.
  6. 제1항에 있어서,
    상기 추가 관심 영역은,
    상기 전방 영상에서, 이미지 센서로부터 원거리인 도로 영역을 포함하는 것을 특징으로 하는 차선 검출 방법.
  7. 제1항에 있어서,
    상기 추가 관심 영역을 설정하는 단계는,
    이전의 전방 영상에서 결정된 차선들을 기초로 상기 전방 영상의 차선들의 소실점의 위치를 측정하고, 상기 소실점의 위치를 기초로 상기 추가 관심 영역의 위치를 결정하는 것을 특징으로 하는 차선 검출 방법.
  8. 제1항에 있어서,
    상기 차선 영역을 결정하는 단계는,
    상기 영상 해상도가 낮춰진 기본 관심 영역에서 측정된 상기 제1 차선 픽셀들에 기초하여 원(original) 영상 해상도의 기본 관심 영역에서의 차선 픽셀들을 결정하는 단계; 및
    상기 원 영상 해상도의 기본 관심 영역에서 결정된 차선 픽셀들의 위치와 상기 추가 관심 영역에서 측정된 제2 차선 픽셀들의 위치에 기초하여 상기 차선 영역을 결정하는 단계
    를 포함하는 차선 검출 방법.
  9. 제1항에 있어서,
    상기 추가 관심 영역을 설정하는 단계는,
    상기 차량의 전방 도로 상황에 기초한 추가 관심 영역을 설정하는, 차선 검출 방법.
  10. 제9항에 있어서,
    상기 추가 관심 영역을 설정하는 단계는,
    상기 전방 영상에서 교차로, 갈림길, 병합로, 톨게이트 입구 및 출입로 중 적어도 하나의 존재 여부를 검출하는 단계; 및
    상기 검출 결과에 기초하여 상기 추가 관심 영역을 설정하는 단계
    를 포함하는 차선 검출 방법.
  11. 제9항에 있어서,
    상기 추가 관심 영역을 설정하는 단계는,
    상기 차량의 위치 정보와 지도 정보에 나타난 도로 정보에 기초하여, 상기 차량의 전방에 교차로, 갈림길, 병합로, 톨게이트 입구 및 출입로 중 적어도 하나의 존재 여부를 검출하는 단계; 및
    상기 검출 결과에 기초하여 상기 추가 관심 영역을 설정하는 단계
    를 포함하는 차선 검출 방법.
  12. 제1항에 있어서,
    상기 제1 차선 픽셀들 및 상기 제2 차선 픽셀들을 측정하는 단계는,
    관심 영역들 각각에 포함된 각 영상 픽셀이 차선일 확률을 나타내는 확률 정보를 출력하는, 차선 검출 방법.
  13. 제12항에 있어서,
    상기 차선 영역을 결정하는 단계는,
    상기 관심 영역들 각각에 대해 결정된 상기 확률 정보를 병합(merging)하는 단계; 및
    상기 병합된 확률 정보에 기초하여 상기 전방 영상에서 상기 차선 영역을 결정하는 단계
    를 포함하는 차선 검출 방법.
  14. 제1항에 있어서,
    상기 추가 관심 영역은 상기 기본 관심 영역에 중첩될 수 있는, 차선 검출 방법.
  15. 제1항에 있어서,
    상기 제1 차선 픽셀들 및 상기 제2 차선 픽셀들을 측정하는 단계는,
    상기 기본 관심 영역 및 상기 추가 관심 영역에서 상기 제1 차선 픽셀들 및 상기 제2 차선 픽셀을 병렬적으로 측정하는, 차선 검출 방법.
  16. 제1항 내지 제15항 중 어느 하나의 항의 방법을 실행하기 위한 인스트럭션들을 저장하는 컴퓨터 판독 가능한 저장 매체.
  17. 차량의 전방을 촬영하여 전방 영상을 획득하는 카메라; 및
    프로세서를 포함하고,
    상기 프로세서는,
    상기 전방 영상에서 전체 도로 영역을 포함하는 기본 관심 영역을 설정하고,
    상기 전방 영상에서 도로 부분을 포함하는 추가 관심 영역을 설정하되,
    상기 도로 부분이 상기 전체 도로 영역의 일부와 중첩되도록 상기 추가 관심 영역을 설정하고,
    상기 추가 관심 영역의 영상 해상도를 기초로 상기 기본 관심 영역의 영상 해상도를 낮추고,
    뉴럴 네트워크 기반의 검출기를 이용하여, 상기 영상 해상도가 낮춰진 기본 관심 영역으로부터 제1 차선에 대응하는 제1 차선 픽셀들을 측정하고, 상기 추가 관심 영역으로부터 제2 차선에 대응하는 제2 차선 픽셀들을 측정하고,상기 제1 차선 픽셀들 및 상기 제2 차선 픽셀들에 기초하여 상기 전방 영상에서 차선 영역을 결정하는, 차선 검출 장치.
  18. 제17항에 있어서,
    상기 프로세서는,
    상기 전방 영상에서 복수의 도로 부분들을 포함하는 복수의 추가 관심 영역들을 설정하고,
    상기 기본 관심 영역의 영상 해상도를 상기 복수의 추가 관심 영역들의 영상 해상도들 중 가장 작은 영상 해상도로 낮추는 것을 특징으로 하는 차선 검출 장치.
  19. 제17항에 있어서,
    상기 프로세서는,
    상기 영상 해상도가 낮춰진 기본 관심 영역에서 측정된 상기 제1 차선 픽셀들에 기초하여 원(original) 영상 해상도의 기본 관심 영역에서의 차선 픽셀들을 결정하고,
    상기 원 영상 해상도의 기본 관심 영역에서 결정된 차선 픽셀들의 위치와 상기 추가 관심 영역에서 측정된 제2 차선 픽셀들의 위치에 기초하여 상기 차선 영역을 결정하는 차선 검출 장치.
  20. 제17항에 있어서,
    상기 뉴럴 네트워크 기반의 검출기는,
    제1 뉴럴 네트워크 기반의 검출기 및 제2 뉴럴 네트워크 기반의 검출기를 포함하고,
    상기 제1 뉴럴 네트워크 기반의 검출기는 제1 차선 픽셀들을 측정하고, 상기 제2 뉴럴 네트워크 기반의 검출기는 상기 제2 차선 픽셀들을 검출하는 것을 특징으로 하는 차선 검출 장치.
  21. 삭제
KR1020170100993A 2017-08-09 2017-08-09 차선 검출 방법 및 장치 KR102499398B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170100993A KR102499398B1 (ko) 2017-08-09 2017-08-09 차선 검출 방법 및 장치
US15/892,525 US10650529B2 (en) 2017-08-09 2018-02-09 Lane detection method and apparatus
CN201810331435.2A CN109389026B (zh) 2017-08-09 2018-04-13 车道检测方法和设备
EP18167424.3A EP3441909B1 (en) 2017-08-09 2018-04-16 Lane detection method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170100993A KR102499398B1 (ko) 2017-08-09 2017-08-09 차선 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190016717A KR20190016717A (ko) 2019-02-19
KR102499398B1 true KR102499398B1 (ko) 2023-02-13

Family

ID=62063300

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170100993A KR102499398B1 (ko) 2017-08-09 2017-08-09 차선 검출 방법 및 장치

Country Status (4)

Country Link
US (1) US10650529B2 (ko)
EP (1) EP3441909B1 (ko)
KR (1) KR102499398B1 (ko)
CN (1) CN109389026B (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112019000048T5 (de) 2018-03-15 2020-01-16 Nvidia Corporation Bestimmung eines befahrbaren freiraums für autonome fahrzeuge
US10311338B1 (en) * 2018-09-15 2019-06-04 StradVision, Inc. Learning method, learning device for detecting lanes on the basis of CNN and testing method, testing device using the same
WO2020185779A1 (en) * 2019-03-11 2020-09-17 Nvidia Corporation Intersection detection and classification in autonomous machine applications
CN113614777A (zh) * 2019-03-28 2021-11-05 索尼集团公司 信息处理装置、信息处理方法和程序
US11263467B2 (en) * 2019-05-15 2022-03-01 Apical Limited Image processing
WO2021042051A1 (en) 2019-08-31 2021-03-04 Nvidia Corporation Map creation and localization for autonomous driving applications
CN110580681B (zh) * 2019-09-12 2020-11-24 杭州海睿博研科技有限公司 高分辨率心机运动模式分析装置和方法
CN110595499A (zh) * 2019-09-26 2019-12-20 北京四维图新科技股份有限公司 变道提醒方法、装置和***
CN112560561A (zh) * 2019-09-26 2021-03-26 北京地平线机器人技术研发有限公司 一种目标检测方法及装置
US11037000B2 (en) * 2019-09-27 2021-06-15 Gm Cruise Holdings Llc Intent-based dynamic change of resolution and region of interest of vehicle perception system
CN110796084A (zh) * 2019-10-29 2020-02-14 华人运通(上海)自动驾驶科技有限公司 车道线识别方法、装置、设备和计算机可读存储介质
US11978266B2 (en) 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications
US11487122B1 (en) * 2020-10-30 2022-11-01 Michael Ross Boone Human-powered advanced rider assistance system
CN112488046B (zh) * 2020-12-15 2021-07-16 中国科学院地理科学与资源研究所 一种基于无人机高分辨率影像的车道线提取方法
CN112784817B (zh) * 2021-02-26 2023-01-31 上海商汤科技开发有限公司 车辆所在车道检测方法、装置、设备及存储介质

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100195018B1 (ko) * 1996-11-04 1999-06-15 윤종용 수치지도 형상데이터 합성시 그 명칭 처리방법
JP2007114839A (ja) * 2005-10-18 2007-05-10 Toyota Motor Corp 道路区画線検出装置
US8208021B2 (en) * 2005-12-28 2012-06-26 Honda Motor Co., Ltd. Vehicle and lane mark detection device
JP2007334450A (ja) * 2006-06-12 2007-12-27 Toyota Motor Corp 車両用道路区画線認識装置、及び、車両用制御装置
JP2008203992A (ja) * 2007-02-16 2008-09-04 Omron Corp 検出装置および方法、並びに、プログラム
JP4937030B2 (ja) * 2007-07-24 2012-05-23 ルネサスエレクトロニクス株式会社 車両用画像処理装置
JP5034809B2 (ja) * 2007-09-18 2012-09-26 マツダ株式会社 車両用路面状態推定装置
KR20090055848A (ko) * 2007-11-29 2009-06-03 한국전자통신연구원 신호등 인식 장치 및 방법
US8441535B2 (en) 2008-03-05 2013-05-14 Omnivision Technologies, Inc. System and method for independent image sensor parameter control in regions of interest
JP4615038B2 (ja) * 2008-06-23 2011-01-19 日立オートモティブシステムズ株式会社 画像処理装置
US8712153B2 (en) * 2010-03-09 2014-04-29 Dynamic Invention Llc Subpixel-based image down-sampling
US8823797B2 (en) * 2010-06-03 2014-09-02 Microsoft Corporation Simulated video with extra viewpoints and enhanced resolution for traffic cameras
KR101225626B1 (ko) 2010-07-19 2013-01-24 포항공과대학교 산학협력단 차선 인식 시스템 및 방법
CN102136196A (zh) * 2011-03-10 2011-07-27 北京大学深圳研究生院 一种基于图像特征的车辆测速方法
JP2012252501A (ja) * 2011-06-02 2012-12-20 Toyota Central R&D Labs Inc 走行路認識装置及び走行路認識用プログラム
US9751529B2 (en) 2011-06-09 2017-09-05 GM Global Technology Operations LLC Lane sensing through lane marker identification for lane centering/keeping
KR101392850B1 (ko) 2012-04-04 2014-05-09 모본주식회사 영상인식 기반의 차선 이탈 감지 방법 및 시스템
US8750567B2 (en) * 2012-04-09 2014-06-10 GM Global Technology Operations LLC Road structure detection and tracking
KR101366871B1 (ko) 2012-05-16 2014-02-24 (주)베라시스 관심영역 분할을 통한 곡선차선 검출장치 및 그 방법
JP5792678B2 (ja) * 2012-06-01 2015-10-14 株式会社日本自動車部品総合研究所 車線境界線検出装置およびプログラム
KR101362324B1 (ko) 2012-06-05 2014-02-24 현대모비스 주식회사 차선 이탈 경보 시스템 및 방법
US9081385B1 (en) * 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images
KR101472787B1 (ko) 2013-05-22 2014-12-15 숭실대학교산학협력단 차선 인식 시스템 및 그 방법
KR102125525B1 (ko) * 2013-11-20 2020-06-23 삼성전자주식회사 이미지 처리 방법 및 그 전자 장치
CN111199218A (zh) * 2014-01-30 2020-05-26 移动眼视力科技有限公司 用于车辆的控制***、和图像分析***
JP6253467B2 (ja) * 2014-03-24 2017-12-27 東芝アルパイン・オートモティブテクノロジー株式会社 画像処理装置および画像処理プログラム
JP6303090B2 (ja) * 2014-03-24 2018-04-04 アルパイン株式会社 画像処理装置および画像処理プログラム
KR101558756B1 (ko) * 2014-04-10 2015-10-07 현대자동차주식회사 카메라 영상정보와 센서정보를 융합하여 차선을 인지하는 차선 감지 방법 및 장치
JP6046666B2 (ja) * 2014-06-24 2016-12-21 トヨタ自動車株式会社 走路境界推定装置及び走路境界推定方法
JP6220327B2 (ja) * 2014-07-23 2017-10-25 株式会社Ｓｏｋｅｎ 走行区画線認識装置、走行区画線認識プログラム
JP6548376B2 (ja) 2014-10-06 2019-07-24 日本電産株式会社 レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム
US10262213B2 (en) 2014-12-16 2019-04-16 Here Global B.V. Learning lanes from vehicle probes
KR101692628B1 (ko) 2014-12-24 2017-01-04 한동대학교 산학협력단 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템
KR20160089786A (ko) * 2015-01-20 2016-07-28 재단법인 경북아이티융합 산업기술원 저조도 환경에서의 개선된 영상 취득이 가능한 카메라를 이용한 차선이탈 및 전방차량추돌 통합 경고 시스템
JP6567832B2 (ja) 2015-01-29 2019-08-28 日本電産株式会社 レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム
US9286524B1 (en) 2015-04-15 2016-03-15 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
JP6512920B2 (ja) 2015-04-21 2019-05-15 本田技研工業株式会社 レーン検出装置及びその方法、並びにレーン表示装置及びその方法
EP3295422B1 (en) 2015-05-10 2020-01-01 Mobileye Vision Technologies Ltd. Road profile along a predicted path
CN106326822B (zh) * 2015-07-07 2020-02-07 北京易车互联信息技术有限公司 车道线检测的方法及装置
CN105046235B (zh) * 2015-08-03 2018-09-07 百度在线网络技术（北京）有限公司 车道线的识别建模方法和装置、识别方法和装置
KR20170064880A (ko) * 2015-12-02 2017-06-12 엘지전자 주식회사 차량 내 영상기록장치 및 그것의 제어 방법
CN105631217B (zh) * 2015-12-30 2018-12-21 苏州安智汽车零部件有限公司 基于本车自适应虚拟车道的前方有效目标选择方法
KR101677972B1 (ko) 2016-07-26 2016-11-21 주식회사 싸인텔레콤 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
한국 공개특허공보 제10-2009-0055848호(2009.06.03.) 1부.*
한국 공개특허공보 제10-2017-0064880호(2017.06.12.) 1부.*

Also Published As

Publication number Publication date
CN109389026B (zh) 2023-10-17
EP3441909B1 (en) 2023-11-08
US20190050993A1 (en) 2019-02-14
US10650529B2 (en) 2020-05-12
CN109389026A (zh) 2019-02-26
KR20190016717A (ko) 2019-02-19
EP3441909A1 (en) 2019-02-13

Similar Documents

Publication Publication Date Title
KR102499398B1 (ko) 차선 검출 방법 및 장치
EP3732657B1 (en) Vehicle localization
JP7052663B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
KR102541559B1 (ko) 관심 객체를 검출하는 방법 및 장치
JP7461720B2 (ja) 車両位置決定方法及び車両位置決定装置
US10209712B2 (en) Predicting and responding to cut in vehicles and altruistic responses
US20180164812A1 (en) Apparatus and method for generating training data to train neural network determining information associated with road included in image
KR20190026116A (ko) 객체 인식 방법 및 장치
US11460851B2 (en) Eccentricity image fusion
KR102633140B1 (ko) 주행 정보를 결정하는 방법 및 장치
JP7135665B2 (ja) 車両制御システム、車両の制御方法及びコンピュータプログラム
CN111874006A (zh) 路线规划处理方法和装置
US11157753B2 (en) Road line detection device and road line detection method
KR102541560B1 (ko) 객체 인식 방법 및 장치
US20180086342A1 (en) Target-lane relationship recognition apparatus
KR102266996B1 (ko) 이미지센서와 함께 회전 감지용 센서 또는 위치 센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법 및 장치
JP2019099138A (ja) 車線維持補助方法及び装置
JP2018048949A (ja) 物体識別装置
JP7276282B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN115147328A (zh) 三维目标检测方法及装置
KR101875517B1 (ko) 영상 처리 방법 및 장치
CN113492850B (zh) 倾斜角检测装置及控制装置
US20240144701A1 (en) Determining lanes from drivable area
JP2022079954A (ja) 物体検出装置
JP2022146384A (ja) 物体検出装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant