KR20220078506A - 실시간 연속 차선 맵핑 및 분류 방법 및 시스템 - Google Patents

실시간 연속 차선 맵핑 및 분류 방법 및 시스템 Download PDF

Info

Publication number
KR20220078506A
KR20220078506A KR1020210170744A KR20210170744A KR20220078506A KR 20220078506 A KR20220078506 A KR 20220078506A KR 1020210170744 A KR1020210170744 A KR 1020210170744A KR 20210170744 A KR20210170744 A KR 20210170744A KR 20220078506 A KR20220078506 A KR 20220078506A
Authority
KR
South Korea
Prior art keywords
lane
image
marking
feature vectors
real
Prior art date
Application number
KR1020210170744A
Other languages
English (en)
Inventor
아와스치 아르피트
아그라왈 악샤트
야다브 카필
쿠머 신프 지테쉬
Original Assignee
주식회사 에이치엘클레무브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치엘클레무브 filed Critical 주식회사 에이치엘클레무브
Publication of KR20220078506A publication Critical patent/KR20220078506A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3685—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities the POI's being parking facilities
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/10—Number of lanes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 개시내용은 실시간 연속 차선 맵핑 시스템 및 방법을 개시한다. 기술은, 호스트 차량 상에 장착된 화상 센서에 의해 캡처된 도로의 입력 화상을 수신하는 단계, 화상으로부터 하나 이상의 특징 벡터를 추출하는 단계, 하나 이상의 특징 벡터로부터 차선 마크 계수 및 차선 유형 특징을 추출하는 단계, 계수를 연산하고 미리 학습된 값을 적용함으로써 차선 마크를 검출하는 단계, 우측 차선 마킹 및/또는 좌측 차선 마킹에 관한 차선 유형을 미리 정의된 차선 클래스와 비교하는 단계, 비교에 기초하여 우측 차선 마킹 및/또는 좌측 차선 마킹을 분류하고 미리 학습된 값을 적용하는 단계, 및 차선 마킹과 함께 차선 맵을 생성하는 단계를 포함한다. 차선 검출 단계와 분류 단계는 추출된 하나 이상의 특징 벡터에 기초하여 동시에 수행된다.

Description

실시간 연속 차선 맵핑 및 분류 방법 및 시스템{METHOD AND SYSYTEM FOR REAL-TIME CONTINUOUS LANE MAPPING AND CLASSIFICATION}
본 개시내용은 자율 주행 분야에 관한 것이다. 더욱 구체적으로, 본 개시내용은 실시간 연속 차선 맵핑을 위한 차선 검출 및 분류에 관한 것이다.
자율 주행 차량은 도로를 성공적으로 제어하고 탐색하기 위해 차선 위치에 크게 의존한다. 도로 위의 자율 주행 차량을 성공적으로 제어하고 탐색하는 데 특히 중요한 것은 차선의 경계와 영역을 식별하는 능력이다. 분명히, 이러한 도로 차량의 복잡하고 어려운 작업 중에는, 차선의 클래스에 관하여 주행 제약이 변경되므로 도로 차선 검출 또는 도로 경계 검출 및 차선 분류가 있다.
운전 조작 동안, 인간은 차량 조종을 위해 자신의 광학적 시력을 사용하는 반면, 자율 차량은 자신의 조작을 위해 컴퓨터 비전 기술을 사용한다. 비교적, 도로에서는 인간이 차선의 위치를 찾기가 쉬운 반면, 자율 주행 차량이 동작하는 동안 차선 검출이 의사 결정의 중요한 단계인 컴퓨터 비전 시스템에서는 어려운 작업이다. 차선은 일반적으로 단순한 선과 패턴으로 경계 표시되지만, 자율 주행 차량 시스템에서는 빠른 시간에 따른 도로 악화, 조명 조건, 비, 다른 차량이나 도로변 구조와 같은 교통 장면에서 찾을 수 있는 다른 물체 및 패턴과의 유사성으로 인해 실제로 차선 경계를 식별하기 어려운 경우가 많다.
차선 검출 시스템에 대한 평가에는 두 개의 주요 메트릭, 즉, 속도 및 정확도가 있다. 실시간 의사결정이 적절하게 조정되려면 높은 정확도로 이루어져야 한다. 잘못된 차선 검출은 실제 상황에서 치명적인 사고로 이어질 수 있다. 기존 기술은 휴리스틱(heuristics)을 개시하며, 차선 세그먼트를 식별하기 위한 후처리 기술이 뒤따른다. 그러나, 이러한 휴리스틱 및 후처리 기술은, 비용이 많이 들 뿐만 아니라 도로 장면의 변동이 발생할 때 차선 세그먼트를 식별하지도 못한다. 또한, 기존 해결책은, FOV(Field Of View)의 짧은 범위에 적합하지 않으며, 차선 검출 및 분류에 필요한 속도와 정확도가 부족하다. 또한, 기존 해결책은, 빗방울이나 눈덩이가 차선의 시야를 가리는 비와 눈 시나리오와 같은 악천후 조건에서 차선 세그먼트를 식별하지 못할 수 있다.
따라서, 보다 정확하고 효율적인 실시간 연속 차선 맵핑 기술을 제공하는 것이 매우 바람직하다.
종래 기술의 하나 이상의 단점이 극복되며, 본 개시내용에 의해 추가 이점이 제공된다. 추가적인 특징 및 이점은 본 개시내용의 기술을 통해 실현된다. 본 개시내용의 다른 실시예와 양태는 본원에서 상세하게 설명되며 본 개시내용의 일부로서 간주된다.
전술한 개시내용의 양태와 실시예는 서로 임의의 조합으로 사용될 수 있음을 이해해야 한다. 일부 양태와 실시예는 함께 조합되어 본 개시내용의 추가 실시예를 형성할 수 있다.
일 양태에서, 본 개시내용은 호스트 차량을 위한 실시간 연속 차선 맵핑 방법을 제공한다. 방법은, 호스트 차량 상에 장착된 화상 캡처 장치에 의해 캡처된 도로의 입력 화상을 수신하는 단계; 입력 화상으로부터 하나 이상의 특징 벡터(feature vector)를 추출하는 단계; 하나 이상의 특징 벡터로부터 차선 마크 계수 및 차선 유형 특징을 추출하는 단계; 계수를 연산하고 미리 학습된 값을 적용함으로써 차선 마크를 검출하는 단계; 우측 차선 마킹 및/또는 좌측 차선 마킹에 관한 차선 유형을 미리 정의된 차선 클래스와 비교하는 단계; 비교에 기초하여 우측 차선 마킹 및/또는 좌측 차선 마킹을 분류하고 미리 학습된 값을 적용하는 단계; 및 차선 마킹과 함께 차선 맵을 생성하는 단계를 포함하고, 차선 검출 단계 및 분류 단계는 추출된 하나 이상의 특징 벡터에 기초하여 동시에 수행된다.
다른 일 양태에서, 본 개시내용은 방법을 제공하며, 여기서 입력 화상은, 차선 라벨러 툴(lane labeler tool)을 사용하여 초기 화상으로부터 생성된 그라운드 트루(GT) 화상일 수 있다.
또 다른 일 양태에서, 본 개시내용은 방법을 제공하며, 여기서 입력 화상은, 호스트 차량으로부터의 정면 뷰를 캡처하도록 구성된 화상 센서의 FOV에 포함된 장면을 포함하는 RGB 화상일 수 있다.
또 다른 일 양태에서, 본 개시내용은 방법을 제공하며, 여기서 차선 마크 계수는 도로의 곡률을 나타내기 위한 계수를 포함할 수 있다.
또 다른 일 양태에서, 본 개시내용은 방법을 제공하며, 여기서 차선 유형 특징은, 딥 러닝 시스템에서 암시적으로 학습되고 모델링되는, 차선 경계, 시작 위치, 방향, 그레이 레벨 강도 특징, 에지 배향, 형상, 화상의 대상의 위치, 종횡비를 포함할 수 있다.
또 다른 일 양태에서, 본 개시내용은 방법을 제공하며, 여기서 차선 마크는 점선 차선 유형, 실선 차선 유형, 차선 색상, 및 도로 문자를 포함할 수 있다.
또 다른 일 양태에서, 본 개시내용은 방법을 제공하며, 여기서 차선 마크 계수 및 차선 유형 특징을 추출하는 단계는 도로 상에 존재하거나/그려진 대상으로부터 차선 마크를 구별하는 단계를 더 포함할 수 있다.
또 다른 일 양태에서, 본 개시내용은 방법을 제공하며, 여기서 차선 마킹과 함께 차선 맵을 생성하는 단계는, 차선 검출 단계 및 분류 단계를 연결(concatenate)하는 단계; 및 차선 맵을 디스플레이 상에 실시간으로 플롯팅(plot)하는 단계를 더 포함할 수 있다.
일 양태에서, 본 개시내용은 호스트 차량을 위한 실시간 연속 차선 맵핑 시스템을 제공한다. 시스템은, 도로의 화상을 캡처하도록 구성된 화상 센서; 및 화상 센서에 통신가능하게 접속된 제어기를 포함하고, 제어기는, 화상 캡처 장치에 의해 캡처된 도로의 입력 화상을 수신하고, 화상으로부터 하나 이상의 특징 벡터를 추출하고, 추출된 하나 이상의 특징 벡터로부터 차선 마크 계수와 차선 유형 특징을 추출하고, 계수를 연산하고 미리 학습된 값을 적용함으로써 차선 마크를 검출하고, 우측 차선 마킹 및/또는 좌측 차선 마킹에 관한 차선 유형을 미리 정의된 차선 클래스와 비교하고, 비교에 기초하여 우측 차선 마킹 및/또는 좌측 차선 마킹을 분류하고, 차선 마킹과 함께 차선 맵을 생성하도록 구성되고, 제어기는, 추출된 하나 이상의 특징 벡터에 기초하여 차선을 동시에 검출하고 분류하도록 구성된다.
다른 일 양태에서, 본 개시내용은 시스템을 제공하며, 여기서 제어기는, 또한, 도로의 곡률을 나타내기 위한 계수를 포함하는 차선 마크 계수를 검출하도록 구성될 수 있다.
또 다른 일 양태에서, 본 개시내용은 시스템을 제공하며, 여기서 제어기는, 또한, 딥 러닝 시스템에서 암시적으로 학습되고 모델링되는, 차선 경계, 시작 위치, 방향, 차선 유형 특징으로부터의 그레이 레벨 강도 특징, 에지 배향, 형상, 화상의 대상의 위치, 종횡비를 검출하도록 구성될 수 있다.
또 다른 일 양태에서, 본 개시내용은 시스템을 제공하며, 여기서 제어기는, 또한, 점선 차선 유형, 실선 차선 유형, 차선 색상, 및 도로 문자에 기초하여 차선 마크를 식별하도록 구성될 수 있다.
또 다른 일 양태에서, 본 개시내용은 시스템을 제공하며, 여기서 제어기는, 또한, 차선 검출과 분류를 연결하여 차선 맵을 차선 마킹과 함께 생성하고, 차선 마킹과 함께 차선 맵을 실시간으로 플롯팅하도록 구성될 수 있다.
일 양태에서, 본 개시내용은 비일시적 컴퓨터 판독가능 매체를 제공한다. 매체는, 호스트 차량을 위한 실시간 연속 차선 맵핑을 위한 컴퓨터 판독가능 명령어를 포함하고, 이러한 명령어는, 호스트 차량에 의해 실행될 때, 프로세서가, 호스트 차량 상에 장착된 화상 센서에 의해 캡처된 도로의 입력 화상을 수신하게 하고, 화상으로부터 하나 이상의 특징 벡터를 추출하게 하고, 추출된 하나 이상의 특징 벡터로부터 차선 마크 계수와 차선 유형 특징을 추출하게 하고, 계수를 연산하고 미리 학습된 값을 적용함으로써 차선 마크를 검출하게 하고, 우측 차선 마킹 및/또는 좌측 차선 마킹에 관한 차선 유형을 미리 정의된 차선 클래스와 비교하게 하고, 비교에 기초하여 우측 차선 마킹 및/또는 좌측 차선 마킹을 분류하게 하고, 차선 마킹과 함께 차선 맵을 생성하게 하도록 구성되고, 차선 검출과 분류는 추출된 하나 이상의 특징 벡터에 기초하여 동시에 수행된다.
일 양태에서, 본 개시내용은 컴퓨터 판독가능 매체를 제공하며, 이러한 매체는, 프로세서가 도로 상의 차선의 곡률을 나타내기 위한 계수를 더 포함하는 차선 마크 계수를 검출하게 하는 명령어를 더 포함할 수 있다.
다른 일 양태에서, 본 개시내용은 컴퓨터 판독가능 매체를 제공하며, 이러한 매체는, 프로세서가 딥 러닝 시스템에서 암시적으로 학습되고 모델링되는, 차선 경계, 시작 위치, 방향, 차선 유형 특징으로부터의 그레이 레벨 강도 특징, 에지 배향, 형상, 화상의 대상의 위치, 종횡비를 검출하게 하는 명령어를 더 포함할 수 있다.
또 다른 일 양태에서, 본 개시내용은 컴퓨터 판독가능 매체를 제공하며, 이러한 매체는, 프로세서가 점선 차선 유형, 실선 차선 유형, 차선 색상, 및 도로 문자에 기초하여 차선을 식별하게 하는 명령어를 더 포함할 수 있다.
또 다른 일 양태에서, 본 개시내용은 컴퓨터 판독가능 매체를 제공하며, 이러한 매체는, 프로세서가 차선 검출과 분류를 연결하여 차선 마킹과 함께 차선 맵을 생성하게 하는 명령어를 더 포함할 수 있다.
또 다른 일 양태에서, 본 개시내용은 컴퓨터 판독가능 매체를 제공하며, 이러한 매체는, 프로세서가 차선 마킹과 함께 차선 맵을 실시간으로 플롯팅하게 하는 명령어를 더 포함할 수 있다.
본 개시내용에 포함되고 본 개시내용의 일부를 구성하는 첨부 도면은, 예시적인 실시예를 예시하고, 상세한 설명과 함께 개시된 원리를 설명하는 역할을 한다. 도면에서, 참조 번호의 맨 왼쪽 숫자(들)는 참조 번호가 처음 나타나는 도면을 식별한다. 유사한 특징 및 구성요소를 참조하기 위해 도면 전체에 걸쳐 동일한 번호가 사용된다. 이제, 본 주제의 실시예에 따른 시스템 및/또는 방법의 일부 실시예를 단지 예로서 그리고 첨부 도면을 참조하여 설명한다.
도 1은 본 개시내용에 개시된 카메라와 비교하여 자율 차량의 기존 컴퓨터 비전 시스템에서의 종래의 카메라에 대한 사각지대를 예시한다.
도 2는 본 발명의 일 양태에 따른 카메라를 이용한 차선 검출을 예시한다.
도 3은 본 개시내용의 양태에 따라 차선 패턴을 검출하기 위한 예시적인 아키텍처를 도시한다.
도 4는 본 발명의 일 양태에 따라 실시간 연속 차선 맵핑 시스템의 상세한 블록도를 도시한다.
도 5는 본 개시내용의 양태에 따른 실시간 연속 차선 맵핑을 달성하기 위한 다단계 프로세스를 예시한다.
도 6은 본 개시내용의 양태에 따른 데이터세트 준비의 블록도를 예시한다.
도 7은 본 개시내용의 양태에 따른 모델 아키텍처의 개요를 예시한다.
도 8은 본 개시내용의 양태에 따른 공유 인코더의 아키텍처를 예시한다.
도 9는 본 개시내용의 양태에 따른 상세한 모델 아키텍처를 예시한다.
도 10은 본 개시내용의 양태에 따른 완전한 아키텍처의 훈련 프로세스를 예시한다.
도 11은 본 개시내용의 양태에 따른 아키텍처의 회귀자의 훈련 프로세스를 예시한다.
도 12는 본 개시내용의 양태에 따른 아키텍처의 분류기의 훈련 프로세스를 예시한다.
도 13은 본 개시내용의 양태에 따른 아키텍처의 추론 프로세스를 예시한다.
도 14a 내지 도 14c는 본 개시내용의 양태에 따른 실시간 연속 차선 맵핑 시스템에 의해 처리되는 상이한 시나리오들을 예시한다.
도 15a 내지 도 15c는 본 개시내용의 양태에 따른 실시간 연속 차선 맵핑 시스템에 의해 도 14a 내지 도 14c에 예시된 상이한 도전적인 사례들에서 생성된 차선 맵을 예시한다.
본원에서 언급되는 "예시적인"이라는 단어는, 여기서 "일례, 사례, 또는 예시로서 작용하는"을 의미하도록 사용된다. 본원에서 "예시적인" 것으로서 설명되는 본 주제의 임의의 실시예 또는 구현예를, 반드시 다른 실시예보다 선호하거나 유리한 것으로 해석해서는 안 된다.
본 개시내용은 다양한 수정 및 대체 형태가 가능하지만, 이의 특정 실시예는 도면에서 예로서 도시되었으며 이하에서 상세하게 설명될 것이다. 그러나, 개시내용을 개시된 특정 형태로 제한하려는 것이 아니라, 반대로, 개시내용은 개시내용의 범위 내에 속하는 모든 수정, 균등물, 및 대안을 포함하는 것으로 이해해야 한다.
"포함한다", "포함하는" 또는 이들의 임의의 다른 변형인 용어들은, 구성요소들의 목록을 포함하는 설정, 장치가 이러한 구성요소뿐만 아니라 명시적으로 열거되지 않았거나 이러한 설정 또는 장치에 대하여 고유하지 않은 기타 구성요소도 포함할 수 있도록 비배타적 포함을 포함하려는 것이다. 다시 말하면, "포함한다"라는 표현이 뒤따르는 시스템 또는 장치의 하나 이상의 요소는, 더 많은 제약 없이, 시스템 또는 기기 또는 장치의 다른 요소 또는 추가 요소의 존재를 배제하지 않는다. 본 개시내용과 관련하여 "실시간 연속 차선 맵핑 시스템", "시스템"과 같은 용어들은 설명 전체에 걸쳐 상호 교환 가능하게 사용되며 동일한 시스템을 지칭한다는 점에 유의할 수 있다. 유사하게, "자율 주행 차량", "자율 차량"과 같은 용어들은 설명 전체에서 상호 교환 가능하게 사용된다.
본원에서는 실시간 연속 차선 맵핑을 위한 기술을 개시한다. 본 개시내용의 일 실시예에서, 화상 캡처 장치는 차량, 바람직하게는 차량의 범퍼에 장착되지만, 이에 제한되는 것은 아니다. 일례로, 화상 캡처 장치는 더 넓은 시야(FOV)를 제공하는 어안 카메라를 포함할 수 있지만 이에 제한되지 않는다. 어안 카메라는 도로의 화상을 연속적으로 캡처하고 이들 화상을 추가 처리를 위해 전송한다. 예를 들어, 카메라에 의해 캡처된 화상은 차선 검출 및 분류 시스템에 제공된다. 시스템은, 화상으로부터 필요한 특징을 추출하고, 추출된 특징에 기초하여 차선 검출과 분류를 동시에 수행한다.
이는 정확도 및 속도 측면에서 이점을 달성하고 효율적이고 강력한 실시간 차선 맵핑에 기여한다. 본 개시내용은 도면과 관련하여 아래에 설명된 바와 같은 방식으로 이러한 이점(들)을 달성한다.
도 1은 본 개시내용에서 사용되는 어안 카메라와 비교하여 종래의 카메라에 대한 사각지대를 예시한다. 배경 기술에서 이미 설명한 바와 같이, 종래의 카메라는, FOV(시야)가 더 높아서, 즉, ~6 m 내지 100 m이어서, 모든 차선 검출 시스템에 중요한 차량 바로 앞인 ~6 m를 인식하도록 제한된다. 종래의 카메라로는 인식할 수 없는 영역을 사각지대라고 한다. 어안 카메라는, 사각지대의 영역을 인식할 수 있어서 이러한 문제를 피할 수 있으므로, 실시간 차선 맵핑 시스템에 유리하다. 어안 카메라는, 낮은 FOV가 필요한 경우와 높은 FOV가 필요한 경우 모두에 사용될 수 있어 상이한 케이스들에 대하여 다수의 카메라를 사용하지 않아도 된다. 어안 카메라가 본 개시내용의 화상 캡처에 바람직하지만, 본 개시내용의 원하는 요구 사항을 충족하는 다른 임의의 카메라 또는 감지 장치가 화상 캡처에 사용될 수 있음에 주목할 수 있다.
도 2는 본 개시내용의 일 실시예에 따른 어안 카메라를 이용한 실시간 차선 맵핑을 예시한다. 본 개시내용은 차량에서 어안 카메라의 정면 뷰를 사용하여 차선을 검출하고 분류하기 위한 연산적으로 효율적이고 최적화된 설계를 제공한다. 어안 카메라는 최대 6미터의 시야 길이로 화상을 캡처한다. 시스템은 종단간 모델에서 3개의 계수, 즉, a, b, c, 및 n개의 클래스 확률을 예측한다. 종단간 모델은, 차선 검출과 분류가 동시에 수행되는 것을 특정하여 후처리를 피한다. 이는 최적화된 설계로 전체 시스템을 연산적으로 효율적으로 만든다.
본 개시내용은 다른 종래의 컴퓨터 비전 방안에 비해 추론을 더 빠르게 하는 딥 러닝 기반 방안을 사용한다. 계수 기반 차선 검출 방법은, 후처리를 필요로 하지 않으며, 수학 방정식과 같은 출력으로 인해 자율 주행 차량에서의 의사 결정에 직접 사용될 수 있다. 전체 프로세스는 종단간이므로 결과를 실시간으로 제공한다. 시스템은, 각 차선에 3개의 계수씩 총 6개의 계수를 사용하여 이차 곡선을 형성한다. 이어서, 방정식과 클래스를 사용하여 화상에 출력을 플롯팅한다. 차선 검출 알고리즘은, 어안 화상을 사용하여 ax2+bx+c=y와 같이 정의된 포물선 방정식과 양측 차선에 대한 연속 클래스를 예측한다. 시스템은, 또한, 카메라에 의해 양측 차선을 다양한 클래스로 분류할 수 있다. 예를 들어 실선, 점선 등이 있다.
도 3은 본 개시내용의 일부 실시예에 따라 차선의 검출 및 분류를 위한 예시적인 아키텍처를 도시한다. 아키텍처(300)는, 차량(301), 실시간 연속 차선 맵핑 시스템(302), 및 디스플레이 장치(308)를 포함한다. 일례로, 차량(301)은 자동차, 트럭, 버스 등일 수 있다. 입력 화상은, 차량(301)에 구성된 화상 캡처 장치(304)에 의해 캡처되고 실시간 연속 차선 맵핑 시스템(302)에 제공된다. 일례로, 차량(301)에 구성된 화상 캡처 장치(304)는, 화상 캡처 장치에 연관된 모바일, 데스크톱, 랩톱 등의 연산 장치 또는 화상 저장소에 액세스할 수 있다. 일례로, 화상 캡처 장치는 카메라를 포함할 수 있지만, 이에 제한되지는 않는다. 일부 실시예에서, 하나 이상의 화상 캡처 장치는 차량(301)의 다른 위치에 구성될 수 있다. 선호되는 위치는 장치의 범퍼이다. 실시간 연속 차선 맵핑 시스템(302)은 서버에서 호스팅될 수 있다. 일부 실시예에서, 실시간 연속 차선 맵핑 시스템(302)이 호스팅되는 서버는 도 3에 도시된 바와 같이 차량(301)에 구성된 로컬 서버일 수 있다. 일부 다른 실시예에서, 실시간 연속 차선 맵핑 시스템(302)이 호스팅되는 서버는 원격 서버 또는 클라우드 서버일 수 있다.
또한, 실시간 연속 차선 맵핑 시스템(302)은 제어기(305), 입출력(I/O) 인터페이스(303), 및 메모리(306)를 포함할 수 있다. I/O 인터페이스(303)는 하나 이상의 데이터 소스 중의 데이터 소스로부터 입력 화상/훈련 화상을 수신할 수 있다. 일부 실시예에서, 입력 화상은 차량(301)으로부터 정면 뷰를 캡처하도록 구성된 화상 캡처 장치(304)에 의해 캡처될 수 있다. 일부 실시예에서, 훈련 화상은 하나 이상의 차선 마킹 및 하나 이상의 차선 마킹의 좌표를 포함하는 그라운드 트루(Ground Truth: GT) 화상일 수 있다. I/O 인터페이스(303)를 통해 수신된 입력 화상은 메모리(306)에 저장될 수 있다. 또한, I/O 인터페이스(303)는 실시간 연속 차선 맵핑 시스템(302)에 연관된 데이터베이스(307)에 저장된 이력 차선 데이터에 액세스할 수 있다. 일례로, 이력 차선 데이터는, 화상 캡처 장치에 의해 실시간으로 캡처된 이전 차선 화상으로부터 검출된 차선 패턴을 포함할 수 있지만, 이에 제한되지는 않는다. 일부 실시예에서, 데이터베이스(307)는, 상이한 기상 조건 및 조명 조건에서 캡처된 차선의 훈련 화상, 및 다른 관련 화상 파라미터를 더 포함할 수 있지만, 이에 제한되지는 않는다. 또한, 제어기(305)는 입력 화상으로부터 모든 특징 또는 특징 맵을 추출할 수 있다. 이들 특징 맵은 평면화되어 특징 벡터를 형성한다. 제어기(305)는 추출된 특징으로부터 차선 마크 계수 및 차선 유형 특징을 추출한다. 제어기는, 계수를 연산하고 미리 학습된 값을 적용함으로써 차선 마크를 더 검출하고, 우측 및/또는 좌측 차선 마크에 관한 차선 유형을 미리 정의된 차선 클래스와 비교한다. 이러한 비교에 기초하여, 제어기(305)는, 좌측 및/또는 우측 차선 마크를 분류하고, 메모리(306)에 저장된 미리 학습된 값을 적용하고 차선 마크와 함께 차선 맵을 생성한다. 훈련된 기계 학습 모델을 사용하여, 이력 차선 데이터에 기초하여 차선 분류 및 검출이 제어기(305)에 의해 동시에 수행된다는 점에 주목할 수 있다.
일례로, 훈련된 기계 학습 모델은, 화상 캡처 장치에 먼지/물이 존재하여 발생하는 잡음 조건, 비 등으로 인해 발생하는 조건, 주변 대상의 그림자로 인한 가변적인 조명 조건, 터널, 기상 조건 등의 다양한 조건에서 차선 패턴을 검출할 수 있다. 또한, 일부 실시예에서, 검출된 차선 패턴은 시스템(302)에 연관된 디스플레이 장치(308)를 사용하여 표시될 수 있다. 일부 실시예에서, 검출된 차선 패턴은 GT 화상이 생성된 초기 화상에 표시될 수 있다. 일례로, 검출된 차선 패턴은 실선이다. 제어기(305)는 초기 영상의 해당 차선에 "실선"이라는 문구를 표시할 수 있다.
도 4는 본 개시내용의 일부 실시예에 따라 실시간 연속 차선 맵핑 시스템의 상세한 블록도를 도시한다.
일부 구현예에서, 실시간 연속 차선 맵핑 시스템(400)은 데이터 및 모듈(407)을 포함할 수 있다. 일례로, 데이터는 실시간 연속 차선 맵핑 시스템(400)에 구성된 메모리(404)에 저장될 수 있다. 일 실시예에서, 데이터는 입력 화상 데이터(403), 처리된 화상 데이터(413), 차선 패턴 데이터(405), 및 기타 데이터(406)를 포함할 수 있다.
일부 실시예에서, 데이터는 다양한 데이터 구조의 형태로 메모리(404)에 저장될 수 있다. 또한, 관계형 또는 계층적 데이터 모델과 같은 데이터 모델을 사용하여 데이터를 조직할 수 있다. 기타 데이터(406)는, 실시간 연속 차선 맵핑의 다양한 기능을 수행하기 위해 모듈(407)에 의해 생성된 임시 데이터 및 임시 파일을 포함하는 데이터를 저장할 수 있다.
일부 실시예에서, 메모리에 저장된 데이터는 실시간 연속 차선 맵핑 시스템(400)의 모듈(407)에 의해 처리될 수 있다. 모듈(407)은 메모리(404) 내에 저장될 수 있다. 일례에서, 실시간 연속 차선 맵핑 시스템(400)에 구성된 제어기(401)에 통신가능하게 결합된 모듈(407)은, 또한, 도 4에 도시된 바와 같이 메모리(404)의 외부에 존재할 수 있고 하드웨어로서 구현될 수 있다. 본원에서 사용되는 바와 같이, 모듈(407)이라는 용어는, 주문형 집적 회로(ASIC), 전자 회로, 프로세서(공유, 전용 또는 그룹)，하나 이상의 소프트웨어 또는 펌웨어 프로그램을 실행하는 제어기와 메모리, 조합 논리 회로, 및/또는 설명된 기능을 제공하는 다른 적절한 구성요소를 지칭할 수 있다.
일부 실시예에서, 모듈(407)은, 예를 들어, 인코더 모듈(408), 회귀자 모듈(409), 분류자 모듈(410), 연결 모듈(412), 및 기타 모듈(411)을 포함할 수 있다. 기타 모듈(411)은 실시간 연속 차선 맵핑 시스템(400)의 다양한 기타 기능을 수행하는 데 사용될 수 있다. 이러한 전술한 모듈(407)은 단일 모듈 또는 상이한 모듈들의 조합으로서 표현될 수 있음을 이해할 것이다.
일부 실시예에서, 인코더 모듈(408)은 화상 캡처 장치로부터 입력 화상을 수신할 수 있다. 이렇게 수신된 입력 영상은 입력 영상 데이터(403)로서 저장될 수 있다.
일부 실시예에서, 차량(301)에 구성된 화상 캡처 장치에 의해 캡처된 입력 화상은 실시간 연속 차선 맵핑 시스템(400)에 제공된다. 일례로, 입력 화상은, 예컨대, 차량(301)에 구성된 화상 캡처 장치에 의해 제공될 수 있다.
이전에 논의된 바와 같이, 일부 실시예에서, 훈련 화상은, 하나 이상의 차선 마크 및 하나 이상의 차선 마크의 좌표를 포함하는 그라운드 트루(GT) 화상이다. GT 화상은, 이용가능한 차선 라벨러 도구를 사용하여 화상 캡처 장치에 의해 캡처된 입력 화상으로부터 생성될 수 있다. 일부 실시예에서, 입력 화상은, 차량(301)으로부터의 정면 뷰를 캡처하도록 구성된 화상 캡처 장치의 FOV에 포함된 장면을 포함할 수 있는 RGB 화상일 수 있다. 이제, 상이한 모듈/유닛을 도 5 내지 도 15에서 상세히 설명한다.
도 5는 본 개시내용의 실시예에 따른 실시간 연속 차선 맵핑을 달성하기 위한 완전한 다단 프로세스(500)를 예시한다. 관련된 다양한 단계는, 즉, 데이터 세트 준비(501), 모델 아키텍처(502), 훈련 단계(503), 및 추론(504)이다. 이들 단계/블록 각각은 이후 도면에서 논의된다.
도 6은 본 개시내용의 실시예에 따른 데이터세트 준비(600)(도 4의 501)의 블록도를 예시한다. 본 개시내용의 예시적인 실시예에서, 차량에 설치된 어안 카메라 렌즈를 이용하여 데이터세트 준비를 수행한다. 화상을 캡처한 후, 차선 라벨러 툴을 사용하여 차선 마크 및 차선 마크 유형을 수행한다. 이에 따라, 좌측 차선과 우측 차선은 도 6에 도시한 바와 같이 마킹된 화상에서 서로 다른 색상으로 표시된다. 따라서, GT 화상을 취득한다.
도 7은 본 개시내용의 일 실시예에 따른 모델 아키텍처(700)(도 4의 502)의 개요를 예시한다. 예시적인 실시예에서, 모델 아키텍처(700)는 3개의 주요 구성요소, 즉, 공유 인코더(701), 회귀자(702,) 및 분류자(703)로 이루어진다. 모델 아키텍처의 제1 층은 가변 크기 입력 화상을 허용하는 람다층이다. 아키텍처는 224×224 해상도 화상에서 실행된다. 공유 인코더(701)는 화상으로부터 특징 맵을 추출하는 컨볼루션 신경망 모델이다. 특징 맵들은 평면화되어 특징 벡터를 형성한다. 이어서, 공유 인코더(701)로부터의 특징 벡터는, 계수 및 클래스 예측을 수행하기 위해 회귀자(또는 회귀자 유닛)(702) 및 분류자(또는 분류자 유닛)(703)로 전달된다. 회귀자(702)는 연속 변수인 계수를 예측하는 데 사용되고, 분류자(703)는 차선과 관련된 이산 변수인 클래스 확률을 예측하는 데 사용된다. 누출 정류 선형 유닛(Leaky Rectified Linear Unit; ReLU) 활성화층은 결과를 개선하는 데 도움이 되는 비선형 함수로서 사용된다. 누출 ReLU 기능은 그래프의 음수 영역에서 기울기를 계산할 수 있는 ReLU로부터의 업그레이드이다. 공유 인코더(701)는 직렬로 연결된 다양한 층들을 갖는다. 공유 인코더(701)는 분류자(702)와 회귀자(703) 모두에 공통인 화상으로부터 특징을 추출한다.
도 8은 본 개시내용의 실시예에 따른 공유 인코더(800)의 아키텍처를 예시한다. 공유 인코더는, 차선의 검출 및 분류에 필수적이며 양측 작업 모두에 공유되는 텍스처, 색상, 에지 등의 특징 정보의 추출에 사용된다. 공유 인코더의 아키텍처에서, B는 일괄 크기, H는 화상의 높이, W는 화상의 폭이다. 공유 인코더의 아키텍처는 다음에 따르는 블록들로 이루어진다.
데이터층: 데이터층은 데이터를 모델 아키텍처와 인터페이싱하는 데 사용된다. 데이터층은, 두 개의 층인, 데이터(즉, 화상)를 수신하여 메모리에 저장하는 입력층과 임의의 크기의 화상을 모델에 필요한 (B×224×224×3) 크기로 조정하는 람다층으로 이루어진다.
일괄 정규화: 이 층은 공변량 이동의 영향을 줄일 수 있도록 데이터를 정규화하는 데 사용된다.
컨볼루션 블록: 이 블록은 특징을 학습하는 역할을 한다. 이 블록은 3개의 서브블록으로 이루어진다. 제로 패딩(padding)은, 화상의 경계에 여분 픽셀을 추가하여 컨볼루션에 대한 입력과 출력의 크기가 동일하도록 하는 데 사용된다. 컨볼루션 블록은 학습가능한 파라미터를 포함하고, 해당 값은 훈련 중에 조정되어 특징을 추출하는 데 사용된다.
누출 Relu: 누출 Relu는 다른 경우에 아키텍처의 선형 블록에 비선형성을 추가하는 비선형 활성화 함수로서 사용된다. 따라서, 컨볼루션 블록은 복잡한 특징을 학습할 수 있다.
최대 풀링 블록: 이 층은, 최대값을 취함으로써 중간 특징 맵으로부터 컨텍스트 정보를 검색하는 데 사용되며, 특징 맵의 크기를 줄여 모델의 복잡성을 줄인다.
평탄층(Flatten Layer): 이 층은, 2D 특징 맵을 1D 벡터로 만드는 데 사용되며, 이는 피드포워드 신경망에 전달되도록 호환될 수 있게 한다.
도 9는 본 개시내용의 실시예에 따른 상세한 모델 아키텍처(900)를 예시한다. 이 아키텍처는 회귀자 유닛(901) 및 분류자 유닛(902)의 상세 보기를 제공한다. 예시적인 실시예에서, 공유 인코더로부터 특징을 추출한 후, 이 정보는 차선을 검출하고 분류하는 데 사용된다. 회귀자 유닛(901)은 각 차선에 3개의 계수씩 6개의 계수를 제공하여 차선의 위치를 검출하는 역할을 하고, 분류자 유닛(902)은 차선을 실선, 점선 등으로 분류한다. 모델 아키텍처는 차선의 검출과 분류를 동시에 수행한다.
회귀자(901):
이 블록의 주요 기능은 차선의 위치에 대한 정보를 포함하는 특징을 계수인 수학적 양으로 변환하는 것을 학습하는 것이다. 본 개시내용의 예시적인 양태에 따르면, 차선은, 예를 들어, a, b, c가 계수인 이차 다항식 곡선(a*x*x + b*x + c)으로 모델링된다. 이 변환에는 많은 연산이 필요하므로, 입력을 수신하고 출력을 {y = f(W*x + B)}로서 계산하는 뉴런들로 구성된 조밀층(dense layer)이 사용된다. 여기서,
x는 입력 벡터를 나타낸다.
y는 출력 벡터를 나타낸다.
W 및 B는 가중치와 편향을 나타낸다(이들은, 모델이 훈련 단계에서 학습하는 파라미터이다).
f()는, 비선형 함수(누출 Relu)를 나타낸다(회귀자가 비선형 변환을 학습할 수 있도록 선형 계산에 비선형성을 추가한다).
상기에 더하여, 과적합을 멈추기 위해 사용되는 일종의 정규화인 드롭아웃층이 사용된다. 마지막으로, 마지막 조밀층은 계수를 제공하기 위해 6개의 뉴런 노드를 포함한다.
분류자(902):
이 블록의 주요 기능은 공유 인코더에 의해 추출된 특징을 기반으로 분류를 학습하는 것이다. 사용된 다른 층은, 특징을 차선 클래스를 나타내는 4차원 특징 벡터로 변환하는 데 사용되는 회귀자에서 설명한 대로 조밀층, 드롭아웃층이다. 분류자의 노드 수는, 정확한 수학적 양을 추출하는 회귀에 비해 분류에 변환을 덜 필요로 하므로 회귀자보다 적다. 분류자층은, 4개의 출력 노드에 대한 결합 확률을 제공하는 SoftMax 비선형 활성화 함수를 사용하며. 하나는 최대값을 1로서 취하고 다른 것은 0을 취하며, 차선은 다음과 같이 분류된다.
[1,0,0,0] - 실선, 실선
[0,1,0,0] - 실선, 점선
[0,0,1,0] - 점선, 실선
[0,0,0,1] - 점선, 점선
또한, 연결층(903)은 회귀자 및 분류자 모두의 결과를 결합하는 데 사용된다.
도 10은 본 개시내용의 실시예에 따른 전체 아키텍처의 훈련 프로세스(1000)를 예시한다. 예시적인 실시예에서, 우선, 공유 인코더의 파라미터가 조정되고 검출 및 분류 작업을 위한 유용한 기능을 추출할 수 있도록 완전한 아키텍처가 각각의 그라운드 트루에 대하여 훈련된다. 아키텍처는, 평균 제곱 오차와 범주형 교차 엔트로피 손실의 조합을 포함하는 맞춤 손실로 훈련가능한 모든 공유 인코더, 회귀자 및 분류자 부분으로 훈련된다. 전체 아키텍처를 훈련한 후, 다음 단계는 회귀자 분기와 분류자 분기를 개별적으로 미세 조정하는 것이다.
도 11은 본 개시내용의 실시예에 따른 아키텍처의 회귀자의 훈련 프로세스를 예시한다. 이 프로세스에서는, 회귀 분기가 미세 조정된다. 이 단계에서는, 공유 인코더와 분류자 부분이 고정된다. ADAM 최적화기를 사용하여 범주형 교차 엔트로피 손실로 훈련된 회귀 분기만 훈련될 수 있다. 예시적인 실시예에서, 화상의 1/3 자르기는 화상의 상단 부분(일반적으로 하늘 부분)에 더 적은 가중치를 제공하는 데 사용된다. 이것은 전체 화상에 비해 필요한 데이터가 적기 때문에 개선된 결과를 제공한다.
도 12는 본 개시내용의 실시예에 따른 아키텍처의 분류자의 훈련 프로세스를 예시한다. 그 후, 분류자 분기가 미세 조정되고, 공유 인코더와 회귀자가 고정된다. 분류자는 ADAM 최적화기를 이용하여 범주형 교차 엔트로피 손실을 사용하여 훈련된다. 모델은 1e-3의 학습률로 훈련된다.
도 11 및 도 12에 도시된 훈련 프로세스는 입력 샘플을 예측을 출력하는 아키텍처에 전달하는 것으로 구성되며, 이러한 예측은 차선 검출을 위한 6개의 계수와 4개의 분류 계수이다. 이어서, 이러한 예상되는 예측값을 손실 함수를 통해 그라운드 트루와 비교하여, 역전파되는 에러에 기초하여 예측이 얼마나 정확한지를 측정하여 모델이 다음에 더욱 양호한 예측을 위해 자신의 파라미터를 조정할 수 있다.
회귀자의 경우:
회귀자에 사용되는 손실 함수는 평균 제곱 오차 손실이며, 이의 그라운드 트루는 다항식 모델링된 차선의 정규화된 6개 계수의 정확한 값으로 구성된다. ADAM 최적화기는 훈련 중에 사용된다.
분류자의 경우:
분류자에 사용되는 손실 함수는 범주형 교차 엔트로피 손실이며, 그라운드 트루는, 하나의 핫 인코딩 면에서 클래스를 나타내는 4개의 이진 값들로 된 정확한 값으로 구성된다. 예를 들어 실선, 실선 차선에 대하여 [1,0,0,0]이 있다. ADAM 최적화기는 훈련 중에 사용된다.
도 13은 본 개시내용의 실시예에 따른 아키텍처의 추론 프로세스를 예시한다. 추론 동안, 손실층이 제거되고, 화상은 공유 인코더에 공급된다. 분류자와 회귀자의 출력들이 연결된다. 차선은 화상 플로터를 사용하여 차선 및 차선 유형으로 플롯팅된다.
도 14a 내지 도 14c는 본 개시내용의 실시예에 따른 실시간 연속 차선 맵핑 시스템에 의해 처리되는 상이한 시나리오를 예시한다. 예를 들어, 도 14a는, 도로/차선에 서로 다른 문자가 그려져 있는, 카메라로 촬상된 화상을 나타낸다. 도 14b는 비 오는 날의 도로/차선 화상을 나타낸다. 도 14c는 차선이 잘 보이지 않을 때 터널 내부에서 촬영된 도로/차선의 화상을 나타낸다.
도 15a 내지 도 15c는, 본 개시내용의 일 실시예에 따른 실시간 연속 차선 맵핑 시스템에 의해 도 14a 내지 도 14c에 의해 예시된 상이한 시나리오에서 생성된 차선 맵을 예시한다. 따라서, 본 개시내용은, 직선 차선, 곡선 차선, 터널 사례, 조명 사례의 변경, 비 화상, 도로 문자 등을 포함하지만 이에 제한되지 않는 다양한 시나리오에서 개선된 결과를 보여준다.
다양한 실시예에 대한 전술한 설명은, 통상의 기술자가 본 개시내용을 작성하거나 사용할 수 있도록 제공된다. 이들 실시예에 대한 다양한 수정은 통상의 기술자에게 용이하게 명백할 것이고, 본원에 정의된 일반적인 원리는 본 개시내용의 사상 또는 범위를 벗어나지 않고 다른 실시예에 적용될 수 있다. 따라서, 본 개시내용은 본원에 도시된 실시예로 제한되도록 의도되지 않으며, 대신에 청구범위는 본원에 개시된 원리 및 신규 특징과 일치하는 가장 넓은 범위에 따라야 한다.
본 개시내용을 바람직한 실시예를 참조하여 설명하였지만, 본 개시내용의 사상 및 범위를 벗어나지 않으면서 변형 및 수정이 발생할 것이라는 점은 명백하다. 따라서, 본 개시내용은 전술한 근본적인 기본 원리의 범위 내에 속하는 임의의 모든 수정, 변형 또는 균등물을 포함하는 것으로 고려된다.

Claims (20)

  1. 호스트 차량을 위한 실시간 연속 차선 맵핑 방법으로서,
    상기 호스트 차량 상에 장착된 화상 센서(304)에 의해 캡처된 도로의 입력 화상을 수신하는 단계;
    상기 입력 화상으로부터 하나 이상의 특징 벡터(feature vector)를 추출하는 단계;
    상기 하나 이상의 특징 벡터로부터 차선 마크 계수 및 차선 유형 특징을 추출하는 단계;
    상기 계수를 연산하고 미리 학습된 값을 적용함으로써 차선 마크를 검출하는 단계;
    우측 차선 마킹 및/또는 좌측 차선 마킹에 관한 차선 유형을 미리 정의된 차선 클래스와 비교하는 단계;
    상기 비교에 기초하여 상기 우측 차선 마킹 및/또는 좌측 차선 마킹을 분류하고 미리 학습된 값을 적용하는 단계; 및
    상기 차선 마킹과 함께 차선 맵을 생성하는 단계를 포함하고,
    상기 차선 검출 단계 및 상기 분류 단계는, 상기 추출된 하나 이상의 특징 벡터에 기초하여 동시에 수행되는, 방법.
  2. 제1항에 있어서, 상기 입력 화상은 차선 라벨러 툴(lane labeler tool)을 사용하여 초기 화상으로부터 생성된 그라운드 트루(Ground Truth; GT) 화상인, 방법.
  3. 제1항에 있어서, 상기 입력 화상은, 상기 호스트 차량으로부터의 정면 뷰를 캡처하도록 구성된 상기 화상 센서(304)의 FOV(Field Of View)에 포함된 장면을 포함하는 RGB 화상인, 방법.
  4. 제1항에 있어서, 상기 차선 마크 계수는 상기 도로의 곡률을 나타내기 위한 계수를 포함하는, 방법.
  5. 제1항에 있어서, 상기 차선 유형 특징은, 딥 러닝 시스템에서 암시적으로 학습되고 모델링되는, 차선 경계, 시작 위치, 방향, 그레이 레벨 강도 특징, 에지 배향, 형상, 상기 화상의 대상의 위치, 종횡비를 포함하는, 방법.
  6. 제1항에 있어서, 상기 차선 마크는 점선 차선 유형, 실선 차선 유형, 차선 색상, 및 도로 문자를 포함하는, 방법.
  7. 제1항에 있어서, 상기 차선 마크 계수 및 차선 유형 특징을 추출하는 단계는 상기 도로 상에 존재하거나/그려진 대상으로부터 차선 마크를 구별하는 단계를 더 포함하는, 방법.
  8. 제1항에 있어서, 상기 차선 마킹과 함께 차선 맵을 생성하는 단계는,
    상기 차선 검출 단계 및 분류 단계를 연결(concatenate)하는 단계; 및
    상기 차선 맵을 디스플레이 상에 실시간으로 플롯팅하는 단계를 더 포함하는, 방법.
  9. 호스트 차량을 위한 실시간 연속 차선 맵핑 시스템(300)으로서,
    도로의 화상을 캡처하도록 구성된 화상 센서(304); 및
    상기 화상 센서(304)에 통신가능하게 접속된 제어기(305)를 포함하고,
    상기 제어기는,
    상기 화상 센서(304)에 의해 캡처된 도로의 입력 화상을 수신하고,
    상기 화상으로부터 하나 이상의 특징 벡터를 추출하고,
    상기 추출된 하나 이상의 특징 벡터로부터 차선 마크 계수와 차선 유형 특징을 추출하고,
    상기 계수를 연산하고 미리 학습된 값을 적용함으로써 차선 마크를 검출하고,
    우측 차선 마킹 및/또는 좌측 차선 마킹에 관한 차선 유형을 미리 정의된 차선 클래스와 비교하고,
    상기 비교에 기초하여 상기 우측 차선 마킹 및/또는 좌측 차선 마킹을 분류하고 미리 학습된 값을 적용하고,
    상기 차선 마킹과 함께 차선 맵을 생성하도록 구성되고,
    상기 제어기는, 상기 추출된 하나 이상의 특징 벡터에 기초하여 상기 차선을 동시에 검출하고 분류하도록 구성된, 시스템(300).
  10. 제9항에 있어서, 상기 제어기(305)는, 또한, 상기 도로의 곡률을 나타내기 위한 계수를 포함하는 상기 차선 마크 계수를 검출하도록 구성된, 시스템(300).
  11. 제9항에 있어서, 상기 제어기(305)는, 또한, 딥 러닝 시스템에서 암시적으로 학습되고 모델링되는, 차선 경계, 시작 위치, 방향, 상기 차선 유형 특징으로부터의 그레이 레벨 강도 특징, 에지 배향, 형상, 상기 화상의 대상의 위치, 종횡비를 검출하도록 구성된, 시스템(300).
  12. 제9항에 있어서, 상기 제어기(305)는, 또한, 점선 차선 유형, 실선 차선 유형, 차선 색상, 및 도로 문자에 기초하여 상기 차선 마크를 식별하도록 구성된, 시스템(300).
  13. 제9항에 있어서, 상기 제어기(305)는, 또한,
    상기 차선 검출과 상기 분류를 연결하여 상기 차선 맵을 차선 마킹과 함께 생성하고,
    상기 차선 마킹과 함께 상기 차선 맵을 실시간으로 플롯팅(plot)하도록 구성된, 시스템(300).
  14. 제9항 내지 제13항의 시스템을 포함하는 차량.
  15. 호스트 차량을 위한 실시간 연속 차선 맵핑을 위한 컴퓨터 판독가능 명령어를 포함하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 컴퓨터 판독가능 명령어는, 프로세서에 의해 실행될 때, 상기 프로세서가,
    상기 호스트 차량 상에 장착된 화상 센서에 의해 캡처된 도로의 입력 화상을 수신하게 하고,
    상기 화상으로부터 하나 이상의 특징 벡터를 추출하게 하고,
    상기 추출된 하나 이상의 특징 벡터로부터 차선 마크 계수와 차선 유형 특징을 추출하게 하고,
    상기 계수를 연산하고 미리 학습된 값을 적용함으로써 차선 마크를 검출하게 하고,
    우측 차선 마킹 및/또는 좌측 차선 마킹에 관한 차선 유형을 미리 정의된 차선 클래스와 비교하게 하고,
    상기 비교에 기초하여 상기 우측 차선 마킹 및/또는 좌측 차선 마킹을 분류하게 하고,
    상기 차선 마킹과 함께 차선 맵을 생성하게 하도록 구성되고,
    상기 차선 검출과 상기 분류는 상기 추출된 하나 이상의 특징 벡터에 기초하여 동시에 수행되는, 비일시적 컴퓨터 판독가능 매체.
  16. 제15항에 있어서, 상기 프로세서가 상기 도로 상의 차선의 곡률을 나타내기 위한 계수를 더 포함하는 차선 마크 계수를 검출하게 하는 명령어를 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
  17. 제15항에 있어서, 상기 프로세서가 딥 러닝 시스템에서 암시적으로 학습되고 모델링되는, 차선 경계, 시작 위치, 방향, 상기 차선 유형 특징으로부터의 그레이 레벨 강도 특징, 에지 배향, 형상, 상기 화상의 대상의 위치, 종횡비를 검출하게 하는 명령어를 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
  18. 제15항에 있어서, 상기 프로세서가 점선 차선 유형, 실선 차선 유형, 차선 색상, 및 도로 문자에 기초하여 차선을 식별하게 하는 명령어를 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
  19. 제15항에 있어서, 상기 프로세서가 상기 차선 검출과 상기 분류를 연결하여 상기 차선 마킹과 함께 상기 차선 맵을 생성하게 하는 명령어를 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
  20. 제15항에 있어서, 상기 프로세서가 상기 차선 마킹과 함께 상기 차선 맵을 실시간으로 플롯팅하게 하는 명령어를 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
KR1020210170744A 2020-12-03 2021-12-02 실시간 연속 차선 맵핑 및 분류 방법 및 시스템 KR20220078506A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN202011052696 2020-12-03
IN202011052696 2020-12-03

Publications (1)

Publication Number Publication Date
KR20220078506A true KR20220078506A (ko) 2022-06-10

Family

ID=81849162

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210170744A KR20220078506A (ko) 2020-12-03 2021-12-02 실시간 연속 차선 맵핑 및 분류 방법 및 시스템

Country Status (2)

Country Link
US (1) US20220180644A1 (ko)
KR (1) KR20220078506A (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013101639A1 (de) * 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
US10997433B2 (en) * 2018-02-27 2021-05-04 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles

Also Published As

Publication number Publication date
US20220180644A1 (en) 2022-06-09

Similar Documents

Publication Publication Date Title
US10229332B2 (en) Method and apparatus for recognizing obstacle of vehicle
US11734918B2 (en) Object identification apparatus, moving body system, object identification method, object identification model learning method, and object identification model learning apparatus
US11010622B2 (en) Infrastructure-free NLoS obstacle detection for autonomous cars
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
KR102539942B1 (ko) 궤적 계획 모델을 훈련하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN107577996A (zh) 一种车辆驾驶路径偏移的识别方法及***
EP3392798A1 (en) A method for the semantic segmentation of an image
CN107590438A (zh) 一种智能辅助驾驶方法及***
EP3690716A1 (en) Method and device for merging object detection information detected by each of object detectors corresponding to each camera nearby for the purpose of collaborative driving by using v2x-enabled applications, sensor fusion via multiple vehicles
EP3752955A1 (en) Image segmentation
CN116188999B (zh) 一种基于可见光和红外图像数据融合的小目标检测方法
CN114245912A (zh) 通过在基于概率信号时间逻辑的约束下求解优化问题来进行感知误差评估和校正的***和方法
US20070223785A1 (en) Image processor and method
Ren et al. Environment influences on uncertainty of object detection for automated driving systems
Kong et al. Lightweight traffic sign recognition algorithm based on cascaded CNN
Moseva et al. Development of a System for Fixing Road Markings in Real Time
CN115147450B (zh) 基于运动帧差图像的移动目标检测方法及检测装置
CN114898306B (zh) 一种检测目标朝向的方法、装置及电子设备
US20220180644A1 (en) Method and system for real-time continuous lane mapping and classification
CN111144361A (zh) 一种基于二值化cgan网络的公路车道检测方法
CN116311137A (zh) 一种基于多表征集成学习的车道线检测方法
CN116434156A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶***
CN116311136A (zh) 用于辅助驾驶的车道线参数计算方法
CN113793371B (zh) 目标分割追踪方法、装置、电子设备和存储介质
Sang et al. A Robust Lane Detection Algorithm Adaptable to Challenging Weather Conditions

Legal Events

Date Code Title Description
N231 Notification of change of applicant