KR20140087622A - 촬영 영상의 휘도를 이용한 차선 추출 방법 - Google Patents

촬영 영상의 휘도를 이용한 차선 추출 방법 Download PDF

Info

Publication number
KR20140087622A
KR20140087622A KR1020120158129A KR20120158129A KR20140087622A KR 20140087622 A KR20140087622 A KR 20140087622A KR 1020120158129 A KR1020120158129 A KR 1020120158129A KR 20120158129 A KR20120158129 A KR 20120158129A KR 20140087622 A KR20140087622 A KR 20140087622A
Authority
KR
South Korea
Prior art keywords
lane
extracting
image
vehicle
extracted
Prior art date
Application number
KR1020120158129A
Other languages
English (en)
Inventor
권수림
오영철
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020120158129A priority Critical patent/KR20140087622A/ko
Publication of KR20140087622A publication Critical patent/KR20140087622A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

카메라 영상의 휘도 정보를 이용하여 차선의 곡률, 기울기, 거리 정보를 추출하는 차선 검출 방법이 개시된다. 차선 검출 방법은, 차량의 카메라에 의해 촬영된 영상으로부터 동적 ROI를 설정하는 단계; 컬러로 촬영된 상기 카메라 영상을 그레이 스케일로 변환하는 단계; 그레이 스케일로 변환된 상기 카메라 영상으로부터 소벨 에지(Sobel Edge)를 검출하는 단계; 그레이 스케일로 변환된 상기 카메라 영상으로부터, 상기 카메라 영상의 휘도 정보를 이용하여 차선의 지점들, 강도들, 위치 등의 후보군을 추출하는 단계; 그리고 상기 후보군 추출 단계에서 추출된 상기 후보군들을 이용하여 차량 정보 및 거리 메트릭((distance metric)을 기반하여 상기 차선을 추출하는 단계;를 포함한다.

Description

촬영 영상의 휘도를 이용한 차선 추출 방법{Method of extracting traffic lanes from captured image using brightness}
본 발명은 차선 검출 방법에 관한 것으로, 보다 상세하게는 카메라 영상의 휘도 정보를 이용하여 차선의 곡률, 기울기, 거리 정보를 추출하는 차선 검출 방법에 관한 것이다.
일반적으로, 지능형 차량이란 운전자가 없거나 운전자가 있더라도 차량을 직접 조작하지 않고 컴퓨터 등에 의해 주행, 정지, 회전, 가속 또는 감속 등의 운전 조작이 자동으로 이루어지는 차량을 의미한다.
이러한 지능형 차량의 주행을 위해, 주행차선의 유지, 인접차량과의 안전거리 확보, 근접 장애물의 검출과 충돌 회피, 교통상황이나 도로 환경에 따른 차량속도 제어 등이 이루어져야 한다.
최근에는 정보통신 기술의 진전에 따라 차선이탈 경고 시스템(LDWS: Lane Departure Warning System)이나 차선유지와 같은 안전운전 보조시스템, 차량 자동 제어시스템 등이 개발되어 실용화가 급속하게 진행되고 있다.
특히, 주행차선의 검출은 지능형 차량에서의 핵심기술의 하나로서 연구가 활발히 진행되고 있다.
주행차선의 검출은 안전 운전에 지대한 영향을 미치게 되므로, 차선의 위치를 추정하고 판단하기 위해 여러 가지 센서들을 활용하여 정확한 주행차선을 검출하고 있다. 즉, 이미지 센서, 레이더(RADAR) 또는 라이다(LIDAR) 센서 등 다양한 센서들이, 차선의 검출이나 차량 전방의 물체 인식을 위해 단독 또는 융합된 형태로 지능형 차량제어 시스템 구현에 사용되고 있다.
특히, 이미지 센서, 즉 카메라에 의한 비전 기반 시스템은 저렴한 비용으로 많은 정보의 추출이 가능하고, 기존의 다양한 비전 처리 알고리즘을 활용할 수 있는 장점으로 인해 널리 활용되어 왔다.
이러한 비전 기반의 차선검출 시스템은, 입력 영상으로부터 특징 정보를 추출하고, 차선검출을 위한 파라미터릭(Parametric) 모델과 매칭, 칼만(Kalman) 필터 또는 파티클(Particle) 필터링 등과 같은 갱신 알고리즘의 적용에 의한 근사화 방법이나, 허프 변환(HT:Hough Transform)과 같은 변환에 의한 비파라미터릭(Non-Parametric) 모델 매칭 등의 방법을 이용하여 차선을 검출하고 있다.
그러나, 도 1과 2에서 볼 수 있듯이, 카메라가 촬영한 영상으로부터 추출된 차선, 특히 곡선 차선과 실제 차선 사이에 차이가 많아 정확한 차량 주행을 보장할 수 없다.
또한, 차선의 폭, 차선의 종류, 도로와 차량의 상대거리 및 곡률 등으로 정확하기 추출하기 어려운 문제점이 있다.
따라서, 본 발명은 상기한 종래기술의 문제점을 해결하고자 제안된 것으로, 본 발명의 목적은 차량에 장착되는 카메라에서 촬영된 도로의 영상으로부터 영상의 휘도 정보를 이용하여 정확하게 차선의 폭, 차선의 곡률, 차선의 기울기, 도로와 주행 차량 사이의 거리 등을 추출하는 촬영 영상의 휘도를 이용한 차선 추출 방법을 제공하는 것이다.
상기한 본 발명의 목적을 달성하기 위한 본 발명의 촬영 영상의 휘도 정보를 이용하여 차선을 추출하는 방법은, 차량의 카메라에 의해 촬영된 영상으로부터 동적 ROI를 설정하는 단계; 컬러로 촬영된 상기 카메라 영상을 그레이 스케일로 변환하는 단계; 그레이 스케일로 변환된 상기 카메라 영상으로부터 소벨 에지(Sobel Edge)를 검출하는 단계; 그레이 스케일로 변환된 상기 카메라 영상으로부터, 상기 카메라 영상의 휘도 정보를 이용하여 차선의 지점들, 강도들, 위치 등의 후보군을 추출하는 단계; 그리고 상기 후보군 추출 단계에서 추출된 상기 후보군들을 이용하여 차량 정보 및 거리 메트릭((distance metric)을 기반하여 상기 차선을 추출하는 단계;를 포함한다.
바람직하게는, 상기 방법은 상기 추출된 차선을 최소자승법을 이용하여 현재 주행중인 도로를 모델링하는 단계를 더 포함할 수 있다.
상기 후보군들은 다음의 수학식에 의해 추출된다.
Ci = [P(Ci), I(Ci), L(Ci)]
여기에서, P는 지점(position), I는 강도(intensity), L은 위치(location)을 나타낸다.
상기 지점은 다음의 수학식에 의해 산출된다.
Figure pat00001

상기 강도는 다음의 수학식에 의해 산출된다.
Figure pat00002

상기 위치는 다음의 수학식에 의해 산출된다.
Figure pat00003

상기 차선은 다음의 수학식에 의해 산출된다.
Figure pat00004

여기서, v는 차량의 속도, θ는 차량의 조향각이다.
본 발명에 따르면, 직선 차선이든 곡선 차선이든 실시간으로 정확하게 차선의 종류, 차선의 곡률, 차선의 기울기, 및 도로와 주행 차량 사이의 거리를 추출할 수 있다.
본 발명은 자동 차량 주행 장치(지능형 차량), 차선 이탈 경고 시스템, 및 차선 유지 시스템 등에 적용될 수 있다.
도 1은 종래기술에 의한 직선 차선을 추출하는 과정을 보여주는 사진이다.
도 2는 종래기술에 의한 곡선 차선을 추출하는 과정을 보여주는 사진이다.
도 3은 본 발명의 일 실시예에 따른 직선 차선을 추출하는 과정을 보여주는 사진이다.
도 4는 본 발명의 일 실시예에 따른 곡선 차선을 추출하는 과정을 보여주는 사진이다.
도 5는 본 발명의 일 실시예에 따른 촬영 영상의 휘도 정보를 이용하여 차선을 추출하는 방법을 설명하기 위한 사진이다.
도 6 은 그레이 스케일로 변환된 카메라 영상으로부터 카메라 영상의 휘도 정보를 이용하여 차선의 지점들, 강도들, 위치 등의 후보군을 추출하는 방법의 개념도이다.
이하, 첨부 도면을 참조하여, 본 발명의 실시예에 따른 촬영 영상의 휘도 정보를 이용한 차선의 추출 방법을 설명한다.
도 3은 본 발명의 일 실시예에 따른 직선 차선을 추출하는 과정을 보여주는 사진이다. 도 4는 본 발명의 일 실시예에 따른 곡선 차선을 추출하는 과정을 보여주는 사진이다. 도 5는 본 발명의 일 실시예에 따른 촬영 영상의 휘도 정보를 이용하여 차선을 추출하는 방법을 설명하기 위한 사진이다.
도시한 바와 같이, 본 발명의 일 실시예에 따른 촬영 영상의 휘도 정보를 이용하여 차선을 추출하는 방법은, 먼저 차량의 카메라(도시하지 않음)에 의해 촬영된 영상으로부터 동적 ROI를 설정하는 단계(도 5(A)). 컬러로 촬영된 카메라 영상을 그레이 스케일로 변환하는 단계(도 5(B)), 그레이 스케일로 변환된 카메라 영상으로부터 소벨 에지(Sobel Edge)를 검출하는 단계(도 5(C)), 그레이 스케일로 변환된 카메라 영상으로부터, 카메라 영상의 휘도 정보를 이용하여 차선의 지점들, 강도들, 위치 등의 후보군을 추출하는 단계(도 5(D)), 상기 후보군 추출 단계에서 추출된 후보군들을 이용하여 차량 정보 및 거리 메트릭((distance metric)을 기반하여 차선을 추출하는 단계(도 5(E), 도 5(F)), 그리고 상기 추출된 차선을 최소자승법을 이용하여 현재 주행중인 도로를 모델링하는 단계를 포함한다.
상기 카메라 영상에 동적 ROI가 설정되면(도 5(A)), 컨트롤러(도시하지 않음)은 컬러로 촬영된 카메라의 영상을 그레이 스케일로 변환한다(도 5(B)). 이렇게 함으로써, 카메라에 의해 촬영된 영상은 흑백의 영상으로 변환되고 휘도만의 차이로 영상 내의 물체 등을 구별할 수 있게 된다.
여기서, 상기 그레이 스케일로 변환된 카메라 영상으로부터 카메라 영상의 휘도 정보를 이용하여 차선의 지점들, 강도들, 위치 등의 후보군을 추출하는 단계(도 5(D))는, 도 6 에 도시된 바와 같이, 사각형의 윗변을 기준으로 N개로 나눠서 N개의 후보군의 시작점(pi)으로 정하고, 끝점은 아랫변을 N개로 나눠서 강도(intensity)의 합이 가장 큰 점을 끝점(qi)으로 정하여 총 N개의 후보군을 형성한다. 후보군의 지점(points), 강도(intensity) 및 위치(location)를 기존값과 비교하여 최종 차선을 결정하는 방법을 이용하는 것이 바람직하다.
상기 휘도 정보를 이용하여 추출되는 후보군은 다음의 수학식 1에 의해 추출된다.
[수학식 1]
Ci = [P(Ci), I(Ci), L(Ci)]
여기에서, P는 지점(position), I는 강도(intensity), L은 위치(location)을 나타낸다.
추출된 후보군 내의 지점은 다음의 수학식 2에 따라 계산된다.
[수학식 2]
Figure pat00005
상기의 강도는 다음의 수학식 3에 의해 계산된다.
[수학식 3]
Figure pat00006

차선의 위치는 다음의 수학식 4에 의해 계산된다.
[수학식 4]
Figure pat00007

상기와 같이 촬영된 카메라 영상으로부터 차선 후보군을 추출하고, 다음의 수학식 5과 같이, 차량 정보와 거리 메트릭을 기반하여 차선을 추출한다.
[수학식 5]
Figure pat00008
여기서, v는 차량의 속도, θ는 차량의 조향각이다.
이렇게 함으로써, 현재 차량이 주행 중인 차선을 정확하게 추출하고, 그 기울기도 산출할 수 있다. 또한, 본 명세서에서는 설명하지 않았으나, 현재 주행 중인 차량의 속도를 알고 있으므로, 선행하는 다른 차량을 촬영하고 이의 속도 등을 검출함으로써, 현재 차량과 다른 차량과의 안전거리를 확보하고, 충돌을 미연에 방지할 수 있다.
상기와 같이, 촬영된 카메라의 영상에 동적 ROI를 설정하고, 이를 그레이 스케일로 변환한 후, 차선 후보군을 추출한 후 수학식 5 에 따라 차선을 추출한 후, 최소 자승법을 이용하여 현재 차량이 주행하고 있는 도로를 모델링한다.
이렇게 함으로써, 본 발명에 따른 촬영 영상의 휘도 정보를 이용하여 차선을 추출하는 방법은, 종래의 차선 추출 방법에 비하여 직선 도로는 물론이고, 곡선 차선도 정확하게 실시간으로 추출할 수 있을 뿐 아니라, 현재 주행 중인 도로를 모델링함으로써, 자동 차량 주행장치, 차선 이탈 경고 시스템, 차선 유지 시스템 등에 적용될 수 있다.

Claims (7)

  1. 차선을 추출하는 방법에 있어서,
    차량의 카메라에 의해 촬영된 영상으로부터 동적 ROI를 설정하는 단계;
    컬러로 촬영된 상기 카메라 영상을 그레이 스케일로 변환하는 단계;
    그레이 스케일로 변환된 상기 카메라 영상으로부터 소벨 에지(Sobel Edge)를 검출하는 단계;
    그레이 스케일로 변환된 상기 카메라 영상으로부터, 상기 카메라 영상의 휘도 정보를 이용하여 차선의 지점들, 강도들, 위치 등의 후보군을 추출하는 단계; 그리고
    상기 후보군 추출 단계에서 추출된 상기 후보군들을 이용하여 차량 정보 및 거리 메트릭((distance metric)을 기반하여 상기 차선을 추출하는 단계;를 포함하는 촬영 영상의 휘도 정보를 이용하여 차선을 추출하는 방법.
  2. 제 1 항에 있어서,
    상기 추출된 차선을 최소자승법을 이용하여 현재 주행중인 도로를 모델링하는 단계를 더 포함하는 촬영 영상의 휘도 정보를 이용하여 차선을 추출하는 방법.
  3. 제 1 항에 있어서,
    상기 후보군들은 다음의 수학식에 의해 추출되는 촬영 영상의 휘도 정보를 이용하여 차선을 추출하는 방법.
    Ci = [P(Ci), I(Ci), L(Ci)]
    여기에서, P는 지점(position), I는 강도(intensity), L은 위치(location)을 나타낸다.
  4. 제 3 항에 있어서,
    상기 지점은 다음의 수학식에 의해 산출되는 촬영 영상의 휘도 정보를 이용하여 차선을 추출하는 방법.
    Figure pat00009

  5. 제 3 항에 있어서,
    상기 강도는 다음의 수학식에 의해 산출되는 촬영 영상의 휘도 정보를 이용하여 차선을 추출하는 방법.
    Figure pat00010
  6. 제 3 항에 있어서,
    상기 위치는 다음의 수학식에 의해 산출되는 촬영 영상의 휘도 정보를 이용하여 차선을 추출하는 방법.
    Figure pat00011

  7. 제 3 항에 있어서,
    상기 차선은 다음의 수학식에 의해 산출되는 촬영 영상의 휘도 정보를 이용하여 차선을 추출하는 방법.
    Figure pat00012

    여기서, v는 차량의 속도, θ는 차량의 조향각임.
KR1020120158129A 2012-12-31 2012-12-31 촬영 영상의 휘도를 이용한 차선 추출 방법 KR20140087622A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120158129A KR20140087622A (ko) 2012-12-31 2012-12-31 촬영 영상의 휘도를 이용한 차선 추출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120158129A KR20140087622A (ko) 2012-12-31 2012-12-31 촬영 영상의 휘도를 이용한 차선 추출 방법

Publications (1)

Publication Number Publication Date
KR20140087622A true KR20140087622A (ko) 2014-07-09

Family

ID=51736516

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120158129A KR20140087622A (ko) 2012-12-31 2012-12-31 촬영 영상의 휘도를 이용한 차선 추출 방법

Country Status (1)

Country Link
KR (1) KR20140087622A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160051993A (ko) * 2014-10-30 2016-05-12 현대모비스 주식회사 운전자 지원 장치
CN106203273A (zh) * 2016-06-27 2016-12-07 开易（北京）科技有限公司 多特征融合的车道线检测***、方法及高级驾驶辅助***
KR20170025173A (ko) * 2015-08-27 2017-03-08 현대모비스 주식회사 주차 구역 감지 방법 및 장치
KR102501889B1 (ko) * 2022-08-01 2023-02-21 주식회사 카비 기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160051993A (ko) * 2014-10-30 2016-05-12 현대모비스 주식회사 운전자 지원 장치
KR20170025173A (ko) * 2015-08-27 2017-03-08 현대모비스 주식회사 주차 구역 감지 방법 및 장치
CN106203273A (zh) * 2016-06-27 2016-12-07 开易（北京）科技有限公司 多特征融合的车道线检测***、方法及高级驾驶辅助***
CN106203273B (zh) * 2016-06-27 2019-11-01 开易（北京）科技有限公司 多特征融合的车道线检测***、方法及高级驾驶辅助***
KR102501889B1 (ko) * 2022-08-01 2023-02-21 주식회사 카비 기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법

Similar Documents

Publication Publication Date Title
US20200406897A1 (en) Method and Device for Recognizing and Evaluating Roadway Conditions and Weather-Related Environmental Influences
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
JP5083658B2 (ja) 車両用車線認識装置、車両、及び車両用車線認識プログラム
US8340866B2 (en) Vehicle and steering control device for vehicle
KR101517181B1 (ko) 차선 이탈 경보 시스템 및 방법
JP5966965B2 (ja) 車線境界線逸脱抑制装置及び車線境界線逸脱抑制方法
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
US9257045B2 (en) Method for detecting a traffic lane by means of a camera
JP4992990B2 (ja) 区画線検出装置
EP3188156B1 (en) Object recognition device and vehicle control system
JP5603687B2 (ja) 車両用白線認識装置
US9783111B2 (en) Method and apparatus for vehicle driving assistance
KR101968349B1 (ko) 영상 정보를 이용한 차선 경계 검출 방법
JP6354659B2 (ja) 走行支援装置
KR20110001427A (ko) 관심영역 추출에 의한 차선 고속검출 방법
KR101840974B1 (ko) 자율주행용 차선 식별 시스템
Wei et al. Research on lane detection and tracking algorithm based on improved hough transform
US10672141B2 (en) Device, method, system and computer-readable medium for determining collision target object rejection
KR20110001425A (ko) 에이치에스아이 색정보의 통계적 모델을 이용한 차선 분류방법
KR20120086577A (ko) 카메라를 이용한 측면차량 검출 장치 및 방법
KR20140087622A (ko) 촬영 영상의 휘도를 이용한 차선 추출 방법
KR101687094B1 (ko) 교통 표지판 인식 장치 및 교통 표지판 인식 방법
KR20140104516A (ko) 차선 인식 방법 및 장치
JP2023511454A (ja) 車両走行路内のデブリの検出
KR20170030816A (ko) 신호등 감지기능을 갖는 자동 순항 제어장치 및 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application