KR101526728B1 - 야간 주행 시 전방 장애물 검출 방법 - Google Patents

Abstract

본 발명은 야간 주행 시 전방 장애물 검출 방법에 관한 것으로, 본 발명에 따른 야간 주행 시 전방 장애물 검출 방법은 차량의 헤드 램프가 켜진 상태에서 전방 영상을 촬영하고, 상기 촬영한 영상으로부터 관심영역 영상을 추출하며, 상기 관심영역 영상 내 광 패턴을 추출하고, 상기 추출한 광 패턴과 기준 광 패턴의 유사도를 산출하며, 그 산출한 유사도에 따라 전방 장애물의 존재유무를 판별한다.

Description

야간 주행 시 전방 장애물 검출 방법{METHOD FOR DETECTING FORWARD OBSTACLE WHEN DRIVING AT NIGHT}

본 발명은 차량의 전방 장애물 검출 방법에 관한 것으로, 더욱 상세하게는 야간 주행 시 헤드 램프의 빛에 의해 도로 상에 발생되는 광 패턴을 이용하여 전방 장애물의 존재유무를 판별하는 야간 주행 시 전방 장애물 검출 방법에 관한 것이다.

일반적으로, 차량용 비전 시스템은 입력되는 전방 영상으로부터 차선 인식, 선행차량의 위치 파악 및 충돌 회피 등의 무인 자율주행 기능을 구현하기 위해 다양하게 활용되고 있다.

종래의 차량용 비전 시스템은 스테레오 카메라나 LiDAR(Light Detection and Ranging), 초음파와 같은 특수 센서를 이용하여 전방의 깊이(depth)를 측정하여 시점을 기준으로 하여 전방 물체의 존재를 판단하게 된다.

종래에 스테레오 카메라 센서를 이용하는 경우에는 좌우 카메라 영상에 대한 시차맵(disparity map)을 생성하는데 높은 연산처리가 필요하여 실시간 처리가 어렵고 정확도도 떨어진다.

그리고, 초음파 센서를 이용하는 경우에는 수직/수평에서 방위분해능이 낮아 듬성한 결과를 도출하며 거리분해능도 짧다.

또한, Lidar 센서는 정확도는 높으나 고가의 장비이며 지형 탐색에 주로 사용된다.

KR 101032660 B1 KR 100360850 B1

오재석, 김정하. 무인자율주행자동차(CREON) 연구 개발. 로봇학회논문지.한국로봇학회. 2013. 제10권 제2호 3p~10p

본 발명은 상기한 종래기술의 문제점을 해결하기 위하여 안출된 것으로, 야간 주행 시 헤드 램프의 빛에 의해 도로 상에 발생되는 광 패턴을 이용하여 전방 장애물의 존재유무를 판별하는 야간 주행 시 전방 장애물 검출 방법을 제공하는데 그 목적이 있다.

상기한 과제를 해결하기 위하여, 본 발명의 실시예에 따른 야간 주행 시 전방 장애물 검출 방법은 차량의 헤드 램프가 켜진 상태에서 전방 영상을 촬영하는 단계와, 상기 촬영한 영상으로부터 관심영역 영상을 추출하는 단계와, 상기 관심영역 영상 내 광 패턴을 추출하는 단계와, 상기 추출한 광 패턴과 기준 광 패턴의 유사도를 산출하는 단계와, 상기 산출한 유사도에 따라 전방 장애물의 존재유무를 판별하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 관심영역 추출 단계는, 상기 촬영한 영상 내 도로면을 관심영역 영상으로 추출하는 단계와, 상기 관심영역 영상의 콘트라스트를 조절하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 광 패턴 추출 단계는, 상기 추출한 관심영역 영상에 대한 행별 각 픽셀의 밝기값 및 열별 각 픽셀의 밝기값을 합산하여 행별 픽셀 밝기누적값 및 열별 픽셀 밝기누적값을 산출하는 것을 특징으로 한다.

또한, 상기 광 패턴 추출 단계는, 상기 행별 밝기누적값 및 열별 밝기누적값의 변화에 따른 변곡점구간을 추출하는 단계와, 상기 추출한 변곡점구간의 교차점을 장애물의 존재위치로 결정하는 단계를 더 포함하는 것을 특징으로 한다.

또한, 상기 유사도 산출 단계는, 정규상호상관도(Normalized Cross-correlation: NCC)를 이용하여 상기 관심영역 내 광 패턴과 기준 광 패턴 사이의 유사도를 산출하는 것을 특징으로 한다.

또한, 상기 장애물의 존재유무 판별 단계는, 상기 산출한 유사도가 임계값 이상이면 장애물 미존재로 결정하는 것을 특징으로 한다.

또한, 상기 장애물의 존재유무 판별 단계는, 상기 산출한 유사도가 임계값 미만이면 장애물 존재로 결정하는 것을 특징으로 한다.

또한, 상기 판별결과, 전방에 장애물이 존재하면 경고데이터를 출력하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명은 야간 주행 시 헤드 램프의 빛에 의해 도로 상에 발생되는 광 패턴을 이용하여 전방 장애물의 존재유무를 판별할 수 있다. 따라서, 가로등이 설치되지 않은 도로를 야간 주행할 때 장애물의 존재유무를 인지하지 못해 발생되는 사고를 미연에 방지할 수 있다.

또한, 본 발명은 차량의 전방에 하나의 카메라만 설치하므로 원가 절감이 가능하다.

도 1은 본 발명의 실시예에 따른 야간 주행 시 헤드 램프의 빛을 이용한 전방 장애물 검출 장치를 도시한 블록구성도.
도 2는 본 발명의 실시예와 관련된 관심영역 영상 추출 예를 도시한 예시도.
도 3은 본 발명의 실시예에 따른 야간 주행 시 전방 장애물 검출 방법을 흐름도.
도 4는 본 발명의 실시예에 따른 광 패턴 추출 예를 도시한 예시도.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 상세하게 설명한다.

본 발명은 야간 주행 시 헤드 램프의 빛이 도로 상에 조사되어 발생되는 광 패턴을 이용하여 전방 장애물의 존재유무 및 위치(좌측, 중앙, 우측 등)를 검출하는 기술에 관한 것이다.

도 1은 본 발명의 실시예에 따른 야간 주행 시 헤드 램프의 빛을 이용한 전방 장애물 검출 장치를 도시한 블록구성도이고, 도 2는 본 발명의 실시예와 관련된 관심영역 영상 추출 예를 도시한 예시도이다.

도 1을 참조하면, 본 발명에 따른 전방 장애물 검출 장치는 카메라(10), 저장부(20), 영상처리부(30), 광 패턴 추출부(40), 분석부(50), 출력부(60), 제어부(70)를 포함한다.

카메라(10)는 차량의 전방에 설치되며 하나의 이미지 센서로 구성된다. 카메라(10)는 차량의 전방 영상을 촬영한다.

저장부(20)에는 카메라(10)에 의해 촬영되는 전방 영상 및 기준 광 패턴(reference light pattern)이 저장된다. 여기서, 기준 광 패턴은 야간 주행 시 장애물이 없는 도로 상에 헤드 램프를 켠 상태에서 촬영된 영상으로부터 추출한 광 패턴으로 저장되거나 또는 그 추출한 광 패턴으로부터 도출한 특정 함수(예: 로그 함수) 형태로 저장된다. 본 발명에서 광 패턴은 촬영 영상으로부터 도로면에 해당하는 영역을 관심영역으로 추출하고, 그 추출된 관심영역의 영상에 대한 y축 기준 행별 픽셀의 밝기누적값 및 x축 기준 열별 픽셀의 밝기누적값을 의미한다.

또한, 저장부(20)에는 전방 장애물 검출 장치의 동작을 제어하는 제반 프로그램 및 촬영 영상에 대한 분석을 위한 분석 프로그램이 저장된다.

영상처리부(30)는 카메라(10)를 통해 촬영된 영상을 전처리하는 역할을 담당한다. 이러한 영상처리부(30)는 촬영 영상으로부터 관심영역(region of interest: ROI) 영상을 추출한다. 예를 들어, 도 2에 도시된 바와 같이, 영상처리부(30)는 촬영 영상에서 도로면을 관심영역(ROI)으로 설정하고(a), 그 설정된 관심영역에 해당하는 영상을 추출한다(b).

또한, 영상처리부(30)는 관심영역으로 추출된 영상에 대해 콘트라스트(contrast)를 조절한다. 영상처리부(30)는 추출된 영상의 각 픽셀의 화소값을 0(최소밝기값) ~ 255(최대밝기값) 단계의 밝기값(음영값)으로 변환한다.

광 패턴 추출부(40)는 영상처리부(30)로부터 출력되는 관심영역 내에 나타나는 광 패턴(light pattern)을 추출한다. 다시 말해서, 광 패턴 추출부(40)는 관심영역의 행별 각 픽셀의 밝기값 및 열별 각 픽셀의 밝기값을 각각 합산한 밝기누적값을 산출한다. 즉, 광 패턴 추출부(40)는 추출한 관심영역 영상의 행별 픽셀의 밝기누적값 및 열별 픽셀의 밝기누적값을 산출한다.

분석부(50)는 광 패턴 추출부(40)에 의해 추출된 광 패턴과 기준 광 패턴을 비교하여 유사도를 산출한다. 이때, 분석부(50)는 정규상호상관도(Normalized Cross-Correlation: NCC)와 같은 분석기법을 이용하여 관심영역 영상 내 광 패턴과 기준 광 패턴 사이의 유사도를 산출한다. 여기서, 유사도는 0 ~ 1로 나타낼 수 있다.

다시 말해서, 분석부(50)는 추출된 관심영역 영상의 행별 픽셀 밝기누적값과 기준 영상의 행별 픽셀 밝기누적값을 비교하여 유사성을 분석한다.

또한, 분석부(50)는 추출한 관심영역 영상의 행별 픽셀 밝기누적값과 열별 픽셀 밝기누적값을 이용하여 장애물의 위치를 검출한다. 이때, 분석부(50)는 행별 픽셀 밝기누적값과 열별 픽셀 밝기누적값의 변화에서 변곡점이 발생되는 구간을 추출하고 그 추출된 변곡점 발생구간의 교차점을 장애물의 위치(픽셀 좌표)로 결정한다.

출력부(60)는 전방 장애물 검출 장치의 동작에 따라 발생되는 각종 데이터를 출력하는 것으로, 표시장치(예: 액정 디스플레이, LED(light emitting diode) 디스플레이, 투명디스플레이, 3D 디스플레이 등) 및 오디오 출력장치(예: 스피커) 등을 구비한다.

제어부(70)는 전방 장애물 검출 장치를 구성하는 각 구성요소의 동작을 제어한다. 이러한 제어부(70)는 헤드 램프가 켜지거나 또는 조도 센서(미도시)에 의해 측정된 차량의 주변 조도가 일정 값 이하이면 카메라(10)를 동작시켜 차량의 전방 영상을 촬영한다.

제어부(70)는 분석부(50)에 의해 산출된 유사도에 근거하여 전방 장애물 존재여부를 결정한다. 상기 제어부(70)는 산출된 유사도가 임계값(예: 0.8) 이상이면 전방 장애물 미존재로 결정하고, 산출된 유사도가 임계값 미만이면 전방 장애물 존재로 결정한다.

또한, 제어부(70)는 전방에 장애물이 검출되면 분석부(50)를 통해 전방 장애물의 위치에 검출한다.

제어부(70)는 전방에 장애물이 존재하면 출력부(60)를 제어하여 장애물의 존재 및 위치를 알리는 경고데이터를 출력한다. 이때, 제어부(70)는 경고 데이터를 메시지 및 이미지 형태로 시각화하여 표시장치에 출력하거나 또는 오디오 신호로 청각화하여 오디오 출력장치로 출력한다.

도 3은 본 발명의 실시예에 따른 야간 주행 시 전방 장애물 검출 방법을 흐름도이다.

먼저, 전방 장애물 검출 장치의 제어부(70)는 야간 주행 시 차량의 헤드 램프가 켜진 상태에서 카메라(10)를 구동시켜 차량의 전방 영상을 촬영한다(S11).

전방 장애물 검출 장치의 영상처리부(30)는 카메라(10)로부터 출력되는 촬영 영상 내 관심영역 영상을 추출한다(S12). 예를 들어, 영상처리부(30)는 촬영 영상 내 도로면을 관심영역 영상으로 추출한다. 이때, 영상처리부(30)는 추출된 관심영역 영상의 콘트라스트를 조절한다.

전방 장애물 검출 장치의 광 패턴 추출부(40)는 영상처리부(30)로부터 출력되는 관심영역 영상 내 광 패턴을 추출한다(S13). 즉, 광 패턴 추출부(40)는 영상처리부(30)를 통해 추출한 관심영역 영상에 대한 행별 각 픽셀의 밝기값 및 열별 각 픽셀의 밝기값을 합산하여 행별 픽셀 밝기누적값 및 열별 픽셀 밝기누적값을 산출한다.

전방 장애물 검출 장치의 분석부(50)는 상기 추출한 광 패턴과 기준 광 패턴의 유사도를 산출한다(S14). 이때, 분석부(50)는 정규상호상관도(Normalized Cross-correlation: NCC)와 같은 분석기법을 이용하여 상기 관심영역 영상 내 광 패턴과 기준 광 패턴 사이의 유사도를 산출한다.

제어부(70)는 분석부(50)에 의해 산출된 유사도가 임계값 미만인지를 확인한다(S15). 즉, 제어부(70)는 분석부(50)로부터 출력되는 유사도에 근거하여 전방 장애물의 존재유무를 결정한다.

상기 산출된 유사도가 임계값 미만이면 제어부(70)는 전방에 장애물이 존재하는 것으로 판정한다(S16). 이어서, 제어부(70)는 출력부(60)를 통해 전방 장애물의 존재를 알리는 경고데이터를 출력한다. 여기서, 제어부(70)는 경고 메시지를 디스플레이 화면 상에 표시하거나 또는 경고음을 출력한다. 또는, 제어부(70)는 경고 메시지를 디스플레이 화면에 출력하며 스피커를 통해 경고음을 출력할 수도 있다.

상기 제어부(70)는 전방 장애물이 검출되면 분석부(50)를 제어하여 해당 장애물의 위치를 검출하여 그 검출된 위치를 출력부(50)를 통해 운전자에게 알린다. 상기 분석부(50)는 행별 픽셀 밝기누적값 및 열별 픽셀 밝기누적값의 변화에 따른 변곡점구간을 각각 추출한다. 그리고, 제어부(70)는 행별 픽셀 밝기누적값과 열별 픽셀 밝기누적값의 변화에 대해 각각 추출된 변곡점구간들의 교차점을 통해 장애물의 위치를 검출한다.

한편, 상기 단계(S15)에서 상기 산출된 유사도가 임계값 이상이면 제어부(70)는 전방에 장애물이 존재하지 않는 것으로 판정한다.

도 4는 본 발명의 실시예에 따른 광 패턴 추출 예를 도시한 예시도이다.

도 4의 (a)는 기준 광 패턴 영상 및 그에 대한 행별 픽셀 밝기누적값을 도시한다. 기준 광 패턴은 장애물이 없는 도로에서 야간 주행 시 촬영된 전방 영상 내 도로면을 관심영역 영상으로 추출하고, 그 추출된 관심영역 영상의 -y축 방향으로 행별 픽셀 밝기누적값을 산출한다. 그래프에 도시된 바와 같이 장애물이 없는 상태에서 광 패턴은 차량에 근접할수록 누적밝기값이 증가하는 특징을 보인다.

도 4의 (b) 및 (c)는 야간 주행 시 촬영된 영상으로부터 추출된 관심영역 영상이며, 그 추출된 관심영역 영상의 광 패턴 특성을 나타내는 그래프이다. 도 4의 (a)에 도시된 그래프와 도 4의 (b) 및 (c)에 도시된 그래프를 각각 비교하면, 도로 상에 장애물이 존재하지 않는 도 4의 (b)에 도시된 그래프는 도 4의 (a)에 도시된 그래프와 유사성이 높다. 한편, 도로 상에 장애물이 존재하는 도 4의 (c)에 도시된 그래프는 도 4의 (a)에 도시된 그래프와 유사성이 낮다.

본 발명은 상기한 장애물 존재유무에 따른 헤드 램프에 의한 광 패턴의 특성을 이용하여 차량의 전방에 장애물이 존재하는지 여부를 검출하는 것이다.

10: 카메라
20: 저장부
30: 영상처리부
40: 광 패턴 추출부
50: 분석부
60: 출력부
70: 제어부

Claims (8)

1. 차량의 헤드 램프가 켜진 상태에서 전방 영상을 촬영하는 단계와,
   상기 촬영한 영상으로부터 관심영역 영상을 추출하는 단계와,
   상기 관심영역 영상 내 광 패턴을 추출하는 단계와,
   상기 추출한 광 패턴과 기준 광 패턴의 유사도를 산출하는 단계와,
   상기 산출한 유사도에 따라 전방 장애물의 존재유무를 판별하는 단계를 포함하고,
   상기 광 패턴 추출 단계는,
   상기 추출한 관심영역 영상에 대한 행별 각 픽셀의 밝기값 및 열별 각 픽셀의 밝기값을 합산하여 행별 픽셀 밝기누적값 및 열별 픽셀 밝기누적값을 산출하는 단계와,
   상기 행별 밝기누적값 및 열별 밝기누적값의 변화에 따른 변곡점구간을 추출하는 단계와,
   상기 추출한 변곡점구간의 교차점을 장애물의 존재위치로 결정하는 단계를 포함하는 것을 특징으로 하는 야간 주행 시 전방 장애물 검출 방법.
2. 제1항에 있어서,
   상기 관심영역 영상 추출 단계는,
   상기 촬영한 영상 내 도로면을 관심영역 영상으로 추출하는 단계와,
   상기 관심영역 영상의 콘트라스트를 조절하는 단계를 포함하는 것을 특징으로 하는 야간 주행 시 전방 장애물 검출 방법.
3. 삭제
4. 삭제
5. 제1항에 있어서,
   상기 유사도 산출 단계는,
   정규상호상관도(Normalized Cross-correlation: NCC)를 이용하여 상기 관심영역 내 광 패턴과 기준 광 패턴 사이의 유사도를 산출하는 것을 특징으로 하는 야간 주행 시 전방 장애물 검출 방법.
6. 제1항에 있어서,
   상기 장애물의 존재유무 판별 단계는,
   상기 산출한 유사도가 임계값 이상이면 장애물 미존재로 결정하는 것을 특징으로 하는 야간 주행 시 전방 장애물 검출 방법.
7. 제1항에 있어서,
   상기 장애물의 존재유무 판별 단계는,
   상기 산출한 유사도가 임계값 미만이면 장애물 존재로 결정하는 것을 특징으로 하는 야간 주행 시 전방 장애물 검출 방법.
8. 제1항에 있어서,
   상기 판별결과, 전방에 장애물이 존재하면 경고데이터를 출력하는 단계를 더 포함하는 것을 특징으로 하는 야간 주행 시 전방 장애물 검출 방법.

Images