KR101178508B1 - 차량 충돌 경보 시스템 및 방법 - Google Patents

차량 충돌 경보 시스템 및 방법 Download PDF

Info

Publication number
KR101178508B1
KR101178508B1 KR20100069538A KR20100069538A KR101178508B1 KR 101178508 B1 KR101178508 B1 KR 101178508B1 KR 20100069538 A KR20100069538 A KR 20100069538A KR 20100069538 A KR20100069538 A KR 20100069538A KR 101178508 B1 KR101178508 B1 KR 101178508B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
area
distance
region
Prior art date
Application number
KR20100069538A
Other languages
English (en)
Other versions
KR20120009591A (ko
Inventor
한영인
서용덕
송영기
박종민
최현철
오세영
Original Assignee
포항공과대학교 산학협력단
주식회사 이미지넥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단, 주식회사 이미지넥스트 filed Critical 포항공과대학교 산학협력단
Priority to KR20100069538A priority Critical patent/KR101178508B1/ko
Priority to PCT/KR2011/005292 priority patent/WO2012011715A2/ko
Publication of KR20120009591A publication Critical patent/KR20120009591A/ko
Application granted granted Critical
Publication of KR101178508B1 publication Critical patent/KR101178508B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

본 발명은 차량 충돌 경보 시스템 및 방법에 관한 것이다. 본 발명에 따른 방법은, 자기 차량에 장착된 카메라 모듈에서 획득된 영상을 적분 영상으로 전처리하는 단계, 차량 검출 윈도우의 크기를 미리 정해진 범위 내에서 조정하면서 상기 적분 영상에 대해서 아다부스트 알고리즘을 적용하여 차량 후보 영역을 검출하는 단계, 상기 검출된 차량 후보 영역이 유효한 차량 영역인지 여부를 검증하는 단계, 상기 검증된 유효한 차량 영역에 대해 클러스터링을 수행하여 전방 차량에 대응하는 차량 영역을 결정하는 단계, 상기 결정된 차량 영역을 이용하여 상기 전방 차량과 상기 자기 차량과의 거리를 구하는 단계, 상기 전방 차량과 상기 자기 차량의 거리가 미리 정해진 기준 이하인 경우 차량 충돌 경보 조건을 판단하는 단계, 그리고 상기 차량 충돌 경보 조건을 만족하는 경우 차량 충돌 경보를 발생하는 단계를 포함한다. 본 발명에 의하면 적은 연산량으로 전방 차량을 신속하고 정확하게 검출할 수 있다. 또한 레이더나 레이저 등의 고가 장비를 설치하지 않고도 하나의 카메라로 획득된 영상을 이용하여 전방 차량 경보 시스템을 비교적 저가로 구현할 수 있는 장점이 있다.

Description

차량 충돌 경보 시스템 및 방법{Vehicle Collision Alarm System and Method}
본 발명은 차량 충돌 경보 시스템 및 방법에 관한 것으로, 보다 상세하게는 카메라로 촬영한 이미지를 이용하여 전방 차량을 검출하고 차량 충돌 여부를 경보할 수 있는 시스템 및 방법에 관한 것이다.
종래 그림자나 차량의 대칭성을 이용한 차량 검출 방법은 연산은 빠르지만 복잡한 도로 환경이나 우천시 등의 환경에서는 적용하기 힘들었다. 한편 'Histogram of Oriented Gradient'나 'Gabor filter'를 이용한 방법들은 강인하지만 연산시간이 오래 걸려 PC 기반에서도 실시간 처리가 불가능한 문제점이 있었다.
그리고 기존의 아다부스트(AdaBoost)를 이용한 차량검출 알고리즘들은 먼저 그림자와 차량의 에지(edge)에 대한 가정을 바탕으로 차량 후보 영역을 찾은 후에 해당 후보 영역을 아다부스트(Adaboost) 알고리즘을 이용하여 검증하는 방법을 사용한다. 그런데 이러한 종래 방법에 따른 알고리즘들은 차량 영역을 찾는 전처리 과정이 매우 오래 걸리는 문제점이 있었다.
따라서 본 발명이 해결하고자 하는 과제는 카메라로 촬영한 이미지를 이용하여 적은 연산량으로 전방 차량을 신속하고 정확하게 검출하여 차량 충돌 여부를 경보할 수 있는 시스템 및 방법을 제공하는 것이다.
이러한 기술적 과제를 해결하기 위한 본 발명의 한 실시예에 따른 차량 충돌 경보 방법은, 자기 차량에 장착된 카메라 모듈에서 획득된 영상을 적분 영상으로 전처리하는 단계, 차량 검출 윈도우의 크기를 미리 정해진 범위 내에서 조정하면서 상기 적분 영상에 대해서 아다부스트 알고리즘을 적용하여 차량 후보 영역을 검출하는 단계, 상기 검출된 차량 후보 영역이 유효한 차량 영역인지 여부를 검증하는 단계, 상기 검증된 유효한 차량 영역에 대해 클러스터링을 수행하여 전방 차량에 대응하는 차량 영역을 결정하는 단계, 상기 결정된 차량 영역을 이용하여 상기 전방 차량과 상기 자기 차량과의 거리를 구하는 단계, 상기 전방 차량과 상기 자기 차량의 거리가 미리 정해진 기준 이하인 경우 차량 충돌 경보 조건을 판단하는 단계, 그리고 상기 차량 충돌 경보 조건을 만족하는 경우 차량 충돌 경보를 발생하는 단계를 포함한다.
상기 차량 검출 윈도우 크기의 범위는 상기 적분 영상 상의 위치에 따른 검출 대상 차량의 가능한 영상 폭을 기초로 구해질 수 있다.
상기 검출된 차량 후보 영역 내에 좌우의 수직 에지 및 하단의 수평 에지가 모두 검출되면, 상기 검출된 차량 후보 영역이 유효한 것으로 판단할 수 있다.
상기 방법은, 상기 결정된 차량 영역에 대응하는 그림자 영역을 구하는 단계, 그리고 상기 그림자 영역을 이용하여 상기 결정된 차량 영역에 대응하는 전방 차량의 위치를 보정하는 단계를 더 포함할 수 있다.
상기 그림자 영역은, 상기 카메라 모듈에서 획득된 영상의 그레이스케일(grayscale) 영상에 대해서 히스토그램 평활화를 수행하여 얻어진 결과 영상을 이진화하고, 상기 이진화를 통해 분류된 어두운 영역 중에서 그림자 폭이 일정 기준보다 짧은 경우에 대해 필터링을 수행함으로써 구해질 수 있다.
상기 구해진 그림자 영역의 밑 부분을 기준으로 상기 자기 차량과 상기 전방 차량의 거리를 구할 수 있다.
상기 결정된 차량 영역에 대응하는 그림자 영역이 구해지지 않는 경우, 상기 결정된 차량 영역의 하단 중앙부를 기준으로 상기 자기 차량과 상기 전방 차량의 거리를 구할 수 있다.
상기 자기 차량과 상기 전방 차량의 거리가 미리 정해진 기준 이하인 경우 차량 충돌 경보 조건 만족 여부를 판단하고, 상기 전방 차량과 상기 자기 차량이 동일 차선에 있거나, 다음 수학식
Figure 112012026238918-pat00037

Figure 112012026238918-pat00038

Figure 112012026238918-pat00039
삭제
삭제
삭제
을 만족하면, 상기 차량 충돌 경보 조건을 만족하는 것으로 판단하되, 여기서, xleft, xright, xcenter는 상기 전방 차량의 왼쪽 사이드, 오른쪽 사이드 및 가운데의 실제 좌표이고, W는 상기 자기 차량의 폭일 수 있다.
본 발명의 다른 실시예에 따른 차량 충돌 경보 시스템은, 자기 차량에 장착된 카메라 모듈에서 획득된 영상을 적분 영상으로 전처리하는 영상 전처리 모듈, 차량 검출 윈도우의 크기를 미리 정해진 범위 내에서 조정하면서 상기 적분 영상에 대해서 아다부스트 알고리즘을 적용하여 차량 후보 영역을 검출하고, 상기 검출된 차량 후보 영역이 유효한 차량 영역인지 여부를 검증하며, 상기 검증된 유효한 차량 영역에 대해 클러스터링을 수행하여 전방 차량에 대응하는 차량 영역을 결정하는 차량 검출 모듈, 상기 결정된 차량 영역을 이용하여 상기 전방 차량과 상기 자기 차량과의 거리를 구하는 거리 측정 모듈, 그리고 상기 전방 차량과 상기 자기 차량의 거리가 미리 정해진 기준 이하인 경우 차량 충돌 경보 조건을 판단하고, 상기 차량 충돌 경보 조건을 만족하는 경우 차량 충돌 경보를 발생하는 경보 모듈을 포함한다.
본 발명에 의하면, 적은 연산량으로 전방 차량을 신속하고 정확하게 검출할 수 있다. 또한 레이더나 레이저 등의 고가 장비를 설치하지 않고도 하나의 카메라로 획득된 영상을 이용하여 전방 차량 경보 시스템을 비교적 저가로 구현할 수 있는 장점이 있다.
도 1은 본 발명의 실시예에 따른 차량 충돌 경보 시스템을 설명하기 위해 제공되는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 차량 충돌 경보 시스템을 보다 상세하게 나타낸 블록도이다.
도 3은 본 발명에 따른 차량 충돌 경보 시스템의 동작을 설명하기 위해 제공되는 흐름도이다.
도 4는 차량 검출 동작에서 사용되는 실제거리 좌표계와 영상 좌표계를 도시한 도면이다.
도 5는 도 3의 차량 검출 단계를 보다 상세하게 나타낸 흐름도이다.
도 6은 도 5의 차량 영역 검출 단계를 보다 자세히 나타낸 흐름도이다.
도 7은 아다부스트 알고리즘을 이용하여 검출된 차량 후보 영역을 클러스터링하여 차량 영역을 구하는 예를 설명하기 위해 제공되는 도면이다.
도 8은 두 영역이 하나의 차량 영역으로 클러스터링 되는 기준을 설명하기 위해 제공되는 도면이다.
도 9는 본 발명에 따른 차량 그림자 정보를 이용한 차량 위치 보정을 설명하기 위해 제공되는 도면이다.
도 10은 도 3의 차량 거리 계산 단계를 보다 자세히 나타낸 흐름도이다.
도 11은 도 3의 차량 충돌 경보 조건 만족 여부를 판단하는 단계를 보다 자세히 나타낸 흐름도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 차량 충돌 경보 시스템을 설명하기 위해 제공되는 블록도이다.
도 1을 참고하면, 먼저 차량 충돌 경보 시스템(200)은 차량(도시하지 않음)에 설치된 카메라 모듈(100)로부터 획득된 영상을 전달받고, 이를 기초로 자기 차량과 다른 차량이 충돌 위험이 있는 경우 경보할 수 있다. 여기서 자기 차량은 카메라 모듈(100)과 차량 충돌 경보 시스템(200)이 탑재된 차량을 의미한다.
카메라 모듈(100)은 차량에 설치되어 차량의 진행 방향에 대한 영상(차량 전방 영상)을 획득하는 기능을 수행한다. 카메라 모듈(100)은 획득된 영상을 실시간으로 차량 충돌 경보 시스템(200)에 전달한다. 카메라 모듈(100)은 차량 전방의 영상을 획득할 수 있는 장치로써, 광각 렌즈 또는 어안 렌즈와 같이 화각이 큰 렌즈를 구비할 수 있으며 핀홀 카메라를 포함할 수 있다. 카메라 모듈(100)은 60°에서 120°정도의 넓은 화각을 가지는 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 획득할 수 있다.
그러면 도 2를 참고하여 본 발명에 따른 차량 충돌 경보 시스템에 대해 보다 자세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 차량 충돌 경보 시스템을 보다 상세하게 나타낸 블록도이다.
차량 충돌 경보 시스템(200)은 영상 전처리 모듈(210), 차량 검출 모듈(230), 거리 측정 모듈(250) 및 경보 모듈(270)을 포함할 수 있다.
영상 전처리 모듈(210)은 카메라 모듈(100)로부터 차량 전방 영상을 입력받고 그에 대한 적분 영상(integral image)을 계산하여 출력한다.
차량 검출 모듈(230)은 영상 전처리 모듈(210)에서 입력되는 적분 영상을 이용하여 차량을 검출하는 기능을 수행한다.
거리 측정 모듈(250)은 차량 검출 모듈(230)에서 검출된 차량과 자기 차량과의 거리를 측정하는 기능을 수행한다.
경보 모듈(270)은 검출된 차량과 자기 차량이 충돌 가능성이 있는 경우 경보를 발생한다. 이를 위해 경보 모듈(270)은 스피커 또는 경보등과 같은 출력 수단을 포함할 수 있다. 물론 실시예에 따라서는 네비게이션 등과 같은 단말의 모니터 등을 통해 경보 메시지를 출력할 수도 있다.
그러면 도 3을 참고하여 본 발명에 따른 차량 충돌 경보 시스템의 동작을 자세하게 설명한다.
도 3은 본 발명에 따른 차량 충돌 경보 시스템의 동작을 설명하기 위해 제공되는 흐름도이다.
먼저 영상 전처리 모듈(210)은 카메라 모듈(100)로부터 차량 전방 영상을 입력받고(S310), 그에 대한 적분 영상(integral image)을 계산하여 출력한다(S330). 보다 자세하게는 영상 전처리 모듈(210)은 카메라 모듈(100)에서 입력된 차량 전방 영상이 RGB 컬러 영상일 경우 그레이스케일(grayscale) 영상으로 변환한 후 이를 적분 영상으로 계산하여 출력한다. 한편 영상 전처리 모듈(210)은 카메라 모듈(100)에서 입력된 영상에 왜곡, 오류가 있을 경우 이를 보정하는 기능을 추가적으로 수행할 수도 있다.
다음으로 차량 검출 모듈(230)은 영상 전처리 모듈(210)에서 계산된 적분 영상을 이용하여 전방의 다른 차량을 검출한다(S350). 단계(S350)의 차량 검출 동작에 대해 도 4 및 도 5를 참고하여 보다 자세히 설명한다.
도 4는 차량 검출 동작에서 사용되는 실제거리 좌표계와 영상 좌표계를 도시한 도면이고, 도 5는 도 3의 차량 검출 단계를 보다 상세하게 나타낸 흐름도이다.
도 4에서 (a)는 차량의 전면 중심을 원점으로 하는 실제 거리 좌표계를 나타내고 있으며, (b)는 차량 전방을 촬영한 영상에서 사용되는 영상 좌표계를 나타내고 있다.
먼저 차량 검출 모듈(230)은 영상 전처리 모듈(210)에서 입력된 적분 영상에 대한 차량 검출 대상 영역을 계산한다(S3510). 차량 검출 대상 영역은 자기 차량의 전방 3M ~ 30M 범위 내로 설정될 수 있다. 이렇게 차량 검출 대상 영역을 계산하는 이유는 차량 전방 영상의 전 영역에 걸쳐 차량을 검출하는 것보다, 충돌 가능성이 높은 영역에 대해서만 차량 검출 동작을 수행하는 것이 효율적이기 때문이다. 따라서 실시예에 따라 차량 검출 대상 영역의 범위를 적절하게 조정할 수 있다.
실제 거리 좌표계에서 좌표(X, Y)가 영상 좌표계에서 좌표(u, v)에 대응하는 관계가 아래 수학식 1에 의해 정의된다고 가정하면, 차량 검출 대상 영역에 대한 계산은 아래와 같이 이루어질 수 있다.
Figure 112012026238918-pat00040
여기서 (X,Y)는 실제거리 좌표계에서의 좌표이고, (u,v)는 영상 좌표계에서의 좌표이며, u'는 원근 투영 적용 전의 영상 좌표계에서의 u 좌표이고, v'는 원근 투영 적용 전의 영상 좌표계에서의 v 좌표이며, s는 원근 투영비를 나타내며, 행렬(PT: Perspective Transform)은 실제 거리 좌표계에서의 좌표(X,Y)를 영상 좌표계의 좌표(u', v')로 변환하는 행렬이다. 행렬(PT)의 성분을 구하는 것은 일반적으로 알려져 있으므로 자세한 설명은 생략한다.
그러면, 실제 거리 좌표계에서 차량 검출 대상 영역이 자기 차량의 전방 3M ~ 30M 범위 내로 설정된 경우, 해당 범위에 대한 차량 검출 대상 영역은 차량 전방 영상 상에서 다음 수학식 2에 의해 구해질 수 있다.
Figure 112012026238918-pat00041
Figure 112012026238918-pat00042
삭제
여기서, v3m, v30m 는 각각 차량 전방 3m와, 30m에 해당하는 영상 상의 수직 좌표(v)이다. 즉 차량 검출 대상 영역은 영상 상에서 수직 좌표(v)가 v3m ~ v30m 범위 내인 영역으로 구해진다.
다음으로 차량 검출 모듈(230)은 차량 검출 대상 영역 내에서 차량 영역을 검출한다(S3530). 도 6을 참고하여 차량 영역 검출 단계(S3530)를 보다 자세히 설명한다.
도 6은 도 5의 차량 영역 검출 단계를 보다 자세히 나타낸 흐름도이다.
차량 영역의 검출은 다양한 크기의 차량 검출 윈도우를 이용하여 차량 검출 대상 영역을 순차적으로 스캔하면서 아다부스트(AdaBoost) 알고리즘을 통해 검증하는 방법으로 수행된다. 아다부스트 알고리즘은 학습 단계와 검출 단계로 이루어질 수 있으며, 학습 단계는 검출 대상과 유사한 샘플들을 구비하여 다수개의 약분류기(weak classifier)들로 구성되는 강한 분류기(strong classifier)들을 단계적(cascade)으로 사전에 설정한다. 검출 단계는 사전에 설정된 강한 분류기들을 단계적으로 적용해 이전의 강한 분류기에서 조건이 부합되면 다음 단계의 강한 분류기를 적용시키는 방법으로 차량영역인지 여부를 판단한다. 하나의 강한 분류기 조건이라도 만족하지 못하면 차량영역이 아니기 때문에 해당 영역에 대한 분류를 중단하고 다음 윈도우에 대한 검증으로 넘어간다. 그리고 최종단계의 강한 분류기까지의 조건을 모두 만족한다면 차량영역으로 판단한다. 그런데 자기 차량으로부터 거리에 따라 검출 대상 차량의 영상 크기가 달라진다. 예컨대 자기 차량과 멀어질수록 검출 대상 차량의 영상 크기는 작아진다. 따라서 영상 상의 위치에 따른 검출 대상 차량의 가능한 영상 폭을 먼저 계산하여 차량 검출 윈도우의 크기를 정한다(S3531). 실제 차량의 폭은 대략 1.5m ~ 2.5m 범위 내에 있기 때문에 이를 기초로 다음 수학식 3을 이용하면 차량 검출 윈도우 크기를 계산할 수 있다.
Figure 112012026238918-pat00043
Figure 112010046415555-pat00008
Figure 112010046415555-pat00009
Figure 112012026238918-pat00044
Figure 112010046415555-pat00011
Figure 112010046415555-pat00012
여기서 x', y'는 역원근 투영 적용 전의 실제 좌표계에서 x, y 좌표, z'는 역 원근 투영비로 실제 좌표계는
Figure 112010046415555-pat00013
으로 얻어진다. u, v는 영상 좌표계에서의 좌표이며, 행렬(IPT: Inverse Perspective Transform)은 영상 좌표계에서의 좌표(u, v)를 실제 거리 좌표계에서의 좌표(x', y', z')로 변환하는 행렬이다. 행렬(IPT)의 성분을 구하는 것은 일반적으로 알려져 있으므로 자세한 설명은 생략한다.
먼저 영상 좌표계에서 검출 대상 차량의 좌측 하단의 좌표가 (u,v)이고, 그에 대응하는 실제 거리 좌표계에서 좌표가 (xL, y)라고 가정한다. 그러고 앞에서 설명한 것처럼 실제 차량의 폭은 대략 1.5m ~ 2.5m 범위 내에 있는 것을 이용하면, 실제 거리 좌표계에서 검출 대상 차량의 우측 하단의 좌표(xR, y)는 (xL+1.5m, y)과 (xL+2.5m, y) 범위 내에 있게 된다(즉 xL+1.5m ≤ xR ≤ xL+2.5m 이다). 여기서 'xL+1.5m'은 검출 대상 차량의 우측 하단의 x 좌표값이 가질 수 있는 최소값(xR , min)이고, 'xL+2.5m'은 최대값(xR,max)이 된다.
그러면 이렇게 구해진 검출 대상 차량의 우측 하단의 좌표(xR, y)를 다시 행렬(PT: Perspective Transform)을 통해 영상 좌표계 상으로 변환하면, 수학식 3에서와 같이 좌표 (umin, v), (umax, v)를 구할 수 있다. 여기서 f'min, f'max는 각각 (xR,min, y)와 (xR , max, y)를 영상 좌표계로 변환할 때 이용되는 원근 투영비이다.
결론적으로 영상 좌표계에서 검출 대상 차량의 좌측 하단의 좌표가 (u,v)라고 가정할 때, 차량 우측 하단의 좌표는 차량 폭이 가장 작을 때에 해당하는 (umin, v)와 차량 폭이 가장 넓을 때에 해당하는 (umax, v) 사이에 위치하게 된다. 따라서 차량 전방 영상 상에서 차량의 최대 폭(Wmin)과 최속 폭(Wmax)은 각각 'umax-u'와 'umin-u'로 구해지며, 차량 검출 윈도우의 최소 폭과 최대 폭으로 이용될 수 있다.
단계(S3531)에서 차량 검출 윈도우의 최대 폭과 최소 폭이 구해지면, 다음으로 차량 검출 모듈(230)은 차량 검출 윈도우의 최대 폭과 최소 폭의 범위 내에서 차량 검출 윈도우 크기를 조정하면서 아다부스트(AdaBoost) 알고리즘을 이용하여 차량 후보 영역을 검출한다(S3533). 이렇게 단계(S3531)에서 결정된 윈도우 크기 내에서 차량 후보 영역에 대한 검출 연산을 하면 되므로, 연산량을 줄일 수 있고 빠르게 차량 영역을 검출할 수 있다.
이후 차량 검출 모듈(230)은 아다부스트 알고리즘을 통해 찾아진 사각형의 차량 후보 영역에 대해 유효한 차량 영역인지 여부를 검증한다(S3535). 아다부스트 알고리즘을 통해 찾아진 차량 후보 영역 내에서 좌우의 수직 에지(edge)와 하단의 수평 에지가 모두 검출된 경우 유효한 차량 영역으로 판단한다. 여기서 수평, 수직 에지는 차량과 배경의 경계에 대응하여 나타날 수 있다.
차량 검출 대상 영역 전체에 대해서 차량 후보 영역 검출을 위한 스캔이 완료되면, 유효 차량 영역으로 인식된 영역들을 크기가 비슷하고 거리가 가까운 영역들끼리 클러스터링을 하여 차량 영역을 얻는다(S3537). 단계(S3537)에 대해서 도 7을 참고하여 설명한다.
도 7은 아다부스트 알고리즘을 이용하여 검출된 차량 후보 영역을 클러스터링하여 차량 영역을 구하는 예를 설명하기 위해 제공되는 도면이다.
도 7(a)에서 보는 것처럼 아다부스트 알고리즘을 이용하면 하나의 차량에 대해서 복수 개의 유효 차량 영역(붉은색으로 표시된 사각형)이 검출될 수 있다. 따라서 차량마다 하나의 인식된 영역을 얻기 위해서 크기가 비슷하고 거리가 가까운 영역들끼리 클러스터링 동작을 수행함으로써 도 7(b)에서 보는 것처럼 각 차량 마다 하나의 차량 영역(녹색으로 표시된 사각형)을 구할 수 있게 된다.
도 8은 두 영역이 하나의 차량 영역으로 클러스터링 되는 기준을 설명하기 위해 제공되는 도면이다.
도 8을 참고하면, 'W1'의 폭을 가지는 영역과, 'W2'의 폭을 가지는 영역이 각각 (x1, y1), (x2, y2)를 중심으로 가진다고 가정할 때, 두 영역이 하나의 차량 영역으로 클러스터링 되는 기준을 다음 수학식 4를 만족하는 경우로 설정할 수 있다.
Figure 112012026238918-pat00045
Figure 112012026238918-pat00046

Figure 112012026238918-pat00047
삭제
삭제
Wlarge, 와 Wsmall 은 각각 W1과 W2 중에서 큰 영역의 폭과 작은 영역의 폭을 의미하고, foverlap과 fsize는 1~0 사이의 값을 적절하게 선택하여 사용할 수 있다. 수학식 4에 의한 클러스터링 기준은 일 예일 뿐이며, 다른 클러스터링 기준을 사용하는 것도 가능하다.
다시 도 3을 참고하면, 자기 차량의 전방에 있는 차량이 검출되면, 거리 측정 모듈(250)은 검출된 차량 영역에 대응하는 전방 차량과 자기 차량과의 거리를 계산한다(S370). 검출된 전방 차량과의 거리는 인식된 차량 영역의 하단의 이미지 상의 좌표를 IPT 행렬로 실제 거리 좌표계 상의 위치로 변환함으로써 계산할 수 있다. 다만 아다부스트 알고리즘을 이용하여 검출된 차량 영역의 하단은 영상 상의 차량의 바닥 위치와 일치하지 않는 경우가 많다.
도 9를 참고하여 본 발명에 따른 차량 그림자 정보 이용에 대해 설명한다.
도 9는 본 발명에 따른 차량 그림자 정보를 이용한 차량 위치 보정을 설명하기 위해 제공되는 도면이다.
도 9를 참고하면, 도로면이 젖어 있는 환경 등에서 도로상의 차량 그림자는 도 9(a)에 예시된 것처럼 나타나기 때문에 이를 이용해 차량의 밑바닥의 위치를 예측할 수 없다. 따라서 이 그림자 부분을 도 9(b)에서와 같이 필터링 하면 도 9(c)에 나타낸 것과 같이 그림자 영역의 밑 부분이 실제 차량의 바닥 위치와 일치하게 된다. 따라서 전방 차량의 그림자 정보를 이용할 수 있을 경우 이를 이용하여 전방 차량의 위치를 보정하는 것이 바람직하다.
그러면 도 10을 이용하여 전방 차량과 자기 차량과의 거리를 계산하는 단계(S370)에 대해 보다 자세히 설명한다.
도 10은 도 3의 차량 거리 계산 단계를 보다 자세히 나타낸 흐름도이다.
도 10을 참고하면, 먼저 거리 측정 모듈(250)은 그림자 정보의 사용 가능 여부를 판단한다(S371).
그림자 정보를 사용할 수 없는 경우(S371-N), 거리 측정 모듈(250)은 단계(S350)에서 구해진 전방 차량 영역의 하단 중앙부의 좌표를 IPT 행렬로 실제 거리 좌표계 상의 위치로 변환함으로써, 전방 차량과 자기 차량 사이의 거리를 구한다(S373).
한편 그림자 정보를 사용할 수 있는 경우(S371-Y), 그림자 정보를 이용하여 전방 차량의 위치를 보정한다(S375). 그림자 정보는 영상 전처리 모듈(210)에서 구해진 그레이스케일(grayscale) 영상에 대해 히스토그램 평활화를 수행하여 얻어진 결과 영상을 이진화를 함으로써 차량의 그림자 정보를 구할 수 있다. 보다 자세하게는 그레이스케일 이미지에 대해 미리 정해진 밝기를 기준으로 이진화를 하여 어두운 영역과 밝은 영역을 나눌 수 있다. 이렇게 이진화를 통해 분류된 어두운 영역 중에서 차량의 그림자 영역에 대응하는 부분을 제외한 나머지 부분을 필터링한다. 필터링 방법은 가장 작은 차량의 폭이 1.5m 정도 되므로 그림자 폭(어두운 영역)이 1.5m 보다 짧은 경우 필터링을 함으로써 차량의 그림자 영역만을 구할 수 있다. 이렇게 그림자 영역이 구해지면 해당 차량 영역에 대해서는 그림자 영역의 밑 부분을 기준으로 차량 영역의 위치를 보정할 수 있다. 한편 필터링된 그림자 영역의 밑 부분을 찾기 위해서는 검출된 차량 영역의 밑 부분을 기준으로 1/3 만큼의 영역에 대해서 상하로 스캐닝하여 그림자 밑 부분을 구할 수 있다. 이렇게 그림자 영역의 밑 부분이 구해지면 이를 차량 영역의 밑 부분으로 보정한다.
다음으로 보정된 차량 영역의 위치를 기준으로 전방 차량과 자기 차량 사이의 거리를 구한다(S377).
다시 도 3을 참고하면, 전방 차량과의 거리가 구해지면, 경보 모듈(270)은 충돌 경보 조건을 만족하는지 판단한다(S380).
도 11을 참고하여 단계(S380)를 보다 자세히 설명한다.
도 11은 도 3의 차량 충돌 경보 조건 만족 여부를 판단하는 단계를 보다 자세히 나타낸 흐름도이다.
도 11을 참고하면, 먼저 전방 차량이 경보 거리 내에 있는지 판단한다(S381). 그리고 전방 차량이 경보 거리 내에 있는 경우 차선 정보가 유효한지 판단한다(S383).
차선 정보가 유효한 경우(S383-Y), 전방 차량이 동일 차선에 위치하는지 여부에 따라 충돌 경보 조건의 만족 여부를 판단한다(S385). 주행 도로상의 차선 정보를 검출하는 방법에 대해서는 당업자에게 이미 잘 알려져 있으므로, 차선 검출 방법에 대해서는 자세한 설명을 생략한다.
차선 정보가 유효하지 않은 경우(S383-N), 인식된 전방 차량의 폭 기반으로 충돌 조건을 만족하는지 판단한다(S387). 우선 IPT 행렬을 이용하여 인식된 전방의 차량들에 대해서 왼쪽 사이드(xleft)와 오른쪽 사이드(xright) 그리고 가운데(xcenter)의 실제 좌표를 얻는다. 자기 차량의 폭(W)은 사용자로부터 입력받거나 미리 설정되어 있다. 그리고 현재 차량이 직선으로 이동한다고 가정하면 다음 수학식 5와 같은 세 가지 경우가 자기 차량과 전방 차량이 충돌 가능한 상황이 된다.
Figure 112012026238918-pat00048
Figure 112012026238918-pat00049

Figure 112012026238918-pat00050
삭제
삭제
이와 같이, 차선 정보 또는 차량 폭을 이용하여 자기 차량과 전방 차량이 충돌 경보 조건을 만족하는 것으로 판단되면(S380-Y), 경보 모듈(270)은 충돌 경보를 발생한다(S390).
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 차량 충돌 경보 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (18)

  1. 자기 차량에 장착된 카메라 모듈에서 획득된 영상을 적분 영상으로 전처리하는 단계,
    차량 검출 윈도우의 크기를 미리 정해진 범위 내에서 조정하면서 상기 적분 영상에 대해서 아다부스트 알고리즘을 적용하여 차량 후보 영역을 검출하는 단계,
    상기 검출된 차량 후보 영역이 유효한 차량 영역인지 여부를 검증하는 단계,
    상기 검증된 유효한 차량 영역에 대해 클러스터링을 수행하여 전방 차량에 대응하는 차량 영역을 결정하는 단계,
    상기 결정된 차량 영역을 이용하여 상기 전방 차량과 상기 자기 차량과의 거리를 구하는 단계,
    상기 전방 차량과 상기 자기 차량의 거리가 미리 정해진 기준 이하인 경우 차량 충돌 경보 조건을 판단하는 단계, 그리고
    상기 차량 충돌 경보 조건을 만족하는 경우 차량 충돌 경보를 발생하는 단계
    를 포함하고,
    상기 차량 검출 윈도우 크기의 범위는 상기 적분 영상 상의 위치에 따른 검출 대상 차량의 가능한 영상 폭을 기초로 구해지며,
    상기 검출된 차량 후보 영역 내에 좌우의 수직 에지 및 하단의 수평 에지가 모두 검출되면, 상기 검출된 차량 후보 영역이 유효한 것으로 판단하는 차량 충돌 경보 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에서,
    상기 결정된 차량 영역에 대응하는 그림자 영역을 구하는 단계, 그리고
    상기 그림자 영역을 이용하여 상기 결정된 차량 영역에 대응하는 전방 차량의 위치를 보정하는 단계
    를 더 포함하고,
    상기 그림자 영역은,
    상기 카메라 모듈에서 획득된 영상의 그레이스케일(grayscale) 영상에 대해서 히스토그램 평활화를 수행하여 얻어진 결과 영상을 이진화하고, 상기 이진화를 통해 분류된 어두운 영역 중에서 폭이 일정 기준보다 짧은 영역을 필터링함으로써 구해지는 차량 충돌 경보 방법.
  5. 삭제
  6. 제 4 항에서,
    상기 구해진 그림자 영역의 밑 부분을 기준으로 상기 자기 차량과 상기 전방 차량의 거리를 구하는 차량 충돌 경보 방법.
  7. 제 1 항에서,
    상기 결정된 차량 영역에 대응하는 그림자 영역이 구해지지 않는 경우, 상기 결정된 차량 영역의 하단 중앙부를 기준으로 상기 자기 차량과 상기 전방 차량의 거리를 구하는 차량 충돌 경보 방법.
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 자기 차량과 상기 전방 차량의 거리가 미리 정해진 기준 이하인 경우 차량 충돌 경보 조건 만족 여부를 판단하는 차량 충돌 경보 방법.
  9. 제 8 항에서,
    상기 전방 차량과 상기 자기 차량이 동일 차선에 있거나,
    다음 수학식
    Figure 112012026238918-pat00051

    Figure 112012026238918-pat00052

    Figure 112012026238918-pat00053

    을 만족하면, 상기 차량 충돌 경보 조건을 만족하는 것으로 판단하되, 여기서, xleft, xright, xcenter는 상기 전방 차량의 왼쪽 사이드, 오른쪽 사이드 및 가운데의 실제 좌표이고, W는 상기 자기 차량의 폭인 차량 충돌 경보 방법.
  10. 자기 차량에 장착된 카메라 모듈에서 획득된 영상을 적분 영상으로 전처리하는 영상 전처리 모듈,
    차량 검출 윈도우의 크기를 미리 정해진 범위 내에서 조정하면서 상기 적분 영상에 대해서 아다부스트 알고리즘을 적용하여 차량 후보 영역을 검출하고, 상기 검출된 차량 후보 영역이 유효한 차량 영역인지 여부를 검증하며, 상기 검증된 유효한 차량 영역에 대해 클러스터링을 수행하여 전방 차량에 대응하는 차량 영역을 결정하는 차량 검출 모듈,
    상기 결정된 차량 영역을 이용하여 상기 전방 차량과 상기 자기 차량과의 거리를 구하는 거리 측정 모듈, 그리고
    상기 전방 차량과 상기 자기 차량의 거리가 미리 정해진 기준 이하인 경우 차량 충돌 경보 조건을 판단하고, 상기 차량 충돌 경보 조건을 만족하는 경우 차량 충돌 경보를 발생하는 경보 모듈
    을 포함하고,
    상기 차량 검출 윈도우 크기의 범위는 상기 적분 영상 상의 위치에 따른 검출 대상 차량의 가능한 영상 폭을 기초로 구해지며,
    상기 검출된 차량 후보 영역 내에 좌우의 수직 에지 및 하단의 수평 에지가 모두 검출되면, 상기 검출된 차량 후보 영역이 유효한 것으로 판단하는 차량 충돌 경보 시스템.
  11. 삭제
  12. 삭제
  13. 제 10 항에서,
    상기 거리 측정 모듈은,
    상기 결정된 차량 영역에 대응하는 그림자 영역을 구하고, 상기 그림자 영역을 이용하여 상기 결정된 차량 영역에 대응하는 전방 차량의 위치를 보정하고,
    상기 그림자 영역은,
    상기 카메라 모듈에서 획득된 영상의 그레이스케일(grayscale) 영상에 대해서 히스토그램 평활화를 수행하여 얻어진 결과 영상을 이진화하고, 상기 이진화를 통해 분류된 어두운 영역 중에서 폭이 일정 기준보다 짧은 영역을 필터링함으로써 구해지는 차량 충돌 경보 시스템.
  14. 삭제
  15. 제 13 항에서,
    상기 구해진 그림자 영역의 밑 부분을 기준으로 상기 자기 차량과 상기 전방 차량의 거리를 구하는 차량 충돌 경보 시스템.
  16. 제 10 항에서,
    상기 결정된 차량 영역에 대응하는 그림자 영역이 구해지지 않는 경우, 상기 결정된 차량 영역의 하단 중앙부를 기준으로 상기 자기 차량과 상기 전방 차량의 거리를 구하는 차량 충돌 경보 시스템.
  17. 제 15 항 또는 제 16 항에 있어서,
    상기 자기 차량과 상기 전방 차량의 거리가 미리 정해진 기준 이하인 경우 차량 충돌 경보 조건 만족 여부를 판단하는 차량 충돌 경보 시스템.
  18. 제 17 항에서,
    상기 전방 차량과 상기 자기 차량이 동일 차선에 있거나,
    다음 수학식
    Figure 112012026238918-pat00054

    Figure 112012026238918-pat00055

    Figure 112012026238918-pat00056

    을 만족하면, 상기 차량 충돌 경보 조건을 만족하는 것으로 판단하되, 여기서, xleft, xright, xcenter는 상기 전방 차량의 왼쪽 사이드, 오른쪽 사이드 및 가운데의 실제 좌표이고, W는 상기 자기 차량의 폭인 차량 충돌 경보 시스템.
KR20100069538A 2010-07-19 2010-07-19 차량 충돌 경보 시스템 및 방법 KR101178508B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20100069538A KR101178508B1 (ko) 2010-07-19 2010-07-19 차량 충돌 경보 시스템 및 방법
PCT/KR2011/005292 WO2012011715A2 (ko) 2010-07-19 2011-07-19 차량 충돌 경보 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20100069538A KR101178508B1 (ko) 2010-07-19 2010-07-19 차량 충돌 경보 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20120009591A KR20120009591A (ko) 2012-02-02
KR101178508B1 true KR101178508B1 (ko) 2012-09-07

Family

ID=45497283

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20100069538A KR101178508B1 (ko) 2010-07-19 2010-07-19 차량 충돌 경보 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101178508B1 (ko)
WO (1) WO2012011715A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180011976A (ko) 2016-07-26 2018-02-05 경성대학교 산학협력단 롤러 주변의 장애물 감지 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101464489B1 (ko) * 2013-05-24 2014-11-25 모본주식회사 영상 인식 기반의 차량 접근 장애물 감지 방법 및 시스템
KR102016549B1 (ko) * 2014-01-13 2019-08-30 한화디펜스 주식회사 차량 및 차선 위치 검출 시스템 및 방법
CN104021379B (zh) * 2014-06-09 2017-04-19 北京航空航天大学 一种车辆辅助驾驶中车辆间距的计算方法
KR101665340B1 (ko) * 2015-01-28 2016-10-13 한국기술교육대학교 산학협력단 전방 장애물 감지 장치
CN108974018B (zh) * 2018-08-31 2023-06-16 辽宁工业大学 一种基于机器视觉的汽车前向防碰撞预警监测方法
CN109859526B (zh) * 2019-01-18 2022-04-01 长安大学 一种超车时前方目标车辆运动姿态实时观测装置及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4707067B2 (ja) * 2006-06-30 2011-06-22 本田技研工業株式会社 障害物判別装置
KR101180621B1 (ko) * 2006-07-06 2012-09-06 포항공과대학교 산학협력단 차량 검출 방법 및 장치
KR101205565B1 (ko) * 2008-01-29 2012-11-27 주식회사 만도 영상을 이용한 전후방 차량 검출 방법
JP5283967B2 (ja) * 2008-05-14 2013-09-04 日立オートモティブシステムズ株式会社 車載用物体検知装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180011976A (ko) 2016-07-26 2018-02-05 경성대학교 산학협력단 롤러 주변의 장애물 감지 방법

Also Published As

Publication number Publication date
KR20120009591A (ko) 2012-02-02
WO2012011715A3 (ko) 2012-05-10
WO2012011715A2 (ko) 2012-01-26

Similar Documents

Publication Publication Date Title
KR102441085B1 (ko) 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
KR101178508B1 (ko) 차량 충돌 경보 시스템 및 방법
US10521676B2 (en) Lane detection device, lane departure determination device, lane detection method and lane departure determination method
US8731244B2 (en) Systems and methods for improving image recognition
US8599257B2 (en) Vehicle detection device, vehicle detection method, and vehicle detection program
US9384401B2 (en) Method for fog detection
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
JP6662388B2 (ja) 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム
JP4872769B2 (ja) 路面判別装置および路面判別方法
KR20110001427A (ko) 관심영역 추출에 의한 차선 고속검출 방법
JP2018063680A (ja) 交通信号認識方法および交通信号認識装置
EP2741234B1 (en) Object localization using vertical symmetry
KR20110131678A (ko) 지능형 운송 시스템의 도로 및 차선 검출 시스템 및 방법
JP6678552B2 (ja) 車種判別装置および車種判別方法
JPWO2017145634A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
KR101268282B1 (ko) 차량용 내비게이션의 차선 이탈 알림 시스템 및 방법
KR101239718B1 (ko) 차량 주변 물체 검출 시스템 및 방법
CN108052921B (zh) 一种车道线检测方法、装置及终端
CN108629225B (zh) 一种基于多幅子图与图像显著性分析的车辆检测方法
US20170358089A1 (en) Object identifying apparatus
JP7264428B2 (ja) 道路標識認識装置及びそのプログラム
KR20090083184A (ko) 영상을 이용한 전후방 차량 검출 방법
KR101371875B1 (ko) 스테레오 비전을 이용한 차량검출과 차간거리 산출 방법 및 그 장치
KR102629639B1 (ko) 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법
KR102039814B1 (ko) 측후방 차량 검출 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160810

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170824

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190808

Year of fee payment: 8