KR100439676B1 - 광 영역 차량 추적식 영상 검지 시스템. - Google Patents

Abstract

본 발명은 영상정보에 기반한 차량 추적 방식에 의해서 교통 정보를 획득하는 영상검지기에 관한 것으로써 카메라 시야각내의 전 영역에서 움직이는 개별적인 차량을 검지하고 지능적으로 추적하여 해당 차량이 검지영역을 통과 할 때 속도, 통행량등 교통 흐름정보를 수집하여 교통관제센타에 전송하는 장치이다. 또한 이러한 방식은 기존의 영상식 검지기와는 달리 넓은 영역에서 처리되므로 신뢰성 있는 정보 수집은 물론 차량이동의 전반적인 형태가 파악될 수 있으므로 급격한 차선변경, 다차선 양방향, 차량의 역주형 차량정체 등을 용이하게 검지 하는 특징을 보유하고 있다.

본 발명의 구성요소는 영상취득 장치 와 제어 장치로 구성된 하드웨어부 와 실제적인 알고리듬 처리하는 소프트웨어부로 되어있다.

Description

광 영역 차량 추적식 영상 검지 시스템. {Wide-Area vehicle detection ＆tracking system}

본 발명은 광 영역에서 교통흐름을 감시하고 개별 차량추적을 추적하여 교통정보를 수집하는 영상식 교통정보 수집기로써 기존 영상검지가 여러 교통 상황처리가 어렵고 환경 요인 변화에 따른 신뢰도 저하 등과 같은 문제점을 개선하고자 창출한 것이다.

기존의 루프식 검지기의 대치하는 형태로 개발된 교통 수집 영상검지 시스템은 CCD 카메라로부터 입력되는 영상 속에서 국소 검지영역을 설정하여 그 영역을 통과하는 차량의 유무를 판단하여 교통 흐름정보를 산출한다. 이는 교통영상의 일정의 국소 영역만을 처리하므로 산출된 정보는 국부적으로 제한적이며 검지영역에 그림자가 드리워져 있을 경우와 교통량이 많아 복수의 차량이 존재할 경우 개별 차량의 분리 및 식별이 용이치 않아 교통정보 산출이 어렵다. 또한 조명날씨의 변화 등 다양한 환경 변화에 대처하는데 제한적인 단점을 가지고 있다.

본 발명은 이러한 문제점을 해소하기 위하여 카메라 시야각내의 전 영상을 추적영역으로 설정하고 연속해서 입력되는 영상 열 속에서 움직이는 모든 차량을 검지하고 매 프레임 지능형 추적 처리 기술을 이용하여 개별 차량에 대한 정보를 추출하여 해당 차량이 검지영역을 통과할 때까지 추적하여 교통 정보를 수집하기 때문에 신뢰성 있는 데이터를 산출할 수 있다.

본 발명의 이루고자 하는 기술적 주요 과제를 요약하면 영상취득장치로 입력되는 시변영상에서 움직이는 모든 차량을 검지하기 위한 도로 바닥 배경 생성 및 갱신기술, 악조건에서도 움직이는 개별 차량들을 검지하고 명확한 차량만의 윤곽을 추출하는 기술, 추출된 윤곽 속에서 고유의 특징을 추출하고 이들 특징 정보를 이용하여 차량을 인식하는 기술, 속도 가속도 등 계산하여 움직임 정보와 움직임 예측정보를 산출하고 이들 정보를 윤곽정보와 혼합하여 해당 차량이 검지영역을 통괄 때까지 추적하는 기술, 검지영역을 통과하는 차량들에 개별적으로 속도, 통행량 등교통정보를 산출하는 기술과 실제 현장에서 응용 시 적용 대상지역의 지리적 특성, 기후 특성 및 계절의 변화, 태양의 이동에 따른 조명 조건의 변화 등 다양한 운영조건에서도 지능적으로 대처 할 수 있는 상태적응 등 의 기술들에 대해 발명을 이루고자한다.

도 1은 본 발명을 실현하기 위한 기술적 처리 순서도

도 2는 정확한 차량의 이동정보 획득하고 기하변환을 실시하기 위해 필요한 도로상에 참조 물체간의 거리 정보와 추적 영역을 표시하는 도

도 3은 기하 변환을 실시한 영상위에서 차량의 진행방향, 추적 시작선과 추적 종료선을 표시한 도면

도 4는 그림자 제거 기술을 도시한 도면

도 5는 분리된 차량을 합침하는 기술을 도시한 도면

도 6은 합쳐진 차량들을 분리하는 기술을 도시한 도면

상기 목적을 실현하기 위하여 본 발명은 도1에 나타난 것과 같은 기술적 처리를 통하여 이로워 지며 이를 실현하기 위하여 제어장치와 영상 취득장로 구성된 하드웨어 부와 실제적인 알고리듬을 처리하는 소프트웨어 부로 구성되어있다. 소프트웨어 부는 전처리부, 차량검지부, 차량추적부 및 교통정보 산출부 등 4 부와 이들을 세부적으로 처리하는 9개의 주요 세부 기술로 구성되어있다. 각 부분별 기능과 동작원리를 상세 기술하면 다음과 같다.

하드웨어 부

영상취득장치는 실시간 처리 영상처리 프레임 그래버가 카메라로부터 입력되는 NTSC 아날로그 신호를 실시간으로 디지털화하여 제어부 메모리로 전송하는 장치이다.

제어장치는 영상 취득부로부터 입력된 디지털 영상 정보를 이용하여 세부기술들에 대한 실제 연산을 수행하고 각 부문을 제어하는 신호를 발생하는 장치이다.

소프트웨어 부

전처리 부

도2와 도3의 구성요소에서 보여주듯이 동작에 필요한 제 파라메타를 입력하는 초기설정 장치와 도로의 바닥을 구성하고 있는 화소들의 정보 산출하여 표본이 되는 배경영상을 구하는 도로 배경 생성 및 갱신 기술 구성되어 있다. 또한 도로의 진동 또는 기후조건 등에 의해서 발생되는 카메라의 흔들림으로 인하여 움직임이 심한 영상을 영상안정 기법을 통하여 영상을 안정화는 기술도 포함하고 있다.

초기설정 기술

초기 시스템 동작시 한 프레임의 정지화상을 제어부로부터 전송 받아 전송 받은 도로 영상 위에서 차량 추적에 필요한 초기 정보를 입력하는 기술로서 먼저 도 2와 같이 추적시 차량의 이동 정보를 산출하고 기하변환에 필요한 참조물체간의 거리정보 x,y값을 입력한다. 기하변한 후에 도3과 같은 영상위에서 검지영역 설정(E), 차량 진행 방향 표시(↓↑), 차선 영역표시를 점선으로 표시하고 차선을 입력한다.

도로 배경 갱신 기술은 차량영역을 추출하기 위해 현재 입력영상과 배경영상과의 차 영상을 구할 때 연속되는 영상에서 화소의 중간 값을 취하여 표본이 되는 배경영상을 구하는 것으로써 기존의 기술에서는 배경의 평균값을 구해 도로 배경영상을 차량의 정체, 카메라의 흔들림, 그림자, 빗물, 눈 등에 의한 바닥 면의 오염, 빗의 반사 등 조건에 따라 배경이 시시각각 변화는 상황에서 명확한 표준 배경영상을 구하기가 쉽지 않았다.

본 발명에서는 도로의 모든 영상영역을 30개의 블록(6×5)단위로 세분하여 첫 번째 프레임에서는 첫 번째 블록 누적하고, 다음 프레임에서는 두 번째 볼록, 30번째 프레임에서 30번째 블록을 매 초마다 또는 0.5초마다 한 프레임씩 누적하면서 표준배경영상을 취득하고 새로운 표준 배경을 생성한다. 차량이 정체되었을 때 차량이 움직임이 적어 차량이 배경 속에 계속 누적되는 것을 방지하기 위하여 표준영상과 현재 영상을 비교하여 배경영상과 비슷한 영상화소들만을 누적하고 현재 도로에 차량들의 점유 상태를 계산하여 차량과 도로의 비율이 70%이상이면 프레임 누적을 하지 않는다.

차량 검지부

상기와 같은 방법에 의해서 얻어진 표준 배경영상은 먼저 에지 연산자를 이용하여 윤곽을 추출 한 후 아래 설명한 주야간 시간대에 적용되는 임계값을 적용하여 이진화 한 후 현재 입력된 프레임과의 차 영상을 구해 차량을 도로 바닥으로부터 분리하여 한다. 이때 현재 입력된 프레임도 배경영상을 이진화 하는 것과 동일한 방법에 의해서 이진화한다. 분리된 차량의 윤곽 구조로부터 특성을 추출하여 기억한다. 이 기억된 특징들은 차량 추적 시 연속되는 영상 속에서 현재 프레임에서 나타난 차량이 전 프레임에서 추적된 동일 차량인가를 인식하는데 중요한 요소로 이용된다. 두 개의 이진화 영상의 차를 이용하는 방법은 도로상에 있는 차선, 도로바닥의 오염, 가변 설치 물에 의해 생성된 그림자를 최대한 제거하고 차량의 명확한 윤곽만을 추출하기 위해서이다. 마지막으로 검지된 차량 속에서 윤곽 속에서 특징을 추출하여 기억 헌다. 또한 명확한 차영상과 움직임정보를 산출하기 위해서는 왜곡된 도로형상을 카메라 앵글 각과 일치시켜 정사각형 또는 직사각형으로 만들어 주는 기하 변환을 입력되는 영상의 매 프레임에 대하여 실시한다.

기하 변환 기술:

측면 영상의 경우에는 영상의 영역이 수평, 수직이 아닌 사각형 형태를 가지게 되므로 실제적인 도로 좌표 계가 영상 속의 좌표계와 일치하지 않는다. 따라서 매번 입력되는 영상 프레임을 도로에 설치된 참조 물체들의 거리 정보를 이용하여 카메라 앵글 각에 일치시키는 영상변환을 실시하여 영상 좌표 계를 실제 직사각형의 도로 거리 좌표계로 표현하여 영상 속에서 실제 거리를 계산한다. 이 변환된 영상 속에서 개별차량의 움직임 좌표와 움직임 예측 좌표 계를 산출한다.

주/야간 상태 또는 주야간 전이 시간 처리 기술

기존에 사용되던 방법들은 주로 움직임이 없는 고정 영역을 설정하여 그 영역을 분석하는 방법으로 이는 건물이나 가로등의 그림자 등에 의해 잘못된 판단을 할 수가 있다. 본 발명에서는 가로수나 그 외의 차량들의 간섭을 최대한 줄이기 위해 카메라 앵글 보상을 실시 한 후 전체 영역에 대한 도로 바닥 배경 평균 화소 값의 변화량을 매 100프레임마다 판단하여 평균 화소 값에 따라 해당 임계값을 설정적용한다.

야간 차량 검지 및 반사 빛 제거 기술

가로등이 없는 도로에서 야간 차량 검지는 차량의 윤곽에 의한 검지는 용이하지 않으므로 강한 빛의 세기를 갖고있는 헤드라이트의 검지를 함으로서 차량을 검지한다. 차종의 판단은 윤곽을 추출하기 어려우므로 헤드라이트 간 폭의 거리와 도로바닥 과 헤드라이트의 중심점까지의 거리 정보에 의해서 판단한다.

도로에 반사되는 빛은 헤드라이트 빛보다 강한 빛의 세기를 갖지 않고 점진적인 빛의 세기를 갖고 변화하므로 명암값들의 기울기를 측정하여 기울기가 급격한부분을 찾아 제거한다. 차량의 정체 시에는 뒤차의 헤드라이트에 의해 차량의 뒷부분에 밝게 헤드라이트 반사빛이 생기는데, 이것은 강한 에지로 나오는 경우가 많아 차량이 2대로 검출되는 경우가 있다. 이는 차량들의 위치 좌표와 크기들의 상관을 비교하여 분리 정합한다.

전이시간 차량 검지 기술

전이시간의 특징은 도로배경과 차량의 형상은 점차 어두워져 검정 차량에 대하여는 도로 배경과 차이가 적어 이들 차량에 대한 검지가 용이하지 않다. 또한 일부 차량들은 헤드라이트를 켜고 다니므로 반사 빛이 생긴다. 따라서 전이시간엔 주/야간시간대 검지 기술을 혼합 사용한다. 야간 검지 기술을 사용하여 차량 전조등을 찾아내고 주간 검지 기술에 의해서 차량 후미 부분을 찾아 비교 통합하여 차량의 영역을 찾는다.

차량 추적부

차량의 추적은 진행 방향, 표적의 속도, 가속도 등 움직임 정보를 찾아 현재의 위치에서 다음 프레임에서 차량의 위치를 예측하는 과정을 통해서 차량을 추출하고 미리 등록하고 있는 해당차량의 형상에 대한 윤곽 정보와 대조하는 인식 기술을 통하여 동일 차량여부를 판단하고 해당차량이 검지영역을 통과 할 때까지 계속된다.

그러나 차량을 인식하기 위해서는 명확한 차량의 윤곽 정보에 의해서 이루어져야 하는데 빛이나 그림자 인해 차량의 일부분만 추출되고 또는 분리되고 정체 시, 하루시간대에 따른 조명의 변화, 그림자/전조등 도로 바닥 정보의 변화 등에의해서 차량이 영상 속에서 겹침 현상이 발생하거나 하나의 차량이 여러 개의 차량으로 분리된다. 따라서 겹침 현상이 발생된 차량들은 각기 분리하고 분리된 차량에 대하여는 결합하여 완전한 형상으로 만들어준다.

그림자 제거 기술

그림자의 형상은 검지 된 모든 개별 차량에 대하여 화소 값의 빈도수를 수평 및 수직 방향으로 검사하여 수평 또는 수직의 폭이 계속 일정 level이하인 분포를 가지는 지점을 찾아 급경사 부분을 제거한다. 윤곽의 경계는 하고 차량의 내적 구조와 그림자의 차량의 내적 구조에 따라 차량의 윤곽들은 오밀조밀 모여있는데 반해 그림자는 낮은 히스토그램을 분포를 보이므로 그림자와 차량을 구별할 수 있다.

겹쳐진 차량의 분리 기술

분리된 차량의 결합과 반대로 결합된 차량이 분리될 경우가 있다. 먼저 각 차량을 구성하고 있는 윤곽전체 넓이가 차량의 최대치 보다 일정비율이상 큰 차량이 발견되면 가로방향의 폭을 조사하게 되고, 새로 갱신된 결과를 통해 세로방향을 조사하게 된다. 따라서 전체 차량의 폭에 일정 비율이상 못 미치는 지점을 제거함으로써 특징점의 시작/끝 찾기로 증거를 만족하는 부분이 있다면 차량을 분리하여 준다. 도 5는 겹친 차량을 특징점의 시작/끝 찾기로 차량을 분리하는 모습이다.

분리된 차량의 결합 기술

검지영역을 통과하여 움직이는 차량들은 자신의 고유 ID와 속도 및 이에 의한 다음 예측 지점의 좌표값에 대한 정보를 갖고 있다. 따라서 예측 범위 내에 존재하는 분리된 차량들을 분리된 방향, 차량의 크기와 차량 윤곽의 코너 좌표값과같은 조건을 판단하여 합쳐 준다. 도 6은 좌표값(4, 5, 6, 7)을 갖는 차량 특징과, 좌표값(8, 9, 10, 11)을 갖는 차량 특징의 좌표거리와 크기등을 서로 비교하여 (4, 9, 11, 6)의 좌표로 합쳐주는 그림이다.

교통정보 산출부

교통 산출 선에 도착한 차량은 추적이 종료되고 교통 정보들이 아래와 같은 방법에 의해서 산출된다.

교통량

추적 되어온 차량이 추적 영역을 벗어날 때 차량을 계산한다.

속도

차량이 설정된 교통정보 산출 영역에 도달하면 발견 위치, 발견 시

간과 검출영역 도달 위치, 도달 시간으로 속도 V를 계산한다.

전에 주로 사용되던 방법은 가상의 루프에 고정된 길이를 놓고 발견 시간 도착 시간 나간 시간으로 속도를 계산함으로써 차량 두 대가 근접하게 붙어서 루프에 검지되거나 빠져나가면 제대로 된 산출이 어렵고, 차량이 갈라지는 것에서도 잘 파악할수 없다. 이 추적 방법은 언제 어디서 붙었다 떨어져도 그 위치에서부터 추적하여 속도를 검지 할 수 있고, 합쳐지거나 분리되는 차량에 대해서도 추적할 때 추적되어온 정보들을 분석하면서 원래 차량 그대로 산출될 수 있어 교통량 및 속도 검지에 정확한 검지를 할 수 있다.

D : 추적된 거리

T : 추적된 시간

차두 간격

차간거리는 전에 발견된 차량과 현재 발견된 차량간의 거리를 나타낸다.

기존 가상 루프타입의 검지기에서는 전에 발견된 차량이 검출되어 나간 시간부터 현재 시간까지의 시간을 현재 차량의 속도로 생성함으로써 현재 속도에 대한 의존도가 매우 높아 전에 발견된 차량의 속도가 비슷하다면 문제없겠지만 계속 비숫할 수는 없으므로 정확도가 다소 떨어진다. 그러나 추적방법을 사용하여 차두 간격을 구하면 차량이 정체된 구간에서는 거의 정확한 차간거리를 구할 수 있다. 교통정보 산출 영역에 진입하면 뒤에 발견된 차량이 없나 살펴보고 있으면 그 거리를 저장해 놓는다. 없다면 현재 속도와 시간, 위치정보를 저장해 놓는다. 그리고 다음 차량이 발견될 때 거리가 저장되어 있다면 그 거리를 차두 간격으로 사용하고, 속도와 위치정보가 저장되어 있다면 현재 속도와 전의 속도의 평균과 시간차로 거리를 구하고,발견된 위치의 거리차이를 뺌으로써 다소 정확한 차두 간격을 구할 수 있다.

D=d2-d1 --- (차간거리 I)

d1 : 뒤에 발견된 오브젝트

d1 : 현재 발견된 오브젝트

D=(vl+v2)/2x(t1-t2) --- (차간거리 2)

v1 : 전에 발견된 차량의 속도

v2 : 현재 발견된 차량의 속도

t1 : 전에 차량이 발견된 시간

t2 : 현재 차량이 발견된 시간

차종 분류

차종은 승용차/벤, 버스, 소형 트럭, 대형트럭 4 가지로 분류된다.

기존에 차종을 검지하는 방법은 루프검지 영역 뒤쪽으로 대형차 한대만큼의 영역을 이용해 라인이나 픽셀 형태로 에지 성분을 찾아내어 차종을 분류한다. 차량 정체가 심할 때 차량이 가깝게 붙어 다닌다면 제대로 된 분류가 힘들 뿐 아니라 잘못 분류하여 정보수집이 제대로 이뤄지지 않는다. 그러나, 이 추적 방법은 교통정보 산출영역에 진입했을 때 차량의 윤곽 특징으로 차종을 분류한다.

점유율

차량이 존재할 동안의 시간을 일정한 단위 시간 동안 합하여 백분율로 나타낸 것이다. 차량이 검지 되었을 때 이를 계산하여 차량이 빠져나갈 때 시간을 산출하는 방법을 사용한다.

--- (점유율)

이상에서 상술한 바와 같이 영상정보에 기반한 차량 추적 방식에 의해서 카메라 시야각 내로 입력되는 도로 영상의 전체영역을 검지 영역으로 설정하여 검지 영역에 들어오는 모든 개별 차량에 대하여 추적에 필요한 정보를 산출하여 해당 차량이 검지영역을 벗어날 때까지 추적하여 정보를 산출하므로 기존 영상검지의 한계적 요소인 여러 교통 상황처리가 어렵고 환경 요인 변화에 따른 신뢰도 저하 등과 같은 문제점을 개선하였다. 또한 넓은 영역에서 차량의 움직임을 감시하고 추적하여 교통정보를 산출하므로 신뢰성 있는 정보 수집은 물론 차량이동의 전반적인 형태가 파악될 수 있으므로 급격한 차선 변경, 다차선 양방향, 차량의 역주형 차량정체 의 정보를 용이하게 산출하는 특징을 보유하고 있다.

Claims (1)

1. 도 1에 표시된 발명 기술의 처리 순서도에 의거하여 도로 가변에 설치된 CCD 카메라로부터 입력되는 도로의 전체 영상을 검지 영역으로 설정하고 검지영역에 나타나는 모든 차량애 대하여 검지영역을 통과할 때까지 상기 기술한 지능적인 방식으로 추적하여 실시간 교통정보를 산출하는 것을 특징으로 하는 광 영역 차량 추적식 영상 검지 시스템.