KR20130058286A - 보행자 검출기의 보행자 검출 방법 - Google Patents

Abstract

본 발명은 보행자 검출기의 보행자 검출 방법에 관한 것으로, 디지털 영상 장치로부터 영상을 취득하고 전역 검색 방법을 통해 탐색 윈도우 블록화를 수행하는 단계; 사전 학습 분류기에서 결정한 블록으로부터 특정 블록을 선택하고 특정 벡터를 산출하는 단계; 상기 산출한 특징 벡터를 이용하여 SVM 반응값을 계산하고, 상기 SVM 반응값을 특징값으로 하여 1차 물체 판정을 수행하는 단계; 및 상기 1차 물체 판정 결과 보행자로 판정되면 해당 탐색 윈도우 영역에 대해 2차 물체 판정을 수행하는 단계를 포함한다. 본 발명은 많은 수의 탐색 윈도우를 제거한 후에 높은 정밀도를 가지는 2차 분류기를 적용하여 보행자를 최종 검출하기 때문에, 물체 검출율과 정확도를 유지하면서,복잡도가 낮고 전력 소모가 적은 검출 동작을 수행할 수 있다.

Description

보행자 검출기의 보행자 검출 방법{PEDESTRIAN DETECTION METHOD OF PEDESTRIAN DETECTION DEVICE}

본 발명은 보행자 검출기에 관한 것으로, 좀 더 구체적으로는 선택적 블록 기반의 보행자 검출기의 보행자 검출 방법에 관한 것이다.

종래의 디지털 영상에 기반한 물체 검출 기술은 물체 영역을 찾아내기 위하여 영상의 색상이나 휘도 정보를 이용하고 있다. 그러나 종래 기술은 검출 환경, 물체의 색상 등에 민감하여 안정적인 검출 결과를 얻기 어려운 문제점이 있다.

또한, 종래에는 사전에 정의된 관심 객체의 윤곽 정보를 이용하여 인체나 차량 등의 물체를 검출하는 기술이 사용되고 있다. 예를 들어, 영상의 화소들에 대해 화소 기울기의 방향과 크기를 계산하여 기울기 영상을 도출하고 기울기 영상을 일정 구역으로 나누어 HOG(Histogram of the Oriented Gradient)를 산출한다. 산출한 HOG를 특징 벡터로 하는 기계 학습 알고리즘으로 물체 영역을 검출한다.

이러한 기술에 의하면, 물체를 검출함에 있어서 디지털 영상 획득 장치로부터 얻어진 입력 영상의 전 범위를 영상의 좌 상단에서 우 하단 방향으로 순차적으로 조사하여 물체를 검출하는 전역 검색 방법을 활용하기 때문에, 검출 과정의 복잡도가 높아 계산 시간이 많이 소요되는 문제점이 있다.

본 발명은 상술한 기술적 문제를 해결하기 위해 제안된 것으로, 본 발명의 목적은 검출 과정의 복잡도를 줄일 수 있고 보행자의 검출 속도를 빠르게 할 수 있는 보행자 검출기의 보행자 검출 방법을 제공하는 데 있다.

본 발명은 보행자 검출기의 보행자 검출 방법에 관한 것으로, 디지털 영상 장치로부터 영상을 취득하고 전역 검색 방법을 통해 탐색 윈도우 블록화를 수행하는 단계; 사전 학습 분류기에서 결정한 블록으로부터 특정 블록을 선택하고 특정 벡터를 산출하는 단계; 상기 산출한 특징 벡터를 이용하여 SVM 반응값을 계산하고, 상기 SVM 반응값을 특징값으로 하여 1차 물체 판정을 수행하는 단계; 및 상기 1차 물체 판정 결과 보행자로 판정되면 해당 탐색 윈도우 영역에 대해 2차 물체 판정을 수행하는 단계를 포함한다.

본 발명은 많은 수의 탐색 윈도우를 제거한 후에 높은 정밀도를 가지는 2차 분류기를 적용하여 보행자를 최종 검출하기 때문에, 물체 검출율과 정확도를 유지하면서,복잡도가 낮고 전력 소모가 적은 검출 동작을 수행할 수 있다.

도 1은 본 발명의 실시 예에 따른 보행자 검출기의 사전 학습 분류기의 구성 및 동작 방법을 설명하기 위한 블록도이다.
도 2는 본 발명의 실시 예에 따른 보행자 검출기의 검출 방법을 보여주는 블록도이다.
도 3은 도 1에 도시된 사전 학습 분류기 생성 과정에서 1차 분류기를 구성하는 N개의 블록을 나타낸 사진이다.
도 4는 지정한 블록의 개수에 따른 물체의 속도 향상 정도를 나타내는 도표이다.
도 5는 본 발명의 보행자 검출기의 검출 성능을 보여주는 그래프이다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명한다.

보행자 검출기는 입력 영상으로부터 특징 벡터를 얻는 추출 부분과 기계 학습 알고리즘으로 보행자 영역을 판단하는 분류 부분을 포함한다. 분류 부분에서 주로 사용되는 SVM(Support Vector Machine)은 학습 데이터인 양성 데이터(positive data)와 음성 데이터(negative data) 사이의 거리를 구하고, 그 가운데에서 마진(margin)이 최대가 되는 최적의 초평면(hyperplane)을 산출하여 판단하는 알고리즘이다.

특정 벡터로 HOG(Histograms of Oriented Gradients)를 사용하고 분류기로 SVM을 사용하는 기존의 보행자 검출 알고리즘은 높은 검출 성능을 보여주지만, 많은 계산량으로 인해 수행 속도가 느리기 때문에 실시간 검출이 요구되는 시스템에 적용하기에는 무리가 따른다.

본 발명은 보행자 검출의 속도를 빠르게 할 수 있는 보행자 검출기에 관한 것으로, 종래에는 검색 윈도우 전체에 대하여 검출 과정을 수행하지만, 본 발명은 특정 블록 영역에 대해서만 계산 과정을 수행하고 Adaboost 기법을 이용한다. Adaboost의 결과가 양성(true)인 경우에는 종래의 HOG-SVM 알고리즘을 전체 영역에서 다시 수행하고, 음성(false)인 경우에는 배경 영역으로 판단한다.

도 1은 본 발명의 실시 예에 따른 보행자 검출기의 사전 학습 분류기의 구성 및 동작 방법을 설명하기 위한 블록도이다. 종래에는 K개의 블록에 대하여 특징 벡터를 산출하는 반면, 본 발명은 선택적으로 N(N≤K)개의 블록만을 추출하여 빠른 연산을 수행하고 전력 소모도 줄여준다. 본 발명은 물체 검출율 및 정확도는 일정 수준으로 유지하면서, 고속 저전력으로 보행자를 검출할 수 있다.

이를 위해서는 본 발명은 2가지 분류기를 사전에 학습할 필요가 있다. 도 1을 참조하면, 보행자 검출기의 사전 학습 분류기(100)는 전체 영상 블록들 가운데 1차 물체 판정을 위해 우선적으로 필요한 블록을 선택하는 학습 과정과 2차 물체 판정을 위한 SVM 분류기를 학습하기 위한 과정으로 구성된다.

도 1에서 사전 학습 데이터(110)는 보행자 영상을 저장한 여러 개의 양성 데이터(positive data)와 보행자가 아닌 영상을 저장한 여러 개의 음성 데이터(negative data)로 이루어져 있다. 이러한 사전 학습 데이터(100)를 이용해 물체 검출 분류기인 HOG-SVM 분류기를 생성(120)한다. 이렇게 생성된 분류기(120)는 2차 분류기로 저장(130)된다.

1차 분류기 생성(180)을 위해 저장된 2차 분류기(130)는 사전 학습 데이터(110)에 적용된다. 2차 분류기가 적용(140)된 학습 데이터는 각각의 영상마다 SVM 반응값 f(x)을 가진다. 또한, 이 반응값은 다음의 수학식 1에 의해 영상을 구성하는 블록마다의 값 f_i(β_i)으로 나눌 수 있다.

수학식 1에서 w는 선형 SVM의 가중치 벡터를 나타내며, β는 상수 바이어스(bias)를 나타낸다. β_i는 탐색 윈도우(window) 영역을 K개의 블록으로 나눴을 때 각 블록의 특징 벡터를 나타낸다.

이와 같이 블록마다 얻은 SVM 반응값(150)을 전체 K개의 블록들 가운데 N개 (N ≤K)의 블록을 선택하기 위하여 특징값으로 활용한다. 즉, 각각의 블록마다 갖는 SVM 반응값 f_i(β_i)는 하나의 약한 분류기에서 사용되는 특징 값이 되며, AdaBoost 학습(160)을 통해 K개의 블록 가운데 N개의 블록을 선택(170)한다. 이와 같이 선택된 N개의 블록은 AdaBoost 기법의 강한 분류기를 구성하며, 시스템에서 1차 분류기로 활용된다.

위와 같이 1차 분류기와 2차 분류기로 구성된 사전 학습 분류기(190)를 이용하여 실제로 물체를 검출하는 단계에서는 도 2과 같은 순서로 검출 작업이 진행된다. 도 2는 본 발명의 실시 예에 따른 보행자 검출기의 검출 방법을 보여주는 블록도이다.

디지털 영상 획득 장치로부터 얻어진 입력 영상(210)에 대해서 영상의 전 범위를 영상의 좌 상단에서 우 하단 방향으로 순차적으로 조사하여 물체를 검출한다. 이러한 전역 검색 방법을 통해 탐색 윈도우(window) 영역을 지정한다(220). 이때 탐색 윈도우 영역의 크기는 예를 들어 64x128이다. 취득한 영상을 여러 단계의 해상도를 가지는 영상 피라미드(pyramid)를 구성하여 모든 해상도에 대해서 탐색 윈도우를 적용한다. 이렇게 얻은 탐색 윈도우 영역을 K개의 16x16 크기를 갖는 블록으로 블록화하여 처리한다.

탐색 윈도우 영역 내의 K개의 블록(240) 가운데 1차 분류기를 적용하는 과정에서는 사전 학습 분류기(230)에서 결정한 N개의 블록에서 HOG 특징 벡터를 산출한다(250). 산출한 특징 벡터를 이용해 N개의 블록에 대한 SVM 반응값을 계산(260)한다. 이 반응값을 특징값으로 하여 1차 분류기인 AdaBoost 기법의 강한 분류기에 적용하여 1차 물체 판정(270)을 수행한다. 1차 물체 판정 결과 보행자가 아닌 것으로 판정되면 해당 탐색 윈도우 영역은 물체가 아닌 영역으로 최종 판정(290)된다.

반면에 1차 물체 판정(270) 결과 보행자로 판정되면 해당 탐색 윈도우 영역은 2차 물체 판정(280)에 적용된다. 2차 물체 판정(280) 과정은 사전 학습 분류기의 2차 분류기를 통해 이루어진다. 2차 분류기를 적용하기 위해서 탐색 영역 내의 K개의 모든 블록에 대한 HOG 특징 벡터를 활용한다.

1차 물체 판정(270) 과정에서 N개의 블록에 대한 HOG 특징 벡터를 추출하였으므로, 여기서는 (K-N)개의 블록에 대해서만 벡터를 생성하게 된다. 이미 1차 물체 판정(270)을 통해 많은 수의 탐색 영역이 보행자가 아닌 것으로 판정되었기 때문에 분류 소요 시간이 상대적으로 오래 걸리는 2차 물체 판정(280)이 적용되는 탐색 윈도우 영역의 개수는 줄어들어 분류 속도가 향상될 수 있다.

2차 물체 판정(280)인 HOG-SVM 분류기가 적용된 후에는 최종적으로 물체 판정이 확정되며 판정 결과를 출력(290)함으로써 물체 검출 작업이 완료된다.

도 3은 도 1에 도시된 사전 학습 분류기 생성 과정에서 1차 분류기를 구성하는 N개의 블록을 나타낸 사진이다. 도 3은 하나의 탐색 윈도우 영역에서 K가 105개 일 때, N개를 각각 30개, 20개, 그리고 10개로 지정했을 때 선택된 블록을 초록색 사각형으로 표시한 것이다.

도 3에서 보는 바와 같이, 선택된 블록의 위치는 보행자의 특징을 잘 표현하는 블록인 경우가 많다. 특히, N = 10인 경우 보행자의 머리, 어깨, 그리고 다리 부분에 해당하는 블록이 선택되는 것을 확인할 수 있다. 위와 같이 선택적으로 N개의 블록만을 고려하여 탐색 윈도우 영역을 1차적으로 분류함으로써 보행자가 아닐 확률이 높은 탐색 윈도우를 제거할 수 있다.

본 발명은 많은 수의 탐색 윈도우를 제거한 후에 높은 정밀도를 가지는 2차 분류기를 적용하여 보행자를 최종 검출하기 때문에, 물체 검출율과 정확도를 유지하면서,복잡도가 낮고 전력 소모가 적은 검출 동작을 수행할 수 있다. 본 발명은 물체 검출 방식의 검출율 및 정확도를 일정 수준으로 유지하면서, 물체 검출 속도를 최대 4.5배까지 향상시킬 수 있다.

도 4는 지정한 블록의 개수에 따른 물체의 속도 향상 정도를 나타내는 도표이다. 도 4를 참조하면, HOG-SVM은 438.6s의 총 연산 시간을 갖는다. 반면에, 본 발명의 Adaboost 약한 분류기는 N=30인 경우에는 191.1s의 총 연산 시간을 갖는다. 즉, 기존 대비 연산 시간 비율은 43.6%이고 속도는 약 2.3배 향상된다. Adaboost 약한 분류기는 N=10인 경우에는 108.4s 총 연산 시간을 갖고, 속도가 약 4.1배 향상된다. 그리고 N=7인 경우에는 97.9s 총 연산 시간을 갖고 4.5배 속도가 향상된다.

도 5는 본 발명의 보행자 검출기의 검출 성능을 보여주는 그래프이다. 도 5는 종래의 HOG-SVM과 비교한 FPPW(False Positive Per Window)를 보여준다. 본 발명의 실시 예에 따른 보행자 검출기는 Adaboost 검출 단계에서는 약한 분류기로 선택된 7개, 10개, 30개의 블록들을 사용하여 실험하였고, 종래 알고리즘과 비교하였을 때, 10^-4 FPPW에서 0.5% 정도의 검출 성능 차이를 보였다.

본 발명의 실시 예에 따른 보행자 검출기는 첫째로, 검색 윈도우 전체에서 검출 과정을 수행하지 않고 선택된 특정 블록만을 검출 과정을 수행하는 것으로 속도를 향상시킨다. 다만, 특정 블록만을 이용한 검출 과정은 검출 성능이 기존 알고리즘에 비해 낮으므로, Adaboost 검출 과정에서 양성(positive)라고 판단된 검색 윈도우에 대해서만 전체 블록을 이용한 종래 알고리즘을 다시 한 번 수행하여 검출 성능을 유지한다.

둘째로, 보행자 검출에 입력되는 영상은 배경이 많은 영역을 차지하고 보행자에 해당하는 영역은 매우 적다. 그러므로 특정 블록만 검출 과정을 수행하는 Adaboost 검출 단계에서 배경에 해당하는 많은 수의 검색 윈도우가 음성(negative)로 판단되어 더 이상 검출 과정을 수행하지 않아 속도를 향상시킨다.

본 발명의 범위 또는 기술적 사상을 벗어나지 않고 본 발명의 구조가 다양하게 수정되거나 변경될 수 있음은 이 분야에 숙련된 자들에게 자명하다. 상술한 내용을 고려하여 볼 때, 만약 본 발명의 수정 및 변경이 아래의 청구항들 및 동등물의 범주 내에 속한다면, 본 발명이 이 발명의 변경 및 수정을 포함하는 것으로 여겨진다.

Claims (1)

1. 보행자 검출기의 보행자 검출 방법에 있어서:
   디지털 영상 장치로부터 영상을 취득하고 전역 검색 방법을 통해 탐색 윈도우 블록화를 수행하는 단계;
   사전 학습 분류기에서 결정한 블록으로부터 특정 블록을 선택하고 특정 벡터를 산출하는 단계;
   상기 산출한 특징 벡터를 이용하여 SVM 반응값을 계산하고, 상기 SVM 반응값을 특징값으로 하여 1차 물체 판정을 수행하는 단계;
   상기 1차 물체 판정 결과 보행자로 판정되면 해당 탐색 윈도우 영역에 대해 2차 물체 판정을 수행하는 단계를 포함하는 보행자 검출 방법.

Images