KR101733288B1 - 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법 - Google Patents

Abstract

본 발명은 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법을 개시한다. 본 발명의 일 실시예에 따르면, (a) 복수의 영상에서 미리 설정된 사이즈로 객체 영역을 추출하여 복수의 원본 데이터를 획득하는 단계-상기 복수의 영상 각각에 포함된 객체는 동일한 제1 방향을 가짐-; (b) 상기 복수의 원본 데이터 각각을 x, y 및 z축을 기준으로 미리 설정된 각도 범위로 회전시켜 복수의 변형 데이터를 획득하는 단계; (c) 상기 복수의 원본 데이터 및 상기 복수의 변형 데이터를 학습 데이터로 이용하여 상기 제1 방향에 상응하는 객체 검출기를 생성하는 단계; 및 (d) 상기 제1 방향과 다른 제2 방향을 갖는 객체를 포함하는 복수의 영상에 대해 상기 (a) 내지 (c) 단계를 반복 수행하여 상기 제2 방향에 상응하는 객체 검출기를 생성하는 단계를 포함하는 방향정보를 이용한 객체 검출기 생성 방법이 제공된다.

Description

방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법{Object Detecter Generation Method Using Direction Information, Object Detection Method and Apparatus using the same}

본 발명은 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법에 관한 것이다.

도로에서의 객체, 특히 보행자 검출은 보안 및 정보획득을 위한 CCTV를 이용한 시스템과 차량과의 충돌회피를 위한 운전자 보조시스템 등에 활용되고 있다.

객체 검출 과정에서 최초로 수행되는 특징 디자인 및 추출은 보행자의 두드러지는 특징을 잘 표현할 수 있는 모델을 만드는 것으로, 잘 알려진 기법에는 Haar-like features, HOG, 그리고 SIFT 등이 있다.

Haar-like features는 매우 단순한 형태적 기술자들을 조합하여 객체를 찾아내는 방식으로, Wavelet 기법의 일종이다.

Haar-like features 기법은 검출 속도가 매우 빠르다는 장점이 있으나, 데이터를 어떻게 학습시키느냐가 검출기 성능의 중요 요소이고, 많은 학습 데이터와 오랜 학습과정을 필요로 한다는 단점이 있다.

다음으로, HOG 기법은 영상을 일정 크기의 셀로 분할하고, 각 셀마다 에지(Edge) 방향 분포를 계산하여 만든 1차원 벡터를 특징으로 객체를 식별한다. HOG에서 사용되는 영상의 요소인 에지는 영상의 명암의 변화가 두드러지는 부분을 말하며, 영상에서 객체의 윤곽선 정보를 포함할 수 있다는 특징이 있다. 따라서 HOG는 보행자와 같이 고유의 독특한 윤곽선 형태를 갖는 객체를 식별하는데 적절한 특징이며, 밝기의 변화에도 강건하다는 장점이 있다.

반면에 회전이나 형태변화에는 취약하여, 객체의 내부 특징은 단순할수록 좋다는 단점이 있다. 마지막으로, SIFT 기법은 영상에서 에지, 코너 등 쉽게 식별되는 크기와 방향변화에 강건한 특징점들을 선별한 후에 그 점을 중심으로 기술자를 정의하여 특징으로 사용한다. SIFT의 기술자는 객체의 크기변화, 형태변화, 방향변화에 강인하다. 그러나 객체가 가지는 특징점이 객체를 찾고자하는 영상에서 다수의 특징점과 매칭될 수 있다는 문제점이 있다.

상기한 종래기술에 따른 보행자 검출 분야의 일반적인 방법들은 학습에서 보행자를 형태별로 분류하지 않고 한꺼번에 사용하며, 이 경우에 다양한 형태의 보행자들을 하나의 특징 맵으로 형성하게 된다. 따라서 보행자 영역이 일반적인 형태와 다를 경우 검출을 잘하지 못하게 된다. 예를 들어 민감하게 학습된 검출기는 보행자가 아닌 것도 검출하게 되는 문제점을 갖게 되고, 너무 잘 학습된 검출기는 특정 형태에 오버피팅되어 오히려 특정형태 이외에는 검출하지 못하는 문제점을 갖게 된다.

상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 보행자의 다양한 형태변화를 분류하여 인식하는 기법을 통해 객체 검출률을 보다 향상시킬 수 있는 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법을 제안하고자 한다.

상기 목적을 달성하기 위해 본 발명의 일 실시예에 따르면, (a) 복수의 영상에서 미리 설정된 사이즈로 객체 영역을 추출하여 복수의 원본 데이터를 획득하는 단계-상기 복수의 영상 각각에 포함된 객체는 동일한 제1 방향을 가짐-; (b) 상기 복수의 원본 데이터 각각을 x, y 및 z축을 기준으로 미리 설정된 각도 범위로 회전시켜 복수의 변형 데이터를 획득하는 단계; (c) 상기 복수의 원본 데이터 및 상기 복수의 변형 데이터를 학습 데이터로 이용하여 상기 제1 방향에 상응하는 객체 검출기를 생성하는 단계; 및 (d) 상기 제1 방향과 다른 제2 방향을 갖는 객체를 포함하는 복수의 영상에 대해 상기 (a) 내지 (c) 단계를 반복 수행하여 상기 제2 방향에 상응하는 객체 검출기를 생성하는 단계를 포함하는 방향정보를 이용한 객체 검출기 생성 방법이 제공된다.

상기 (b) 단계는 상기 복수의 원본 데이터 각각을 x,y 및 z축을 기준으로 ±_각도로 회전시켜 복수의 변형 데이터를 획득할 수 있다.

상기 (c) 단계는, 상기 복수의 원본 데이터 및 상기 복수의 변형 데이터 각각에서 에지(edge)의 HOG(Histogram Oriented Gradient) 특징을 검출하는 단계; 및 캐스캐이드(Cascade) 기법을 이용한 학습 과정을 통해 상기 제1 방향의 객체 검출기를 생성하는 단계를 포함할 수 있다.

본 발명의 다른 측면에 따르면, 객체 검출 방법으로서, 촬영된 영상을 입력받는 단계; 및 n개의 방향 각각에 대해 생성된 객체 검출기를 적용하여 상기 촬영된 영상에 포함된 객체를 검출하는 단계를 포함하되, 상기 n개의 방향 각각에 대해 생성된 객체 검출기 중 제1 방향에 상응하는 객체 검출기는, 객체 학습 데이터에 해당하는 복수의 영상에서 미리 설정된 사이즈로 객체 영역을 추출하여 획득된 복수의 원본 데이터 및 상기 복수의 원본 데이터 각각을 x, y 및 z축을 기준으로 미리 설정된 각도 범위로 회전시켜 획득된 복수의 변형 데이터를 이용하여 생성되며, 상기 복수의 영상 각각에 포함된 객체는 동일한 제1 방향을 갖는 객체 검출 방법이 제공된다.

본 발명의 또 다른 측면에 따르면, 객체 검출 장치로서, 촬영된 영상을 입력받는 영상 수신부; n개의 방향 각각에 대해 생성된 객체 검출기를 저장하는 메모리; 및 상기 객체 검출기를 적용하여 상기 입력된 영상에 포함된 객체를 검출하는 검출부를 포함하되, 상기 n개의 방향 각각에 대해 생성된 객체 검출기 중 제1 방향에 상응하는 객체 검출기는, 객체 학습 데이터에 해당하는 복수의 영상에서 미리 설정된 사이즈로 객체 영역을 추출하여 획득된 복수의 원본 데이터 및 상기 복수의 원본 데이터 각각을 x, y 및 z축을 기준으로 미리 설정된 각도 범위로 회전시켜 획득된 복수의 변형 데이터를 이용하여 생성되며, 상기 복수의 영상 각각에 포함된 객체는 동일한 제1 방향을 갖는 객체 검출 장치가 제공된다.

본 발명에 따르면, 객체의 다양한 형태변화를 분류하여 인식하는 기법을 통해 객체 검출 시스템의 검출률을 보다 향상되는 장점이 있다.

도 1은 본 발명의 바람직한 일 실시예에 따른 객체 검출기 생성 과정을 도시한 도면이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 객체 검출기 생성에서 통합 검출까지의 과정을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 객체 검출 장치의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 객체 검출기 생성 이후, 입력되는 영상에서 객체(보행자)를 검출하는 과정을 도시한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명은 에지의 방향 분포 특징을 이용하여 객체(보행자) 검출기를 학습할 때 보행자 형태 정보(방향정보)를 기반으로 여러 개의 검출기를 학습시키고, 학습된 검출기를 통합하여 영상에서 보행자를 검출하는 시스템이다.

이는 운전자 보조시스템에서 횡단보도를 건너거나, 보도를 걷는 보행자에 대한 탐지 및 경보를 통해 차량과의 충돌회피를 가능케 한다.

도 1은 본 발명의 바람직한 일 실시예에 따른 객체 검출기 생성 과정을 도시한 도면이다.

본 발명의 일 실시예에 따르면, 영상에 포함된 객체의 방향별로 복수의 객체 검출기를 생성하며, 도 1은 이 중 하나의 방향에 대한 객체 검출기 생성 과정을 도시한 도면이다.

도 1은 영상 분석이 가능하며, 데이터 학습이 가능한 컴퓨팅 장치에서 수행되는 과정이다.

도 1을 참조하면, 복수의 영상에서 미리 설정된 사이즈도 객체 영역을 추출하여 복수의 원본 데이터를 획득한다(단계 100). 여기서, 복수의 영상에 포함된 객체는 동일한 방향(제1 방향)을 가진다.

예를 들어, 본 실시예에서 객체 검출은 보행자 검출일 수 있고, 보행 방향에 따라 복수의 검출기를 생성할 수 있다. 또한, 보행 방향은 전, 후, 좌 및 우 방향일 수 있으며, 전방 방향은 보행자가 영상에서 정면을 바라보는 상태이며, 후방 방향은 보행자의 등이 보이는 상태, 좌측 방향은 보행자의 왼쪽, 우측 방향은 보행자의 오른쪽이 보이는 상태로 정의될 수 있다.

또한, 단계 100에서 객체 영역은 소정 사이즈의 픽셀로 정의될 수 있다.

이후, 복수의 원본 데이터 각각을 x, y 및 z축을 기준으로 소정 각도 범위로 회전시켜 복수의 변형 데이터를 획득한다(단계 102).

바람직하게, 각도는

일 수 있으며,

는 5 내지 50˚ 범위를 가질 수 있다. 보다 바람직하게,

는 10˚일 수 있다.

상기한 원본 데이터 및 변형 데이터가 객체 검출기 생성을 위한 학습 데이터로 정의된다.

다음으로, 원본 데이터 및 변형 데이터를 이용하여 제1 방향에 대한 객체 검출기를 생성한다(단계 104).

단계 104는 복수의 원본 데이터 및 상기 복수의 변형 데이터 각각에서 에지(edge)의 HOG(Histogram Oriented Gradient) 특징을 검출하는 단계 및 캐스캐이드(Cascade) 기법을 이용한 학습 과정을 통해 상기 제1 방향의 객체 검출기를 생성하는 단계를 포함할 수 있다.

HOG 특징 검출에 있어서, 그 각각의 객체 영역을 학습 데이터 모두에 적용하여 유사도를 계산한다.

이처럼 하나의 방향에 대한 객체 검출기를 생성한 이후, 제2 방향에 대해서 단계 100 내지 104를 반복 수행한다.

상기한 바와 같이, 방향정보가 전, 후, 좌, 우로 결정되는 경우, 객체 검출기는 4개의 방향에 대해 독립적으로 생성될 수 있다.

도 2는 본 발명의 바람직한 일 실시예에 따른 객체 검출기 생성에서 통합 검출까지의 과정을 도시한 도면이다.

도 2를 참조하면, 학습 데이터 셋에서 Cascade 학습까지의 과정은 복수의 방향에 대해 복수의 객체 검출기를 생성하고, 복수의 객체 검출기를 이용하여 입력된 영상에 대한 통합 검출 과정을 수행한다.

도 2의 객체 검출기는 통상의 컴퓨팅 장치에서 생성되며, 통합 검출 과정은 운전자 보조 시스템일 수 있다.

이하에서는 도 2를 통해 객체 검출기 생성 과정에 대한 실시예를 상세하게 설명한다.

(1) 학습 데이터(원본 데이터) 구성

학습 데이터 구성을 위해, 먼저 Daimler의 보행자 학습 데이터를 전, 후, 좌, 우의 네 가지로 구분하였으며, 학습에 사용되는 데이터의 수는 4개의 방향 각각에 대해 동일하게 500개를 사용하였다.

배경에 대한 영향을 최소화하기 위해, 49×96 사이즈의 데이터에서 중간의 40×80 픽셀을 추출하였다. 여기서, 추출된 픽셀이 보행자가 위치하는 객체 영역으로 정의될 수 있다.

(2) 방향 변형

방향 변형에 강건한 검출기를 생성하기 위해, 추출된 원본 데이터를 변형하는 과정을 수행한다.

방향 변형은 xy 평면으로 정의했을 때, x, y, z축 각각의 방향에 ＋, － 변형을 하여 하나의 원본 데이터에 대해 6개의 변형 데이터를 추가 생성한다. 하나의 방향에 대해 3,500개의 데이터를 구성한다.

(3) 특징 추출 및 분류

본 실시예에서는 특징 추출 및 분류를 위해, HOG cascade 방식을 사용한다.

우선, 원본 데이터 및 변형 데이터를 포함하는 학습 데이터를 다양한 크기와 위치의 블록으로 분할한 뒤, 블록 각각에 대해 HOG(Histogram Oriented Gradient) 특징을 검출한다.

각각의 블록을 학습 데이터 모두에 적용하여 유사도를 계산한다.

학습 데이터들에 공통적으로 큰 유사도를 갖는 블록이 학습 데이터를 대표하는 것으로 간주될 수 있다.

이처럼 선별된 블록들을 하나의 벡터로 연결하면 하나의 방향에 대한 검출기가 생성된다.

표 1은 특징 추출 및 분류 과정에서 사용된 학습 매개변수를 나타낸다.

매개변수	내용	값
nPositives	검출 대상을 포함하는 학습 데이터의 수	3,500
nNegatives	검출 대상을 포함하지 않는 학 습 데이터의 수	2,000
nStages	학습할 검출기 단계의 수	14
minHitRate	검출기의 최소검출율	0.995
maxFalse- AlarmRate	검출기의 오검출율	0.5

도 3은 본 발명의 일 실시예에 따른 객체 검출 장치의 블록도이고, 도 4는 본 발명의 일 실시예에 따른 객체 검출기 생성 이후, 입력되는 영상에서 객체(보행자)를 검출하는 과정을 도시한 도면이다.

도 3에 도시된 바와 같이, 본 실시예에 따른 객체 검출 장치는 영상 수신부(300), 메모리(302) 및 검출부(304)를 포함할 수 있다.

영상 수신부(300)는 카메라를 통해 촬영된 영상을 입력받는다.

메모리(302)에는 복수의 방향 각각에 대해 생성된 객체 검출기를 저장한다.

검출부(304)는 상기한 복수의 객체 검출기를 적용하여 입력된 영상에 포함된 객체를 검출한다.

도 4를 참조하여, 검출부(304)의 수행 과정을 상세하게 설명한다.

도 4에 도시된 바와 같이, 검출부(304)는 입력된 영상에 대한 전처리를 수행하고, HOG를 추출한다.

여기서, 전처리는 입력된 영상에 대한 잡음 제거 과정을 포함할 수 있다.

HOG 추출은 입력된 영상을 다양한 크기와 위치의 블록으로 분할한 뒤, 블록 각각에 대해 HOG(Histogram Oriented Gradient) 특징을 계산하는 과정이다.

입력된 영상에 대한 HOG와 메모리(302)에 저장된 복수의 방향별 객체 검출기와의 매칭을 통해 입력된 영상에서 객체(보행자) 후보를 추출한다.

추출된 객체 후보 영역에 대해 재검사 과정을 다시 수행할 수 있고, 검출된 객체에 대한 추적을 수행한다.

객체 검출 장치는 추적된 객체에 대해 위험 경보를 발생시킬 수 있다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (5)

1. (a) 복수의 영상에서 미리 설정된 사이즈로 보행자 객체 영역을 추출하여 복수의 원본 데이터를 획득하는 단계-상기 복수의 영상 각각에 포함된 보행자 객체는 전방 방향을 가짐-;
   (b) 상기 복수의 원본 데이터 각각을 x, y 및 z축을 기준으로 ± 5 내지 50° 범위로 회전시켜 회전된 복수의 각도 각각에 따른 복수의 변형 데이터를 획득하는 단계;
   (c) 상기 복수의 원본 데이터 및 상기 복수의 변형 데이터를 학습 데이터로 이용하여 상기 전방 방향에 상응하는 객체 검출기를 생성하는 단계; 및
   (d) 상기 전방 방향과 다른 후방, 좌측 및 우측 각각의 방향을 갖는 보행자 객체를 포함하는 복수의 영상에 대해 상기 (a) 내지 (c) 단계를 반복 수행하여 상기 후방, 좌측 및 우측 방향 각각에 상응하는 객체 검출기를 생성하는 단계를 포함하는 방향정보를 이용한 객체 검출기 생성 방법.
2. 삭제
3. 제1항에 있어서,
   상기 (c) 단계는,
   상기 복수의 원본 데이터 및 상기 복수의 변형 데이터 각각에서 에지(edge)의 HOG(Histogram Oriented Gradient) 특징을 검출하는 단계; 및
   캐스캐이드(Cascade) 기법을 이용한 학습 과정을 통해 상기 전방 방향의 객체 검출기를 생성하는 단계를 포함하는 객체 검출기 생성 방법.
4. 보행자 객체 검출 방법으로서,
   촬영된 영상을 입력받는 단계; 및
   n개의 방향 각각에 대해 생성된 객체 검출기를 적용하여 상기 촬영된 영상에 포함된 보행자 객체를 검출하는 단계를 포함하되,
   상기 n개의 방향은 보행자를 기준으로 전방, 후방, 좌측 및 우측 방향을 포함하며,
   상기 n개의 방향 각각에 대해 생성된 객체 검출기 중 제1 방향에 상응하는 객체 검출기는,
   객체 학습 데이터에 해당하는 복수의 영상에서 미리 설정된 사이즈로 보행자 객체 영역을 추출하여 획득된 복수의 원본 데이터 및 상기 복수의 원본 데이터 각각을 x, y 및 z축을 기준으로 ± 5 내지 50° 범위로 회전시켜 회전된 복수의 각도 각각에 따라 획득된 복수의 변형 데이터를 이용하여 생성되며,
   상기 복수의 영상 각각에 포함된 보행자 객체는 동일한 제1 방향을 갖는 객체 검출 방법.
5. 객체 검출 장치로서,
   촬영된 영상을 입력받는 영상 수신부;
   n개의 방향 각각에 대해 생성된 객체 검출기를 저장하는 메모리; 및
   상기 객체 검출기를 적용하여 상기 입력된 영상에 포함된 보행자 객체를 검출하는 검출부를 포함하되,
   상기 n개의 방향은 보행자를 기준으로 전방, 후방, 좌측 및 우측 방향을 포함하며,
   상기 n개의 방향 각각에 대해 생성된 객체 검출기 중 제1 방향에 상응하는 객체 검출기는,
   객체 학습 데이터에 해당하는 복수의 영상에서 미리 설정된 사이즈로 보행자 객체 영역을 추출하여 획득된 복수의 원본 데이터 및 상기 복수의 원본 데이터 각각을 x, y 및 z축을 기준으로 ± 5 내지 50° 범위로 회전시켜 회전된 복수의 각도 각각에 따라 획득된 복수의 변형 데이터를 이용하여 생성되며,
   상기 복수의 영상 각각에 포함된 객체는 동일한 제1 방향을 갖는 객체 검출 장치.
   
   
   
   
   
   
   
   

Images