KR101436369B1

KR101436369B1 - 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법

Info

Publication number: KR101436369B1
Application number: KR20130072943A
Authority: KR
Inventors: 백준기; 이승원
Original assignee: 중앙대학교 산학협력단
Priority date: 2013-06-25
Filing date: 2013-06-25
Publication date: 2014-09-11
Also published as: US20160110882A1; WO2014208963A1; US9836851B2

Abstract

적응적 블록 분할을 이용한 다중 객체 검출 장치가 개시된다. 객체 윤곽 추출부는 로컬 바이너리 패턴(LBP : Local Binary Pattern)과 인접 영상 간 차분 영상(frame difference)을 이용하여 객체의 윤곽 정보를 추출한다. 적응적 블록 분할부는 추출된 객체의 윤곽 정보를 토대로 겹치지 않는 객체의 블록 분할을 적응적으로 수행한다. 모션 양자화부는 모션 벡터에 대해 N 방향 양자화를 수행하여 객체의 모션 방향 히스토그램(MOH : Motion Orientation Histogram)을 계산한다. 객체 검출부는 적응적 크기로 분할된 블록, 객체의 윤곽 정보 및 모션 방향 히스토그램(MOH)를 이용하여 객체를 검출하고, 검출된 객체의 라벨링 및 이동 방향을 추정한다. 본 발명에 따르면, ISP 칩에 의해 사전에 주어진 모션(motion) 정보를 이용하여 객체모션 벡터의 8방향 양자화를 통해 효율적으로 데이터 처리가 가능하며, 적응적 크기의 블록과 방향성 히스토그램을 통해 객체 모션 오차를 최소화하면서 블록 단위의 객체에 적합한 영역 검출이 가능하며, 객체 검출과 동시에 객체의 이동 방향을 추정할 수 있다.

Description

적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법{Apparatus and method for detecting multiple object using adaptive block partitioning}

본 발명은 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법에 관한 것으로, 더욱 상세하게는, 영상 프레임의 각 영역을 서로 다른 크기의 블록으로 분할하여 객체에 대응하는 영역을 추출하고, 해당 객체의 모션 정보를 추정하는 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법에 관한 것이다.

영상으로부터 객체를 검출 및 추적하는 기술은 객체 기반의 로봇 비젼 및 지능형 감시 시스템과 같은 다양한 분야에 적용 가능하기 때문에 컴퓨터 비젼 분야에서 널리 연구되고 있다.

움직이는 객체를 검출하는 가장 간단한 방법인 배경 추출은 노이즈 및 플리커(flicker) 현상으로 인해 객체 검출을 위한 영여격 분할이 정확하게 이루어지지 않는다는 단점을 가진다. 또한 배경 생성을 위해 큰 메모리 공간을 사용하며, 연산량이 높다는 문제가 있다.

이와 관련하여 최근에는 영상 신호 처리(Image Signal Processing : ISP) 칩에서 영상의 블록 단위 모션을 추정하여 제공하는 시스템이 개발되어 감시 카메라 시스템 등에 적용되고 있다. 그러나 이러한 시스템 역시 객체의 모션 추정을 위해 모든 블록 단위 모션을 고려해야 하기 때문에 속도와 연산량의 문제가 있다.

한국등록특허 제10-0777199호에는 카메라의 모션에 따라 배경의 모션 효과 제거가 가능하고, 장애물에 의해 이동 객체가 가려지거나 균일한 밝기를 갖는 이동 객체의 영상을 얻기 어려운 환경에서도 정확한 객체 추적이 가능한 장치 및 방법이 개시되어 있다. 한국등록특허 제10-0855976호에는 배경과 이동 객체를 분리하여 모션을 추정하는 방법이 개시되어 있다. 이 방법에서는 연속하는 두 프레임 간의 매크로 블록을 비교하여 배경과 이동 객체를 분리하고 모션 벡터를 추정한다.

본 발명이 이루고자 하는 기술적 과제는, ISP 칩에 의해 사전에 주어진 모션(motion) 정보를 이용하여 객체 영역 및 객체의 모션을 효과적으로 추정하는 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, ISP 칩에 의해 사전에 주어진 모션(motion) 정보를 이용하여 객체 영역 및 객체의 모션을 효과적으로 추정하는 적응적 블록 분할을 이용한 다중 객체 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한 본 발명에 따른 적응적 블록 분할을 이용한 다중 객체 검출 장치는, 로컬 바이너리 패턴(LBP : Local Binary Pattern)과 인접 영상 간 차분 영상(frame difference)을 이용하여 객체의 윤곽 정보를 추출하는 객체 윤곽 추출부; 상기 추출된 객체의 윤곽 정보를 토대로 겹치지 않는 객체의 블록 분할을 적응적으로 수행하는 적응적 블록 분할부; 모션 벡터에 대해 N 방향 양자화를 수행하여 상기 객체의 모션 방향 히스토그램(MOH : Motion Orientation Histogram)을 계산하는 모션 양자화부; 및 상기 적응적 크기로 분할된 블록, 상기 객체의 윤곽 정보 및 상기 모션 방향 히스토그램(MOH)를 이용하여 객체를 검출하고, 상기 검출된 객체의 라벨링 및 이동 방향을 추정하는 객체 검출부;를 구비한다.

상기의 다른 기술적 과제를 달성하기 위한 본 발명에 따른 적응적 블록 분할을 이용한 다중 객체 검출 방법은, 적응적 블록 분할을 이용한 다중 객체 검출 장치에 의해 수행되는 다중 객체 검출 방법에 있어서, (a) 로컬 바이너리 패턴(LBP : Local Binary Pattern)과 인접 영상 간 차분 영상(frame difference)을 이용하여 객체의 윤곽 정보를 추출하는 객체 윤곽 추출단계; (b) 상기 추출된 객체의 윤곽 정보를 토대로 겹치지 않는 객체의 블록 분할을 적응적으로 수행하는 적응적 블록 분할 단계; (c) 모션 벡터에 대해 N 방향 양자화를 수행하여 상기 객체의 모션 방향 히스토그램(MOH : Motion Orientation Histogram)을 계산하는 모션 양자화 단계; 및 (d) 상기 적응적 크기로 분할된 블록, 상기 객체의 윤곽 정보 및 상기 모션 방향 히스토그램(MOH)를 이용하여 객체를 검출하고, 상기 검출된 객체의 라벨링 및 이동 방향을 추정하는 객체 검출 단계;를 갖는다.

상기의 다른 기술적 과제를 달성하기 위한 본 발명에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에서 실행시키기 위한 프로그램을 기록한다.

본 발명에 따른 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법에 의하면, ISP 칩에 의해 사전에 주어진 모션(motion) 정보를 이용하여 객체모션 벡터의 8방향 양자화를 통해 효율적으로 데이터 처리가 가능하며, 적응적 크기의 블록과 방향성 히스토그램을 통해 객체 모션 오차를 최소화하면서 블록 단위의 객체에 적합한 영역 검출이 가능하며, 객체 검출과 동시에 객체의 이동 방향을 추정할 수 있다.

도 1은 본 발명에 따른 적응적 블록 분할을 이용한 다중 객체 검출 장치(100)의 구성을 도시한 블록도,
도 2는 본 발명의 일실시예에 따른 P=8로 설정하고 분류된 모션의 9개의 영역을 도시한 도면,
도 3은 본 발명의 일실시예에 따른 모션 기반 객체 분할 결과를 도시한 도면,
도 4는 본 발명의 일실시예에 따른 이동 객체 형태 검출의 개념을 도시한 도면,
도 5는 본 발명의 일실시예에 따라 로컬 바이너리 패턴(LBP)이 사용된 경우와 나인(nine) 유니폼 패턴이 사용된 경우를 도시한 도면,
도 6은 본 발명의 일실시예에 따른 이동 객체 형태 검출 결과를 도시한 도면,
도 7은 본 발명의 일실시예에 따른 로컬 바이너리 패턴(LBP) 기반의 적응적 블록 분할 결과를 도시한 도면,
도 8은 본 발명의 일실시예에 따른이동 객체 분할 방법의 개념을 도시한 도면,
도 9는 본 발명의 일실시예에 따른 객체 라벨링 결과와 이동 방향 분석 결과를 도시한 도면,
도 10은 본 발명에 따른 적응적 블록 분할을 이용한 다중 객체 검출 방법을 도시한 흐름도,
도 11은 본 발명의 성능을 테스트하기 위한 서로 다른 테스트 시퀀스를 도시한 도면,
도 12는 본 발명의 일실시예에 따른 LK 옵티컬 플로우 기반 베이직 모션 추정을 사용한 FPGA 시스템 구조를 도시한 도면,
도 13은 본 발명의 일실시예에 따른 FPGA 보드와 FPGA 보드와 연결된 HD 모니터를 도시한 도면,
도 14는 본 발명의 일실시예에 따른 FPGA 보드를 이용하여 찍힌 영상 프레임을 도시한 도면, 그리고,
도 15 내지 도 18은 각각 PL 시퀀스, WP 시퀀스, PV 시퀀스, 그리고, PL 시퀀스에 대해 본 발명에 따른 방법을 적용한 결과 영상을 도시한 도면이다.

이하에서 첨부의 도면들을 참조하여 본 발명에 따른 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.

소비자 감시 시스템(consumer surveillance system)에서 CCTV 카메라로부터 입력되는 모든 영상을 녹화하고, 항상 지능형 감시에 의한 이벤트를 수행할 수 없기 때문에 의미 있는 정보를 가지고 있는 영상 구간을 저장하고 분석하기 위해 영상에서 이동 객체를 검출하게 된다. 최근에는 ISP(Image Signal Processing) 칩의 하드웨어 성능과 감시를 위한 기능이 증가하면서 콘트라스트 향상(contrast engancement), 안개 제거(defog), 저 노출 보정(low exposure correction) 뿐만 아니라 모션을 추정하여 영상의 움직임 정보를 데이터로 전송하는 기능을 제공하는 추세이다.

기존 배경 모델링(background modeling)을 사용한 객체 검출 방법은 하드웨어에서 수행되기에는 많은 메모리와 트레이닝을 하기 위한 연산이 수행되기 때문에 하드웨어에 적용하기에는 어려운 문제점을 가지고 있다. 또한, 인접 프레임 간에는 조명(illumination)의 변화가 작다고 가정했을 때, 배경 보델링은 긴 시간 정보를 사용하기 때문에 전역적 조명 변화에 민감하며 고스트(ghost) 현상이 발생되는 문제점을 가지고 있다.

그러나 모션 정보를 이용하여 객체를 검출하는 경우, 인접 프레임 간의 전역적 조명 변화에 강인한 특징을 가지며, 모델링을 위한 저장 공간이 필요하지 않으며, 트레이닝 과정이 없기 때문에 하드웨어에 효율적으로 적용될 수 있다.

본 발명에 따른 적응적 블록 분할을 이용한 다중 객체 검출 장치(100)는 ISP 칩에서 영상 정보와 8x8 블록 크기의 모션 정보를 동시에 입력받는 것을 가정한다.

도 1은 본 발명에 따른 적응적 블록 분할을 이용한 다중 객체 검출 장치(100)의 구성을 도시한 블록도이다.

도 1을 참조하면, 본 발명에 따른 적응적 블록 분할을 이용한 다중 객체 검출 장치(100)는 객체 윤곽 추출부(200), 적응적 블록 분할부(300), 모션 양자화부(400), 객체 검출부(500), 다중 객체 분리부(600) 및 에러 제거부(700)를 포함할 수 있다.

먼저, 모션 양자화부(400)는 모션 벡터에 대해 N 방향 양자화를 수행하여 객체의 모션 방향 히스토그램(MOH : Motion Orientation Histogram)을 계산한다. 이때, N은 8일 수 있으며, 8임을 전제로 후술하나, 이에 한정되지는 않는다.

입력 영상 프레임을 구성하는 복수의 단위 블록 각각에 대해 제공된 모션 벡터를 이용하여 서로 다른 방향(P) 중 어느 하나로 모션 벡터를 양자화한다. 모션 양자화를 하는 이유는 2가지이다. 먼저, 소수의 모션 방향은 이동 객체를 구분하고 분류하는데 충분하고, 다음으로, 베이직 블록으로부터 추정된 각 모션 벡터는 노이즈에 영향을 받는다. 따라서 본 발명에 따른 적응적 블록 분할을 이용한 다중 객체 검출 장치(100)는 일반화된 모션 방향 분류 방법을 제안한다. 특히,

는 주어진 블록에 대해 추정된 모션 벡터이고,

는 그것의 방향을 의미하며, 이 두 개의 인자는 다음 수학식 1과 같이 나타낼 수 있다.

만약 P+1 방향 중에 추정된 방향을 분류하면, {

}로 분류되고, 이때,

는 제로 모션 벡터(zero motion vector)를 나타내고, {

}는 분류된 모션 방향(P) 세트를 나타낸다.

는

사이즈의 비디오 시퀀스의 t번째 프레임을 의미하고,

는

프레임 내의

사이즈의 t번째 블록을 의미한다. 이때, 설명의 편의를 위해

과

은 각각 8로 전제한다.

는

블록의 모션 벡터를 추정한 값이면, 분류된 방향은 다음 수학식 2와 같이 주어질 수 있다.

여기서,

이며, 그리고,

는 미니멈 논제로 모션(minimum nonzero motion)에 대한 임계값(threshold)를 나타낸다. P는 임의의 숫자를 가질 수 있지만, 상술한 바와 같이 본 발명에서는 P=8을 사용한다(도 2 참조).

도 3의 (a)는 베이직 블록의 추정된 모션 벡터를 도시하고 있다. 도 3의 (a)에 도시된 바와 같이 작은 모션 규모를 가진 잘못된 측정된 모션 벡터가 많이 있지만, 도 3의 (b)에 도시된 바와 같이, 양자화된 모션 벡터의 사용은

를 가진 잘못 추정된 모션을 제거하고, 효과적으로 객체 모션 방향을 추정할 수 있다.

객체 윤곽 추출부(200)는 로컬 바이너리 패턴(LBP : Local Binary Pattern)과 인접 영상 간 차분 영상(frame difference)을 이용하여 객체의 윤곽 정보를 추출한다. 적응적 블록 분할부(300)는 추출된 객체의 윤곽 정보를 토대로 겹치지 않는 객체의 블록 분할을 적응적으로 수행한다.

베이직 블록(basic block)으로부터 제공되는 블록 모션(block motion)과 같은 베이직 정보(basic information)는 너무 정교해서(elaborate) 베이직 블록보다 더 크게 객체를 나타낼 수 없다. 반면, 상술한 베이직 정보는 너무 거칠어서(coarse) 객체 경계의 디테일을 나타낼 수 없다. 이러한 문제를 해결하기 위해 본 발명에 따른 적응적 블록 분할을 이용한 다중 객체 검출 장치(100)는 도 4에 도시된 바와 같이 인접 영상 간 차분 영상(frame difference)과 로컬 바이너리 패턴(LBP : Local Binary Pattern) 이미지를 결합한 적응적 블록 분할 알고리즘을 제안한다. 현재 영상과 이전 영상을 사용한 차분 영상(frame difference)은 계산이 간단하므로 빠른 이동 객체 검출이 가능한 방법이다.

이때, 차분 영상(

)은 수학식 3과 같이 주어진다.

여기서,

은 각각 현재와 이전 영상이고, 그리고,

는 사전에 설정된 임계값(threshold)을 나타낸다.

차분 영상은 본질적으로 조명 변화(illumination change)와 그림자(shadow)에 대해 민감하며 고스트(ghost)와 홀(holes)을 만들어내기 때문에 정확한 객체 검출이 어렵다. 따라서 이러한 문제를 해결하기 위해, 효율적으로 영상의 질감 특징(texture feature) 분석이 가능한 로컬 바이너리 패턴(LBP : Local Binary Pattern)를 이용하여 이동하는 객체의 경계를 추출하고, 이미지 질감 특징(image texture feature)을 효율적으로 묘사할 수 있다. 로컬 바이너리 패턴(LBP : Local Binary Pattern)는 빠른 계산과 회전에 불변(rotation invariance)하며, 조명 변화에 강인한 장점을 가진다. 로컬 바이너리 패턴(LBP : Local Binary Pattern) 작업은 다음 수학식 4와 같이 정의된다.

여기서,

는 로컬 네이버후드(local neighborhood)의 중앙 픽셀 (x,y)의 그레이 값(gray value)을 나타내고, P의 그레이 값인

는 동일하게 반지름(R)을 가진 원 상의 픽셀에 위치한다.

는 다음 수학식 5와 같이 정의된다.

본 발명에서는 로컬 바이너리 패턴(LBP : Local Binary Pattern)에서 적은 메모리 공간을 참조하기 위해 P=8, R=1로 설정하였고, 회전 불변성 유니폼 LBP 텍스쳐 모델은 다음 수학식 6과 같이 정의될 수 있다.

어깨글자(superscript)인 "riu2"는 회전 불변성 유니폼 패턴은 2보다 크지 않는 U 값을 갖는다는 것을 의미한다. 수학식 6에 의해 유니폼 패턴은 0에서 8로 할당되며, 논유니폼(non-uniform) 패턴은 "miscellaneous"로 분류되어 9로 할당이 된다.

도 5는 숫자 1로 정의된 라벨을 가진 샘플 패턴과 그에 대응되는 유니폼 패턴 세트를 나타낸다. 근사치

은 3X3 네이버후드 오퍼레이션(neighborhood operation)으로 사용하며, 이는 보간(interpolation)이 필요하지 않다.

다음의 수학식 7에 의해 차분 영상와 LBP 유니폼 패턴(line end, corner, and edge)의 인터섹션(intersection)으로부터 움직이는 객체의 경계(

)를 추출한다. 이때,

의 잡음을 제거하기 위해 미디언 필터링(median filtering)을 수행한다.

도 6은 움직이는 객체의 추출된 경계의 예를 나타내고 있다. 도 6의 (d)에 도시된 바와 같이, 차분 영상 이미지 내의 그림자(shadow)와 고스트(ghosts) 현상은 성공적으로 제거되었음을 알 수 있다.

객체의 모션을 제외한 아웃라이어(outlier) 모션들을 효과적으로 제거하기 위해 영상을 객체 영역에 적합한 가변 사이즈(variable-size) 블록으로 분할한다.

통상적으로 분할된 32x32 또는 64x64 매크로 블록을 객체 영역을 맞추기 위해 더 작은 매크로 블록으로 나눈다. 하나 또는 그 이상의 객체를 포함하는 매크로 블록은 객체 형태(shape) 또는 경계 정보를 가진다는 전제 하에, 사전에 설정된 임계값(threshold) 보다 더 높은 콘텐츠 값(contents value)을 가진 j번째 매크로 블록(B)을 수학식 8과 같이 정의된 4개의 서브 블록으로 나눈다.

여기서,

는 블록 내 전체 픽셀 수를 나타내고, 실험적으로

값을 사용한다. 또한, 만약

가 "1"이라면,

는 4개의 서브 블록으로 나뉜다.

8x8 사이즈의 가장 작은 서브 블록이 획득될 때까지 분할 과정은 반복된다. 샘플 블록 분할 결과는 도 7에 도시되어 있다.

객체 검출부(500)는 적응적 크기로 분할된 블록, 객체의 윤곽 정보 및 모션 방향 히스토그램(MOH)를 이용하여 객체를 검출하고, 검출된 객체의 라벨링 및 이동 방향을 추정한다. 나아가, 다중 객체 분리부(600)는 모션 방향 히스토그램(MOH)를 이용하여 겹침 현상이 발생한 다중 객체를 분리한다. 에러 제거부(700)는 모션 방향 히스토그램(MOH)과 추출된 객체의 윤곽 정보를 사용하여 에러 모션(error motion)을 제거한다. 이때, 다중 객체 분리부(600) 및 에러 제거부(700)는 객체 검출부(500)에 포함되어 존재할 수 있다.

베이직 블록 모션은 본 발명에 따른 분할 방법의 베이직 정보로 이용된다. 블록 모션 모델은 2차원 변환, 정적인 조명, 그리고 그림자는 없다는 것을 전제한다. 만약 이러한 전제가 깨진다면, 대응되는 추정된 모션 벡터는 믿을 수 없게 된다. 따라서 모션 아웃라이어(motion outlier)로 불리는 것들은 정확한 분할을 위해 제거되어야 한다. 도 8은 본 발명에 따른 움직이는 객체 분할의 개념을 도시하고 있다.

분할된 블록(SBs : Segmented Blocks, 이하 "SB"라고 함)인 도 7의 (c)에 도시된 블록 분할의 결과는 후술하는 방식에서 각 블록 분할(SB)에 대해 모션 벡터를 나타낸다. 만약 SB가 8x8이라면, 대응되는 베이직 모션은 블록 대표 모션에 할당된다. 반면, SB가 베이직 블록보다 크다면, 대표되는 모션은 다음과 같이 결정된다. 큰 SB는 많은 베이직 블록을 포함하기 때문에, 가장 빈번한 베이직 모션은 SB의 대표되는 모션에 할당된다. 만약, SB가 제로 베이직 모션의 1/4보다 더 많다면, 도 8의 (c)에 도시된 바와 같이 가장 바깥쪽의 움직임 없는 블록을 제거한 모션리스 블록(motion less block)으로 간주된다. 그러나 가장 바깥쪽 블록을 처음 제거한 후에도 객체 영역의 바깥 쪽에 여전히 거짓된 모션 블록을 가지게 된다.

따라서 거짓된 가장 바깥쪽 블록을 제거하기 위해 다음 표 1에 기재된 알고리즘을 사용하고자 한다.

알고리즘 : 최외곽 블록 모션 제거

While(Flag>0)
θ'= θ
Flag = 0
For i=1:MN/64
If θⁱ is outermost motion block?
If Eⁱ is less than 4-neighborhood?
θ'ⁱ = 0, Flag = 1
θ= θ'
End

최종적으로 분할된 영역은 도 8의 (d)에 도시된 바와 같이 4개의 방향으로 라벨링된 방법을 이용하여 대응되는 객체 영역으로 분류된다.

는 j번째 라벨링된 객체,

는 그에 대응되는 영역으로 설정한다. 모션 방향 히스토그램(MOH)은 객체의 모션 방향을 분석하여 각 객체 영역에 대해 계산된다.

만약

가 베이직 블록

을 가지면,

빈스(bins)를 가진

내의 모션 방향 히스토그램(MOH)은 다음 수학식 9와 같이 정의된다.

여기서,

는 크로네커 델타 함수(Kronecker delta function)이고,

는 정규화 상수(normalization constant)이다.

객체의 움직임 방향은 다음 수학식 10과 같이 정의된다.

만약, 모션 방향 히스토그램(MOH)이 유니모덜(unimodal)을 가지는 객체의 경우, 대응되는 객체 영역은 단일 방향을 가지는 객체로 판단할 수 있다. 반면, 모션 방향 히스토그램(MOH)이 멀티모덜(multimodal)을 가지는 경우, 다른 방향성을 가지는 객체들이 하나의 객체로 라벨링 되었음을 추정할 수 있다.

이때, 모덜리티(modality)의 판별식(discriminant)은 다음 수학식 11과 같이 정의된다.

여기서,

는 모덜리티 임계값(modality threshold)를 의미하며, 여기서

을 사용한다. 수학식 11에서

가 1이면,

은

로 간주된다. 만약,

컴포넌트의 총 합이 1보다 큰 경우, 객체 영역은 다양한 방향을 가진 객체를 포함하는 것으로 판단한다.

도 9는 객체 라벨링과 움직임 방향을 분석한 결과를 도시하고 있다. 도 9의 (c)와 같이 제안된 이동 객체 분할에 의해 객체 영역이 검출되는 것을 확인할 수 있다. 객체 라벨링에 의한 객체의 영역과 방향성 검출결과는 도 9의 (d)에 도시되어 있으며, 반대 방향으로 이동하는 객체를 다중 방향을 가지는 객체로 검출함을 확인할 수 있다. 즉, 서로 다른 방향으로 움직이는 서로 겹쳐진(overlapped) 객체들은 도 9의 (d)에 도시된 바와 같이 노란 박스로 표시되어 있다.

상술한 본 발명에 따른 적응적 블록 분할을 이용한 다중 객체 검출 방법에 대한 흐름도는 도 10에 도시되어 있다.

본 발명의 성능을 평가하기 위해 다음의 4가지 서로 다른 시나리오 상황 하에서 성능 평가 실험을 수행하였다. 도 11에 도시된 바와 같이, ⅰ) in-house fence climbing (FC) video, ⅱ) the PETS 2006 dataset for walking pedestrians (WP), ⅲ) the AVSS dataset 래객 parking vehicles(PV), ⅳ) in-house parking lot (PL) video의 서로 다른 시나리오 상황 하에서 테스트를 수행하였다. 첫 3개의 시퀀스는 MxN=768x576 해상도(resolution)를 가지고, 네 번째 시퀀스는 1920x1980 해상도를 가진다. 또한, 3.07 GHz CPU와 4GB RAM을 가진 PC를 사용하였다.

Lucas and Kanade(LK) 옵티컬 플로우 모션 검출 알고리즘이 베이직 모션 벡터 시뮬레이션할 때 사용되고, 이는 실제 환경에서 다운 스케일된 입력 이미지로(M/8xN/8)로 ISP 칩에 의해 제공된다.

베이직 블록 모션 검출 알고리즘은 모션 추정 수행과 처리 시간 테스트할 때 FPGAs를 사용하여 수행된다. 이러한 FPGA 시스템 구조는 도 12에 도시되어 있고, 이는 70~90% 논제로 모션 벡터(nonzero motion vector)를 가진 다운 스케일된 입력 이미지로부터 0과 1 레벨을 사용한다. 출력 모션 벡터는 다음 수학식 12에 의해 정의된 각 레벨당 추정된 모션 벡터의 가중 합산을 이용하여 결정된다.

여기서,

와

는 가중치(weighting values)이고,

와

는 0과 1 레벨에 대한 모션 벡터를 각각 나타낸다.

도 13은 고화질 카메라(HD camera) 모듈 및 1920x1080 해상도를 가진 이동 객체 분할 과정을 실시간 보여주는 HD 모니터를 가진 FPGA 보드를 나타낸다.

FPGA 보드로부터 직접 캡쳐된 비디오 프레임은 도 14에 도시되어 있다. 도 14의 (b) 및 (c)를 참조하면, 움직이는 객체 상에 양자화된 8 방향 모션이 마크되어 있음을 알 수 있다.

본 실험에서, 모션 임계값(motion threshold)

, 그리고 차분 영상 임계값(frame difference threshold)

로 변수를 설정해둔다. 그리고 8x8 블록을 사용하여 베이직 모션을 추정하고, 768x576 해상도 이미지에서 MN/64=6,912 블록을 가진다. 모션 방향 분류를 위해 오직 하나의 아크탄젠트(arctangent)와 하나의 매그니튜드 오퍼레이션(magnitude operation)이 각 블록 당 필요하다. 계산 비용

이동 객체 형태(shape) 검출를 위한 컴퓨터 계산 비용은 어떤 곱셈(multiplication) 없이 각 픽셀 당 하나의 차분 영상와 8개의 LBP 오프레이션이 필요하다. 통틀어,

오퍼레이션이 필요하다.

본 발명에 따른 방법은 오리지날 가우시안 합성 모델(GMM)을 이용한 배경 생성 기반 방법과 그것의 향상된 버전(IGMM)과 비교된다. 본 발명에 따른 방법은 상술한 2개의 GMM 방법에 기반을 두고 서로 다른 4개의 가우시안 함수를 사용하였다.

도 11에 도시된 FC(Fence Climbing) 영상에 대한 실험 결과는 도 15에 도시되어 있다. 도 15의 (b) 및 (c)를 참고하면, 기존 방법은 객체와 배경 간 불안정한 배경 초기화 스텝과 분명하지 않은 컬러 때문에 이동 객체의 부정확한 분할을 야기한다. 반면, 도 13의 (d)를 참고하면, 본 발명에 따른 방법이 적용된 경우, 동일한 비디오 영상에서 이동 객체를 명확하게 분할하였음을 알 수 있다.

도 11에 도시된 WP(Walking Pedestrian) 영상에 대한 실험 결과는 도 16에 도시되어 있다. 도 16의 (e)를 참고하면, 객체의 그림자를 제거하고, 성공적으로 다방향의 객체 영역을 검출했음을 알 수 있다.

도 11에 도시된 PV(Parking Vehicles) 영상에 대한 실험 결과는 도 17에 도시되어 있다. 도 17의 (b) 및 (c)를 참고하면, 이동하는 구름으로 인해 조명 변화가 발생했음을 알 수 있고, 이로 인해 기존 방법 이용시 잘못된 배경을 야기하게 된다. 반면, 도 17의 (d)를 참고하면, 본 발명에 따른 방법이 적용된 경우, 조명 변화에도 불구하고 정확한 객체 영역을 검출했음을 알 수 있다.

도 11에 도시된 PL(Parking Lot) 영상에 대한 실험 결과는 도 18에 도시되어 있다. PL 시퀀스는 1920x1080 해상도 HD 카메라에 의해 찍힌 것이다. 본 발명에 따른 방법이 적용된 경우, PL 시퀀스 내에 이동 객체가 검출됨을 알 수 있다. 이러한 결과는 본 발명에 따른 방법은 고 해상도 비디오 환경에 매우 적합하다는 것을 보여준다.

기존 GMM 과 IGMM 방법을 이용하여 이동 객체 분할한 결과는 유사하나, IGMM은 GMM과 비교하여 계산 시간은 줄어들었다. 그러나 IGMM 방법의 계산 시간은 이미지 사이즈 증가에 비례하여 매우 증가한다는 문제가 있다.

IGMM이 평균 한 프레임 당 296.581 ms가 소요되면, 본 발명에 따른 방법은 ISP 칩에 의해 직접 제공된 베이직 모션 추정을 제외하고 1920x1080 해상도 비디오를 처리하는 데 있어 각 프레임 당 61.041 ms가 소요된다.

배경 모델링(background modeling)은 카메라가 정적으로 유지되어야 하고, 조명 변화를 다룰 수 없다고 전제한다. 이러한 전제가 깨진다면, 객체 분할 방법에 기반을 둔 배경 모델링은 적당한 배경이 재생성될 때까지 이동 객체를 검출할 수 없게 된다. 따라서 아래 표 2에 기재된 바와 같이 본 발명에 따른 방법은 기존 배경 모델링 방법보다 수행 능력이 더 좋고, 고해상도 비디오 감시 시스템에 대해 기존 IGMM 방법보다 5배 이상 수행 속도가 빠름을 알 수 있다.

방법	이미지 해상도
방법	768 x 576	1920 x 1080
GMM	143.102 ms	546.375 ms
IGMM	60.340 ms	295.581 ms
본 발명	15.786 ms	61.041 ms

따라서 본 발명에 따른 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법은 ISP 칩에 제공되는 영상과 모션 정보의 8방향으로 양자화된 데이터만을 사용하여 효율적으로 이동 객체를 분할할 수 있으며, 추후 ISP 칩에 내장되어 감시 시스템에서 객체를 추적하고 행동 분석을 위한 하이 레벨 처리(high-level processing)를 위한 기본적인 정보를 제공할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 유무선 통신망으로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

100 : 적응적 블록 분할을 이용한 다중 객체 검출 장치
200 : 객체 윤곽 추출부
300 : 적응적 블록 분할부
400 : 모션 양자화부
500 : 객체 검출부
600 : 다중 객체 분리부
700 : 에러 제거부

Claims

로컬 바이너리 패턴(LBP : Local Binary Pattern)과 인접 영상 간 차분 영상(frame difference)을 이용하여 객체의 윤곽 정보를 추출하는 객체 윤곽 추출부;
상기 추출된 객체의 윤곽 정보를 토대로 겹치지 않는 객체의 블록 분할을 수행하는 적응적 블록 분할부;
모션 벡터에 대해 N 방향 양자화를 수행하여 상기 객체의 모션 방향 히스토그램(MOH : Motion Orientation Histogram)을 계산하는 모션 양자화부; 및
상기 분할된 객체의 블록, 상기 객체의 윤곽 정보 및 상기 모션 방향 히스토그램(MOH)를 이용하여 객체를 검출하고, 상기 검출된 객체의 라벨링을 수행한 후 이동 방향을 추정하는 객체 검출부;를 포함하는 것을 특징으로 하는 적응적 블록 분할을 이용한 다중 객체 검출 장치.
제 1항에 있어서,
상기 모션 방향 히스토그램(MOH)를 이용하여 겹침 현상이 발생한 다중 객체를 분리하는 다중 객체 분리부;를 더 포함하는 것을 특징으로 하는 적응적 블록 분할을 이용한 다중 객체 검출 장치.
제 2항에 있어서,
상기 모션 방향 히스토그램(MOH)과 상기 추출된 객체의 윤곽 정보를 사용하여 에러 모션(error motion)을 제거하는 에러 제거부;를 더 포함하는 것을 특징으로 하는 적응적 블록 분할을 이용한 다중 객체 검출 장치.
제 1항에 있어서,
상기 적응적 블록 분할부는 가장 작은 사이즈의 서브 블록이 얻어질 때까지 블록 분할 과정을 반복 수행하며, 움직임이 없는 것으로 판단되는 최외곽 블록은 제거하는 것을 특징으로 하는 적응적 블록 분할을 이용한 다중 객체 검출 장치.
제 1항에 있어서,
상기 N은 8인 것을 특징으로 하는 적응적 블록 분할을 이용한 다중 객체 검출 장치.
제 1항에 있어서,
상기 객체 검출부는 영상 신호 처리(Image Signal Processing : ISP) 칩으로부터 영상 정보와 모션 벡터 정보를 제공받는 것을 특징으로 하는 적응적 블록 분할을 이용한 다중 객체 검출 장치.
적응적 블록 분할을 이용한 다중 객체 검출 장치에 의해 수행되는 다중 객체 검출 방법에 있어서,
(a) 로컬 바이너리 패턴(LBP : Local Binary Pattern)과 인접 영상 간 차분 영상(frame difference)을 이용하여 객체의 윤곽 정보를 추출하는 객체 윤곽 추출단계;
(b) 상기 추출된 객체의 윤곽 정보를 토대로 겹치지 않는 객체의 블록 분할을 수행하는 적응적 블록 분할 단계;
(c) 모션 벡터에 대해 N 방향 양자화를 수행하여 상기 객체의 모션 방향 히스토그램(MOH : Motion Orientation Histogram)을 계산하는 모션 양자화 단계; 및
(d) 상기 분할된 객체의 블록, 상기 객체의 윤곽 정보 및 상기 모션 방향 히스토그램(MOH)를 이용하여 객체를 검출하고, 상기 검출된 객체의 라벨링을 수행한 후 이동 방향을 추정하는 객체 검출 단계;를 포함하는 것을 특징으로 하는 적응적 블록 분할을 이용한 다중 객체 검출 방법.
제 7항에 있어서,
(e) 상기 모션 방향 히스토그램(MOH)을 이용하여 겹침 현상이 발생한 다중 객체를 분리하는 다중 객체 분리 단계;를 더 포함하는 것을 특징으로 하는 적응적 블록 분할을 이용한 다중 객체 검출 방법.
제 8항에 있어서,
(f) 상기 모션 방향 히스토그램(MOH)과 상기 추출된 객체의 윤곽 정보를 사용하여 에러 모션(error motion)을 제거하는 에러 제거 단계;를 더 포함하는 것을 특징으로 하는 적응적 블록 분할을 이용한 다중 객체 검출 방법.
제 7항에 있어서,
상기 (b) 단계는 가장 작은 사이즈의 서브 블록이 얻어질 때까지 블록 분할 과정을 반복 수행하며, 움직임이 없는 것으로 판단되는 최외곽 블록은 제거하는 것을 특징으로 하는 적응적 블록 분할을 이용한 다중 객체 검출 방법.
제 7항에 있어서,
상기 N은 8인 것을 특징으로 하는 적응적 블록 분할을 이용한 다중 객체 검출 방법.
제 7항에 있어서,
상기 (d) 단계는 영상 신호 처리(Image Signal Processing : ISP) 칩으로부터 영상 정보와 모션 벡터 정보를 제공받는 것을 특징으로 하는 적응적 블록 분할을 이용한 다중 객체 검출 방법.
제 7항 내지 제 12항 중 어느 한 항에 기재된 적응적 블록 분할을 이용한 다중 객체 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.