KR20130013462A

KR20130013462A - 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치 및 방법

Info

Publication number: KR20130013462A
Application number: KR1020110075124A
Authority: KR
Inventors: 노승종; 전문구
Original assignee: 광주과학기술원
Priority date: 2011-07-28
Filing date: 2011-07-28
Publication date: 2013-02-06
Also published as: KR101268596B1

Abstract

본 발명의 적어도 일 실시예에 의한 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치 및 방법은, 특정 영역의 일정 시간동안 촬영된 영상 중 고정된 영상인 배경을 상기 배경의 컬러 정보와 텍스쳐 정보를 각 이용하여 모델링함으로써, 컬러 배경 모델과 텍스쳐 배경 모델을 각 생성하고; 입력 영상을 구성하는 화소들인 입력 화소들 각각마다, 상기 입력 화소가 상기 촬영된 영상 내에서 움직이는 영상인 전경에 포함될 가능성을 나타내는 값을 상기 컬러 배경 모델을 고려하여 컬러 신뢰도 값으로서 계산하고, 상기 가능성을 나타내는 값을 상기 텍스쳐 배경 모델을 고려하여 텍스쳐 신뢰도 값으로서 계산하고; 상기 입력 영상에 대한 상기 컬러 신뢰도 값들의 배열인 컬러 신뢰도 맵 및 상기 텍스쳐 신뢰도 값들의 배열인 텍스쳐 신뢰도 맵을, 상기 입력 영상에 따라 적응적으로 결합하여 결합 신뢰도 맵을 생성하고; 상기 결합 신뢰도 맵에 기 설정된 경계 값을 적용함으로써 상기 배경에서 상기 전경을 검출함으로써, 배경에서 전경을 신속하면서도 정확하게 자동 검출할 수 있다.

Description

정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치 및 방법 {Foreground extraction apparatus and method using CCB and MT LBP}

본 발명은 영상 검출에 관한 것으로, 보다 상세하게는, CCTV와 같이 고정된 영상장치를 통해 촬영되는 화면의 배경(영상)에서 움직이는 물체인 전경(영상)을 검출하는 방안에 관한 것이다.

배경(background)에서 전경(foreground)을 검출하기 위해서는 배경에 대한 모델링(background modeling)을 미리 해 두어야 한다. 만약, 추후에 프레임이 추가로 입력되었고 입력된 프레임의 내용이 미리 마련된 배경의 내용과 큰 차이가 있다면, 입력된 프레임의 내용 중 '전경'에 대한 정보가 있다고 판단할 수 있는 것이다.

이러한 전경 검출을 위한 배경 모델링 기법은 크게 다음의 3가지 즉 확률 모델 기반, 텍스쳐(texture) 기반, 코드북(codebook) 기반의 기법들로 나뉜다.

먼저, 확률 모델 기반 기법은 화면의 한 화소가 갖는 화소값 패턴 정보를 확률 밀도 함수를 이용하여 모델링한다. 자주 사용되는 확률 밀도 함수로는 Gaussian Mixture Model (GMM)과 커널 함수들이 있다. 하지만, 이러한 기법의 경우 복잡한 확률 모델을 예측 및 계산하는 과정을 거치게 되므로, 연산 속도가 매우 느리며 배경 모델을 생성하기 위한 학습 시간 역시 상대적으로 길다는 단점이 있다.

다음으로, 텍스쳐 기반 기법은 화소값 자체가 아닌, 한 화소와 이웃하고 있는 화소들간의 관계를 배경 정보로서 모델링하는 방식이다. 가장 널리 이용되는 예로는 M. Heikkila and M. Pietikainen, "A Texture-Based Method for Modeling the Background and Detecting Moving Objects", Pattern Analysis and Machine Intelligence, vol. 28, no.4, 2006에 개시된 바에서 제안된 Local Binary Pattern (LBP), X. Tan and B. Triggs, "Enhanced Local Texture Feature Sets for Face Recognition Under Difficult Lighting Conditions", IEEE transactions on Image Processing, vol. 19, pp. 1635 - 1650, 2010에 개시된 바에서 제안된 Local Ternary Pattern (LTP), 및 S, Liao, G. Zhao, V. Kellokumpu, M. Pietikainen, and S.Z. Li, "Modeling Pixel Process with Scale Invariant Local Patterns for Background Subtraction in Complex Scenes", Computer Vision and Pattern Recognition, pp. 1301-1306, 2010에 개시된 바에서 제안된 Scale Invariant Local Ternary Pattern (SILTP) 기법 등이 있다. 하지만 LBP 기법의 경우 노이즈에 매우 민감하다는 단점이, LTP 기법의 경우 조명의 변화에 민감하다는 단점이 각각 존재한다. SILPT의 경우 조명 및 노이즈 모두에 강건하게 동작하기는 하지만, 중심 화소와 이웃하는 화소들 간의 차이값이 가우시안 분포를 보이지 않는 경우에는 노이즈를 발생시킨다는 문제점이 있다.

마지막으로, 코드북 기반 기법은 K. Kyungnam and T.H. Chalidabhongse, "Background modeling and subtraction by codebook construction", International Conference on Image Processing, vol. 5, pp. 3061-3064, 2004에서 처음 제안되었으며, 최근에도 F. Porikli and O. Tuzel, "Baysian Background Modeling for Foreground Detection", VSSN, 2005에 개시된 바, Doshi. H, Trivedi. M, "Hybrid Cone-Cylinder Codebook Model for Foreground Detection with Shadow and Hilight Supression", Advanced Video and Signal-based Surveillance", pp19-19, 2006에 개시된 바에서처럼, 매우 활발하게 연구되고 있다. 이 계열의 기법들에서 배경 모델은 초기에 입력되는 화소값 정보를 모델링한 특수한 형태의 코드북이 된다. 만약 테스트 시 입력된 화소값이 학습되어 있는 코드북 구조의 내부에 위치하면 해당 입력을 배경으로, 그렇지 않으면 전경으로 분류하게 된다. 이 방식의 경우 어떠한 형태의 확률 분포 정보도 사용하지 않아 연산량이 적다는 장점이 있다. 또한 날씨나 임의의 광원에 의한 조명 변화 및 흔들리는 나뭇가지와 같은 배경의 동적인 요소 역시 효율적으로 모델링할 수 있다. 하지만 배경의 밝기 값(intensity)이 작은 영역에서는 지나친 코드요소 겹침 현상이 발생되어 많은 false negative alarm (FNA) 즉, 전경에 해당하는 화소가 배경으로 오분류된 경우를 발생시킨다는 단점이 있다.

본 발명이 이루고자 하는 기술적 과제는, 배경에서 전경을 신속하면서도 정확하게 자동 검출하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치 및 방법을 제공하는 데 있다.

상기 과제를 이루기 위해, 본 발명의 적어도 일 실시예에 의한 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치는, 특정 영역의 일정 시간동안 촬영된 영상 중 고정된 영상인 배경을 상기 배경의 컬러 정보와 텍스쳐 정보를 각 이용하여 모델링함으로써, 컬러 배경 모델과 텍스쳐 배경 모델을 각 생성하는 배경 모델링부; 입력 영상을 구성하는 화소들인 입력 화소들 각각마다, 상기 입력 화소가 상기 촬영된 영상 내에서 움직이는 영상인 전경에 포함될 가능성을 나타내는 값을 상기 컬러 배경 모델을 고려하여 컬러 신뢰도 값으로서 계산하고, 상기 가능성을 나타내는 값을 상기 텍스쳐 배경 모델을 고려하여 텍스쳐 신뢰도 값으로서 계산하는 신뢰도 값 계산부; 상기 입력 영상에 대한 상기 컬러 신뢰도 값들의 배열인 컬러 신뢰도 맵 및 상기 텍스쳐 신뢰도 값들의 배열인 텍스쳐 신뢰도 맵을, 상기 입력 영상에 따라 적응적으로 결합하여 결합 신뢰도 맵을 생성하는 신뢰도 맵 결합부; 및 상기 결합 신뢰도 맵에 기 설정된 경계 값을 적용함으로써 상기 배경에서 상기 전경을 검출하는 검출부를 포함한다.

여기서, 상기 배경 모델링부는 상기 배경의 상기 일정 시간동안의 화소값들의 패턴을 최소한으로 감싸며 각각의 크기가 일정한 하나 이상의 정육면체들인 하나 이상의 코드 요소들의 집합으로써 모델링함으로써, 상기 컬러 배경 모델을 생성한다. 이 때, 상기 컬러 배경 모델을 생성함에 있어 상기 배경은 YCbCr 영상이고, 상기 패턴은 Y축, Cb축, Cr축 상의 3차원 패턴이다.

여기서, 상기 배경 모델링부는 상기 배경의 각 화소를 중심 화소로 하여 상기 배경에서 상기 중심 화소로부터 일정 픽셀만큼 이격된 일정 개수의 화소들인 주변 화소들 각각과 상기 중심 화소 간의 상기 일정 시간 동안의 화소값 차이를 고려하여, 상기 중심 화소마다 상기 주변 화소들 각각에 대한 상기 화소값 차이를 결정함으로써, 상기 텍스쳐 배경 모델을 생성한다. 이 때, 상기 텍스쳐 배경 모델을 생성함에 있어 상기 배경은 Y 성분만 갖는 영상이다. 이 때, 상기 일정 픽셀은 2개의 픽셀이고, 상기 일정 개수의 화소들은 6개의 화소이다.

여기서, 상기 신뢰도 값 계산부는 상기 입력 화소마다, 상기 입력 화소가 상기 패턴의 내부에 위치하는지 여부 및 그림자의 영향을 받았는지 여부를 고려하여, 상기 컬러 신뢰도 값을 계산한다.

여기서, 상기 신뢰도 값 계산부는 상기 입력 화소마다, 상기 입력 화소를 상기 중심 화소로 할 경우의 상기 주변 화소와의 화소값 차이가 해당 상기 결정된 화소값 차이 이하인지 여부를, 상기 입력 화소에 대한 상기 주변 화소들 각각마다 계산하고, 계산된 개수를 정규화하고 정규화된 결과를 상기 텍스쳐 신뢰도 값으로서 결정한다.

여기서, 상기 신뢰도 맵 결합부는 상기 입력 화소마다, 상기 컬러 신뢰도 값과 상기 텍스쳐 신뢰도 값의 차이가 임계치보다 큰지 여부를 고려하여 상기 결합 신뢰도 맵을 생성한다. 이 때, 상기 신뢰도 맵 결합부는 상기 컬러 신뢰도 값이 상기 텍스쳐 신뢰도 값보다 큰지 여부, 및 상기 입력 화소가 갖는 텍스쳐의 양과 상기 배경의 해당 화소가 갖는 텍스쳐의 양 각각이 기준치 이하인지 여부를 더 고려하여, 상기 결합 신뢰도 맵을 생성한다.

상기 과제를 이루기 위해, 본 발명의 적어도 일 실시예에 의한 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 방법은 (a) 특정 영역의 일정 시간동안 촬영된 영상 중 고정된 영상인 배경을 상기 배경의 컬러 정보와 텍스쳐 정보를 각 이용하여 모델링함으로써, 컬러 배경 모델과 텍스쳐 배경 모델을 각 생성하는 단계; (b) 입력 영상을 구성하는 화소들인 입력 화소들 각각마다, 상기 입력 화소가 상기 촬영된 영상 내에서 움직이는 영상인 전경에 포함될 가능성을 나타내는 값을 상기 컬러 배경 모델을 고려하여 컬러 신뢰도 값으로서 계산하고, 상기 가능성을 나타내는 값을 상기 텍스쳐 배경 모델을 고려하여 텍스쳐 신뢰도 값으로서 계산하는 단계; (c) 상기 입력 영상에 대한 상기 컬러 신뢰도 값들의 배열인 컬러 신뢰도 맵 및 상기 텍스쳐 신뢰도 값들의 배열인 텍스쳐 신뢰도 맵을, 상기 입력 영상에 따라 적응적으로 결합하여 결합 신뢰도 맵을 생성하는 단계; 및 (d) 상기 결합 신뢰도 맵에 기 설정된 경계 값을 적용함으로써 상기 배경에서 상기 전경을 검출하는 단계를 포함한다.

여기서, 상기 (a) 단계는 상기 배경의 상기 일정 시간동안의 화소값들의 패턴을 최소한으로 감싸며 각각의 크기가 일정한 하나 이상의 정육면체들인 하나 이상의 코드 요소들의 집합으로써 모델링함으로써, 상기 컬러 배경 모델을 생성한다. 이 때, 상기 컬러 배경 모델을 생성함에 있어 상기 배경은 YCbCr 영상이고, 상기 패턴은 Y축, Cb축, Cr축 상의 3차원 패턴이다.

여기서, 상기 (a) 단계는 상기 배경의 각 화소를 중심 화소로 하여 상기 배경에서 상기 중심 화소로부터 일정 픽셀만큼 이격된 일정 개수의 화소들인 주변 화소들 각각과 상기 중심 화소 간의 상기 일정 시간 동안의 화소값 차이를 고려하여, 상기 중심 화소마다 상기 주변 화소들 각각에 대한 상기 화소값 차이를 결정함으로써, 상기 텍스쳐 배경 모델을 생성한다. 이 때, 상기 텍스쳐 배경 모델을 생성함에 있어 상기 배경은 Y 성분만 갖는 영상이고, 상기 일정 픽셀은 2개의 픽셀이고, 상기 일정 개수의 화소들은 6개의 화소이다.

여기서, 상기 (b) 단계는 상기 입력 화소마다, 상기 입력 화소가 상기 패턴의 내부에 위치하는지 여부 및 그림자의 영향을 받았는지 여부를 고려하여, 상기 컬러 신뢰도 값을 계산한다.

여기서, 상기 (b) 단계는 상기 입력 화소마다, 상기 입력 화소를 상기 중심 화소로 할 경우의 상기 주변 화소와의 화소값 차이가 해당 상기 결정된 화소값 차이 이하인지 여부를, 상기 입력 화소에 대한 상기 주변 화소들 각각마다 계산하고, 계산된 개수를 정규화하고 정규화된 결과를 상기 텍스쳐 신뢰도 값으로서 결정한다.

여기서, 상기 (c) 단계는 상기 입력 화소마다, 상기 컬러 신뢰도 값과 상기 텍스쳐 신뢰도 값의 차이가 임계치보다 큰지 여부를 고려하여 상기 결합 신뢰도 맵을 생성한다. 이 때, 상기 (c) 단계는 상기 컬러 신뢰도 값이 상기 텍스쳐 신뢰도 값보다 큰지 여부, 및 상기 입력 화소가 갖는 텍스쳐의 양과 상기 배경의 해당 화소가 갖는 텍스쳐의 양 각각이 기준치 이하인지 여부를 더 고려하여, 상기 결합 신뢰도 맵을 생성한다.

본 발명의 적어도 일 실시예에 따른 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치 및 방법에 의하면, 배경에서 전경을 신속하면서도 정확하게 자동 검출할 수 있다.

도 1은 본 발명의 적어도 일 실시예에 따른 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치를 나타내는 블록도이다.
도 2는 본 발명의 적어도 일 실시예에 따른 컬러 배경 모델을 설명하기 위한 참고도이다.
도 3은 도 1에 도시된 신뢰도 값 계산부(120)의 동작을 설명하기 위한 플로우챠트이다.
도 4는 기존 코드북과 본 발명에서 제안하는 코드북을 비교하기 위한 참고도이다.
도 5는 본 발명의 적어도 일 실시예에 따른 텍스쳐 배경 모델을 설명하기 위한 참고도이다.
도 6a 및 도 6b는 도 1에 도시된 신뢰도 맵 결합부(130)의 동작을 설명하기 위한 플로우챠트들이다.
도 7은 본 발명의 적어도 일 실시예에 따른 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 방법을 나타내는 플로우챠트이다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 그 첨부 도면을 설명하는 내용을 참조하여야만 한다.

이하, 본 발명의 적어도 일 실시예에 의한 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치 및 방법을 첨부한 도면들을 참조하여 다음과 같이 설명한다.

도 1은 본 발명의 적어도 일 실시예에 따른 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치를 나타내는 블록도이고, 도 2는 본 발명의 적어도 일 실시예에 따른 컬러 배경 모델을 설명하기 위한 참고도이고, 도 3은 도 1에 도시된 신뢰도 값 계산부(120)의 동작을 설명하기 위한 플로우챠트이고, 도 4는 기존 코드북과 본 발명에서 제안하는 코드북을 비교하기 위한 참고도이고, 도 5는 본 발명의 적어도 일 실시예에 따른 텍스쳐 배경 모델을 설명하기 위한 참고도이다.

도 1에 도시된 바에 따르면 본 발명의 적어도 일 실시예에 따른 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치는, 배경 모델링부(110), 신뢰도 값 계산부(120), 신뢰도 맵 결합부(130), 및 검출부(140)로 구성된다.

배경 모델링부(110)는 특정 영역의 '일정 시간동안 촬영된(즉, 학습된)' 영상 중 고정된 영상인 '배경'을 그 배경의 컬러 정보와 텍스쳐 정보를 각 이용하여 모델링함으로써, 컬러 배경 모델과 텍스쳐 배경 모델을 각 생성한다. 여기서, '각' 생성한다 함은, 컬러 정보를 이용하여 컬러 배경 모델을 생성함을 의미하고 텍스쳐 정보를 이용하여 텍스쳐 배경 모델을 생성함을 의미한다.

신뢰도 값 계산부(120)는 입력 영상을 구성하는 화소들인 입력 화소들 각각마다, 입력 화소가 '전경'에 포함될 가능성을 나타내는 값인 '신뢰도 값'을 계산한다. 구체적으로, 신뢰도 값 계산부(120)는 컬러 배경 모델을 고려하여 '컬러 신뢰도 값'을 계산하고, 텍스쳐 배경 모델을 고려하여 '텍스쳐 신뢰도 값'을 계산한다. 즉, 컬러 신뢰도 값이란 컬러 배경 모델을 고려하여 계산된 신뢰도 값을 의미하고, 텍스쳐 신뢰도 값이란 텍스쳐 배경 모델을 고려하여 계산된 신뢰도 값을 의미한다. 컬러 신뢰도 값과 텍스쳐 신뢰도 값 모두, 0이상 1이하의 값을 갖는 확률값이다.

배경 모델링부(110)와 신뢰도 값 계산부(120)의 동작을 보다 구체적으로 설명한다.

먼저, '배경 모델링부(110)가 컬러 배경 모델을 생성하고, 신뢰도 값 계산부(120)가 컬러 신뢰도 값을 계산하는 동작'을 구체적으로 설명한다.

배경 모델링부(110)는 배경의 '상기 일정 시간동안의 화소값들의 패턴'(도 2의 (a)에서 식별번호 210, 216 모두 그와 같은 '패턴'의 일 례들임)을 최소한으로 감싸는 '하나 이상의 정육면체들'을 이용하여 모델링함으로써, 컬러 배경 모델을 생성한다. 여기서, '하나 이상의 정육면체들' 각각의 크기는 서로 같다(도 2의 (b) 참조). 이처럼, 컬러 배경 모델을 생성함에 있어, 배경은 YCbCr 영상이고 상기 패턴은 Y축, Cb축, Cr축 상의 3차원 패턴이다. 본 명세서에서 '코드 요소(code-element)'는 상기 '정육면체'를 의미한다(도 2의 (b) 참조). 이미 언급했듯이, 코드 요소 각각의 크기는 항상 고정되어 있는데 이는 컬러 범위를 표현하기 위해 정육면체의 크기를 변화시켜 나갔던 기존의 기법 예컨대, K. Kyungnam and T.H. Chalidabhongse, "Background modeling and subtraction by codebook construction", International Conference on Image Processing, vol. 5, pp. 3061-3064, 2004에 개시된 바나, Doshi. H, Trivedi. M, "Hybrid Cone-Cylinder Codebook Model for Foreground Detection with Shadow and Hilight Supression", Advanced Video and Signal-based Surveillance", pp19-19, 2006에 개시된 바와는 차별화된다.

신뢰도 값 계산부(120)는 입력 화소마다, 입력 화소가 '상기 패턴의 내부에 위치하는지 여부' 및 '그림자의 영향을 받았는지 여부'를 고려하여, 컬러 신뢰도 값을 계산한다. 구체적으로, 신뢰도 값 계산부(120)에 입력 영상이 입력되면(제310 단계), 신뢰도 값 계산부(120)는 입력 화소마다 그 입력 화소가 코드북에 매칭되어 있는지 여부, 즉, 그 입력 화소가 코드 요소들의 내부에 위치하는지 여부를 판단하고(제312 단계)(도 2의 경우를 예로 들어 설명하면 식별번호 214의 화소는 코드 요소들의 외부에 위치하고 있으므로 '전경'에 포함된 화소로 평가되는 데 반해, 식별번호 212의 화소는 코드 요소(들)의 내부에 위치하므로 '배경'에 포함된 화소로 평가됨), 제312단계에서 그 입력 화소가 코드 요소들의 내부에 위치한다고 판단되면 그 입력 화소에 대한 '컬러 신뢰도 값'을 0으로 결정하고 즉 그 입력 화소는 '배경'할 가능성이 100%라고 판단하고(제314 단계), 반면 제312 단계에서 그 입력 화소가 코드 요소들의 내부에 위치하지 않는다고 판단되면, 그 입력 화소의 그림자 조건을 체크하고(제316 단계) '코드북 매칭시 매칭된 최대 채널의 수(cnt_CB)'와 '그림자 조건값(cnt_SC)'을 고려하여 그 입력 화소의 컬러 신뢰도 값을 계산한다(제318 단계). 여기서, '코드북 매칭시 매칭된 최대 채널의 수'란 입력 화소의 Y값(Y채널), Cb값(Cb채널), Cr값(Cr채널) 중 코드북의 내부에 위치한 채널의 수를 의미한다. 그림자 조건값의 의미에 대해서는 Doshi. H, Trivedi. M, "Hybrid Cone-Cylinder Codebook Model for Foreground Detection with Shadow and Hilight Supression", Advanced Video and Signal-based Surveillance", pp19-19, 2006에도 개시되어 있다.

이미 언급하였듯이 본 발명에 따르면 모든 코드 요소들의 크기가 동일한데, 그 이유는 False Positive Alarm 즉, '배경에 해당하는 화소가 전경으로 오분류된 경우'의 수를 최소화하기 위한 것으로 도 4가 이를 잘 표현해 주고 있다. 도 4 (a)의 좌측 도면은 학습 기간 동안(=위에서 언급한 '일정 시간'동안) 입력된 학습 샘플의 분포를 나타낸다. 여기서, 학습 샘플이란 학습 기간 동안 입력된 영상들(프레임들)의 화소값들을 의미하며 도 4에 표현된 점들은 모두 YCbCr 공간상에 표현되어 있는 것이다. 위에서 언급한 K. Kyungnam and T.H. Chalidabhongse, "Background modeling and subtraction by codebook construction", International Conference on Image Processing, vol. 5, pp. 3061-3064, 2004에서는 이러한 샘플 분포를 커버하기 위해 도 4의 (a)의 우측 도면과 같은 코드 요소들(400, 402, ...)을 생성시키게 된다. 하지만 이러한 형태의 코드북의 경우 식별번호 410에 표시된 것과 같은 false negative alarm 영역을 생성시킬 수 있게 된다. 가령 입력 화소(420)가 실제로는 '전경'에 포함된 화소라 하더라도, 도 4의 (a)에 따르면 이를 '배경'에 포함된 화소로 오분류할 수 있는 것이다. 반면, 본 발명에 따라 코드북이 정사각 코드북이라면(도 4의 (b) 참조) 그러한 에러 영역이 발생하지 않고, 따라서 보다 정교한 전경 검출이 가능해 진다. 코드 요소의 코드북 크기를 고정시킨 것을 제외하고, '코드북 생성', '업데이트', '제거' 방법에 대해 본 발명의 적어도 일 실시예는 K. Kyungnam and T.H. Chalidabhongse, "Background modeling and subtraction by codebook construction", International Conference on Image Processing, vol. 5, pp. 3061-3064, 2004에 개시된 바를 활용하였다.

한편, 코드북 매칭의 의미에 대해 부연 설명하면, 코드북에 매칭되었는지 여부를 확인하기 위해서는, 즉, 입력 화소가 코드 요소들의 내부에 위치하는지 여부를 확인하기 위해서는 코드북 내에 '배경'이 가질 수 있는 컬러 범위 정보가 저장되어 있어야 한다. 예를 들어, 학습시 관찰된 컬러값의 범위가 0<Y<100, 75<Cr<100, 125<Cb<200이라고 가정하면, 만약, 'Y=120, Cr=80, Cb=0'인 입력 화소가 들어오면 이 화소는 관찰된 Y범위를 만족하지 않으므로 '전경'으로 분류되어야 한다.

지금까지 '배경 모델링부(110)가 컬러 배경 모델을 생성하고, 신뢰도 값 계산부(120)가 컬러 신뢰도 값을 계산하는 동작'을 구체적으로 설명하였는데, 이하에서는, '배경 모델링부(110)가 텍스쳐 배경 모델을 생성하고, 신뢰도 값 계산부(120)가 텍스쳐 신뢰도 값을 계산하는 동작'을 구체적으로 설명한다.

배경 모델링부(110)는 배경의 각 화소를 중심 화소로 하여 배경에서 중심 화소로부터 일정 픽셀(예컨대 2개의 픽셀(도 5 참조))만큼 이격된 일정 개수의 화소들(예컨대 6개의 화소들(도 5 참조))인 주변 화소들 각각과 중심 화소간의 '일정 시간' 동안의 화소값 차이를 고려하여, 중심 화소마다 주변 화소들 각각에 대한 화소값 차이를 결정함으로써, 텍스쳐 배경 모델을 생성한다. 여기서 '결정된 화소값 차이'란 도 5에 기재된 'back_range'를 의미한다. 도 5의 경우를 예로 들어 설명하면, 배경 모델링부(110)는 중심 화소(C)의 주변 화소들(도 5에서 0, 1, 2, 3, 4, 5 로 표시된 6개의 화소들) 각각마다 중심 화소(C)와의 화소값 차이를 각각 'back_range_i(i는 0≤i≤5인 정수)'로서 결정한다. 이처럼, 텍스쳐 배경 모델을 생성함에 있어, 배경은 Y 성분만 갖는 영상이다. 텍스쳐 배경 모델을 생성하는 것은 이진 코드 생성을 위한 경계값 정보를 생성함을 의미하며, 컬러 배경 모델이 하나의 코드북으로 이루어졌던 것과 달리, 텍스쳐 배경 모델은 6개의 코드북 CB_i 들로 구성될 수 있다. CB_i를 생성하기 위한 입력은 중심 화소 C와 i번째 주변 화소 간의 Y 성분 차이 값이 되는데, 구체적인 코드북 생성 방법은 컬러 모델의 그것과 거의 일치한다. 차이점은 컬러 배경 모델이 코드북 생성을 위한 입력으로 해당 화소의 (Y, Cr, Cb) 벡터를 사용하였던 것과 달리, CB_i의 경우에는 중심 화소 및 i번째 주변 화소 간의 Y 성분 차이 값을 사용한다는 점이다.

신뢰도 값 계산부(120)는 입력 화소마다, 입력 화소를 중심 화소로 할 경우의 주변 화소와의 화소값 차이가 해당 '결정된 화소값 차이' 이하인지 여부를, 입력 화소에 대한 주변 화소들 각각마다 계산하고, 계산된 개수를 정규화하고 정규화된 결과를 텍스쳐 신뢰도 값으로서 결정한다.

이러한 신뢰도 값 계산부(120)의 동작을 도 5를 통해 설명한다. 일단 CB_i가 생성되면, 배경이 가질 수 있는 중심 화소(C)와 주변 화소(도 5의 (a)에서 0, 1, 2, 3, 4, 5로 표기된 화소들)간의 Y성분 차이 값 패턴을 도 5의 (c)와 같이 표현할 수 있다. 도 5의 (c)에서, 식별번호 510 내지 518 각각은 코드 요소를 의미하며, 점선들간의 간격(back_range)은 가능한 Y성분 차이 값의 범위를 나타낸다. 만약 입력 화소가 들어왔고, 그 입력 화소와 i번째 주변 화소간의 Y성분 차이 값이 '결정된 화소값 차이(back_range_i)' 이하라면, 그 입력 화소는 1로, 그렇지 않으면 0으로 표기되는 것이다(도 5의 (c) 참조). 이러한 방식이 6개의 CB_i에 대해 수행되면, 입력 화소에 대한 응답 값으로서 6차원의 0-1 벡터를 얻을 수 있게 된다. 이 벡터는 후술할 텍스쳐 신뢰도 맵을 예측하는데 유용하게 사용된다. 신뢰도 값 계산부(120)는 다음의 수학식 1에 따라 텍스쳐 신뢰도 값을 계산한다.

[ 수학식 1 ]

conf_t_(p) = (이진코드 '0'의 개수)/6

여기서 conf_t_(p)는 입력 화소 p에 대한 텍스쳐 신뢰도 값을 의미하고, 이진코드 0의 개수란 위 6차원의 0-1벡터 중 0의 개수를 의미하고, 6으로 나누는 것은 정규화하는 것을 의미한다.

신뢰도 맵 결합부(130)는 입력 영상에 대한 '컬러 신뢰도 값들의 배열'인 '컬러 신뢰도 맵' 및 '텍스쳐 신뢰도 값들의 배열'인 '텍스쳐 신뢰도 맵'을 그 입력 영상에 따라 적응적으로 결합하여 결합 신뢰도 맵을 생성한다.

신뢰도 맵 결합부(130)는 한 입력 화소에 대한 결합 신뢰도 값을 컬러 신뢰도 값과 텍스쳐 신뢰도 값을 이용하여 다음의 수학식 2에 따라 계산할 수 있다. 결합 신뢰도 맵이란 이와 같이 계산된 결합 신뢰도 값들의 배열인 것이다.

[ 수학식 2 ]

conf_com= α * conf_t + (1-α) * conf_c

여기서, conf_com이란 결합 신뢰도 값을 의미하고, α(단, α는 0≤α≤1의 실수)는 가중치를 의미하며, conf_t란 텍스쳐 신뢰도 값을 의미하고 conf_c란 컬러 신뢰도 값을 의미한다.

α는 컬러 신뢰도 값과 텍스쳐 신뢰도 값간의 차이(ConDiff), 배경 화소가 갖는 텍스쳐의 양(amt_back), 입력 화소가 갖는 텍스쳐의 양(amt_ins), 두 텍스쳐 양들의 차이(amtDiff) 및 해당 화소의 색상(Lab값)에 의해 결정된다. 구체적으로는 아래의 수학식 3의 관계를 따른다.

[ 수학식 3 ]

여기서, i는 모든 주변 화소들 각각의 index를 의미하고, j는 모든 코드 요소들 각각의 index를 의미하고, elem_mean_ij는 i번째 주변 화소, j번째 코드 요소의 중심 좌표를 의미하며, k는 해당 화소의 텍스쳐 배경 모델이 갖는 총 코드 요소들의 수를 의미한다.

검출부(140)는 결합 신뢰도 맵에 기 설정된 경계 값을 적용함으로써, '배경'에서 '전경'을 검출한다.

도 6a 및 도 6b는 도 1에 도시된 신뢰도 맵 결합부(130)의 동작을 설명하기 위한 플로우챠트들이다.

신뢰도 맵 결합부(130)는 입력 화소마다, '컬러 신뢰도 값과 텍스쳐 신뢰도 값의 차이가 임계치보다 큰지 여부'를 고려하여 결합 신뢰도 맵을 생성한다(제610단계).

나아가, 신뢰도 맵 결합부(130)는 '컬러 신뢰도 값이 텍스쳐 신뢰도 값보다 큰지 여부', 및 '입력 화소가 갖는 텍스쳐의 양과 배경의 해당 화소가 갖는 텍스쳐의 양 각각이 기준치 이하인지 여부'를 더 고려하여, 결합 신뢰도 맵을 생성한다(제612 내지 제622 단계).

구체적으로, 제610 단계 내지 제622 단계는 아래와 같이 수행된다.

우선, 신뢰도 맵 결합부(130)는 ConDiff를 계산하고(제600 단계), ConDiff가 임계치(예컨대, 0.3)보다 큰지 여부를 판단하여, 컬러 신뢰도 값과 텍스쳐 신뢰도 값이 모두 신뢰할 만한 것인지 여부를 판단한다(제610 단계).

제610 단계에서 ConDiff가 임계치보다 크지 않다고 판단되면, 신뢰도 맵 결합부(130)는 컬러 신뢰도 값과 텍스쳐 신뢰도 값이 모두 신뢰할 수 있는 것으로 판단하여 가중치 값(α)을 0.5로 결정한다.

반면, 제610 단계에서 ConDiff가 임계치보다 크다고 판단되면, 신뢰도 맵 결합부(130)는 컬러 신뢰도 값과 텍스쳐 신뢰도 값 중 하나는 틀린 것으로 판단하여, 어느 신뢰도 값이 틀렸는지 찾기 위한 프로세스들(제612 내지 제622 단계)을 추가로 수행한다.

신뢰도 맵 결합부(130)는 컬러 신뢰도 값이 텍스쳐 신뢰도 값보다 큰지 여부를 판단하고(제612 단계), 컬러 신뢰도 값이 텍스쳐 신뢰도 값보다 크다고 판단되면 배경의 텍스쳐 양과 입력 화소의 텍스쳐 양을 점검한다(제614 단계). 이는 amt_ins 및 amt_back이 둘 다 예컨대 15보다 크며 amtDiff는 예컨대 10보다 작은지 여부를 점검하는 것을 의미한다. 만약 제614 단계에서 점검하는 이러한 조건들이 만족되면, 이는 입력 및 배경에 텍스쳐가 거의 없었음을 의미하므로, 신뢰도 맵 결합부(130)는 텍스쳐 신뢰도 값을 신뢰할 수 없다고 판단하고 가중치(α)를 0으로 결정하고, 그 외의 경우라면 가중치(α)를 0.5로 결정한다.

반면, 제612 단계에서 컬러 신뢰도 값이 텍스쳐 신뢰도 값 이하라고 판단되면, 신뢰도 맵 결합부(130)는 texture pattern analysis 모듈을 수행해 줌(제616 단계)으로써 해당 텍스쳐가 그림자에 의해 생긴 것인지의 여부를 판단한다. 만약 해당 텍스쳐가 그림자에 의해 생긴 것이 아니라고 판단되면, 신뢰도 맵 결합부(130)는 가중치 α를 1로 설정함으로써 컬러 신뢰도 값을 무시하고, 그렇지 않은 경우에는 가중치 α를 0으로 설정함으로써 텍스쳐 신뢰도 값을 무시하게 된다. 단, 배경의 텍스쳐 양이 많았던 상황에서 입력 영상 내에 텍스쳐 변화가 발생한 경우에는 가중치 α를 0.5로 설정해 주어, 텍스쳐 신뢰도 값과 배경 신뢰도 값을 둘 다 고려한다.

도 6b는 제616 단계를 상세하게 설명하는 플로우챠트이다.

texture pattern analysis 모듈은 해당 입력에서 발생한 텍스쳐 변화가 전경에 의한 것인지 아니면 그림자에 의한 것인지 여부를 판단하기 위한 모듈이다. 이를 위해, 신뢰도 맵 결합부(130)는 우선, 입력 화소의 텍스쳐 양(amt_ins)과 배경 화소의 텍스쳐 양(amt_back)을 체크한다(제618 단계).

제618 단계에서 amt_ins 및 amt_back의 크기가 둘 다 작다고 판단되면, 이는 배경 및 입력에서 검출된 텍스쳐의 양이 적었음을 의미한다. 이 경우, 신뢰도 맵 결합부(130)는 텍스쳐 배경 모델에 의한 텍스쳐 신뢰도 값의 신뢰도가 매우 떨어진다고 판단하고 가중치(α) 값을 0으로 설정하여 텍스쳐 배경 모델의 영향이 무시되도록 한다.

한편, 제618 단계에서 amt_back은 작았지만 amt_ins의 크기가 크다고 판단되면, 이는 전경 또는 그림자에 의해 배경의 무늬가 가려진 경우를 뜻한다. 이 경우, 신뢰도 맵 결합부(130)는 입력된 화소의 cnt_SC값 및 컬러 정보를 체크함으로써 해당 화소가 전경인지 아니면 그림자인지 여부를 최종 결정해야 하고, 만약 해당 화소가 그림자이면 가중치(α)를 0으로 설정하며 전경인 경우에는 가중치(α)를 1로 설정해 주게 된다(제620 및 제622 단계).

한편, 제618 단계에서 amt_back의 크기가 충분히 크다고 판단되면, 별다른 특징을 예상할 수 없으므로 신뢰도 맵 결합부(130)는 가중치(α)값을 0.5로 설정하여 컬러 배경 모델과 텍스쳐 배경 모델의 기여도가 같아지도록 해 준다.

도 7은 본 발명의 적어도 일 실시예에 따른 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 방법을 나타내는 플로우챠트이다.

우선, 본 발명의 적어도 일 실시예에 따른 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치는, 특정 영역의 일정 시간동안 촬영된 영상 중 고정된 영상인 '배경'을 그 배경의 컬러 정보와 텍스쳐 정보를 각 이용하여 모델링함으로써, 컬러 배경 모델과 텍스쳐 배경 모델을 각 생성한다(제710 단계).

제710 단계 후에, 본 발명의 적어도 일 실시예에 따른 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치는 입력 화소마다, 입력 화소가 '전경'에 포함될 가능성을 나타내는 값을, 컬러 배경 모델을 고려하여 컬러 신뢰도 값으로서 계산하고, 텍스쳐 배경 모델을 고려하여 텍스쳐 신뢰도 값으로서 계산한다(제720 단계).

제720 단계 후에, 본 발명의 적어도 일 실시예에 따른 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치는, 입력 영상에 대한 '컬러 신뢰도 값들의 배열'인 '컬러 신뢰도 맵' 및 '텍스쳐 신뢰도 값들의 배열'인 '텍스쳐 신뢰도 맵'을 그 입력 영상에 따라 적응적으로 결합하여 결합 신뢰도 맵을 생성한다(제730 단계).

제730 단계 후에, 본 발명의 적어도 일 실시예에 따른 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치는 결합 신뢰도 맵에 기 설정된 경계 값을 적용함으로써 '배경'에서 '전경'을 검출한다(제740 단계).

이상에서 언급된 본 발명에 의한 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록매체에 저장될 수 있다.

여기서, 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬(ROM), 플로피 디스크, 하드 디스크 등), 및 광학적 판독 매체(예를 들면, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc))와 같은 저장매체를 포함한다.

이제까지 본 발명을 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점들은 본 발명에 포함된 것으로 해석되어야 할 것이다.

110: 배경 모델링부 120: 신뢰도 값 계산부
130: 신뢰도 맵 결합부 140: 검출부

Claims

특정 영역의 일정 시간동안 촬영된 영상 중 고정된 영상인 배경을 상기 배경의 컬러 정보와 텍스쳐 정보를 각 이용하여 모델링함으로써, 컬러 배경 모델과 텍스쳐 배경 모델을 각 생성하는 배경 모델링부;
입력 영상을 구성하는 화소들인 입력 화소들 각각마다, 상기 입력 화소가 상기 촬영된 영상 내에서 움직이는 영상인 전경에 포함될 가능성을 나타내는 값을 상기 컬러 배경 모델을 고려하여 컬러 신뢰도 값으로서 계산하고, 상기 가능성을 나타내는 값을 상기 텍스쳐 배경 모델을 고려하여 텍스쳐 신뢰도 값으로서 계산하는 신뢰도 값 계산부;
상기 입력 영상에 대한 상기 컬러 신뢰도 값들의 배열인 컬러 신뢰도 맵 및 상기 텍스쳐 신뢰도 값들의 배열인 텍스쳐 신뢰도 맵을, 상기 입력 영상에 따라 적응적으로 결합하여 결합 신뢰도 맵을 생성하는 신뢰도 맵 결합부; 및
상기 결합 신뢰도 맵에 기 설정된 경계 값을 적용함으로써 상기 배경에서 상기 전경을 검출하는 검출부를 포함하는 것을 특징으로 하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치.
제1 항에 있어서, 상기 배경 모델링부는
상기 배경의 상기 일정 시간동안의 화소값들의 패턴을 최소한으로 감싸며 각각의 크기가 일정한 하나 이상의 정육면체들인 하나 이상의 코드 요소들의 집합으로써 모델링함으로써, 상기 컬러 배경 모델을 생성하는 것을 특징으로 하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치.
제2 항에 있어서, 상기 컬러 배경 모델을 생성함에 있어 상기 배경은 YCbCr 영상이고, 상기 패턴은 Y축, Cb축, Cr축 상의 3차원 패턴인 것을 특징으로 하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치.
제1 항에 있어서, 상기 배경 모델링부는
상기 배경의 각 화소를 중심 화소로 하여 상기 배경에서 상기 중심 화소로부터 일정 픽셀만큼 이격된 일정 개수의 화소들인 주변 화소들 각각과 상기 중심 화소 간의 상기 일정 시간 동안의 화소값 차이를 고려하여, 상기 중심 화소마다 상기 주변 화소들 각각에 대한 상기 화소값 차이를 결정함으로써, 상기 텍스쳐 배경 모델을 생성하는 것을 특징으로 하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치.
제4 항에 있어서, 상기 텍스쳐 배경 모델을 생성함에 있어 상기 배경은 Y 성분만 갖는 영상인 것을 특징으로 하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치.
제4 항에 있어서, 상기 일정 픽셀은 2개의 픽셀이고, 상기 일정 개수의 화소들은 6개의 화소인 것을 특징으로 하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치.
제2 항에 있어서, 상기 신뢰도 값 계산부는
상기 입력 화소마다, 상기 입력 화소가 상기 패턴의 내부에 위치하는지 여부 및 그림자의 영향을 받았는지 여부를 고려하여, 상기 컬러 신뢰도 값을 계산하는 것을 특징으로 하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치.
제4 항에 있어서, 상기 신뢰도 값 계산부는
상기 입력 화소마다,
상기 입력 화소를 상기 중심 화소로 할 경우의 상기 주변 화소와의 화소값 차이가 해당 상기 결정된 화소값 차이 이하인지 여부를, 상기 입력 화소에 대한 상기 주변 화소들 각각마다 계산하고, 계산된 개수를 정규화하고 정규화된 결과를 상기 텍스쳐 신뢰도 값으로서 결정하는 것을 특징으로 하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치.
제1 항에 있어서, 상기 신뢰도 맵 결합부는
상기 입력 화소마다, 상기 컬러 신뢰도 값과 상기 텍스쳐 신뢰도 값의 차이가 임계치보다 큰지 여부를 고려하여 상기 결합 신뢰도 맵을 생성하는 것을 특징으로 하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치.
제9 항에 있어서, 상기 신뢰도 맵 결합부는
상기 컬러 신뢰도 값이 상기 텍스쳐 신뢰도 값보다 큰지 여부, 및 상기 입력 화소가 갖는 텍스쳐의 양과 상기 배경의 해당 화소가 갖는 텍스쳐의 양 각각이 기준치 이하인지 여부를 더 고려하여, 상기 결합 신뢰도 맵을 생성하는 것을 특징으로 하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치.
(a) 특정 영역의 일정 시간동안 촬영된 영상 중 고정된 영상인 배경을 상기 배경의 컬러 정보와 텍스쳐 정보를 각 이용하여 모델링함으로써, 컬러 배경 모델과 텍스쳐 배경 모델을 각 생성하는 단계;
(b) 입력 영상을 구성하는 화소들인 입력 화소들 각각마다, 상기 입력 화소가 상기 촬영된 영상 내에서 움직이는 영상인 전경에 포함될 가능성을 나타내는 값을 상기 컬러 배경 모델을 고려하여 컬러 신뢰도 값으로서 계산하고, 상기 가능성을 나타내는 값을 상기 텍스쳐 배경 모델을 고려하여 텍스쳐 신뢰도 값으로서 계산하는 단계;
(c) 상기 입력 영상에 대한 상기 컬러 신뢰도 값들의 배열인 컬러 신뢰도 맵 및 상기 텍스쳐 신뢰도 값들의 배열인 텍스쳐 신뢰도 맵을, 상기 입력 영상에 따라 적응적으로 결합하여 결합 신뢰도 맵을 생성하는 단계; 및
(d) 상기 결합 신뢰도 맵에 기 설정된 경계 값을 적용함으로써 상기 배경에서 상기 전경을 검출하는 단계를 포함하는 것을 특징으로 하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 방법.
제11 항에 있어서, 상기 (a) 단계는
상기 배경의 상기 일정 시간동안의 화소값들의 패턴을 최소한으로 감싸며 각각의 크기가 일정한 하나 이상의 정육면체들인 하나 이상의 코드 요소들의 집합으로써 모델링함으로써, 상기 컬러 배경 모델을 생성하는 것을 특징으로 하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 방법.
제12 항에 있어서,
상기 컬러 배경 모델을 생성함에 있어 상기 배경은 YCbCr 영상이고, 상기 패턴은 Y축, Cb축, Cr축 상의 3차원 패턴인 것을 특징으로 하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 방법.
제11 항에 있어서, 상기 (a) 단계는
상기 배경의 각 화소를 중심 화소로 하여 상기 배경에서 상기 중심 화소로부터 일정 픽셀만큼 이격된 일정 개수의 화소들인 주변 화소들 각각과 상기 중심 화소 간의 상기 일정 시간 동안의 화소값 차이를 고려하여, 상기 중심 화소마다 상기 주변 화소들 각각에 대한 상기 화소값 차이를 결정함으로써, 상기 텍스쳐 배경 모델을 생성하는 것을 특징으로 하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 방법.
제14 항에 있어서,
상기 텍스쳐 배경 모델을 생성함에 있어 상기 배경은 Y 성분만 갖는 영상인 것을 특징으로 하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 방법.
제14 항에 있어서,
상기 일정 픽셀은 2개의 픽셀이고, 상기 일정 개수의 화소들은 6개의 화소인 것을 특징으로 하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 방법.
제12 항에 있어서, 상기 (b) 단계는
상기 입력 화소마다, 상기 입력 화소가 상기 패턴의 내부에 위치하는지 여부 및 그림자의 영향을 받았는지 여부를 고려하여, 상기 컬러 신뢰도 값을 계산하는 것을 특징으로 하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 방법.
제14 항에 있어서, 상기 (b) 단계는
상기 입력 화소마다,
상기 입력 화소를 상기 중심 화소로 할 경우의 상기 주변 화소와의 화소값 차이가 해당 상기 결정된 화소값 차이 이하인지 여부를, 상기 입력 화소에 대한 상기 주변 화소들 각각마다 계산하고, 계산된 개수를 정규화하고 정규화된 결과를 상기 텍스쳐 신뢰도 값으로서 결정하는 것을 특징으로 하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 방법.
제11 항에 있어서, 상기 (c) 단계는
상기 입력 화소마다, 상기 컬러 신뢰도 값과 상기 텍스쳐 신뢰도 값의 차이가 임계치보다 큰지 여부를 고려하여 상기 결합 신뢰도 맵을 생성하는 것을 특징으로 하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 방법.
제19 항에 있어서, 상기 (c) 단계는
상기 컬러 신뢰도 값이 상기 텍스쳐 신뢰도 값보다 큰지 여부, 및 상기 입력 화소가 갖는 텍스쳐의 양과 상기 배경의 해당 화소가 갖는 텍스쳐의 양 각각이 기준치 이하인지 여부를 더 고려하여, 상기 결합 신뢰도 맵을 생성하는 것을 특징으로 하는 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 방법.