KR101158728B1 - 실시간 전경 영상 검출시스템 및 방법 - Google Patents
실시간 전경 영상 검출시스템 및 방법 Download PDFInfo
- Publication number
- KR101158728B1 KR101158728B1 KR1020100029385A KR20100029385A KR101158728B1 KR 101158728 B1 KR101158728 B1 KR 101158728B1 KR 1020100029385 A KR1020100029385 A KR 1020100029385A KR 20100029385 A KR20100029385 A KR 20100029385A KR 101158728 B1 KR101158728 B1 KR 101158728B1
- Authority
- KR
- South Korea
- Prior art keywords
- foreground
- area
- unit
- image
- background model
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000000605 extraction Methods 0.000 claims description 17
- 238000012790 confirmation Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
이 발명은 카메라로부터 얻은 영상으로부터 배경 부분을 제거하고 전경 영상을 검출하는 기술에 관한 것으로서, 보다 상세하게는 조명 변화나 주기적인 변화에 강인한 실시간 전경 영상 검출시스템 및 방법에 관한 것이다.
이 발명에 따른 실시간 전경 영상 검출시스템은, 카메라에서 획득된 배경 영상으로부터 배경 모델을 학습하는 배경모델학습부와, 상기 카메라에서 획득된 입력 영상과 상기 배경모델학습부에서 학습된 배경 모델을 입력받아 상기 입력 영상의 각 픽셀 단위로 전경 여부를 판단하여 상기 입력 영상 중 전경 영역을 추출하는 픽셀단위전경영역추출부와, 상기 픽셀단위전경영역추출부에서 추출된 상기 전경 영역에 대해 인접 픽셀들을 묶어서 지역 단위로 구분하는 지역설정부와, 상기 지역설정부에서 구분된 지역 단위로 전경 여부를 확인하여 최종 전경 영상을 추출하는 지역단위전경영역확인부를 포함한다.
이 발명에 따른 실시간 전경 영상 검출시스템은, 카메라에서 획득된 배경 영상으로부터 배경 모델을 학습하는 배경모델학습부와, 상기 카메라에서 획득된 입력 영상과 상기 배경모델학습부에서 학습된 배경 모델을 입력받아 상기 입력 영상의 각 픽셀 단위로 전경 여부를 판단하여 상기 입력 영상 중 전경 영역을 추출하는 픽셀단위전경영역추출부와, 상기 픽셀단위전경영역추출부에서 추출된 상기 전경 영역에 대해 인접 픽셀들을 묶어서 지역 단위로 구분하는 지역설정부와, 상기 지역설정부에서 구분된 지역 단위로 전경 여부를 확인하여 최종 전경 영상을 추출하는 지역단위전경영역확인부를 포함한다.
Description
이 발명은 카메라로부터 얻은 영상으로부터 배경 부분을 제거하고 전경 영상을 검출하는 기술에 관한 것으로서, 보다 상세하게는 조명 변화나 주기적인 변화에 강인한 실시간 전경 영상 검출시스템 및 방법에 관한 것이다.
이 발명은 행동 인식 기술을 필요로 하는 모든 분야에 적용할 수 있다. 예컨대, 행동 인식을 이용한 지능형 무인 감시시스템 등과 같은 보안 관련 분야뿐만 아니라 사람과의 상호 교류 수행능력을 지니는 지능형 로봇, 지능형 가전제품 등 많은 분야에 적용할 수 있다. 이 발명에 의해 실시간으로 전경 영상을 추출함으로써 추출된 전경 영상으로부터 다수의 객체를 신뢰성 있게 추적할 수 있도록 한다.
지능형 무인 감시시스템 등을 구현하려면 카메라를 통해 얻은 영상으로부터 관심 객체를 추출해야 한다.
관심 객체 추출 방법들 중 효과적인 방법으로서, 객체 모델링 방법이 제안되었으나, 이는 영상에 등장하는 관심 객체의 종류가 사람, 자동차, 자전거, 개 등으로 다양해 지고 카메라의 시점에 따라 객체의 외형이 달라질 경우, 관심 객체들을 일반화하여 모델링하기 어려운 문제점이 있다. 특히, 사람의 경우 다양한 자세를 취할 수 있고 자세마다 외형이 완전히 달라지기 때문에 객체 모델링을 더욱 어렵게 한다.
이에 관심 객체를 추출하기 위한 전처리 방법으로 전경 검출 방법이 있으나, 현재까지 개발된 전경 검출 방법들은, 광원 변화로 인한 입력 영상 자체의 변화 또는 바람에 흔들리는 나무나 강물의 표면 같이 주기적으로 변하는 배경에서는 관심 객체를 정확하게 찾아내기 어렵다. 또한, 종래의 전경 검출 방법을 통해 관심 객체를 검출할 경우, 객체들끼리 가려져서 다수의 객체가 하나의 그룹(객체)으로 검출되거나, 실제 하나의 객체가 쪼개져서 다수의 객체로 검출되는 등, 전경 영상과 관심 객체를 정확하게 검출할 수 없는 문제점이 있다.
상술한 종래 기술의 문제점을 해결하기 위하여 안출된 이 발명의 목적은, 카메라로부터 얻은 영상에 대해 픽셀(pixel) 단위로 전경 영역을 추출하며, 추출된 전경 영역을 지역(region) 단위로 구분하고 구분된 지역 단위 별로 전경 여부를 확인하여 최종적인 전경 영상을 검출함으로써, 조명 변화, 주기적 배경 변화, 객체 뭉쳐짐과 쪼개짐 문제를 해결하면서 실시간으로 다수의 관심 객체를 추적할 수 있는 시스템 및 방법을 제공하기 위한 것이다.
상술한 목적을 달성하기 위한 이 발명에 따른 실시간 전경 영상 검출시스템은, 카메라에서 획득된 배경 영상으로부터 배경 모델을 학습하는 배경모델학습부와,
상기 카메라에서 획득된 입력 영상과 상기 배경모델학습부에서 학습된 배경 모델을 입력받아 상기 입력 영상의 각 픽셀 단위로 전경 여부를 판단하여 상기 입력 영상 중 전경 영역을 추출하는 픽셀단위전경영역추출부와,
상기 픽셀단위전경영역추출부에서 추출된 상기 전경 영역에 대해 인접 픽셀들을 묶어서 지역 단위로 구분하는 지역설정부와,
상기 지역설정부에서 구분된 지역 단위로 전경 여부를 확인하여 최종 전경 영상을 추출하는 지역단위전경영역확인부를 포함한 것을 특징으로 한다.
또한, 이 발명에 따른 실시간 전경 영상 검출방법은, 카메라에서 획득된 배경 영상으로부터 배경 모델을 학습하는 배경모델학습단계와,
상기 카메라에서 획득된 입력 영상과 상기 배경모델학습단계에서 학습된 배경 모델을 입력받아 상기 입력 영상의 각 픽셀 단위로 전경 여부를 판단하여 상기 입력 영상 중 전경 영역을 추출하는 픽셀단위전경영역추출단계와,
상기 픽셀단위전경영역추출단계에서 추출된 상기 전경 영역에 대해 인접 픽셀들을 묶어서 지역 단위로 구분하는 지역설정단계와,
상기 지역설정단계에서 구분된 지역 단위로 전경 여부를 확인하여 최종 전경 영상을 추출하는 지역단위전경영역확인단계를 포함한 것을 특징으로 한다.
이 발명에 따른 실시간 전경 영상 검출시스템 및 방법에 따르면, 카메라로촬영한 영상으로부터 조명 변화와 주기적인 변화에 강인하게 전경 영상을 검출할 수 있는 효과가 있다. 또한, 이로 말미암아 이러한 실시간 전경 영상 검출시스템 및 방법을 기반으로 하는 지능형 무인 감시시스템, 영상 검색시스템, 또는 지능형 로봇 등의 성능 향상 및 실용화에 기여할 수 있는 효과가 있다.
도 1은 이 발명에 따른 실시간 전경 영상 검출시스템의 구성도이다.
도 2는 이 발명에 따른 배경모델학습부가 배경 학습 기간동안 획득된 N개의 배경 영상들에 대해 배경 모델을 학습하는 과정을 도시한 도면이다.
도 3은 이 발명에 따른 픽셀단위전경영역추출부의 내부 구성 블록도이다.
도 4는 이 발명에 따른 바텀업 방식으로 레벨 0부터 레벨 2까지 쿼드트리를 생성하는 과정(a) 및 그 결과(b)을 도시한 도면이다.
도 5는 쿼드트리에 대해 전경영역을 추출하는 과정을 도시한 도면이다.
도 6은 입력영상(a)과 이 발명에 따른 전경영역추출부의 출력영상(b)을 도시한 도면이다.
도 7은 그림자&하이라이트제거부(134)에 의해 그림자와 하이라이트가 제거됨에 따라 발생하는 문제를 도시한 예로서, (a)는 입력 영상이고, (b)는 전경영역추출부(133)에 의해 추출된 전경 영상이며, (c)는 색상기반 전경마스크()에서 그림자&하이라이트제거부에 따른 그림자&하이라이트 마스크(를 빼고( - ), 이 결과를 입력 영상()에 적용할 경우, 실제 객체 중 일부가 그림자나 하이라이트로 오판되어 제거됨으로써 객체가 분리되는 현상을 도시한 도면이다.
도 8은 이 발명에 따른 에지정보추가부(136)의 추가 기능에 따른 효과를 설명하기 위하여 도시한 도면으로서, (a)는 입력 영상()이고, (b)는 시공간적으로 스무딩된 차영상()이고, (c)는 시공간적으로 스무딩된 차영상에 비례상수를 곱한 영상()이고, (d)는 에지 추출부에서 구해진 에지 마스크()이고, (e)는 색상기반 전경마스크()이고, (f)는 에지 마스크()와 색상기반 전경마스크()의 교집합()이고, (g)는 이며, (h)는 입력 영상()을 로 필터링하여 추출된 전경 영상이다.
도 9는 이 발명에 따른 지역단위전경영역확인부(150)의 내부 구성 블록도이다.
도 10은 픽셀단위전경영역추출부(130)의 에지정보추가부(136)에서 추가된 에지정보에 의해 강인한 그림자 내지 강인한 하이라이트가 전경영역으로 분류되는 문제점을 설명하기 위하여 도시한 도면으로서, (a)는 입력 영상()이고, (b)는 에지추출부(135)에서 구해진 에지 마스크()이고, (c)는 에지정보추가부(136)에서 얻어진 로 필터링하여 추출된 전경 영상이다.
도 11은 어두운 배경에 있는 어두운 이동 객체를 그림자로 오판하는 상태를 도시한 도면이다.
도 12는 잘못된 전경 지역을 검출하는 예를 도시한 도면이다.
도 2는 이 발명에 따른 배경모델학습부가 배경 학습 기간동안 획득된 N개의 배경 영상들에 대해 배경 모델을 학습하는 과정을 도시한 도면이다.
도 3은 이 발명에 따른 픽셀단위전경영역추출부의 내부 구성 블록도이다.
도 4는 이 발명에 따른 바텀업 방식으로 레벨 0부터 레벨 2까지 쿼드트리를 생성하는 과정(a) 및 그 결과(b)을 도시한 도면이다.
도 5는 쿼드트리에 대해 전경영역을 추출하는 과정을 도시한 도면이다.
도 6은 입력영상(a)과 이 발명에 따른 전경영역추출부의 출력영상(b)을 도시한 도면이다.
도 7은 그림자&하이라이트제거부(134)에 의해 그림자와 하이라이트가 제거됨에 따라 발생하는 문제를 도시한 예로서, (a)는 입력 영상이고, (b)는 전경영역추출부(133)에 의해 추출된 전경 영상이며, (c)는 색상기반 전경마스크()에서 그림자&하이라이트제거부에 따른 그림자&하이라이트 마스크(를 빼고( - ), 이 결과를 입력 영상()에 적용할 경우, 실제 객체 중 일부가 그림자나 하이라이트로 오판되어 제거됨으로써 객체가 분리되는 현상을 도시한 도면이다.
도 8은 이 발명에 따른 에지정보추가부(136)의 추가 기능에 따른 효과를 설명하기 위하여 도시한 도면으로서, (a)는 입력 영상()이고, (b)는 시공간적으로 스무딩된 차영상()이고, (c)는 시공간적으로 스무딩된 차영상에 비례상수를 곱한 영상()이고, (d)는 에지 추출부에서 구해진 에지 마스크()이고, (e)는 색상기반 전경마스크()이고, (f)는 에지 마스크()와 색상기반 전경마스크()의 교집합()이고, (g)는 이며, (h)는 입력 영상()을 로 필터링하여 추출된 전경 영상이다.
도 9는 이 발명에 따른 지역단위전경영역확인부(150)의 내부 구성 블록도이다.
도 10은 픽셀단위전경영역추출부(130)의 에지정보추가부(136)에서 추가된 에지정보에 의해 강인한 그림자 내지 강인한 하이라이트가 전경영역으로 분류되는 문제점을 설명하기 위하여 도시한 도면으로서, (a)는 입력 영상()이고, (b)는 에지추출부(135)에서 구해진 에지 마스크()이고, (c)는 에지정보추가부(136)에서 얻어진 로 필터링하여 추출된 전경 영상이다.
도 11은 어두운 배경에 있는 어두운 이동 객체를 그림자로 오판하는 상태를 도시한 도면이다.
도 12는 잘못된 전경 지역을 검출하는 예를 도시한 도면이다.
이하, 첨부된 도면을 참조하여 이 발명에 따른 실시간 전경 영상 검출시스템 및 방법을 보다 상세하게 설명한다.
도 1은 이 발명에 따른 실시간 전경 영상 검출시스템의 구성도이다.
이 발명에 따른 실시간 전경 영상 검출시스템은, 카메라(110)에서 획득된 배경 영상으로부터 배경 모델을 학습하는 배경모델학습부(120)와, 카메라(110)에서 획득된 입력 영상과 배경모델학습부(120)에서 학습된 배경 모델을 입력받아 상기 입력 영상의 각 픽셀 단위로 전경 여부를 판단하여 상기 입력 영상 중 전경 영역을 추출하는 픽셀단위전경영역추출부(130)와, 상기 픽셀단위전경영역추출부(130)에서 추출된 전경 영역의 인접 픽셀들을 묶어서 지역 단위로 나누는 지역설정부(140)와, 상기 지역설정부(140)에서 나누어진 지역 단위로 전경 여부를 확인하여 최종 전경 영상을 추출하는 지역단위전경영역확인부(150)를 포함한다.
또한, 배경모델학습부(120)는 지역단위전경영역확인부(150)를 통해 추출된 배경 영상을 입력받아 배경 모델을 업데이트한다.
배경모델학습부(120)
배경모델학습부(120)는 카메라(110)를 처음 설치한 초기에 배경 모델을 학습한다. 배경모델학습부(120)가 초기에 배경 모델을 학습하는 과정을 설명한다. 카메라(110)를 처음 설치하고 배경 모델을 학습하는 과정에서는 카메라(110)가 촬영한 영상에 움직이는 객체가 거의 없고 배경으로만 이루어진다는 것을 전제로 한다.
카메라(110)는 고정된 위치를 촬영하도록 설치되어 배경 학습 기간동안 고정된 위치의 배경 영상을 획득한다. 배경모델학습부(120)는 도 2에 도시된 바와 같이 배경 학습 기간동안 획득된 N개의 배경 영상들에 대해, 각 픽셀별로 해당 픽셀의 명도값(intensity)들의 평균(Mean λ)과 표준편차(standard deviation σ)를 구한다. 즉, t번째 배경 영상 프레임의 임의의 픽셀 (x,y)의 명도값을 It(x,y)로 표현할 경우, 배경 학습 기간동안 획득된 N개의 배경 영상의 픽셀 (x,y)의 명도값들은 I1(x,y), ..., IN(x,y)로 나타낼 수 있다.
여기서, 각 픽셀 (x,y)에 대해서 해당 명도값들 I1(x,y), ..., IN(x,y)의 평균(mean) λ(x,y)와 표준편차(standard deviation) σ(x,y)를 계산한다. 계산된 표준편차 σ(x,y)가 0이 아니면, 해당 픽셀 (x,y)에 대해 계산된 평균 λ(x,y)와 표준편차 σ(x,y)를 배경 모델로 저장한다. 한편, 계산된 표준편차 σ(x,y)가 0이면, 계산된 평균 λ(x,y)와 기설정된 표준편차 최소값을 배경 모델로 저장한다. 이는 배경 모델의 계산된 표준편차가 0이어서 배경 모델로서 해당 픽셀의 표준편차를 0으로 저장할 경우, 이 발명에 따라 전경 영상을 검출할 때, 조명 변화에 민감하게 반응하여 명도값이 조금만 변화되어도 배경을 전경으로 오인할 여지가 있기 때문이다. 따라서, 이 발명에서는 계산된 표준편차가 0인 경우에는 0 대신 기설정된 표준편차 최소값을 배경 모델로 저장한다.
정리하면, 배경모델학습부(120)는 배경 영상들로부터 배경을 학습하여 배경 모델을 저장하는데, 이 배경 모델은 각 픽셀별 명도값의 평균과 표준편차로 이루어진다.
픽셀단위전경영역추출부(130)
픽셀단위전경영역추출부(130)는 도 3에 도시된 바와 같이 카메라(110)로부터 입력되는 입력 영상과 배경모델학습부(120)에 저장된 배경모델의 차영상을 계산하는 감산기(131)와, 상기 차영상에 대해 공간적 일관성을 고려하여 공간적으로 평균화하고 시간적 일관성을 고려하여 시간적으로 평균화하는 시공간적스무딩부(132)와, 시공간적으로 평균화된 영상에 대해 전경마스크를 추출하는 전경마스크추출부와, 상기 전경마스크를 상기 입력 영상에 적용하여 추출된 전경영상으로부터 그림자와 하이라이트를 제거하여 색상기반 전경영상을 추출하는 그림자&하이라이트제거부(134)와, 상기 차영상으로부터 에지를 추출하는 에지추출부(135)와, 상기 색상기반 전경영상과 상기 에지추출부(135)에서 추출된 전경 영역에서의 에지 정보를 합산하여 전경 픽셀들을 추출하는 에지정보추가부(136)를 포함한다.
감산기(131)와 시공간적스무딩부(132)
시공간적스무딩부(132)는 전경 픽셀의 일반적 특징, 즉 첫째, 전경 픽셀은 공간적으로 연결된 점들의 집합으로 출현하고(spatial consistency), 둘째, 시간적으로는 지속적으로 비슷한 부분에서 발생한다(temporal consistency)는 특징을 바탕으로 한다. 이는 Jacques Jr. 등이 "A Background Subtraction Model Adapted to Illumination Changes", IEEE International Conference on Image Processing, 2006에서 제안한 방법으로서, 차영상의 각 픽셀들을 공간적으로 평균화하고 아울러 시간적으로 평균화한다.
Jacques Jr. 등의 논문에서 제안한 차영상의 각 픽셀들을 공간적으로 평균화하는 수식은 아래의 수식 1과 같다.
Jacques Jr. 등의 논문에서 제안한 각 픽셀들을 시간적으로 평균화하는 수식은 아래의 수식 2와 같다.
이렇게 각 픽셀별로 구한 최종 차영상에 대해 임의의 픽셀의 픽셀값이 임계값을 초과하면 해당 픽셀을 전경 픽셀로 판별하고, 해당 픽셀값이 임계값으로 초과하지 않으면 전경 픽셀이 아닌 것으로 판별한다. 이렇게 함으로써, 색상기반 전경마스크 가 구해진다.
여기서, k는 임의의 상수값으로서 영상 특성에 따라 학습을 통해 얻어지며,사용자에 의해 설정된다.
전경영역추출부(133)
전경영역추출부(133)는 색상기반 전경마스크를 기반으로 배경의 주기적인 변화를 고려하면서 실시간 전경 검출을 수행한다. J. Park, A. Tabb, and A.C. Kak이 "Hierarchical Data Structure for Real-Time Background Subtraction.", IEEE International Conference on Image Processing, 2006에서 제안한 쿼드트리 기반 계층적 프레임워크(quadtree-base hierarchical framework)를 적용한 MoG(Mixture of Gaussians) 방법을 적용한다.
다만, Park 등은 상술한 논문에서 탑다운(top-down) 방식으로 쿼드트리를 생성하는데 반해, 이 발명에서는 바텀업(bottom-up) 방식으로 쿼드트리를 생성한다. 쿼드트리를 생성한 후 전경을 검출하는 과정은 상술한 Park 등의 논문에서 제안한 방법과 동일하다.
먼저 Park 등의 논문에서 제시한 탑다운 방식의 쿼드트리 생성방법의 문제점을 설명하고, 이 발명에서 제안하는 바텀업 방식의 쿼드트리 생성방법을 설명한다.
탑다운 방식의 쿼드트리 생성방법은, 전체 입력 영상을 절반씩 나누면서 점차적으로 영역을 분할하는 방법이다. 이러한 탑다운 방식의 쿼드트리 생성방법을 이용하여 입력 영상을 모두 균일한 크기로 분할(decomposition)하려면 입력영상의 크기가 이어야 한다. 즉, 영상을 나누는 과정에서 영상의 높이나 폭이 홀수가 되면 입력 영상을 균일한 크기의 영역으로 분할할 수 없게 된다.
이 발명에서는 이러한 탑다운 방식의 쿼드트리 생성방법의 문제점을 바텀업 방식을 이용하여 해결하고자 한다. 즉, 전체 영상을 사용자가 기정의한 형태와 크기의 최소 단위 영역으로 분할하여 그 분할된 최소 단위 영역을 리프노드(leaf node)로 정의한다. 그리고, 인접한 네 개(의 리프노드들을 묶어서 이를 자식노드(child nodes)로 갖는 상위레벨의 노드를 구성한다. 이때, 영상을 구성하는 리프노드들의 행 또는 열의 개수가 홀수여서 4개씩 균등하게 묶을 수 없을 경우에는 남은 리프노드들만으로 상위레벨의 노드를 구성한다.
상술한 과정을 반복하여 원하는 상위 레벨까지 쿼드트리를 만들어 나간다. 도 4는 이 발명에 따른 바텀업 방식으로 레벨 0부터 레벨 2까지 쿼드트리를 생성하는 과정(a) 및 그 결과(b)을 도시한 도면이다.
생성된 쿼드트리에 대해 전경영역을 추출하는 방법은 상술한 Park 등의 논문에서 제시한 방법과 동일한 바, 이를 간략하게 설명하면 다음과 같다.
탐색시작레벨()과 탐색종료레벨()을 설정한다. 통상적으로 탐색시작레벨()은 쿼드트리의 최상위레벨로 설정하고, 탐색종료레벨()은 쿼드트리의 최하위레벨로 설정할 수 있으나, 이에 한정되지는 않는다. 탐색시작레벨과 탐색종료레벨이 크면, 한 노드를 구성하는 영역의 크기가 커지기 때문에 처리속도가 빨라지나 정확도가 떨어지고, 탐색시작레벨과 탐색종료레벨이 작으면 한 노드를 구성하는 영역의 크기가 작아지기 때문에 처리속도가 느려지나 정확도가 향상된다.
탐색시작레벨의 각 노드에 해당하는 영역에서 하나의 픽셀을 임의로 선택하고, 그 픽셀이 수식 3의 색상기반 전경마스크에 속하는지를 판단한다. 만약 전경으로 판단되면 그 자식노드 각각의 영역에 대해 임의의 픽셀을 선택하여 전경 여부를 판단하고, 전경으로 판단된 노드에 대해서는 그 자식노드 각각의 영역에 대해 전경 여부를 반복적으로 판단한다. 이를 탐색종료레벨의 노드들까지 반복한다.
추가적으로 탐색종료레벨의 노드의 영역에 속한 모든 픽셀들의 전경 여부를 판단하고, 해당 영역에서 전경으로 판단된 픽셀의 개수가 기설정된 개수 이상이면 해당 노드의 이웃 노드들도 전경으로 결정한다.
도 5는 쿼드트리에 대해 전경영역을 추출하는 과정을 도시한 도면이다. 도 5에서 타원형의 영역을 전경으로 가정한다. (a)는 탐색시작레벨의 각 노드의 영역에서 임의의 픽셀을 선택하여 해당 픽셀의 전경 여부를 판단하는 과정이다. 이때, (2,1) 노드만이 전경으로 판단된다. (b)는 (a)과정에서 전경으로 판단된 (2,1) 노드의 자식노드들에 대해 각각 랜덤한 픽셀을 선택하여 선택된 픽셀의 전경 여부를 판단하는 과정이고, (c)는 (b)과정에서 전경으로 판단된 노드들의 자식노드들(이를 탐색종료레벨이라고 가정한다) 각각에 대해 랜덤한 픽셀을 선택하여 전경 여부를 판단하는 과정이다. (c)과정에서 전경으로 판단된 탐색종료레벨의 리프노드들에 대해서는 해당 리프노드의 모든 픽셀들의 전경 여부를 판단하여 전경픽셀개수를 계수하고, 전경픽셀개수가 기설정된 임계개수 이상이면 그 이웃하는 리프노드들도 전경으로 결정한다. (d)는 최종 결정된 전경영역을 표시하는 바, 수식 3의 색상기반 전경마스크()를 (d)에 표시된 영역으로 재설정한다.
도 6은 입력영상(a)과 이 발명에 따른 전경영역추출부(133)의 출력영상(b)을 도시한 도면으로서, 이 전경영역추출부(133)의 출력영상에는 실제 객체의 윤곽에 포함되지 않는 그림자(shadow) 또는 하이라이트(highlight)가 포함되어 추출된다. 따라서, 객체의 윤곽을 정확하게 추출하려면 (c)와 같이 전경영역추출부(133)의 출력영상으로부터 그림자와 하이라이트를 제거해야 한다.
그림자&하이라이트제거부(134)
일반적으로 그림자영역은 유입되는 빛이 물체에 의해 차단되어 기존 밝기보다 일정한 비율로 어두워진다. 이러한 이론을 바탕으로, Jacques Jr 등은 "A Background Subtraction Model Adapted to Illumination Changes", IEEE International Conference on Image Processing, 2006에서 그림자 영역의 픽셀들의 관찰된 밝기는 입사된 빛에 직접적으로 비례한다고 모델링하였다. 다시 말해, 그림자 영역의 픽셀의 밝기는 배경 모델의 해당 픽셀의 밝기보다 일정한 비율로 어둡다. 비슷한 방법을 하이라이트에 적용하면, 하이라이트된 영역은 배경 모델의 해당 픽셀의 밝기보다 일정한 비율로 환하다.
따라서, 전경영역추출부(133)에서 추출된 전경영상 중 하나의 픽셀을 중심으로 하는 일정 영역 내에 있는 픽셀들이 배경 모델의 동일 영역과 일정한 비례 관계에 있는지를 파악한다. 수식 4는 임의의 픽셀이 그림자 또는 하이라이트인지를 판단하는 조건을 나타낸 수식이다. 는 픽셀(x,y)가 그림자 또는 하이라이트인지 여부를 나타내는 마스크이다.
여기서, 는 시간 t 입력 영상의 임의의 픽셀(x,y)의 명도값(intensity)이고, λ(x,y)는 픽셀(x,y)의 배경 모델의 명도값이다. 또한, 에서 R은 픽셀(x,y)을 중심으로 하는 영역을 의미하고, 는 임의의 전경 픽셀(x,y)을 중심으로 한 R 영역에 속한 픽셀들 각각에 대해서 를 계산하여 나온 값들의 표준편차이다. , , 는 각각 사용자에 의해 정의되는 임계값으로서, 는 R영역의 최대 표준편차를 한정하고, 는 어두운 실제 객체의 픽셀이 그림자로 잘못 인식되는 것을 방지하기 위한 하한값이며, 는 밝은 실제 객체의 픽셀이 하이라이트로 잘못 인식되는 것을 방지하기 위한 상한값이다.
이러한 방법을 적용하여 색상기반 전경마스크()에서 그림자&하이라이트 마스크(를 빼고( - ), 이를 입력 영상()에 적용하면, 도 6의 (c)에 도시된 바와 같이 보다 정확하게 객체의 윤곽을 검출할 수 있게 된다.
에지추출부(135) 및 에지정보추가부(136)
한편, 그림자&하이라이트제거부(134)는 전경영역추출부(133)에서 검출된 전경영상 중 배경 모델의 명도값과 비례 관계에 있는 영역을 제거함으로써, 실제 객체가 아닌 그림자나 하이라이트를 제거한다. 그러나, 객체에 속한 픽셀이 배경 모델과 유사한 텍스처(texture)와 명도값(intensity)을 가지면, 실제 객체임에도 불구하고 그림자나 하이라이트로 판별되어 객체의 분리(object fragments)가 발생할 수 있다.
도 7은 그림자&하이라이트제거부(134)에 의해 그림자와 하이라이트가 제거됨에 따라 발생하는 문제를 도시한 예로서, (a)는 입력 영상이고, (b)는 전경영역추출부(133)에 의해 추출된 전경 영상이며, (c)는 색상기반 전경마스크()에서 그림자&하이라이트제거부에 따른 그림자&하이라이트 마스크(를 빼고( - ), 이 결과를 입력 영상()에 적용할 경우, 실제 객체 중 일부가 그림자나 하이라이트로 오판되어 제거됨으로써 객체가 분리되는 현상을 도시한 도면이다.
이러한 문제를 해결하기 위해 이 발명에서는 감산기(131)에서 출력되는 시공간적으로 스무딩된 차영상 으로부터 통상적인 에지 검출방법을 적용하여 에지정보를 추출한다. 다만, 로부터 바로 에지를 추출하면 픽셀간의 값의 차이가 적어서 에지 검출에 오류가 발생할 수 있기 때문에, 이 발명에서는 에 일정한 비례상수 α를 곱하고 난 후 소벌마스크(Sobel mask)를 이용하여 에지기울기(edge gradient) (여기서, 와 는 각각 의 수직과 수평방향에서의 미분계수)를 구하고, G에 히스테리시스 임계화(hysteresis thresholding)을 통해 에지 마스크()를 구한다.
에지정보추가부(136)는 에지 마스크()에서 추출된 에지들 중에는 배경 부분에서의 에지도 추출되기 때문에, 에지 마스크()와 전경영역추출부(133)에서 구한 색상기반 전경마스크()를 교집합()하여 전경 영역에서의 에지들만이 추출되도록 한다. 또한, 이렇게 구한 교집합 마스크()와 ( - )의 합집합을 구한다. 이렇게 구한 마스크에 입력영상()을 적용하면 실제 객체 중 일부가 그림자나 하이라이트로 오판되어 제거됨으로써 객체가 분리되는 문제점을 해결할 수 있다.
도 8은 이 발명에 따른 에지정보추가부(136)의 추가 기능에 따른 효과를 설명하기 위하여 도시한 도면으로서, (a)는 입력 영상()이고, (b)는 시공간적으로 스무딩된 차영상()이고, (c)는 시공간적으로 스무딩된 차영상에 비례상수를 곱한 영상()이고, (d)는 에지 추출부에서 구해진 에지 마스크()이고, (e)는 색상기반 전경마스크()이고, (f)는 에지 마스크()와 색상기반 전경마스크()의 교집합()이고, (g)는 이며, (h)는 입력 영상()을 로 필터링하여 추출된 전경 영상이다.
지역설정부(140)
지역설정부(140)는 상술한 바와 같은 픽셀단위전경영역추출부(130)에서 구한 전경 픽셀들에 대해 통상적인 연결요소해석(connected component analysis)에 기반하여 다수의 지역(region)들로 나눈다.
지역단위전경영역확인부(150)
지역단위전경영역확인부(150)는 도 9에 도시된 바와 같이 지역설정부(140)에서 나누어진 지역들 중 기설정된 최소 크기보다 작은 지역들을 전경 영역으로부터 제거하는 미소지역제거부(151)와, 상기 미소지역제거부(151)를 통과한 지역들 중 그림자와 하이라이트로 인정되는 지역들을 전경 영역으로부터 제거하는 지역기반 그림자&하이라이트제거부(152)와, 상기 지역기반 그림자&하이라이트제거부(152)를 통과한 지역들 중 전경확인테스트를 수행하여 무효 지역을 전경 영역으로부터 제거하여, 최종 전경영상을 출력하는 무효지역제거부(153)를 포함한다.
미소지역제거부(151)
미소지역제거부(151)는 지역설정부(140)에서 나누어진 지역들 중 기설정된 최소 크기보다 작은 지역들을 노이즈로 가정하고 제거한다.
지역기반 그림자&하이라이트제거부(152)
도 10은 픽셀단위전경영역추출부(130)의 에지정보추가부(136)에서 추가된 에지정보에 의해 강인한 그림자 내지 강인한 하이라이트가 전경영역으로 분류되는 문제점을 설명하기 위하여 도시한 도면으로서, (a)는 입력 영상()이고, (b)는 에지추출부(135)에서 구해진 에지 마스크()이고, (c)는 에지정보추가부(136)에서 얻어진 로 필터링하여 추출된 전경 영상이다.
픽셀단위전경영역추출부(130)의 에지추출부(135)에서 추출된 에지 정보가 에지정보추가부(136)를 통해 전경 영역에 추가되면, 도 10의 (c)에 도시된 바와 같이 강인한 그림자(strong shadow)(또는 강인한 하이라이트)가 전경 영역에 포함되어 하나의 지역을 구성한다.
지역기반 그림자&하이라이트제거부(152)는 그림자&하이라이트제거부(134)가 사용한 수식 4를 응용하여 강인한 그림자 또는 강인한 하이라이트를 제거한다. 그림자&하이라이트제거부(134)는 R을 픽셀(x,y)을 중심으로 하는 영역으로 설정하였으나, 지역기반 그림자&하이라이트제거부(152)는 R을 단일 지역을 구성하는 모든 영역의 픽셀들로 설정한다. 즉, 하나의 지역의 픽셀들이 배경 모델의 동일 영역과 일정한 비례 관계에 있으면 이를 그림자 또는 하이라이트로 인식하고 전경으로부터 제거한다.
이럴 경우, 도 11에 도시된 바와 같이 어두운 배경에 어두운 이동 객체가 존재하면 그림자로 오판될 가능성이 있다.
이러한 문제점이 발생하지 않도록 하기 위하여, 이 발명에서는 어두운 배경에서는 그림자가 발생하지 않는다는 원리를 이용한다. 즉, 지역기반 그림자&하이라이트제거부(152)가 그림자 또는 하이라이트를 제거함에 있어서, 해당 배경 영역의 픽셀들의 평균 밝기가 임계치보다 낮으면(즉, 어두우면), 해당 영역은 그림자 또는 하이라이트 제거를 하지 않고, 해당 배경 영역의 픽셀들의 평균 밝기가 임계치보다 높은 경우(즉, 밝은 경우)에만 그림자 및 하이라이트 제거를 수행한다.
무효지역제거부(153)
끝으로, 전경으로 분류된 지역에는 급격한 조명 변화(quick illumination changes), 배경 객체의 재배치(relocation of the background object), 이동객체로 초기화(initialization with moving object) 등이 원인이 된 잘못된 전경(invalid foreground)이 포함된다.
무효지역제거부(153)는 지역기반 그림자&하이라이트제거부(152)에서 제공되는 전경 영역의 각 지역(region)에 대해 O. Javed, K. Shafique, and M. Shah가 발표한 논문 "A Hierarchical Approach to Robust Background Subtraction using Color and Gradient Information", In proceedings of the workshop on Motion and Video Computing, p.22, Dec. 05-06, 2002 에서 제안한 방법을 이용하여 잘못된 전경을 제거한다.
이를 위해, 에지추출부(154)는 입력 영상 It으로부터 에지 마스크를 추출하여 무효지역제거부(153)에 제공하고, 무효지역제거부(153)는 실제 이동객체에 해당하는 지역은 그 경계선에서 높은 기울기(gradient)값을 갖는다는 가정에 기반한 Javed 등이 제안한 방법을 적용한다.
이를 상세하게 설명하면, 임의의 지역(region) ri의 경계에 있는 픽셀들 부근에 에지 성분이 임계치 이상 존재하면 잘못된 전경 지역으로 판별하며, 이를 수식으로 나타내면 수식 5와 같다.
무효지역제거부(153)를 통해 최종 전경 영역이 결정되어 전경 영상이 출력되고, 입력 영상 중 전경을 제외한 배경 영상은 배경 모델 학습부(120)에 전달되며, 배경 모델 학습부(120)는 입력된 배경 영상을 학습하여 환경 변화에 적응하도록 배경 모델을 갱신한다. 배경 모델 학습은 아래의 수식 6에 따른다.
여기서, α는 0 ≤ α ≤ 1 을 만족하는 실수이고, 학습률(learning rate)이다. 즉, 실제 배경 영상에 대해서만 해당 픽셀의 평균값과 표준편차값을 갱신하고, 그림자와 하이라이트는 전경에 속하지 않지만 배경 색도 아니기 때문에, 학습에 포함시키지 않는다. 위의 과정을 거쳐 실시간 객체 추적을 위한 강인한 전경 영상을 검출할 수 있다.
110 : 카메라 120 : 배경모델학습부
130 : 픽셀단위전경영역추출부 140 : 지역설정부
150 : 지역단위전경영역확인부 131 : 감산기
132 : 시공간적스무딩부 133 : 전경영역추출부
134 : 그림자&하이라이트제거부 135 : 에지추출부
136 : 에지정보추가부 151 : 미소지역제거부
152 : 지역기반 그림자&하이라이트제거부
153 : 무효지역제거부 154 : 에지추출부
130 : 픽셀단위전경영역추출부 140 : 지역설정부
150 : 지역단위전경영역확인부 131 : 감산기
132 : 시공간적스무딩부 133 : 전경영역추출부
134 : 그림자&하이라이트제거부 135 : 에지추출부
136 : 에지정보추가부 151 : 미소지역제거부
152 : 지역기반 그림자&하이라이트제거부
153 : 무효지역제거부 154 : 에지추출부
Claims (22)
- 카메라에서 획득된 배경 영상으로부터 배경 모델을 학습하는 배경모델학습부와,
상기 카메라에서 획득된 입력 영상과 상기 배경모델학습부에서 학습된 배경 모델을 입력받아 상기 입력 영상의 각 픽셀 단위로 전경 여부를 판단하여 상기 입력 영상 중 전경 영역을 추출하는 픽셀단위전경영역추출부와,
상기 픽셀단위전경영역추출부에서 추출된 상기 전경 영역에 대해 인접 픽셀들을 묶어서 지역 단위로 구분하는 지역설정부와,
상기 지역설정부에서 구분된 지역 단위로 전경 여부를 확인하여 최종 전경 영상을 추출하는 지역단위전경영역확인부를 포함하고,
상기 배경모델학습부는 상기 지역단위전경영역확인부로부터 배경 영상을 입력받아 상기 배경 모델을 업데이트하는 것을 특징으로 하는 실시간 전경 영상 검출시스템. - 삭제
- 제 1 항에 있어서, 상기 픽셀단위전경영역추출부는 상기 카메라로부터 입력되는 입력 영상과 상기 배경모델학습부에 저장된 배경모델의 차영상을 계산하는 감산기와,
상기 차영상에 대해 시공간적으로 평균화하는 시공간적스무딩부와,
상기 시공간적으로 평균화된 영상에 대해 전경마스크를 추출하는 전경마스크추출부와,
상기 전경마스크를 상기 입력 영상에 적용하여 추출된 전경영상으로부터 그림자와 하이라이트를 제거하여 색상기반 전경영상을 추출하는 그림자&하이라이트제거부와,
상기 차영상으로부터 에지를 추출하는 에지추출부와,
상기 색상기반 전경영상과 상기 에지추출부에서 추출된 전경 영역에서의 에지 정보를 합산하여 상기 전경 영역을 추출하는 에지정보추가부를 포함한 것을 특징으로 하는 실시간 전경 영상 검출시스템. - 제 3 항에 있어서, 상기 시공간적스무딩부는 쿼드트리 기반 계층적 프레임워크(quadtree-base hierarchical framework)를 적용한 MoG(Mixture of Gaussians) 방법을 이용하여 상기 차영상에 대해 시공간적으로 평균화하는 것을 특징으로 하는 실시간 전경 영상 검출시스템.
- 제 4 항에 있어서, 상기 쿼드트리는 바텀업(bottom-up)방식으로 생성되는 것을 특징으로 하는 실시간 전경 영상 검출시스템.
- 제 3 항에 있어서, 상기 그림자&하이라이트제거부는 상기 추출된 전경영상 중 하나의 픽셀을 중심으로 기설정된 영역 내에 있는 다수의 픽셀들이 상기 배경 모델의 동일 영역과 일정한 비례 관계에 있으면 그림자 또는 하이라이트로 판단하는 것을 특징으로 하는 실시간 전경 영상 검출시스템.
- 제 3 항에 있어서, 상기 에지추출부는 상기 차영상에 비례상수를 곱한 후 소벌마스크를 사용하여 에지를 추출하는 것을 특징으로 하는 실시간 전경 영상 검출시스템.
- 제 1 항에 있어서, 상기 지역설정부는 상기 픽셀단위전경영역추출부에서 구한 전경 영역의 전경 픽셀들에 대해 연결요소해석(connected component analysis)에 기반하여 다수의 전경 지역(region)으로 나누는 것을 특징으로 실시간 전경 영상 검출시스템.
- 제 1 항에 있어서, 상기 지역단위전경영역확인부는 상기 지역설정부에서 나누어진 전경 지역들 중 기설정된 최소 크기보다 작은 지역들을 전경 영역으로부터 제거하는 미소지역제거부와,
상기 미소지역제거부를 통과한 전경 지역들 중 그림자와 하이라이트로 인정되는 지역들을 전경 영역으로부터 제거하는 지역기반 그림자&하이라이트제거부와,
상기 지역기반 그림자&하이라이트제거부를 통과한 전경 지역들 중 전경 확인 테스트를 수행하여 잘못된 전경 지역을 전경 영역으로부터 제거하여 최종 전경 영상을 출력하는 무효지역제거부를 포함한 것을 특징으로 하는 실시간 전경 영상 검출시스템. - 제 9 항에 있어서, 상기 지역기반 그림자&하이라이트제거부는 상기 미소지역제거부를 통과한 임의의 전경 지역 내에 있는 다수의 픽셀들이 상기 배경 모델의 동일 영역과 일정한 비례 관계에 있으면 그림자 또는 하이라이트로 판단하는 것을 특징으로 하는 실시간 전경 영상 검출시스템.
- 제 10 항에 있어서, 상기 배경 모델을 구성하는 픽셀들의 평균 밝기가 임계치보다 어두우면 상기 임의의 전경 지역을 그림자 또는 하이라이트로 판단하지 않는 것을 특징으로 하는 실시간 전경 영상 검출시스템.
- 카메라에서 획득된 배경 영상으로부터 배경 모델을 학습하는 배경모델학습단계와,
상기 카메라에서 획득된 입력 영상과 상기 배경모델학습단계에서 학습된 배경 모델을 입력받아 상기 입력 영상의 각 픽셀 단위로 전경 여부를 판단하여 상기 입력 영상 중 전경 영역을 추출하는 픽셀단위전경영역추출단계와,
상기 픽셀단위전경영역추출단계에서 추출된 상기 전경 영역에 대해 인접 픽셀들을 묶어서 지역 단위로 구분하는 지역설정단계와,
상기 지역설정단계에서 구분된 지역 단위로 전경 여부를 확인하여 최종 전경 영상을 추출하는 지역단위전경영역확인단계를 포함하고,
상기 배경모델학습단계는 상기 지역단위전경영역확인단계로부터 배경 영상을 입력받아 상기 배경 모델을 업데이트하는 것을 특징으로 하는 실시간 전경 영상 검출방법. - 삭제
- 제 12 항에 있어서, 상기 픽셀단위전경영역추출단계는 상기 카메라로부터 입력되는 입력 영상과 상기 배경모델학습단계에 저장된 배경모델의 차영상을 계산하는 감산단계와,
상기 차영상에 대해 시공간적으로 평균화하는 시공간적스무딩단계와,
상기 시공간적으로 평균화된 영상에 대해 전경마스크를 추출하는 전경마스크추출단계와,
상기 전경마스크를 상기 입력 영상에 적용하여 추출된 전경영상으로부터 그림자와 하이라이트를 제거하여 색상기반 전경영상을 추출하는 그림자&하이라이트제거단계와,
상기 차영상으로부터 에지를 추출하는 에지추출단계와,
상기 색상기반 전경영상과 상기 에지추출단계에서 추출된 전경 영역에서의 에지 정보를 합산하여 상기 전경 영역을 추출하는 에지정보추가단계를 포함한 것을 특징으로 하는 실시간 전경 영상 검출방법. - 제 14 항에 있어서, 상기 시공간적스무딩단계는 쿼드트리 기반 계층적 프레임워크(quadtree-base hierarchical framework)를 적용한 MoG(Mixture of Gaussians) 방법을 이용하여 상기 차영상에 대해 시공간적으로 평균화하는 것을 특징으로 하는 실시간 전경 영상 검출방법.
- 제 15 항에 있어서, 상기 쿼드트리는 바텀업(bottom-up)방식으로 생성되는 것을 특징으로 하는 실시간 전경 영상 검출방법.
- 제 14 항에 있어서, 상기 그림자&하이라이트제거단계는 상기 추출된 전경영상 중 하나의 픽셀을 중심으로 기설정된 영역 내에 있는 다수의 픽셀들이 상기 배경 모델의 동일 영역과 일정한 비례 관계에 있으면 그림자 또는 하이라이트로 판단하는 것을 특징으로 하는 실시간 전경 영상 검출방법.
- 제 14 항에 있어서, 상기 에지추출단계는 상기 차영상에 비례상수를 곱한 후 소벌마스크를 사용하여 에지를 추출하는 것을 특징으로 하는 실시간 전경 영상 검출방법.
- 제 12 항에 있어서, 상기 지역설정단계는 상기 픽셀단위전경영역추출단계에서 구한 전경 영역의 전경 픽셀들에 대해 연결요소해석(connected component analysis)에 기반하여 다수의 전경 지역(region)으로 나누는 것을 특징으로 실시간 전경 영상 검출방법.
- 제 12 항에 있어서, 상기 지역단위전경영역확인단계는 상기 지역설정단계에서 나누어진 전경 지역들 중 기설정된 최소 크기보다 작은 지역들을 전경 영역으로부터 제거하는 미소지역제거단계와,
상기 미소지역제거단계를 통과한 전경 지역들 중 그림자와 하이라이트로 인정되는 지역들을 전경 영역으로부터 제거하는 지역기반 그림자&하이라이트제거단계와,
상기 지역기반 그림자&하이라이트제거단계를 통과한 전경 지역들 중 전경 확인 테스트를 수행하여 잘못된 전경 지역을 전경 영역으로부터 제거하여 최종 전경 영상을 출력하는 무효지역제거단계를 포함한 것을 특징으로 하는 실시간 전경 영상 검출방법. - 제 20 항에 있어서, 상기 지역기반 그림자&하이라이트제거단계는 상기 미소지역제거단계를 통과한 임의의 전경 지역 내에 있는 다수의 픽셀들이 상기 배경 모델의 동일 영역과 일정한 비례 관계에 있으면 그림자 또는 하이라이트로 판단하는 것을 특징으로 하는 실시간 전경 영상 검출방법.
- 제 21 항에 있어서, 상기 배경 모델을 구성하는 픽셀들의 평균 밝기가 임계치보다 어두우면 상기 임의의 전경 지역을 그림자 또는 하이라이트로 판단하지 않는 것을 특징으로 하는 실시간 전경 영상 검출방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100029385A KR101158728B1 (ko) | 2010-03-31 | 2010-03-31 | 실시간 전경 영상 검출시스템 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100029385A KR101158728B1 (ko) | 2010-03-31 | 2010-03-31 | 실시간 전경 영상 검출시스템 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110109595A KR20110109595A (ko) | 2011-10-06 |
KR101158728B1 true KR101158728B1 (ko) | 2012-06-22 |
Family
ID=45026769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100029385A KR101158728B1 (ko) | 2010-03-31 | 2010-03-31 | 실시간 전경 영상 검출시스템 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101158728B1 (ko) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102238672B1 (ko) * | 2014-03-03 | 2021-04-09 | 에스케이플래닛 주식회사 | 멀티클래스 분류 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체 |
KR101583787B1 (ko) | 2014-07-10 | 2016-01-08 | 경북대학교 산학협력단 | 영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법, 이를 수행하기 위한 기록 매체 및 장치 |
KR102470139B1 (ko) * | 2020-04-01 | 2022-11-23 | 삼육대학교산학협력단 | 쿼드 트리 기반의 객체 탐지 방법 및 장치 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060031829A (ko) * | 2006-03-21 | 2006-04-13 | 뷰웨이 주식회사 | 움직이는 객체 영역 검출을 위한 적응 배경 학습 방법 |
KR20090111939A (ko) * | 2008-04-23 | 2009-10-28 | 주식회사 케이티 | 영상을 전경과 배경으로 분리하는 방법 및 장치, 영상을전경과 배경으로 분리하여 배경을 대체하는 방법 및 장치 |
-
2010
- 2010-03-31 KR KR1020100029385A patent/KR101158728B1/ko not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060031829A (ko) * | 2006-03-21 | 2006-04-13 | 뷰웨이 주식회사 | 움직이는 객체 영역 검출을 위한 적응 배경 학습 방법 |
KR20090111939A (ko) * | 2008-04-23 | 2009-10-28 | 주식회사 케이티 | 영상을 전경과 배경으로 분리하는 방법 및 장치, 영상을전경과 배경으로 분리하여 배경을 대체하는 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
KR20110109595A (ko) | 2011-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107194559B (zh) | 一种基于三维卷积神经网络的工作流识别方法 | |
CN104392468B (zh) | 基于改进视觉背景提取的运动目标检测方法 | |
CN105678803B (zh) | 基于w4算法和帧间差分的视频监控目标检测方法 | |
CN103093198B (zh) | 一种人群密度监测方法及装置 | |
JP2008192131A (ja) | 特徴レベル・セグメンテーションを実行するシステムおよび方法 | |
CN112115878B (zh) | 一种基于烟雾区域密度的森林火灾烟雾根节点检测方法 | |
KR101243294B1 (ko) | 이동 객체 추출 및 추적 방법 및 장치 | |
KR101158728B1 (ko) | 실시간 전경 영상 검출시스템 및 방법 | |
WO2016019973A1 (en) | Method for determining stationary crowds | |
Ghasemi et al. | A real-time multiple vehicle classification and tracking system with occlusion handling | |
CN111582076A (zh) | 一种基于像素运动智能感知的画面冻结检测方法 | |
JP4918615B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
KR101394473B1 (ko) | 이동 물체 탐지 방법 및 그 감시 시스템 | |
CN112149683B (zh) | 夜视环境下活物检测方法及装置 | |
JP4674920B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
Fakharian et al. | Hybrid object detection using improved Gaussian mixture model | |
Subudhi et al. | Moving object detection using Gaussian background model and Wronskian framework | |
Lu et al. | Coarse-to-fine pedestrian localization and silhouette extraction for the gait challenge data sets | |
CN111860229A (zh) | 异常行为智能识别方法及其装置和存储介质 | |
JP2021033374A (ja) | 対象物認識装置、対象物認識方法、及び対象物認識プログラム | |
KR20150055481A (ko) | 영상 내 그림자 화소 제거를 위한 배경 기반 방법 | |
KR101067516B1 (ko) | 정규 상관도와 누적영상을 이용한 고속 그림자 제거 방법 | |
Kumar et al. | Foreground background segmentation using temporal and spatial markov processes | |
Al-Khateeb et al. | Automatic change detection in an indoor environment | |
CN115410109A (zh) | 火焰检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20150526 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |