KR101095859B1 - 영상 분할 장치 및 방법 - Google Patents

영상 분할 장치 및 방법 Download PDF

Info

Publication number
KR101095859B1
KR101095859B1 KR1020080131373A KR20080131373A KR101095859B1 KR 101095859 B1 KR101095859 B1 KR 101095859B1 KR 1020080131373 A KR1020080131373 A KR 1020080131373A KR 20080131373 A KR20080131373 A KR 20080131373A KR 101095859 B1 KR101095859 B1 KR 101095859B1
Authority
KR
South Korea
Prior art keywords
image
histogram
image block
background
generated
Prior art date
Application number
KR1020080131373A
Other languages
English (en)
Other versions
KR20100072846A (ko
Inventor
황본우
김갑기
이지형
김진서
이승욱
추창우
김호원
구본기
이영직
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020080131373A priority Critical patent/KR101095859B1/ko
Publication of KR20100072846A publication Critical patent/KR20100072846A/ko
Application granted granted Critical
Publication of KR101095859B1 publication Critical patent/KR101095859B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 영상 분할 장치는, 저장매체로부터 배경 영상을 입력받아 시공간영상블록을 추출한 후 이를 이용하여 시공간영상블록 히스토그램을 생성하고, 저장매체로부터 전경과 배경의 분리를 원하는 영상을 입력받아 공간영상블록을 추출한 후 이를 이용하여 공간영상블록 히스토그램을 생성하며, 시공간영상블록 히스토그램과 공간영상블록 히스토그램의 비교를 통해 초기 분할 영상을 생성하고, 초기 분할 영상을 입력받아 영역을 지정하고, 지정된 영역과 이진 분류기를 이용하여 분할 영상을 생성한 후 분할 영상의 배경 영역에 해당하는 히스토그램을 계산하며, 계산된 히스토그램과 시공간영상블록의 히스토그램간의 가중합을 이용하여 기 생성된 시공간영상블록 히스토그램을 갱신한다.
이와 같이, 본 발명은 색상 분포와 이진 분류기를 이용하여 카메라 센서 노이즈를 포함하는 입력 영상으로부터 전경 영역과 배경영역을 정확하게 분할할 수 있으며, 배경 정보뿐만 아니라 전경에 포함되는 정보를 효과적으로 이용하여 전경과 배경을 효율적으로 분할할 수 있는 효과가 있다.
Figure R1020080131373
영상 분할, 색상 분활, 이진 분류기, 배경 모델

Description

영상 분할 장치 및 방법{APPARATUS AND METHOD FOR IMAGE SEGMENTATION}
본 발명은 영상 분할 방법 및 장치에 관한 것으로, 더욱 상세하게는 색상 분포와 이진 분류기를 이용하여 입력된 영상으로부터 객체를 포함하는 전경 및 배경을 분리하는 영상 분할 장치 및 방법에 관한 것이다.
본 발명은 지식 경제부 및 정보통신진흥원의 IT 원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호:2008-F-030-01, 과제명: 방송융합형 Full 3D 복원 기술 개발(표준화연계].
종래의 일반적인 영상 분할 기술은 주로 화소를 대상으로 독립적으로 배경을 모델링하고 이를 기반으로 영상을 분할하므로 카메라 센서의 노이즈로 인해 전경 영역을 부분적으로 배경으로 분할하거나 반대로 배경 영역을 부분적으로 전경으로 분류하는 오류를 포함하는 문제를 갖고 있다.
이를 개선하기 위한 색상 분포 기반의 영상 분할 방법은 배경 영역을 전경으로 분류하는 오류는 줄일 수 있다.
또한, 종래의 배경 모델에 의한 전경 및 배경 분할 방법은 전경에 대한 정보를 사용하지 않고 배경에 대한 정보만을 사용하여 배경 모델을 구성하고 배경 모델에 의해 표현되지 않거나 배경 모델에 대해 주어진 임계값이상으로 벗어나는 영역을 전경으로 간주한다.
종래의 색상 분포 기반의 영상 분할 방법은 사용되는 블록 크기에 비례하여 전경 영역의 크기가 줄어드는 문제점이 있다.
종래의 배경 모델에 의한 전경 및 배경 분할 방법은 전경에 포함된 정보를 분할에 적극적으로 이용하지 못하는 한계를 가지고 있다.
본 발명은 색상 분포와 전경 및 배경 영역의 색상, 시공간 특징 정보를 이용한 이진 분류기를 이용하여 카메라 센서 노이즈를 포함하는 입력 영상으로부터 전경 영역과 배경 영역을 정확하게 분할할 수 있다.
본 발명에 따른 영상 분할 장치는, 영상이 저장된 저장매체로부터 배경 영상을 입력받아 시공간영상블록을 추출한 후 이를 이용하여 시공간영상블록 히스토그램을 생성하여 저장하는 배경 모델 생성부와, 상기 저장매체로부터 전경과 배경의 분리를 원하는 영상을 입력받아 공간영상블록을 추출한 후 이를 이용하여 공간영상블록 히스토그램을 생성하며, 상기 생성된 시공간영상블록 히스토그램과 생성된 공간영상블록 히스토그램의 비교를 통해 초기 분할 영상을 생성하는 색상 분포 기반 영상 분할부와, 상기 생성된 초기 분할 영상을 입력받아 영역을 지정하고, 상기 지정된 영역과 이진 분류기를 이용하여 분할 영상을 생성한 후 상기 분할 영상의 배경 영역에 해당하는 히스토그램을 계산하며, 상기 계산된 히스토그램과 상기 생성된 시공간영상블록의 히스토그램간의 가중합을 이용하여 상기 생성된 시공간영상블록 히스토그램을 갱신하는 이진 분류기 기반 영상 분할부를 포함한다.
또한, 본 발명에 따른 영상 분할 방법은, 영상이 저장된 저장매체로부터 배경 영상을 입력받아 시공간영상블록을 추출한 후 이를 이용하여 시공간영상블록 히스토그램을 생성하는 단계와, 상기 저장매체로부터 전경과 배경의 분리를 원하는 영상을 입력받아 공간영상블록을 추출한 후 이를 이용하여 공간영상블록 히스토그램을 생성하는 단계와, 상기 생성된 시공간영상블록 히스토그램과 생성된 공간영상블록 히스토그램의 비교를 통해 초기 분할 영상을 생성하는 단계와, 상기 생성된 초기 분할 영상을 이용하여 전경, 배경 및 경계 영역을 지정하고, 상기 지정된 전경, 배경 및 경계 영역과 이진 분류기를 이용하여 분할 영상을 생성하는 단계와, 상기 생성된 분할 영상에서 상기 지정된 배경 영역에 해당하는 공간블록에 대한 히스토그램을 산출하고, 상기 계산된 히스토그램과 상기 생성된 시공간영상블록 히스토그램간의 가중합을 통해 상기 생성된 시공간영상블록의 히스토그램을 갱신하는 단계를 포함한다.
본 발명은 색상 분포와 이진 분류기를 이용하여 카메라 센서 노이즈를 포함하는 입력 영상으로부터 전경 영역과 배경영역을 정확하게 분할할 수 있으며, 배경 정보뿐만 아니라 전경에 포함되는 정보를 효과적으로 이용하여 전경과 배경을 효율적으로 분할할 수 있는 효과가 있다.
이러한 장점을 갖는 본 발명은 객체 추출 및 추적, 객체 인식, 3차원 객체 복원 등 영상 분할을 필요로 하는 컴퓨터 비전의 다양한 분야에 활용할 수 있는 효과가 있다.
이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 아울러 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 1은 본 발명에 따라 색상 분포와 이진 분류기를 이용한 영상 분할 장치를 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 영상 분할 장치는, 카메라로부터 직접 또는 카메라로 촬영된 영상이 저장된 하드디스크 등의 저장매체(미도시됨)를 통해 배경 영상을 입력받아 시공간영상블록을 추출하고, 이로부터 시공간영상블록 히스토그램을 생성하여 저장하는 배경 모델 생성부(100)와, 시공간영상블록 히스토그램을 읽어 들이고, 카메라로부터 직접 또는 카메라로 촬영된 영상이 저장된 하드디스크 등의 저장매체를 통해 다수의 배경 영상을 입력받아 공간영상블록을 추출하고, 이로부터 공간영상블록 히스토그램을 생성하며, 두 히스토그램 비교를 통해 초기 분할 영상을 생성하는 색상 분포 기반 영상 분할부(110) 및 초기 분할 영상을 입력받아 영역을 지정하고, 이진 분류기를 이용하여 분할 영역을 결정하여 이를 저장한 후 분할 영상의 배경 영역에 해당하는 히스토그램을 계산하며, 계산된 히스토그램과 시공간영상블록의 히스토그램간의 가중합을 이용하여 배경 모델 생성부(100)에서 생성된 시공간영상블록 히스토그램을 갱신하는 이진 분류기 기반 영상 분할부(130)로 구성된다.
배경 모델 생성부(100)는 배경 영상 입력부(101), 시공간영상블록 추출부(102), 시공간영상블록 히스토스램 생성부(103), 시공간영상블록 히스토그램 저장부(104)를 포함한다.
배경 영상 입력부(101)는 카메라로부터 직접 또는 카메라로 촬영된 영상이 저장된 하드디스크 등의 저장매체를 통해 다수의 배경 영상을 입력받아 시공간영상블록 추출부(102)로 제공한다.
시공간영상블록 추출부(102)는 시간에 따라 순서대로 입력된 다수의 영상들로부터 같은 화소 위치에서 블록 단위로 색상 표현값을 추출하며, 추출된 색상 표현값을 시공간영상블록 히스토그램 생성부(103)에 제공한다.
시공간영상블록 히스토그램 생성부(103)는 추출된 색상 표현값에 따라 시공간영상블록별로 색상 히스토그램을 계산한 후 이를 시공간영상블록 히스토그램 저 장부(104)에 제공한다.
시공간영상블록 히스토그램 저장부(104)는 생성된 시공간영상블록의 히스토그램을 하드디스크 등의 저장 매체에 저장한다.
색상 분포 기반 영상 분할부(110)는 시공간영상블록 히스토그램 적재부(111), 영상 입력부(112), 공간영상블록 추출부(113), 공간영상블록 히스토그램 생성부(114), 히스토그램 비교부(115), 초기 분할 결정부(116)를 포함한다.
시공간영상블록 히스토그램 적재부(111)는 하드디스크 등의 저장매체에 저장된 시공간영상블록 히스토그램, 즉 시공간영상블록 히스토그램 저장부((104)에 저장된 시공간영상블록 히스토그램을 메모리로 읽어들인다.
영상 입력부(112)는 카메라로부터 직접 또는 카메라로 촬영된 영상이 저장된 하드디스크 등의 저장매체를 통해 전경과 배경의 분리를 원하는 영상을 입력받아 공간영상블록 추출부(113)에 제공한다.
공간영상블록 추출부(113)는 입력된 단일 영상별로 각 위치에서 블록 단위로 색상 표현값을 추출하며, 추출된 색상 표현값을 공간영상블록 히스토그램 생성부(114)에 제공한다.
공간영상블록 히스토그램 생성부(114)는 추출된 색상 표현값에 따라 공간영상블록별로 색상 히스토그램을 계산하여 히스토그램 비교부(115)에 제공한다.
히스토그램 비교부(115)는 같은 위치를 갖는 블록마다 시공간영상블록 히스토그램 적재부(111)에 의해 메모리에 적재된 시공간영상블록 히스토그램과 공간영상블록 히스토그램 생성부(114)에 의해 얻어진 공간영상블록 히스토그램의 거리를 계산한 후 이를 초기 분할 결정부(116)에 제공한다.
초기 분할 결정부(116)는 상기 영상입력부(112)를 통해 입력된 영상에 대해 히스토그램 거리에 따라 전경 영역과 배경 영역을 결정한다.
이진 분류기 기반 영상 분할부(120)는 영역 지정부(121), 이진 분류기 학습부(122), 분할 결정부(123), 분할 영상 저장부(124), 시공간영상블록 히스토그램 갱신부(125)를 포함한다.
영역 지정부(121)는 초기 분할 결정부(116)에 의해 생성된 일정 주기 동안의 다수의 초기 분할 영상들에 대해 이진 분류기 학습에 필요한 전경 영역과 배경 영역 및 학습에 사용되지 않는 전경 영역과 배경 영역 사이의 경계 영역을 지정한다.
이진 분류기 학습부(122)는 추출된 전경 영역과 배경 영역에 대한 화소별 색상 정보, 시공간 정보와 각각의 전경, 배경 할당 정보를 입력으로 하여 이진 분류기에 대한 학습을 수행하고 학습된 이진 분류기를 분할 결정부(123)에 제공한다.
이진 분류기 학습부(122)에서 수행하는 학습에는 베이지안(Bayesian) 분류기, Support Vector Machine 분류기 등을 포함하는 다양한 종류의 이진 분류기가 사용될 수 있다.
분할 결정부(123)는 영상 입력부(112)에 입력된 영상 화소의 색상 정보, 시공간 정보를 학습된 이진 분류기에 입력하여 새로운 전배경 분할을 수행함으로써 전경 영역이 수축하는 초기 분할 영상의 오류를 개선한 새로운 분할 영상을 생성한다.
분할 영상 저장부(124)는 생성된 새로운 분할 영상을 하드디스크 등의 저장 매체에 저장한다.
시공간영상블록 히스토그램 갱신부(125)는 분할 영상에서 배경 영역에 해당하는 화소들로만 구성되는 시공간블록에 대해 히스토그램을 구하고, 기존의 시공간영상블록 히스토그램과 가중합을 통해 시공간영상블록 히스토그램을 갱신한다.
분할 결정부(123)는 입력된 영상의 전체 영역에 대해 수행하여 전체 영상에 대해 분할을 결정하여 새로운 분할 영상을 생성하거나, 계산 속도의 향상을 위해 영역 지정부(121)에 의해 경계 영역으로 지정된 영역에 해당하는 영역에 대해서만 학습된 이진 분류기를 사용하여 분할을 결정하고 나머지 영역에 대해서는 영역 지정부(121)에서 결정된 전경 및 배경 분할 결과를 그대로 사용하여 분할 영상을 생성할 수도 있다.
상기와 같은 구성을 갖는 영상 분할 장치가 동작하는 과정에 대해 도 2 내지 도 6을 참조하여 설명한다.
도 2는 본 발명에 따른 색상 분포와 이진 분류기를 이용한 영상 분할 방법에서 색상 분포를 이용한 배경 모델 생성 과정을 도시한 흐름도이다.
먼저, 도 2를 참조하면, 배경 영상 입력 단계(S201)에서는 카메라로부터 직접 또는 카메라로 촬영된 영상이 저장된 하드디스크 등의 저장매체를 통해 다수의 배경 영상을 입력받고, 시공간영상블록 추출 단계(S202)를 통해 정해진 범위의 시간에서 일정한 크기를 갖는 시공간영상블록을 추출한다.
즉, 시공간영상블록 추출 단계(S202)에서는 아래의 수학식 1에서와 같이 시간 0
Figure 112008087982646-pat00001
t<T에서 (i, j) 위치를 갖고 블록크기, (2xs+1)에 해당하는 시공간영상블록을 추출한다.
Figure 112008087982646-pat00002
위의 수학식1에서
Figure 112008087982646-pat00003
는 시간, t의 영상에서 (m, n) 위치의 화소에 대한 색상 표현값이다.
시공간영상블록에 대한 히스토그램 생성 단계(S203)에서는 시공간영상블록에 포함되는 모든 화소를 대상으로 각 색상 표현값에 해당하는 화소의 개수를 시공간영상블록의 화소수로 정규화하여 표현하는 시공간영상블록 히스토그램을 구하고, 시공간영상블록 히스토그램 저장 단계(S204)를 통해 히스토그램을 하드디스크 등의 저장매체에 저장한다.
즉, 시공간영상블록에 대한 히스토그램 생성 단계(S203)에서는 아래의 수학식 2를 이용하여 시공간영상블록에 포함되는 화소를 대상으로 색상 표현값에 대한 히스토그램을
Figure 112008087982646-pat00004
를 구한다.
Figure 112008087982646-pat00005
상기 수학식2에서
Figure 112008087982646-pat00006
Figure 112008087982646-pat00007
은 색상 표현값을 나타내는 색상 공간 벡터를 나타 낸다. 그리고 P는 화소의 색상 표현값으로 이루어진 집합을 의미하며, 상기 수학식 1로 정의된다. 또한, N 은 P 포함된 화소의 수를 말한다.
도 3은 본 발명에 따른 색상 분포와 이진 분류기를 이용한 영상 분할 방법에서 색상 분포를 이용한 초기 영상 분할 과정을 나타낸 흐름도이다.
먼저, 배경 모형의 시공간영상블록 히스토그램 적재 단계(S301)에서는 도 2에 도시된 바와 같은 배경 모델 생성 과정을 통해 생성된 시공간영상블록 히스토그램을 하드디스크 등의 저장매체로부터 메모리로 읽어 들이고, 영상 입력 단계(S302)에서는 카메라로부터 직접 또는 카메라로 촬영된 영상을 저장된 하드디스크 등의 저장매체를 통해 영상을 입력받아, 공간영상블록 추출 단계(S303)를 통해 정해진 시간에서 일정한 크기를 갖는 공간영상블록을 추출한다.
즉, 상기 공간영상블록 추출 단계(S303)에서는 아래의 수학식 3에서와 같이 시간, τ에서 (i, j) 위치를 갖고 블록크기, (2xs+1)에 해당하는 공간영상블록을 추출한다.
Figure 112008087982646-pat00008
여기서
Figure 112008087982646-pat00009
는 시간, τ의 영상에서 (m, n) 위치의 화소에 대한 색상 표현값이다.
공간영상블록에 대한 히스토그램 생성 단계(S304)에서는 공간영상블록에 포함되는 모든 화소를 대상으로 각 색상 표현값에 해당하는 화소의 개수를 공간영상 블록의 화소수로 정규화하여 표현하는 공간영상블록 히스토그램을 구한다.
즉, 공간영상블록에 대한 히스토그램 생성 단계(S304)에서는 수학식 4를 이용하여 시공간영상블록에 포함되는 화소를 대상으로 색상 표현값에 대한 히스토그램을 qij τ를 구한다.
Figure 112008087982646-pat00010
상기의 수학식 4에서 Pτ는 화소의 색상 표현값으로 이루어진 집합을 의미하며, 수학식 3으로 정의된다. 또한
Figure 112008087982646-pat00011
는
Figure 112008087982646-pat00012
에 포함된 화소의 수를 말한다.
히스토그램 거리 계산 단계(S305)에서는 배경 모형의 시공간영상블록 히스토그램 적재 단계(S301)를 통해 읽은 시공간블록 히스토그램과 공간영상블록에 대한 히스토그램 생성 단계(S304)에서 얻어진 단일 공간영상블록 히스토그램 사이의 히스토그램 거리를 입력된 영상의 공간영상블록 단위로 계산한다.
즉, 히스토그램 거리 계산 단계(S305)에서는 배경 모형의 시공간영상블록 히스토그램 적재 단계(S301)를 통해 읽은 시공간블록 히스토그램과 공간영상블록에 대한 히스토그램 생성 단계(S304)에서 얻어진 단일 공간영상블록 히스토그램 사이의 히스토그램 거리를 아래의 수학식 5를 이용하여 입력된 영상의 공간영상블록 단위로 계산한다.
Figure 112008087982646-pat00013
상기 수학식 5에서 X는 x의 유효한 색상 범위이다.
히스토그램 거리 비교 단계(S306)에서는 계산된 히스토그램 거리가 주어진 히스토그램 임계값보다 작거나 같으면 초기 배경 영역 결정 단계(S307)를 통해 배경 영역으로 결정하고, 계산된 히스토그램 거리가 주어진 히스토그램 임계값보다 크면 초기 전경 영역 결정 단계(S308)를 통해 전경 영역으로 결정한다.
히스토그램에 기반한 초기 분할 영상 저장 단계(S309)에서는 결정된 배경 영역과 전경 영역을 하드디스크 등의 저장매체에 초기 분할 영상으로 저장한다.
도 4는 본 발명에 따라 색상 분포와 이진 분류기를 이용한 영상 분할 방법에서 이진 분류기를 이용한 영상 분할 과정을 도시한 흐름도이다.
도 4를 참조하면, 초기 분할 영상들에 대한 영역 지정 단계(S401)에서는 모폴로지 필터링 과정과 단순한 이진 영상 처리 과정(AND, OR, Exclusive OR 등)을 거쳐 초기 분할 영상의 전경 영역과 동일한 영역을 전경 영역으로, 전경 영역의 경계로부터 일정 거리에 있는 영역은 경계 영역으로, 그리고 나머지 영역은 배경 영역으로 결정하고, 전경 영역 및 배경 영역에 대해서는 이진 분류기 학습 단계(S402)를 수행하게 하고, 경계 영역에 대해서는 학습된 이진 분류기를 이용한 영상 분할 단계(S403)를 수행하게 한다.
전배경 이진 분류기 학습 단계(S402)에서는 결정된 전경 영역과 배경 영역에 대한 화소별 색상 표현값, 영상의 위치와 시간을 입력 특징 벡터로 하고, 각 화소에 할당된 전경 레이블과 배경 레이블을 클래스 정보로 하여 이진 분류기를 학습시킨다.
예컨대, 전배경 이진 분류기 학습 단계(S402)에서는 결정된 전경 영역과 배경 영역에 대한 화소별 RGB 등의 다양한 색상 표현값, 예를 들어 화소의 색상, (r, g, b) 와 영상의 위치, (x, y)와 시간, t를 입력 특징 벡터, (r, g, b, x, y, t)로 하고, 각 화소에 할당된 전경 레이블, 1과 배경 레이블, 0을 클래스 정보로 하여 베이지안(Bayesian) 분류기, Support Vector Machine 분류기 등의 이진 분류기를 학습시킨다.
학습된 이진 분류기를 이용한 영상 분할 단계(S403)에서는 경계 영역을 포함한 전체 영상 영역에 대해 화소별 색상 표현값, 영상의 위치와 시간 특징 벡터를 추출하여 학습된 이진 분류기에 입력하여 전경 또는 배경의 레이블을 할당받아 분할 영상을 생성하거나 계산의 효율성을 위해 영역 지정 단계(S401)에서 경계 영역으로 지정된 영역에 해당되는 화소에 대해서만 특징 벡터를 추출하여 학습된 이진 분류기에 입력하여 경계 영역에 대한 전경 또는 배경 레이블을 할당받고, 나머지 전경 또는 배경으로 지정된 영역에 대해서는 영역 지정 단계(S401)에서 결정된 전경 및 배경 분할 결과를 그대로 사용하여 분할 영상을 생성할 수도 있다.
분할 영상 저장 단계(S404)에서는 학습된 이진 분류기를 이용한 영상 분할 단계(S403)에서 생성된 분할 영상을 하드디스크 등과 같은 저장매체에 저장하고, 분할 영상을 이용한 시공간영상블록 히스토그램 갱신 단계(S405)에서는 분할 영상 에서 배경 영역에 해상하는 화소들로만 구성되는 공간블록에 대해 히스토그램을 구하고, 아래의 수학식 6을 이용하여 기존의 시공간영상블록 히스토그램과의 가중합을 통해 시공간영상블록 히스토그램을 갱신한다.
Figure 112008087982646-pat00014
상기 수학식 6에서 α는 시공간영상블록 히스토그램의 갱신 비율을 결정하는 변수이다.
도 5는 기존의 화소 기반 분할 방법과 본 발명에 따른 색상 분포에 기반한 초기 분할의 예를 나타내고 있다.
도 5를 참조하면, 주어진 배경 영상(501)과 입력 영상(502)은 기본적으로 CCD 또는 CMOS 센서에서 발생하는 노이즈를 포함하고 있으므로 기존의 화소를 대상으로 독립적으로 배경을 모델링하고 이를 기반으로 영상을 분할하는 방법은 전경 영역을 부분적으로 배경으로 분할하거나 반대로 배경 영역을 부분적으로 전경으로 분할하는 결과(503)를 얻는다.
이를 개선하기 위해 사용되는 색상 분포 기반의 영상 분할 방법은 화소 단위의 배경 모델링에서 벗어나 주변 화소의 변화까지 함께 모델링하므로 센서 노이즈에 의해 배경 영역을 전경으로 분류하는 오류는 줄일 수 있으나 고려하는 주변 화소의 범위를 지정하는 블록의 크기에 비례하여 전경 영역의 크기가 줄어드는 결과(504)를 나타낸다.
도 6은 본 발명에 따른 색상 분포에 기반한 초기 분할과, 초기 분할 영상으로부터 영역 지정과, 이진 분류기에 기반한 분할의 예를 도시한 도면이다.
도 6을 참조하면, 색상 분포에 기반한 초기 분할 영상들(601)은 초기 배경 영역 결정 단계(S307)와 초기 전경 영역 결정 단계(S308)의 결과물로서 영상 입력 단계(S302)의 입력 영상(502)에 나타난 전경 영역에 비해 크기가 줄어든 결과를 나타낸다.
초기 분할 영상으로부터 영역 지정의 예(602)는 영역 지정 단계(S401)의 결과물로서 흰색 영역은 초기 분할 영상의 전경 영역과 동일한 영역으로서 전경 영역을 나타내고, 회색은 전경 영역의 경계로부터 일정 거리에 있는 경계 영역을 나타내며, 검은 색은 나머지 배경 영역을 나태내고 있다.
이진 분류기에 기반한 분할 영상들의 예(603)는 분할 영상 저장(S404)의 결과물로서 줄어든 전경 영역이 적절하게 수정된 것을 확인할 수 있다.
지금까지 본 발명의 바람직한 실시예에 국한하여 설명하였으나 본 발명의 기술이 당업자에 의하여 용이하게 변형 실시될 가능성이 자명하다. 이러한 변형된 실시 예들은 본 발명의 특허청구범위에 기재된 기술사상에 포함된다고 하여야 할 것이다.
도 1은 본 발명에 따라 색상 분포와 이진 분류기를 이용한 영상 분할 장치를 도시한 블록도이며,
도 2는 본 발명에 따른 색상 분포와 이진 분류기를 이용한 영상 분할 방법에서 색상 분포를 이용한 배경 모델 생성 과정을 도시한 흐름도이며,
도 3은 본 발명에 따른 색상 분포와 이진 분류기를 이용한 영상 분할 방법에서 색상 분포를 이용한 초기 영상 분할 과정을 도시한 흐름도이며,
도 4는 본 발명에 따라 색상 분포와 이진 분류기를 이용한 영상 분할 방법에서 이진 분류기를 이용한 영상 분할 과정을 도시한 흐름도이며,
도 5는 기존의 화소 기반 분할 방법과 본 발명에 따른 색상 분포에 기반한 초기 분할의 예시도이며,
도 6은 본 발명에 따른 색상 분포에 기반한 초기 분할과, 초기 분할 영상으로부터 영역 지정과, 이진 분류기에 기반한 분할의 예시도이다.

Claims (10)

  1. 영상이 저장된 저장매체로부터 배경 영상을 입력받아 시공간영상블록을 추출한 후 이를 이용하여 시공간영상블록 히스토그램을 생성하여 저장하는 배경 모델 생성부와,
    상기 저장매체로부터 다수의 배경 영상을 입력받아 공간영상블록을 추출한 후 이를 이용하여 공간영상블록 히스토그램을 생성하며, 상기 생성된 시공간영상블록 히스토그램과 생성된 공간영상블록 히스토그램의 비교를 통해 초기 분할 영상을 생성하는 색상 분포 기반 영상 분할부와,
    상기 생성된 초기 분할 영상을 입력받아 영역을 지정하고, 상기 지정된 영역과 이진 분류기를 이용하여 분할 영상을 생성한 후 상기 분할 영상의 배경 영역에 해당하는 히스토그램을 계산하며, 상기 계산된 히스토그램과 상기 생성된 시공간영상블록의 히스토그램간의 가중합을 이용하여 상기 생성된 시공간영상블록 히스토그램을 갱신하는 이진 분류기 기반 영상 분할부
    를 포함하는 영상 분할 장치.
  2. 제 1 항에 있어서,
    상기 배경 모델 생성부는,
    상기 저장매체를 통해 다수의 배경 영상들을 입력받는 배경 영상 입력부와,
    상기 다수의 배경 영상들로부터 같은 화소 위치에서 블록 단위로 색상 표현값을 추출하는 시공간영상블록 추출부와,
    상기 추출된 색상 표현값에 따라 시공간영상블록별로 색상 히스토그램을 계산한 후 이를 시공간영상블록 히스토그램 저장부에 저장하는 시공간영상블록 히스토그램 생성부
    를 포함하는 영상 분할 장치.
  3. 제 1 항에 있어서,
    상기 색상 분포 기반 영상 분할부는,
    상기 생성된 시공간영상블록 히스토그램을 메모리에 적재하는 시공간영상블록 히스토그램 적재부와,
    상기 저장매체를 통해 영상을 입력받는 영상 입력부와,
    상기 입력된 단일 영상별로 각 위치에서의 블록 단위로 색상 표현값을 추출하는 공간영상블록 추출부와,
    상기 추출된 색상 표현값에 따라 공간영상블록별 색상 히스토그램을 계산하는 공간영상블록 히스토그램 생성부와,
    같은 위치를 갖는 블록마다 상기 메모리에 적재된 시공간영상블록 히스토그램과 상기 생성된 공간영상블록별 히스토그램의 거리를 계산하는 히스토그램 비교부와,
    상기 계산된 히스토그램의 거리에 따라 전경 영역과 배경 영역을 결정하는 초기 분할 결정부
    를 포함하는 영상 분할 장치.
  4. 제 1 항에 있어서,
    상기 이진분류기 기반 영상 분할부는,
    상기 생성된 초기 분할 영상들에 대해 이진 분류기 학습에 필요한 전경 영역과 배경 영역 및 학습에 사용되지 않는 전경 영역과 배경 영역 사이의 경계 영역을 지정하는 영역 지정부와,
    상기 전경 영역과 배경 영역에 대한 화소별 색상 정보, 시공간 정보, 각각의 전경 및 배경 할당 정보를 입력으로 하여 상기 이진 분류기에 대한 학습을 수행하는 이진 분류기 학습부와,
    상기 영상에 대한 화소의 색상 정보 및 시공간 정보를 입력받은 상기 학습된 이진 분류기로 전경 및 배경 분할을 수행하여 상기 초기 분할 영상의 오류를 개선한 상기 분할 영상을 생성하는 분할 결정부와,
    상기 생성된 분할 영상을 상기 저장매체에 저장하는 분할 영상 저장부와,
    상기 생성된 분할 영상에서 배경 영역에 해당하는 화소들로만 구성되는 시공간블록에 대해 히스토그램을 계산하고, 상기 계산된 히스토그램과 시공간영상블록 히스토그램간의 가중합을 통해 상기 생성된 시공간영상블록 히스토그램을 갱신하는 시공간영상블록 히스토그램 갱신부
    를 포함하는 영상 분할 장치.
  5. 제 4 항에 있어서,
    상기 분할 결정부는,
    상기 영상의 전체 영역에 분할을 결정하여 상기 분할 영상을 생성하거나, 상기 영역 지정부에 의해 지정된 상기 경계 영역에 대해서만 상기 학습된 이진 분류기를 사용하여 분할을 결정하고 상기 경계 영역을 제외한 나머지 영역에 대해 상기 영역 지정부에서 결정된 전경 및 배경 분할 결과를 이용하여 상기 분할 영상을 생성하는 것을 특징으로 하는 영상 분할 장치.
  6. 영상이 저장된 저장매체로부터 배경 영상을 입력받아 시공간영상블록을 추출한 후 이를 이용하여 시공간영상블록 히스토그램을 생성하는 단계와,
    상기 저장매체로부터 다수의 배경 영상을 입력받아 공간영상블록을 추출한 후 이를 이용하여 공간영상블록 히스토그램을 생성하는 단계와,
    상기 생성된 시공간영상블록 히스토그램과 상기 생성된 공간영상블록 히스토그램의 비교를 통해 초기 분할 영상을 생성하는 단계와,
    상기 생성된 초기 분할 영상을 이용하여 전경, 배경 및 경계 영역을 지정하고, 상기 지정된 전경, 배경 및 경계 영역과 이진 분류기를 이용하여 분할 영상을 생성하는 단계와,
    상기 생성된 분할 영상에서 상기 지정된 배경 영역에 해당하는 공간블록에 대한 히스토그램을 산출하고, 상기 산출한 히스토그램과 상기 생성된 시공간영상블록 히스토그램간의 가중합을 통해 상기 생성된 시공간영상블록의 히스토그램을 갱신하는 단계
    를 포함하는 영상 분할 방법.
  7. 제 6 항에 있어서,
    상기 시공간영상블록 히스토그램을 생성하는 단계는,
    상기 영상들로부터 기 설정된 범위의 시간에서 일정한 크기를 갖는 시공간영상 블록을 추출하는 단계와,
    상기 추출된 시공간영상블록에 포함되는 모든 화소를 대상으로 각 색상 표현값에 해당하는 화소의 개수를 상기 시공간영상블록의 화소수로 정규화하여 시공간영상블록 히스토그램을 생성하는 단계
    를 포함하는 영상 분할 방법.
  8. 제 6 항에 있어서,
    상기 공간영상블록 히스토그램을 생성하는 단계는,
    상기 저장매체로부터 영상을 입력받아 기 설정된 시간에서 일정한 크기를 갖는 공간영상블록을 추출하는 단계와,
    상기 추출된 공간영상블록에 포함되는 모든 화소를 대상으로 각 색상 표현값에 해당하는 화소의 개수를 상기 추출된 공간영상블록의 화소수로 정규화하여 상기 공간영상블록 히스토그램을 생성하는 단계
    를 포함하는 영상 분할 방법.
  9. 제 7 항에 있어서,
    상기 초기 분할 영상을 생성하는 단계는,
    상기 생성된 시공간블록 히스토그램과 상기 생성된 공간영상블록 히스토그램 사이의 히스토그램 거리를 상기 공간영상블록 단위로 계산하는 단계와,
    상기 계산된 거리가 기 설정된 히스토그램 임계값과 비교하는 단계와,
    상기 비교 결과, 상기 계산된 히스토그램의 거리가 상기 임계값보다 작거나 같으면 배경 영역을 결정하고, 상기 계산된 히스토그램의 거리가 상기 임계값보다 크면 전경 영역을 결정하는 단계와,
    상기 결정된 배경 영역과 전경 영역을 이용하여 상기 초기 분할 영상을 생성하는 단계
    를 포함하는 영상 분할 방법.
  10. 제 7 항에 있어서,
    상기 분할 영상을 생성하는 단계는,
    상기 지정된 전경 영역과 배경 영역에 대한 화소별 색상 표현값, 상기 영상의 위치와 시간을 입력 특징 벡터로 하고, 각 화소에 할당된 전경 레이블과 배경 레이블을 클래스 정보로 하여 상기 이진 분류기를 학습시키는 단계와,
    상기 지정된 경계 영역에 대응되는 영상 영역에 대한 화소별 색상 표현값, 상기 영상의 위치와 시간 특징 벡터를 추출하여 상기 학습된 이진 분류기에 입력하여 상기 전경 또는 배경의 레이블을 할당받아 상기 분할 영상을 생성하거나, 상기 경계 영역을 제외한 나머지 영역에 대해 상기 지정된 전경 및 배경 분할 결과를 이용하여 상기 분할 영상을 생성하는 단계
    를 포함하는 영상 분할 방법.
KR1020080131373A 2008-12-22 2008-12-22 영상 분할 장치 및 방법 KR101095859B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080131373A KR101095859B1 (ko) 2008-12-22 2008-12-22 영상 분할 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080131373A KR101095859B1 (ko) 2008-12-22 2008-12-22 영상 분할 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100072846A KR20100072846A (ko) 2010-07-01
KR101095859B1 true KR101095859B1 (ko) 2011-12-21

Family

ID=42635937

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080131373A KR101095859B1 (ko) 2008-12-22 2008-12-22 영상 분할 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101095859B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102073297B1 (ko) * 2018-07-11 2020-02-04 국방과학연구소 소나 영상 복원 장치 및 방법
CN111491149B (zh) * 2020-04-15 2022-03-08 深圳市瑞立视多媒体科技有限公司 基于高清视频的实时抠像方法、装置、设备及存储介质
CN113313719A (zh) * 2021-06-11 2021-08-27 福州大学 基于视觉注意机制和模型拟合的白细胞分割方法

Also Published As

Publication number Publication date
KR20100072846A (ko) 2010-07-01

Similar Documents

Publication Publication Date Title
US10395136B2 (en) Image processing apparatus, image processing method, and recording medium
AU2006252252B2 (en) Image processing method and apparatus
KR102142567B1 (ko) 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램
KR101173559B1 (ko) 비디오 동영상의 움직이는 다중 객체 자동 분할 장치 및 방법
CN110348358B (zh) 一种肤色检测***、方法、介质和计算设备
KR102508067B1 (ko) 약지도 학습 기반 시멘틱 영상 분할 학습 데이터 생성 장치 및 방법
WO2019197021A1 (en) Device and method for instance-level segmentation of an image
Qian et al. Video background replacement without a blue screen
KR20190125029A (ko) 시계열 적대적인 신경망 기반의 텍스트-비디오 생성 방법 및 장치
CN113780243A (zh) 行人图像识别模型的训练方法、装置、设备以及存储介质
Zhu et al. Automatic object detection and segmentation from underwater images via saliency-based region merging
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
KR101095859B1 (ko) 영상 분할 장치 및 방법
CN109740527B (zh) 一种视频帧中图像处理方法
JP2014110020A (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR101781942B1 (ko) 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치
CN116486153A (zh) 图像分类方法、装置、设备及存储介质
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
CN115019218A (zh) 图像处理方法和处理器
US11373313B2 (en) Image processing apparatus and image processing method
CN115035007A (zh) 基于像素级对齐生成对抗网络的人脸老化***及建立方法
KR20230077871A (ko) 인페인팅 기법에 기반한 배경 모델링을 이용한 동적 객체 검출 장치 및 방법
CN110210277B (zh) 一种运动目标空洞填充算法
KR102685693B1 (ko) 딥페이크 비디오 탐지 방법 및 장치, 컴퓨터 프로그램
CN117710868B (zh) 一种对实时视频目标的优化提取***及方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151127

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161121

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181025

Year of fee payment: 8