KR20120061764A - 화상 처리 장치 및 화상 처리 방법, 및 프로그램 - Google Patents

화상 처리 장치 및 화상 처리 방법, 및 프로그램 Download PDF

Info

Publication number
KR20120061764A
KR20120061764A KR1020117006572A KR20117006572A KR20120061764A KR 20120061764 A KR20120061764 A KR 20120061764A KR 1020117006572 A KR1020117006572 A KR 1020117006572A KR 20117006572 A KR20117006572 A KR 20117006572A KR 20120061764 A KR20120061764 A KR 20120061764A
Authority
KR
South Korea
Prior art keywords
image
small region
pixel
likelihood
region
Prior art date
Application number
KR1020117006572A
Other languages
English (en)
Inventor
히데시 야마다
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20120061764A publication Critical patent/KR20120061764A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은, 그래프 커트법과 같은 처리를 소영역 단위로 행해도, 화소 단위와 같은 결과로 할 수 있는 화상 처리 장치 및 화상 처리 방법, 및 프로그램에 관한 것이다. 사전 분할 실행부(13)는, 화상 내의 화소를 화소간의 상관성에 의해 분류하여 소영역 집합으로 분할한다. 소영역 인접 에너지 계산부(14)는, 소영역 집합의 인접하는 소영역쌍의 경계 부근의 화소 집합의 화소값의 차분에 기초하여, 소영역 인접 에너지를 계산한다. 소영역 우도 에너지 계산부(15)는, 트라이 맵 화상에 기초하여, 소영역마다 오브젝트 영역 및 배경 영역을 선택하고, 확률 모델 함수를 구축하여, 소영역마다 오브젝트 우도 및 배경 우도를 계산한다. 분할 실행부(16)는, 소영역 인접 에너지와 소영역 우도 에너지를 사용하여, 전경 및 배경의 2치 마스크 화상으로 분할한다. 본 발명은, 오브젝트 화상을 분리하는 화상 처리에 적용할 수 있다.

Description

화상 처리 장치 및 화상 처리 방법, 및 프로그램{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM}
본 발명은, 화상 처리 장치 및 화상 처리 방법, 및 프로그램에 관한 것으로, 특히, 입력 화상으로부터 오브젝트 영역과 배경 영역으로 이루어지는 2치 마스크 화상을 생성할 때, 처리를 고속으로 함과 함께 메모리 절약으로 실현할 수 있도록 한 화상 처리 장치 및 화상 처리 방법, 및 프로그램에 관한 것이다.
화상 내의 오브젝트 영역과 배경 영역을 지정하는 2치 마스크 화상을 얻는 처리는, 화상 분할 처리라고 칭해지고 있다. 이 화상 분할 처리의 하나의 방법으로서, 그래프 커트법이 알려져 있다(비특허문헌 1 참조).
이 그래프 커트법은, 화상 전체를 화상의 색 분포와 에지의 정보를 에너지로 하는 그래프 구조로 나타내고, 그 최대 흐름 문제(Maxflow)로서 풀고, 에너지가 최소가 되도록 0과 1의 라벨을 할당하여 2치 마스크 화상을 구하는 것이다.
그러나, 전체 화소에 대하여, 이 그래프 구조를 메모리 상에서 유지하기 위해서는, 메모리 사용량이 매우 커, 처리하는 화상의 해상도에 한계가 있었다.
이러한 문제를 해결하는 방법의 하나로, 그래프 커트법을 화소의 단위가 아닌 화소 집합 등의 소영역과 같은 좀더 큰 입도로 처리하는 아이디어가 있다.
원래 그래프 커트법에서는, 그래프의 노드간의 접속 상태에 제약은 없고 자유로운 접속이 허용되므로, 자유롭게 소영역을 구축하여 화소를 상기의 소영역으로 치환하기만 하고 그대로 적용할 수 있다. 단, 그래프의 노드와 에지에 설정하는 에너지에 대해서는 화소 단위와는 다른 방법으로 계산할 필요가 있다.
이와 같은 소영역 집합을 정의하여 그래프 커트법을 적용하는 방법이 (비특허문헌 2 및 특허문헌 1 참조)에서 제안되어 있다. 이 방법에서는, 화소간의 인접 에너지와 우도 에너지를 소영역의 평균색을 사용하여 구하고 있다.
이 방법에 있어서는, 그래프 커트법을 화소보다도 개수가 적은 소영역 단위로 행함으로써 에너지를 절약하고, 또한 고속화를 실현함과 함께 2종류의 에너지의 계산량도 경감하고 있다.
"Systems and methods for image data separation", EP 1 624 413 A2(2006/6)
"An Experimental Comparison of Min-Cut/Max-Flow Algorithms for Energy Minimization in Vision"(2004), Yuri Boykov, Vladimir Kolmogorov, IEEE Transactions on Pattern Analysis and Machine Intelligence "Lazy snapping"(2004), Yin Li, Jian Sun, Chi-Keung Tang, Heung-Yeung Shum, ACM Transaction. Graphics.
그러나, 비특허문헌 2 및 특허문헌 1에 있어서 제안되어 있는 방법에 있어서는, 양 에너지 모두 소영역의 평균색을 사용하여 계산하므로 화소 단위로 계산하는 것과 비교하여 그 차가 커져, 그래프 커트법 처리 결과의 2치 마스크 화상이 잘 구해지지 않는 경우가 있었다.
본 발명은 이와 같은 상황을 감안하여 이루어진 것이며, 입력 화상으로부터 오브젝트 영역과 배경 영역으로 이루어지는 2치 마스크 화상을 생성할 때, 처리를 고속으로 함과 함께, 에너지를 절약하여 실현할 수 있도록 함과 함께, 그래프 커트법과 같은 화상 분할 처리를 소영역 단위로 행해도, 화소 단위와 같은 결과를 얻을 수 있도록 하는 것이다.
본 발명의 일측면의 화상 처리 장치는, 화상을 오브젝트와 배경 영역으로 분리하는 2치 마스크 화상을 출력하는 화상 처리 장치이며, 상기 화상과 상기 화상 중, 오브젝트 영역, 배경 영역 및 그 이외의 영역으로 분류하는 트라이 맵 화상을 취득하는 트라이 맵 화상 취득 수단과, 상기 화상 내의 화소를 상기 화소간의 상관성에 기초하여 분류함으로써 소영역 집합으로 분할하는 사전 분할 수단과, 상기 소영역 집합 중 인접하는 소영역쌍의 경계 부근에 있는 화소 집합의 화소값의 차분에 기초하여, 소영역 인접 에너지를 계산하는 소영역 인접 에너지 계산 수단과, 상기 트라이 맵 화상에 기초하여, 상기 소영역 집합의 상기 오브젝트 영역 및 배경 영역을 선택하고, 확률 모델 함수를 구축하고, 상기 확률 모델 함수를 사용하여, 상기 소영역 집합마다 오브젝트 우도 및 배경 우도를 구하고, 상기 오브젝트 우도 및 상기 배경 우도로부터 소영역 우도 에너지를 계산하는 소영역 우도 에너지 계산 수단과, 상기 소영역 인접 에너지와 상기 소영역 우도 에너지를 사용하여, 상기 화상을 상기 전경 및 상기 배경의 2치 마스크 화상으로 분할하는 분할 수단과, 상기 분할 수단에 의해 분할된 상기 2치 마스크 화상을 출력하는 출력 수단을 포함한다.
상기 소영역 우도 에너지 계산 수단에는, 상기 오브젝트 우도와 상기 배경 우도를, 상기 소영역 집합마다의 가중치 부여 평균색을 사용한 상기 확률 모델 함수를 사용하여 계산시키도록 할 수 있다.
상기 사전 분할 수단에는, 상기 화상에 있어서의 각 화소에 대하여, 래스터 스캔의 순방향에서 화소값의 극소값이 되는 화소를 상기 소영역 중심 후보 화소로 설정한 후, 상기 소영역 중심 후보 화소에 대하여, 상기 래스터 스캔의 역방향에서 극소값이 되는 화소를 상기 소영역 중심으로 하여 선택하는 소영역 중심 선택 수단을 더 포함시키도록 할 수 있다.
상기 소영역 중심 선택 수단에는, 상기 화상을 미분 처리하는 미분 처리 수단을 더 포함시키도록 할 수 있고, 상기 미분 처리 수단에 의해 미분 처리된 화상의 각 화소의 화소값에 대하여, 원하는 임계값 이하의 화소값을 0으로 함으로써, 상기 소영역 중심의 개수를 저감시켜 출력시키도록 할 수 있다.
상기 사전 분할 수단에는, 상기 소영역의 확대의 순서를, 양자화한 화소값의 오름차순으로 설정하는 소영역 확대 처리 수단을 더 포함시키도록 할 수 있다.
본 발명의 일측면의 화상 처리 방법은, 화상을 오브젝트와 배경 영역으로 분리하는 2치 마스크 화상을 출력하는 화상 처리 장치의 화상 처리 방법이며, 상기 화상과 상기 화상 중, 오브젝트 영역, 배경 영역 및 그 이외의 영역으로 분류하는 트라이 맵 화상을 취득하는 트라이 맵 화상 취득 스텝과, 상기 화상 내의 화소를 상기 화소간의 상관성에 기초하여 분류함으로써 소영역 집합으로 분할하는 사전 분할 스텝과, 상기 소영역 집합 중 인접하는 소영역쌍의 경계 부근에 있는 화소 집합의 화소값의 차분에 기초하여, 소영역 인접 에너지를 계산하는 소영역 인접 에너지 계산 스텝과, 상기 트라이 맵 화상에 기초하여, 상기 소영역 집합의 상기 오브젝트 영역 및 배경 영역을 선택하고, 확률 모델 함수를 구축하고, 상기 확률 모델 함수를 사용하여, 상기 소영역 집합마다 오브젝트 우도 및 배경 우도를 구하고, 상기 오브젝트 우도 및 상기 배경 우도로부터 소영역 우도 에너지를 계산하는 소영역 우도 에너지 계산 스텝과, 상기 소영역 인접 에너지와 상기 소영역 우도 에너지를 사용하여, 상기 화상을 상기 전경 및 상기 배경의 2치 마스크 화상으로 분할하는 분할 스텝과, 상기 분할 스텝의 처리에서 분할된 상기 2치 마스크 화상을 출력하는 출력 스텝을 포함한다.
본 발명의 일측면의 프로그램은, 화상을 오브젝트와 배경 영역으로 분리하는 2치 마스크 화상을 출력하는 화상 처리 장치를 제어하는 컴퓨터에, 상기 화상과 상기 화상 중, 오브젝트 영역, 배경 영역 및 그 이외의 영역으로 분류하는 트라이 맵 화상을 취득하는 트라이 맵 화상 취득 스텝과, 상기 화상 내의 화소를 상기 화소간의 상관성에 기초하여 분류함으로써 소영역 집합으로 분할하는 사전 분할 스텝과, 상기 소영역 집합 중 인접하는 소영역쌍의 경계 부근에 있는 화소 집합의 화소값의 차분에 기초하여, 소영역 인접 에너지를 계산하는 소영역 인접 에너지 계산 스텝과, 상기 트라이 맵 화상에 기초하여, 상기 소영역 집합의 상기 오브젝트 영역 및 배경 영역을 선택하고, 확률 모델 함수를 구축하고, 상기 확률 모델 함수를 사용하여, 상기 소영역 집합마다 오브젝트 우도 및 배경 우도를 구하고, 상기 오브젝트 우도 및 상기 배경 우도로부터 소영역 우도 에너지를 계산하는 소영역 우도 에너지 계산 스텝과, 상기 소영역 인접 에너지와 상기 소영역 우도 에너지를 사용하여, 상기 화상을 상기 전경 및 상기 배경의 2치 마스크 화상으로 분할하는 분할 스텝과, 상기 분할 스텝의 처리에서 분할된 상기 2치 마스크 화상을 출력하는 출력 스텝을 포함하는 처리를 실행시킨다.
본 발명의 일측면에 있어서는, 화상과 상기 화상 중, 오브젝트 영역, 배경 영역 및 그 이외의 영역으로 분류하는 트라이 맵 화상이 취득되어, 상기 화상 내의 화소가 상기 화소간의 상관성에 기초하여 분류됨으로써 소영역 집합으로 분할되고, 상기 소영역 집합 중 인접하는 소영역쌍의 경계 부근에 있는 화소 집합의 화소값의 차분에 기초하여, 소영역 인접 에너지가 계산되고, 상기 트라이 맵 화상에 기초하여, 상기 소영역 집합의 상기 오브젝트 영역 및 배경 영역이 선택되고, 확률 모델 함수가 구축되어, 상기 확률 모델 함수가 사용되어, 상기 소영역 집합마다 오브젝트 우도 및 배경 우도가 구해지고, 상기 오브젝트 우도 및 상기 배경 우도로부터 소영역 우도 에너지가 계산되고, 상기 소영역 인접 에너지와 상기 소영역 우도 에너지가 사용되어, 상기 화상이 상기 전경 및 상기 배경의 2치 마스크 화상으로 분할되어, 분할된 상기 2치 마스크 화상이 출력된다.
본 발명에 따르면, 그래프 커트법과 같은 화상 분할 처리를 소영역 단위로 행해도, 화소 단위와 같은 결과를 얻는 것이 가능하게 된다.
도 1은 본 발명을 적용한 화상 분할 장치의 일 실시 형태의 구성예를 도시하는 도면이다.
도 2는 도 1의 사전 분할 실행부의 구성예를 도시하는 도면이다.
도 3은 화상 분할 처리를 설명하는 흐름도이다.
도 4는 입력 화상과 2치 마스크 화상의 예를 도시하는 도면이다.
도 5는 사전 분할 처리를 설명하는 흐름도이다.
도 6은 소영역 중심이 되는 화소를 선택하는 처리를 설명하는 도면이다.
도 7은 소영역 ID 맵에 기초하여 생성되는 소영역으로 이루어지는 화상을 설명하는 도면이다.
도 8은 소영역 인접 에너지를 설명하는 도면이다.
도 9는 소영역마다의 대표색을 설정하는 처리를 설명하는 도면이다.
도 10은 범용의 퍼스널 컴퓨터의 구성예를 도시하는 도면이다.
[화상 분할 장치의 구성예]
도 1은, 본 발명을 적용한 화상 분할 장치의 일 실시 형태의 구성예를 도시하는 도면이다.
화상 분할 장치(1)는, 입력 화상과, 그 입력 화상의 화소가 오브젝트 화소, 배경 화소, 그 이외의 화소 중 어느 하나로 분류된 트라이 맵 화상을 사용하여, 입력 화상을, 복수의 화소로 이루어지는 소영역의 통합으로 이루어지는 화상으로 변환한다. 그리고, 화상 분할 장치(1)는, 그 소영역의 단위로 화상 분할을 실행하고, 즉, 화상을 소영역 단위로 오브젝트와 배경으로 분리하여, 2치 마스크 화상을 생성하여 출력한다.
화상 분할 장치(1)는, 입력 화상 취득부(11), 트라이 맵 화상 취득부(12), 사전 분할 실행부(13), 소영역 인접 에너지 계산부(14), 소영역 우도 에너지 계산부(15), 분할 실행부(16) 및 출력부(17)를 구비하고 있다.
입력 화상 취득부(11)는, 통상의 입력 화상을 취득하여, 사전 분할 실행부(13)에 공급한다. 트라이 맵 화상 취득부(12)는, 입력 화상과, 입력 화상의 화소가 오브젝트 화소, 배경 화소, 그 이외의 화소 중 어느 하나로 분류된 정보로 이루어지는 트라이 맵 화상을 취득하여, 소영역 우도 에너지 계산부(15)에 공급한다.
사전 분할 실행부(13)는, 우선, 공급되어 온 입력 화상을 복수의 인접 화소로 이루어지는 소영역으로 분할한다. 그리고, 사전 분할 실행부(13)는, 소영역마다 소영역 ID(identifier)를 설정하여 소영역 ID 맵을 생성하고, 소영역 인접 에너지 계산부(14) 및 소영역 우도 에너지 계산부(15)에 공급한다. 이때, 사전 분할 실행부(13)는, 소영역 ID 맵과 함께 입력 화상도 소영역 인접 에너지 계산부(14) 및 소영역 우도 에너지 계산부(15)에 공급한다. 또한, 사전 분할 실행부(13)의 상세한 구성에 대해서는, 도 2를 참조하여 후술한다.
소영역 인접 에너지 계산부(14)는, 각 소영역을 식별하는 소영역 ID로 이루어지는 소영역 ID 맵과, 입력 화상에 기초하여, 소영역간의 경계에 위치하는 화소간의 화소값에 의해 인접 에너지를 구하고, 그들 소영역분의 적산값을 소영역 인접 에너지로서 계산한다. 소영역 인접 에너지 계산부(14)는, 계산한 소영역 인접 에너지를 분할 실행부(16)에 공급한다.
소영역 우도 에너지 계산부(15)는, 사전 분할 실행부(13)로부터 공급되는 입력 화상 및 소영역 ID 맵과, 트라이 맵 화상 취득부(12)로부터 트라이 맵 화상에 기초하여, 소영역 우도 에너지를 계산한다.
더욱 상세하게는, 소영역 우도 에너지 계산부(15)는, 구속 영역 설정부(31), 대표색 계산부(32), 오브젝트 우도 계산부(33) 및 배경 우도 계산부(34)를 구비하고 있다. 구속 영역 설정부(31)는, 오브젝트 화상의 화소로 이루어지는 소영역을 오브젝트 화상에 구속하고, 배경 화상의 화소로 이루어지는 소영역을 배경 화상에 구속하고, 양쪽 화상의 화소 모두 포함하는 소영역에 대해서는, 모순 없이 소영역을 분할하거나 또는 어느 쪽에도 구속하지 않는다. 대표색 계산부(32)는, 소영역을 구성하는 화소의 색 정보의 가중치 부여 평균을, 소영역의 대표색으로서 구한다. 오브젝트 우도 계산부(33)는, 오브젝트 화상에 구속된 소영역 단위의 가우스 확률 모델의 함수를 구하고, 그 가우스 확률 모델의 함수를 사용하여 오브젝트의 우도를 오브젝트 우도로서 계산한다. 배경 우도 계산부(34)는, 배경 화상에 구속된 소영역 단위의 가우스 확률 모델의 함수를 구하고, 그 가우스 확률 모델의 함수를 사용하여 배경의 우도를 배경 우도로서 계산한다.
그리고, 소영역 우도 에너지 계산부(15)는, 이 오브젝트 화상에 구속된 소영역의 오브젝트 우도와, 배경 화상에 구속된 소영역의 배경 우도로부터 소영역 우도 에너지를 계산한다. 소영역 우도 에너지 계산부(15)는, 계산한 소영역 우도 에너지를 분할 실행부(16)에 공급한다. 또한, 소영역 인접 에너지 및 소영역 우도 에너지에 대해서는, 상세를 후술한다.
분할 실행부(16)는, 소영역 인접 에너지 계산부(14) 및 소영역 우도 에너지 계산부(15)로부터 공급되어 오는 입력 화상, 소영역 ID 맵, 소영역 인접 에너지 및 소영역 우도 에너지를 취득한다. 그리고, 분할 실행부(16)는, 화상 분할을 실시하여, 입력 화상, 소영역 ID 맵, 소영역 인접 에너지 및 소영역 우도 에너지에 기초하여, 2치 마스크 화상을 생성하여, 출력부(17)에 공급한다.
출력부(17)는, 공급되어 온 2치 마스크 화상을 처리 결과로서 출력한다.
[사전 분할 실행부의 구성예]
다음에, 도 2를 참조하여, 사전 분할 실행부(13)의 상세한 구성에 대하여 설명한다.
사전 분할 실행부(13)는, 화상 취득부(61), 소영역 중심 선택부(62), 소영역 ID 부가부(63), 소영역 확대 처리부(64) 및 소영역 ID 맵 출력부(65)를 구비하고 있다.
화상 취득부(61)는, 입력 화상을 취득하여, 소영역 중심 선택부(62)에 공급한다. 소영역 중심 선택부(62)는, 미분 화상 생성부(81), 극소값 판정부(82) 및 극소값 화상 생성부(83)를 구비하고 있다. 소영역 중심 선택부(62)는, 입력 화상으로부터 소영역을 구성하는 데 있어서, 그 중심이 되는 화소를 선택한다. 더욱 상세하게는, 미분 화상 생성부(81)는, 예를 들어 소벨 연산자 필터 등이며, 입력 화상의 각 화소를 처리하여 미분 화상을 생성한다. 극소값 판정부(82)는, 미분 화상의 각 화소를 래스터 스캔순으로 인접하는 화소간의 화소값의 차분으로부터 극소값 화소를 검출한다. 극소값 화상 생성부(83)는, 극소값 판정부(82)에 의해 극소값이라고 판정된 화소로부터 극소값 화상을 생성한다. 극소값 판정부(82)는, 극소값 화상을 소영역 ID 부가부(63)에 공급한다.
소영역 ID 부가부(63)는, 소영역 중심 선택부(62)로부터 공급되어 온 극소값 화상의 극소값으로서 설정된 각 화소를 소영역 중심으로 하여 선택된 화소라고 간주하고, 소영역 중심으로서 선택된 화소 각각에 소영역 ID를 부가하여, 초기 소영역 ID 맵을 생성한다. 또한, 소영역 ID 부가부(63)는, 생성한 초기 소영역 ID 맵과 입력 화상을 소영역 확대 처리부(64)에 공급한다.
소영역 확대 처리부(64)는, 초기 소영역 ID 맵으로부터, 소영역 중심으로서 선택된 각 화소에 대하여, 화소값의 오름차순으로 소영역 중심으로서 선택되지 않은 화소에 소영역 ID를 서서히 전파시킴으로써, 소영역 중심으로부터 소영역을 확대하여, 소영역 ID 맵을 생성한다. 또한, 소영역 확대 처리부(64)는, 생성한 소영역 ID 맵과 입력 화상을 소영역 ID 맵 출력부(65)에 공급한다. 소영역 ID 맵 출력부(65)는, 생성된 소영역 ID 맵과 입력 화상을 소영역 인접 에너지 계산부(14) 및 소영역 우도 에너지 계산부(15)에 공급한다.
[화상 분할 처리에 대하여]
다음에, 도 3의 흐름도를 참조하여, 화상 분할 처리에 대하여 설명한다.
스텝 S1에 있어서, 입력 화상 취득부(11)는, 입력 화상으로서 통상의 화상을 취득하여, 사전 분할 실행부(13)에 공급한다. 통상의 입력 화상으로서는, 예를 들어, 도 4의 좌측부에서 나타내어진 바와 같은 화상이다. 도 4의 좌측부에 있어서는, 호랑나비가 잎에 앉아 있는 상태의 화상을 나타내고 있다. 또한, 이후에 있어서는, 이 호랑나비가, 입력 화상에 있어서의 오브젝트 화상인 것으로 하고, 그 이외의 화상은 배경 화상인 것으로 하여 설명을 진행하는 것으로 한다. 단, 입력 화상은, 이 화상에 한한 것은 아니며, 그 이외의 화상이어도 된다. 또한, 오브젝트 화상에 대해서도, 호랑나비에 한한 것은 아니며, 그 이외의 화상이어도 된다.
스텝 S2에 있어서, 트라이 맵 화상 취득부(12)는, 입력 화상의 화소가 오브젝트 화소, 배경 화소, 그 이외의 화소 중 어느 하나로 분류된 트라이 맵 화상을 취득하고, 소영역 우도 에너지 계산부(15)에 공급한다. 더욱 상세하게는, 트라이 맵 화상은, 예를 들어, 도 4에 있어서, 오브젝트인 호랑나비의 윤곽 부분을 소정의 굵기의 터치 펜 등으로 덧그리는 구성되는 화상이다. 이와 같은 경우, 오브젝트 화상을 구성하는 영역의 화소는, 터치 펜으로 둘러싸여지는 내측의 호랑나비의 영역의 화소이다. 또한, 배경 화상은 터치 펜으로 둘러싸여 있지 않은 외측의 영역의 화소이며, 그 이외, 즉, 터치 펜의 선 상의 경계의 영역의 화소는, 그 어느 쪽으로도 분류되지 않는 것으로 된다.
스텝 S3에 있어서, 사전 분할 실행부(13)는, 사전 분할 처리를 실행하고, 소영역 ID 맵을 생성하여 소영역 인접 에너지 계산부(14) 및 소영역 우도 에너지 계산부(15)에 공급한다.
[사전 분할 처리에 대하여]
여기서, 도 5를 참조하여, 사전 분할 처리에 대하여 설명한다.
스텝 S31에 있어서, 화상 취득부(61)는, 입력 화상을 취득하고, 소영역 중심 선택부(62)에 공급하고,
스텝 S32에 있어서, 소영역 중심 선택부(62)는, 미분 화상 생성부(81)를 제어하여 미분 화상을 생성시킨다. 미분 화상 생성부(81)는, 예를 들어, 이하의 수학식 1로 나타내어지는 소벨 필터이다.
Figure pct00001
여기서, Gy는, 상단이 좌측으로부터 +1, +2, +1, 중간단이 좌측으로부터 0, 0, 0 및 하단이 좌측으로부터 -1, -2, -1의 값으로 이루어지는 수직 방향의 소벨 필터에 의해, 행렬 A를 처리한 처리 결과이다. 또한, 행렬 A는, 주목 화소와, 주목 화소에 상하 좌우, 좌측 상부, 우측 상부, 좌측 하부 및 우측 하부에 인접하는, 주목 화소를 중심으로 한 3화소×3화소의 영역의 화소값으로 이루어지는 행렬이다.
또한, Gx는, 상단의 좌측으로부터 +1, 0, -1, 중간단의 좌측으로부터 +2, 0, -2 및 하단의 좌측으로부터 +1, 0, -1의 값으로 이루어지는 수평 방향의 소벨 필터에 의해, 행렬 A를 처리한 처리 결과이다. G는, 수평 방향의 소벨 필터 처리 결과와 수직 방향의 소벨 필터 처리 결과를 합성한 처리 결과이다.
즉, 수학식 1로 나타내어지는 소벨 필터는, 화상의 미분값과 미분 방향을 계산하여 에지를 검출하는 것이다. 또한, 수학식 1의 소벨 필터는 일례이며, 각 값은 그 이외의 값이어도 되는 것이다.
스텝 S33에 있어서, 극소값 판정부(82)는, 입력 화상의 순방향 래스터 스캔의 선두 위치에 대응하는 화소를 처리 대상 화소로 설정한다.
스텝 S34에 있어서, 극소값 판정부(82)는, 처리 대상 화소에 인접하는 화소간의 화소값을 비교한다. 즉, 극소값 판정부(82)는, 입력 화상의 화소를 래스터 스캔순으로 배치하고, 처리 대상 화소의 전후에 배치된 화소간의 화소값을 비교한다.
스텝 S35에 있어서, 극소값 판정부(82)는, 처리 대상 화소의 화소값이 인접 화소의 화소값에 대하여 극소값을 취하는지 여부를 판정한다. 더욱 상세하게는, 극소값 판정부(82)는, 처리 대상 화소보다도 작은 값을 갖는 인접 화소가 없으면 그 처리 대상 화소를 극소값 화소로 한다. 또한, 극소값 판정부(82)는, 처리 대상 화소의 인접 화소 중 이미 처리한 화소에 대하여, 처리 대상 화소와 동일값이며, 또한 극소값이 아니라고 판정된 화소가 있으면, 그 처리 대상 화소는 극소값이 아니라고 판정한다.
예를 들어, 도 6의 상단에서 도시된 바와 같이, 화소 P1 내지 P9에 대하여 래스터 스캔순으로 배치된 화소의 화소값을 막대 그래프로서 나타내면, 극소값인지의 여부는 이하와 같이 판정된다. 즉, 극소값 판정부(82)는, 처리 대상 화소가 화소 P2인 경우, 화소 P1과 화소 P2의 차분, 및 화소 P3과 화소 P2의 차분의 정보로부터 화소 P2가 극소값인지의 여부를 판정한다.
도 6의 상단에 있어서는, 화소 P2의 화소값은, 인접하는 화소 P1, P3의 화소값의 전체보다도 작고, 화소 P2의 화소값보다 작은 화소가 없기 때문에, 극소값 판정부(82)는, 화소 P2는 극소값이라고 판정한다.
또한, 처리 대상 화소가 화소 P3인 경우, 화소 P3의 화소값은, 인접하는 화소 P2, P4의 어느 것보다도 크고, 화소 P3의 화소값보다 작은 화소가 있으므로, 극소값 판정부(82)는, 화소 P3의 화소값은 극소값이 아니라고 판정한다.
또한, 처리 대상 화소가 화소 P4인 경우, 화소 P4의 화소값은, 인접하는 화소 P3보다도 작고, 화소 P5와 동일하고, 화소 P4의 화소값보다 작은 화소가 없기 때문에, 극소값 판정부(82)는 화소 P4의 화소값은 극소값이라고 판정한다.
또한, 처리 대상 화소가 화소 P5인 경우, 화소 P5의 화소값은, 인접하는 화소 P4, P6과 동일하고, 화소 P5의 화소값보다 작은 화소가 없기 때문에, 극소값 판정부(82)는, 화소 P5의 화소값은 극소값이라고 판정한다.
또한, 처리 대상 화소가 화소 P6인 경우, 화소 P6의 화소값은, 인접하는 화소 P5와 동일하고, P7보다도 크고, 화소 P6의 화소값보다 작은 화소가 있기 때문에, 극소값 판정부(82)는, 화소 P6의 화소값은 극소값이 아니라고 판정한다.
또한, 처리 대상 화소가 화소 P7인 경우, 화소 P7의 화소값은, 인접하는 화소 P6보다도 작고, 화소 P8과 동일하고, 화소 P7의 화소값보다 작은 화소가 없기 때문에, 극소값 판정부(82)는, 화소 P5의 화소값은 극소값이라고 판정한다.
또한, 처리 대상 화소가 화소 P8인 경우, 화소 P8의 화소값은, 인접하는 화소 P7과 동일하고, P8보다도 작고, 화소 P8의 화소값보다 작은 화소가 없기 때문에, 극소값 판정부(82)는, 화소 P8의 화소값은 극소값이라고 판정한다.
스텝 S35에 있어서, 처리 대상 화소가 극소값이라고 판정된 경우, 스텝 S36에 있어서, 극소값 판정부(82)는, 처리 대상 화소를 극소값인 것으로서 기억한다. 또한, 스텝 S35에 있어서, 처리 대상 화소가 극소값이 아니라고 판정된 경우, 스텝 S36의 처리는, 스킵된다.
스텝 S37에 있어서, 극소값 판정부(82)는, 입력 화상에 처리 대상 화소로서 처리하고 있지 않은 미처리의 화소가 존재하는지의 여부를 판정하고, 미처리의 화소가 존재하는 경우, 처리는, 스텝 S38로 진행한다.
스텝 S38에 있어서, 극소값 판정부(82)는, 순방향의 래스터 스캔순으로 처리 대상 화소를 변경하고, 처리는, 스텝 S34로 복귀한다. 즉, 입력 화상의 각 화소에 대하여 래스터 스캔순으로 모든 화소의 화소값이 극소값인지의 여부가 판정될 때까지, 스텝 S34 내지 S38의 처리가 반복된다. 그리고, 스텝 S37에 있어서, 모든 입력 화상의 화소에 대하여 극소값인지의 여부가 판정되면, 처리는, 스텝 S39로 진행한다.
또한, 스텝 S39 내지 S44의 처리는, 상술한 스텝 S33 내지 S43의 처리에 대해서는, 래스터 스캔순이었던 처리가, 역래스터 스캔순으로 처리될 뿐이므로, 그 설명은 생략한다.
그런데, 이와 같이, 순방향 래스터 스캔순으로 처리한 후, 역방향 래스터 스캔순으로 처리함으로써, 순방향 래스터 스캔순으로 처리한 결과와는 다른 결과로 되는 경우가 있다.
즉, 도 6의 상단과 같이 순방향 래스터 스캔순으로 처리한 후, 역방향 래스터 스캔순으로 처리하면, 도 6의 하단과 같이 처리 대상 화소가 화소 P2, P7, P8인 경우에는, 순방향과 동일한 결과가 되지만, 화소 P4, P5에 대해서는 결과가 상이하다. 화소 P5의 경우, 일단 처리 완료된 화소 P6이 극소값이 아니라고 판정된 후, 화소 P6과 동일한 화소값의 화소 P5가 처리 대상 화소로 되므로, 극소값이 아니라고 판정된다. 마찬가지로, 화소 P4에 대해서도, 역방향 래스터 스캔순의 처리에 의해 화소 P5가 극소값이 아니라고 판정된 후, 화소 P5와 동일한 화소의 화소 P4가 처리 대상 화소로 되므로, 극소값이 아니라고 판정되게 된다.
이와 같이, 순방향 래스터 스캔순의 처리와, 역방향 래스터 스캔순의 처리에서는, 처리 결과가 상이하기 때문에, 스텝 S42에서는, 역방향 래스터 스캔순의 처리에서 극소값이라고 판정되는 화소만이 극소값의 화소로서 기억된다.
스텝 S45에 있어서, 극소값 화상 생성부(83)는, 극소값 판정부(82)에 의해 기억되어 있는 극소값으로서 판정된 화소의 정보에 기초하여, 극소값 화상을 생성하고, 입력 화상과 함께 소영역 ID 부가부(63)에 공급한다. 또한, 여기서는, 극소값으로서 판정되어 있지 않은 화소에 대해서는, 블랭크 상태의 화상이 극소값 화상으로서 생성된다.
스텝 S46에 있어서, 소영역 ID 부가부(63)는, 공급되어 온 극소값 화상의 극소값으로서 설정되어 있는 각 화소에 대하여, 소영역 ID를 부가한다. 이때, 극소값 화상에 있어서의 화소에 대해서는, 화소가 단독으로 존재하지 않고, 복수의 화소가 인접하여 존재하는 경우, 그들의 인접하고 있는 화소에 의해 구성되어 있는 영역은 소영역으로서 간주되고, 소영역을 구성하는 전체 화소에 공통의 소영역 ID가 부가된다. 이 경우, 극소값으로서 판정되지 않은 화소에 대해서는, 소영역 ID가 블랭크로 되거나, 또는 블랭크인 것을 나타내는 값이 부가된다.
소영역 ID 부가부(63)는, 예를 들어, UNION-FIND법("The watershed transform: definitions, algorithms, and parallellization strategies"(2000), J.B.T.M. Roerdink and A. Meijster, Fundamenta Informaticae 41, pp.187-228 참조)에 의해 소영역마다 소영역 ID를 부가한다.
스텝 S47에 있어서, 소영역 ID 부가부(63)는, 이와 같이 하여 소영역으로서 설정된 영역마다 소영역 ID를 부가한 초기 소영역 ID 맵을 생성하여, 입력 화상과 함께 소영역 확대 처리부(64)에 공급한다.
스텝 S48에 있어서, 소영역 확대 처리부(64)는, 소영역 ID 부가부(63)로부터 공급되어 온 입력 화상 및 초기 소영역 ID 맵에 기초하여, 소영역 ID 맵의 각 소영역을 소영역 ID가 부가되어 있지 않은 블랭크로 되어 있는 화소의 범위로 확대한다. 더욱 상세하게는, 소영역 확대 처리부(64)는, 소영역 ID를 갖는 화소를 중심으로 하여, 상하 좌우, 좌측 상부, 우측 상부, 좌측 하부 및 우측 하부에 인접하는 8화소(이후, 주변 8근방 화소라고도 칭함) 중 소영역 ID가 부가되어 있지 않은 화소로 소영역 ID를 전파시켜 가는 처리를 반복한다. 이때, 소영역 ID를 확대하는 처리, 즉, 소영역 ID를 전파시키는 순서는, 소영역의 화소값의 오름차순으로 실행되어 가는 것으로 한다. 이 처리가 반복되어, 모든 화소가 어느 쪽의 소영역 ID가 부가되면 처리가 종료된다.
스텝 S49에 있어서, 소영역 확대 처리부(64)는, 소영역 단위로 부가된 ID의 정보로부터 소영역 ID 맵을 생성하고, 소영역 ID 맵 출력부(65)에 공급한다.
스텝 S50에 있어서, 소영역 ID 맵 출력부(65)는, 생성된 소영역 ID 맵을 소영역 인접 에너지 계산부(14) 및 소영역 우도 에너지 계산부(15)에 공급한다.
이상의 처리에 의해, 예를 들어, 도 4의 좌측부에서 나타내어진 바와 같은 입력 화상을, 소영역 ID 맵에 기초하여, 동일한 소영역 ID가 부가된 영역을 둘러싸도록 백색선으로 구획된 화상을 생성하면, 도 7에서 나타내어진 바와 같은 소영역으로 분할된 화상이 생성된다. 따라서, 입력 화상의 오브젝트 화상과 배경 화상을 분리하는 데 있어서, 이 화상을 사용함으로써, 화소 단위가 아닌, 소영역 단위로 처리를 하는 것이 가능해진다. 결과적으로, 오브젝트 화상에 구속되는 영역인지, 배경 화상에 구속되는 영역인지의 판정 처리수를 저감하는 것이 가능하게 되므로, 처리에 필요하게 되는 메모리 용량을 저감시킬 수 있고, 처리 속도를 고속으로 하는 것이 가능하게 된다.
여기서, 도 3의 흐름도의 설명으로 복귀한다.
스텝 S3에 있어서, 사전 분할 처리에 의해, 소영역 ID 맵이 생성되어, 입력 화상과 함께 소영역 인접 에너지 계산부(14) 및 소영역 우도 에너지 계산부(15)에 공급되면, 처리는 스텝 S4로 진행된다.
스텝 S4에 있어서, 소영역 인접 에너지 계산부(14)는, 소영역 ID 맵 및 입력 화상에 기초하여, 이하의 수학식 2로 나타내어지는 계산에 의해, 인접하는 소영역간의 소영역 인접 에너지를 계산한다. 그리고, 소영역 인접 에너지 계산부(14)는, 계산 결과인 소영역마다의 소영역 인접 에너지, 입력 화상 및 소영역 ID 맵을 분할 실행부(16)에 공급한다.
Figure pct00002
여기서, EN은, 소영역간 인접 에너지를 나타내고 있고, Ip 및 Iq는, 소영역간의 경계에 인접하는 화소의 세트에 있어서의 각각의 화소값을 나타내고 있다. 또한, β는 화소값의 차분을 2승한 값의 화상 전체에 있어서의 기대값을 나타내고 있고, 화소값의 차분의 분포에 있어서의 중심값이 0.5 근방의 값으로 되도록 조정하는 파라미터이다. β의 식 중 <A>의 기호는, A의 기대값을 나타내고 있다.
즉, 도 8에서 나타내어진 바와 같이 소영역 Z1, Z2가 존재하는 경우, 인접하는 화소의 세트는, 화소 P1과 화소 P11, 화소 P2와 화소 P12, 화소 P3과 화소 P13, 화소 P3과 화소 P14, 화소 P4와 화소 P14, 화소 P4와 화소 P15, 화소 P5와 화소 P14 및 화소 P6과 화소 P16이다.
이와 같이, 소영역간 인접 에너지 EN은, 인접하는 소영역간의 인접 화소간의 화소값의 차분이 2승된 값이 소영역마다 누적 가산된 값이 된다. 따라서, 소영역간 인접 에너지 EN은, 인접하는 소영역간에 있어서의 화소에 있어서, 상관이 높은 화소가 많으면 커지고, 상관이 낮은 화소값의 차분이 큰 것이 많은 경우, 작아진다.
스텝 S5에 있어서, 소영역 우도 에너지 계산부(15)는, 구속 영역 설정부(31)를 제어하여, 트라이 맵 화상으로부터 오브젝트 화상의 화소로서 구속된 화소, 즉, 오브젝트 구속 화소를 추출시킨다.
스텝 S6에 있어서, 구속 영역 설정부(31)는, 소영역 ID 맵에 기초하여, 각 소영역 내의 오브젝트 구속 화소를 오브젝트 구속 후보 화소로 설정한다.
스텝 S7에 있어서, 소영역 우도 에너지 계산부(15)는, 구속 영역 설정부(31)를 제어하여, 트라이 맵 화상으로부터 배경 화상의 화소로서 구속된 화소, 즉, 배경 구속 화소를 추출시킨다.
스텝 S8에 있어서, 구속 영역 설정부(31)는, 소영역 ID 맵에 기초하여, 각 소영역 내의 배경 구속 화소를 배경 구속 후보 화소로 설정한다.
스텝 S9에 있어서, 구속 영역 설정부(31)는, 오브젝트 구속 후보 화소만을 포함하는 소영역을 오브젝트 구속 소영역에 설정하고, 배경 구속 후보 화소만을 포함하는 소영역을 배경 구속 소영역에 설정한다. 또한, 구속 영역 설정부(31)는, 오브젝트 구속 후보 화소 및 배경 구속 후보 화소의 양쪽을 포함하는 소영역을 모순 없이 분할하고, 각각을 오브젝트 구속 소영역 및 배경 구속 소영역으로 설정한다.
스텝 S10에 있어서, 소영역 우도 에너지 계산부(15)는, 대표색 설정부(32)를 제어하여, 소영역마다 대표색을 설정시킨다. 더욱 상세하게는, 대표색 설정부(32)는, 각 소영역이 포함하는 화소의 화소값을 가중치 부여 평균으로 계산함으로써, 소영역마다의 대표색을 구한다. 즉, 소영역마다 포함되어 있는 화소값의 단순한 평균값을 대표색으로서 계산하면, 소영역 경계 주변의 화소값이 색섞임됨으로써 색섞임을 포함한 평균 화소값이 되어, 후술하는 우도 에너지가 고정밀도로 구해지지 않게 된다.
예를 들어, 도 9의 좌측부에서 나타내어진 바와 같이, 영역 Z1, Z2에 있어서의 화소값의 파형이 설정되어 있었던 경우, 소영역 경계 Eg의 주변에서는 화소값의 변화가 커지므로, 인접하는 소영역 Z1, Z2 사이의 각각에 많이 포함되는 화소값이 혼합된 화소값이 많아진다. 이로 인해, 단순히 소영역의 화소 모두를 사용한 화소값의 평균값을 구하면 도 9의 우측 상단에서 나타내어진 바와 같이, 본래의 소영역에 있어서의 화소값의 평균값보다도 상호의 중간값에 접근하는 화소값이 되어 버려, 결과적으로, 상호의 소영역의 대표색을 정확하게 표현할 수 없다.
따라서, 도 9의 우측 하단의 굵은 실선으로 나타낸 바와 같이, 화소의 위치를 나타내는 공간에 대하여, 경계 주변에서 작아지도록 평균화 가중치를 설정하여, 각 화소의 화소값에 곱해지고, 가산되도록 한다. 이와 같이 함으로써, 도 9의 우측 중간단에서 나타낸 바와 같이 소영역 Z1, Z2의 화소값의 본래의 파형에 가까운 대표색이 설정되도록 할 수 있다. 화소의 위치를 나타내는 공간에 대하여, 경계 주변에서 작아지도록 하는 가중치의 설정 방법으로서는, 예를 들어, 도 9의 우측 하단의 점선으로 나타내어지는 미분 화상의 미분값의 역수 등을 이용할 수 있다.
따라서, 대표색 설정부(32)는, 도 9의 우측 하단에서 나타내어지는 바와 같이, 각 경계 부근의 화소에 대하여 작아지도록 화소값에 가중치를 곱하고, 또한 그것들을 적산함으로써 소영역마다 대표색이 되는 화소값을 설정한다.
스텝 S11에 있어서, 소영역 우도 에너지 계산부(15)는, 오브젝트 우도 계산부(33)를 제어하여, 소영역마다 오브젝트 우도를 계산시킨다. 더욱 상세하게는, 우선, 오브젝트 우도 계산부(33)는, 오브젝트 구속 소영역(또는 배경 구속 소영역)에 기초하여, 가우스 혼합 모델을 표현하는 함수 p(x)를 생성한다.
즉, 오브젝트 우도 계산부(33)는, 오브젝트 구속 소영역을 제1 데이터 샘플로 하는 하나의 클러스터로서, 평균 벡터 μ를 산출한다. 또한, 오브젝트 우도 계산부(33)는, 오브젝트 구속 소영역을 제1 데이터 샘플로 한 하나의 클러스터로서, 공분산 행렬 Σ를 산출한다. 그리고, 오브젝트 우도 계산부(33)는, 산출된 평균 벡터 μ 및 공분산 행렬 Σ에 기초하여, 오브젝트 구속 소영역을 제1 데이터 샘플로 한 가우스 혼합 모델 p(x)를 생성한다.
여기서, 가우스 혼합 모델의 함수 p(x)는, 이하의 수학식 3으로 나타내어진 바와 같이, D 차원의 데이터 x가 부여되었을 때에, 그 우도를 나타내는 함수이다. 또한, 가우스 혼합 모델의 함수 p(x)는, 수학식 4로 나타내어지는 K개의 D차원 가우스 함수 N(x|μk, Σk)(계수 k: k=1, 2,… K)에 가중치 Hk를 곱한 것의 총합이다.
Figure pct00003
Figure pct00004
여기서, 가우스 함수 N(x)은, 계수 k로 분류되는 D차원의 데이터 x가 부여되었을 때에, 평균 벡터 μk와, 그 공분산 행렬 Σk의 역행열 Σk -1과 공분산 행렬 Σk의 행렬식 |Σk|를 사용하여, 계수 k로 분류되는 D차원의 데이터 x의 가우스 모델의 우도를 나타내는 함수이다.
또한, 가우스 혼합 모델의 구축에 대해서는, Expectation Maximization법이 알려져 있다. 그 상세에 대해서는, "Pattern Recognition and Machine Learning"(2006), Bishop, Christopher M., Series: Information Science and Statistics, ISBN: 978-0-387-31073-2)를 참조하기 바란다.
스텝 S12에 있어서, 소영역 우도 에너지 계산부(15)는, 배경 우도 계산부(34)를 제어하고, 소영역마다 배경 우도를 계산시킨다. 또한, 이 처리는, 오브젝트 우도 계산부(33)와 마찬가지의 방법에 의해 배경 우도를 계산한다.
스텝 S13에 있어서, 소영역 우도 에너지 계산부(15)는, 오브젝트 우도 계산부(33)에 의해 계산된 소영역마다의 오브젝트 우도와, 배경 우도 계산부(34)에 의해 계산된 소영역마다의 배경 우도로부터, 소영역마다의 소영역 우도 에너지를 계산한다. 더욱 상세하게는, 소영역 우도 에너지 계산부(15)는, 이하의 수학식 5에 의해 소영역마다의 소영역 우도 에너지를 계산하고, 계산 결과를 분할 실행부(16)에 공급한다.
Figure pct00005
여기서, EL은 소영역 우도 에너지를, POBJ(x)는 오브젝트 우도를, PBG(x)는 배경 우도를, x는 소영역의 대표색을 나타내고 있다.
즉, 소영역 우도 에너지 EL은, 대표색 x에 있어서의 오브젝트 우도와, 배경 우도의 차분이 작을수록 크고, 반대로 오브젝트 우도와, 배경 우도의 차분이 클수록 작아진다.
스텝 S14에 있어서, 분할 실행부(16)는, 소영역 인접 에너지, 소영역 우도 에너지, 입력 화상 및 소영역 ID 맵에 기초하여, 분할 처리를 실행한다. 이 처리에 의해, 분할 실행부(16)는, 소영역을 노드로 하여 그래프 커트 경계를 설정한다. 즉, 분할 실행부(16)는, 소영역 ID 맵으로부터 소영역을 노드 단위로 하는 그래프를 구축하고, 그 그래프의 에지에 소영역 우도 에너지 및 소영역 인접 에너지를 설정하여 그래프 커트 경계를 계산한다. 이 결과, 그래프의 에지는, 화소의 세트에 의해 설정되는 것은 아니고, 소영역의 세트에 의해 설정된다.
스텝 S15에 있어서, 분할 실행부(16)는, 계산된 그래프 커트 경계를 따라, 소영역 단위로 오브젝트 화상에 속하는 화소에 대하여 오브젝트 화상을 나타내는 값을 설정하고, 배경 화상에 속하는 화소에 대하여 배경 화상을 나타내는 값을 설정한다. 이 처리에 의해, 분할 실행부(16)는, 예를 들어, 도 4의 좌측부에서 나타내어지는 입력 화상에 대응하여, 도 4의 우측부에서 나타내어지는 오브젝트와 배경을 나타내는 2치로 이루어지는 2치 마스크 화상을 생성하여 출력부(17)에 공급한다. 출력부(17)는, 분할 실행부(16)에 의해 생성된 2치 마스크 화상을 출력하고 처리는 종료한다.
이상의 처리에 의해, 그래프 커트 처리에 의해 2치 화상을 생성하는 데 있어서, 사전 분할 처리에 의해 입력 화상을 소영역 단위로 분할한 후 처리함으로써, 그래프 커트 처리에 있어서 노드를 화소 단위로 하지 않고 소영역 단위로 하는 것이 가능하게 된다. 결과적으로, 처리에 필요한 메모리 용량을 저감시킴과 함께, 처리 속도를 향상시키는 것이 가능하게 된다.
또한, 이상의 처리에 의해, 소영역의 대표색으로서 소영역의 가중치 부여 평균을 사용하고, 경계 부근의 화소값의 가중치를 작게 하도록 함으로써, 주변의 소영역의 색섞임을 저감시키도록 할 수 있다. 결과적으로, 그래프 커트법과 같은 화상 분할 처리를 소영역 단위로 행해도, 화소 단위와 같은 결과를 얻는 것이 가능하게 된다.
또한, 이상에 있어서는, 상술한 사전 분할 실행부(13)에 있어서, 입력 화상을 그대로 미분 화상을 생성하는 예에 대하여 설명해 왔지만, 예를 들어, 미분 화상을 계산하기 전에 에지 보존 평활화 필터를 적용함으로써, 에지가 남기 쉽도록 해도 된다.
즉, 사전 분할 실행부(13)는, 원래의 화상의 에지를 보존하도록 소영역을 구축하지만, 에지 보존 평활화 필터를 적용함으로써, 에지를 보존하면서도 소영역을 더욱 확대함으로써 한층 에너지 절약화와 처리의 고속화를 실현할 수 있다.
화상에 대한 에지 보존 평활화 필터로서는, 예를 들어, Meanshift Filter나 Bilateral Filter가 있다.
Meanshift Filter는, 화상의 국소적인 영역에 주목하여, 그 영역의 가장 밀도가 높은 위치를 찾고, 처리 대상 화소를, 그 밀도가 높은 방향으로 이동 또는 갱신함으로써, 에지를 남기면서 평활화하는 필터이다("Mean shift: a robust approach toward feature space analysis", Comaniciu, D.; Meer, P., Pattern Analysis and Machine Intelligence, IEEE Transactions on Volume 24, Issue 5, May 2002 참조).
또한, Bilateral Filer는, 화상의 국소적인 영역에 주목하여, 거리와 주목 화소의 휘도차의 2개의 가중치를 혼합하여 평활화를 행하는 방법으로, 마찬가지로에지를 남기면서 평활화하는 필터이다("Bilateral filtering for gray and color images", Tomasi, C. Manduchi, R., International Conference on Computer Vision, 1998. 참조).
또한, 상술한 사전 분할 실행부(13)는, 미분 화상을 계산하는 데 소벨 필터를 사용하는 예에 대하여 설명해 왔지만, 다른 에지 검출 필터를 적용해도 되고, 예를 들어, Canny 에지 검출 필터 또는 Laplacian 필터 등이어도 된다.
또한, 대표색 설정부(32)가 사용하는 가중치 부여 평균에는, 미분 화상의 미분값의 역수뿐만 아니라 다른 방법을 사용해도 된다. 대표색 설정부(32)가 사용하는 가중치 부여 평균으로서는, 예를 들어, 소영역 중심의 극소값을 중심색으로 하여 주변의 화소의 농담차의 역수를 사용하거나, 가변 가중 평균 필터링을 사용하도록 해도 된다. 또한, 대표색 설정부(32)가 사용하는 가중치 부여 평균으로서는, 예를 들어, 국소 소영역의 화소로부터 그 중심색의 농담 레벨에 가까운 순서대로 k개 취출하여 평균색을 구하는 k 최근접 평균 필터링 등이어도 된다.
또한, 미분 처리된 화상의 각 화소의 화소값에 대하여, 소정의 임계값 이하의 화소값을 0으로 함으로써, 상기 소영역 중심의 개수를 저감시켜 출력하고, 처리 부하를 저감시켜, 처리 속도를 향상시키도록 해도 된다.
또한, 대표색 설정부(32)가 사용하는 가중치 부여 평균으로서는, 가중치의 계산에 단순히 소영역 중심과 소영역에 포함되는 화소까지의 거리의 역수를 사용하거나, 측지선 거리를 계산하여 사용하는 방법이어도 된다.
또한, 측지선 거리의 경우의 거리 계산은, 예를 들어, 화소값의 변화가 가장 작은 경로를 선택하여, 거리를 화소값의 변화량을 적산한 것을 이용해도 된다.
또한, 이상에 있어서는, 사전 분할 처리를 화상의 분할과 조합하여 사용하는 예를 나타내고 있지만, 사전 분할 처리에 의해 구해진 소영역 ID 맵을 단독으로 사용하거나, 다른 알고리즘과 조합하여 이용해도 된다.
즉, 사전 분할 처리에 의해, 소영역 ID 맵, 즉, 소영역 화상을 얻음으로써, 간이적인 모자이크 화상으로서 제시하거나, 입력 화상으로부터 소영역 화상을 감산함으로써 텍스처 정보를 추출하도록 해도 된다.
또한, 컴퓨터 비전 문제의 스테레오 화상 대응이나 오브젝트ㆍ트래킹과 조합하여, 처리를 고속화하거나 로버스트성을 높이도록 해도 된다.
또한, 화상의 해상도에 따라서, 예를 들어, 해상도가 높고, 사전 분할 처리에 의해 생성되는 소영역수가, 소정의 소영역수보다도 충분히 적은 상태로 되는 것을 기대할 수 있을 때에만, 사전 분할 처리의 결과를 사용하여 분할 처리를 실행하도록 해도 되고, 높은 효과가 얻어질 때에만 사전 분할 처리를 함으로써, 효율적으로 처리하는 것이 가능하게 된다.
또한, 사전 분할 처리에 의해 생성된 소영역수가, 소정의 소영역수보다도 충분히 적은 상태로 되었을 때에만, 사전 분할 처리의 결과를 사용하여 분할 처리를 실행하도록 해도 된다. 즉, 사전 분할 처리에 의해 화상 분할 처리의 부하를 크게 경감시킬 수 있는 경우에만, 사전 분할 처리의 처리 결과를 사용함으로써, 사전 분할 처리 결과를 효과적으로 사용하는 것이 가능하게 된다.
그런데, 상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 조립되어 있는 컴퓨터, 또는 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등에, 기록 매체로부터 인스톨된다.
도 10은, 범용의 퍼스널 컴퓨터의 구성예를 도시하고 있다. 이 퍼스널 컴퓨터는, CPU(Central Processing Unit)(1001)를 내장하고 있다. CPU(1001)에는 버스(1004)를 통하여, 입출력 인터페이스(1005)가 접속되어 있다. 버스(1004)에는, ROM(Read Only Memory)(1002) 및 RAM(Random Access Memory)(1003)이 접속되어 있다.
입출력 인터페이스(1005)에는, 유저가 조작 커맨드를 입력하는 키보드, 마우스 등의 입력 디바이스로 이루어지는 입력부(1006), 처리 조작 화면이나 처리 결과의 화상을 표시 디바이스에 출력하는 출력부(1007), 프로그램이나 각종 데이터를 저장하는 하드디스크 드라이브 등으로 이루어지는 기억부(1008), LAN(Local Area Network) 어댑터 등으로 이루어지고, 인터넷으로 대표되는 네트워크를 통한 통신 처리를 실행하는 통신부(1009)가 접속되어 있다. 또한, 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함함), 광자기 디스크(MD(Mini Disc)를 포함함), 혹은 반도체 메모리 등의 리무버블 미디어(1011)에 대하여 데이터를 판독 기입하는 드라이브(1010)가 접속되어 있다.
CPU(1001)는, ROM(1002)에 기억되어 있는 프로그램, 또는 자기 디스크, 광 디스크, 광자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(1011)로부터 판독되어 기억부(1008)에 인스톨되어, 기억부(1008)로부터 RAM(1003)에 로드된 프로그램에 따라서 각종 처리를 실행한다. RAM(1003)에는 또한, CPU(1001)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적절히 기억된다.
또한, 본 명세서에 있어서, 처리 공정을 기술하는 스텝은, 기재된 순서를 따라 시계열적으로 행해지는 처리는, 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별로 실행되는 처리를 포함하는 것이다.
11: 입력 화상 취득부
12: 트라이 맵 화상 취득부
13: 사전 분할 실행부
14: 소영역 인접 에너지 계산부
15: 소영역 우도 에너지 계산부
16: 분할 실행부
17: 출력부
61: 화상 취득부
62: 소영역 중심 선택부
63: 소영역 ID 부가부
64: 소영역 확대 처리부
65: 소영역 ID 맵 출력부

Claims (7)

  1. 화상을 오브젝트와 배경 영역으로 분리하는 2치 마스크 화상을 출력하는 화상 처리 장치로서,
    상기 화상과 상기 화상 중, 오브젝트 영역, 배경 영역 및 그 이외의 영역으로 분류하는 트라이 맵 화상을 취득하는 트라이 맵 화상 취득 수단과,
    상기 화상 내의 화소를 상기 화소간의 상관성에 기초하여 분류함으로써 소영역 집합으로 분할하는 사전 분할 수단과,
    상기 소영역 집합 중 인접하는 소영역쌍의 경계 부근에 있는 화소 집합의 화소값의 차분에 기초하여, 소영역 인접 에너지를 계산하는 소영역 인접 에너지 계산 수단과,
    상기 트라이 맵 화상에 기초하여, 상기 소영역 집합의 상기 오브젝트 영역 및 배경 영역을 선택하고, 확률 모델 함수를 구축하고, 상기 확률 모델 함수를 사용하여, 상기 소영역 집합마다 오브젝트 우도 및 배경 우도를 구하고, 상기 오브젝트 우도 및 상기 배경 우도로부터 소영역 우도 에너지를 계산하는 소영역 우도 에너지 계산 수단과,
    상기 소영역 인접 에너지와 상기 소영역 우도 에너지를 사용하여, 상기 화상을 상기 전경 및 상기 배경의 2치 마스크 화상으로 분할하는 분할 수단과,
    상기 분할 수단에 의해 분할된 상기 2치 마스크 화상을 출력하는 출력 수단을 포함하는, 화상 처리 장치.
  2. 제1항에 있어서, 상기 소영역 우도 에너지 계산 수단은, 상기 오브젝트 우도와 상기 배경 우도를, 상기 소영역 집합마다의 가중치 부여 평균색을 사용한 상기 확률 모델 함수를 사용하여 계산하는, 화상 처리 장치.
  3. 제1항에 있어서, 상기 사전 분할 수단은,
    상기 화상에 있어서의 각 화소에 대하여, 래스터 스캔의 순방향에서 화소값의 극소값이 되는 화소를 상기 소영역 중심 후보 화소로 설정한 후, 상기 소영역 중심 후보 화소에 대하여, 상기 래스터 스캔의 역방향에서 극소값이 되는 화소를 상기 소영역 중심으로 하여 선택하는 소영역 중심 선택 수단을 더 포함하는, 화상 처리 장치.
  4. 제3항에 있어서, 상기 소영역 중심 선택 수단은,
    상기 화상을 미분 처리하는 미분 처리 수단을 더 포함하고,
    상기 미분 처리 수단에 의해 미분 처리된 화상의 각 화소의 화소값에 대하여, 원하는 임계값 이하의 화소값을 0으로 함으로써, 상기 소영역 중심의 개수를 저감시켜 출력하는, 화상 처리 장치.
  5. 제1항에 있어서, 상기 사전 분할 수단은,
    상기 소영역의 확대의 순서를, 양자화한 화소값의 오름차순으로 설정하는 소영역 확대 처리 수단을 더 포함하는, 화상 처리 장치.
  6. 화상을 오브젝트와 배경 영역으로 분리하는 2치 마스크 화상을 출력하는 화상 처리 장치의 화상 처리 방법으로서,
    상기 화상과 상기 화상 중, 오브젝트 영역, 배경 영역 및 그 이외의 영역으로 분류하는 트라이 맵 화상을 취득하는 트라이 맵 화상 취득 스텝과,
    상기 화상 내의 화소를 상기 화소간의 상관성에 기초하여 분류함으로써 소영역 집합으로 분할하는 사전 분할 스텝과,
    상기 소영역 집합 중 인접하는 소영역쌍의 경계 부근에 있는 화소 집합의 화소값의 차분에 기초하여, 소영역 인접 에너지를 계산하는 소영역 인접 에너지 계산 스텝과,
    상기 트라이 맵 화상에 기초하여, 상기 소영역 집합의 상기 오브젝트 영역 및 배경 영역을 선택하고, 확률 모델 함수를 구축하고, 상기 확률 모델 함수를 사용하여, 상기 소영역 집합마다 오브젝트 우도 및 배경 우도를 구하고, 상기 오브젝트 우도 및 상기 배경 우도로부터 소영역 우도 에너지를 계산하는 소영역 우도 에너지 계산 스텝과,
    상기 소영역 인접 에너지와 상기 소영역 우도 에너지를 사용하여, 상기 화상을 상기 전경 및 상기 배경의 2치 마스크 화상으로 분할하는 분할 스텝과,
    상기 분할 스텝의 처리에서 분할된 상기 2치 마스크 화상을 출력하는 출력 스텝을 포함하는, 화상 처리 방법.
  7. 화상을 오브젝트와 배경 영역으로 분리하는 2치 마스크 화상을 출력하는 화상 처리 장치를 제어하는 컴퓨터에,
    상기 화상과 상기 화상 중, 오브젝트 영역, 배경 영역 및 그 이외의 영역으로 분류하는 트라이 맵 화상을 취득하는 트라이 맵 화상 취득 스텝과,
    상기 화상 내의 화소를 상기 화소간의 상관성에 기초하여 분류함으로써 소영역 집합으로 분할하는 사전 분할 스텝과,
    상기 소영역 집합 중 인접하는 소영역쌍의 경계 부근에 있는 화소 집합의 화소값의 차분에 기초하여, 소영역 인접 에너지를 계산하는 소영역 인접 에너지 계산 스텝과,
    상기 트라이 맵 화상에 기초하여, 상기 소영역 집합의 상기 오브젝트 영역 및 배경 영역을 선택하고, 확률 모델 함수를 구축하고, 상기 확률 모델 함수를 사용하여, 상기 소영역 집합마다 오브젝트 우도 및 배경 우도를 구하고, 상기 오브젝트 우도 및 상기 배경 우도로부터 소영역 우도 에너지를 계산하는 소영역 우도 에너지 계산 스텝과,
    상기 소영역 인접 에너지와 상기 소영역 우도 에너지를 사용하여, 상기 화상을 상기 전경 및 상기 배경의 2치 마스크 화상으로 분할하는 분할 스텝과,
    상기 분할 스텝의 처리에서 분할된 상기 2치 마스크 화상을 출력하는 출력 스텝을 포함하는 처리를 실행시키는, 프로그램.
KR1020117006572A 2009-07-30 2010-07-23 화상 처리 장치 및 화상 처리 방법, 및 프로그램 KR20120061764A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2009-177581 2009-07-30
JP2009177581A JP2011034178A (ja) 2009-07-30 2009-07-30 画像処理装置および画像処理方法、並びにプログラム
PCT/JP2010/062397 WO2011013579A1 (ja) 2009-07-30 2010-07-23 画像処理装置および画像処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
KR20120061764A true KR20120061764A (ko) 2012-06-13

Family

ID=43529236

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117006572A KR20120061764A (ko) 2009-07-30 2010-07-23 화상 처리 장치 및 화상 처리 방법, 및 프로그램

Country Status (7)

Country Link
US (1) US8649599B2 (ko)
EP (1) EP2461290B1 (ko)
JP (1) JP2011034178A (ko)
KR (1) KR20120061764A (ko)
CN (1) CN102165491B (ko)
TW (1) TW201120816A (ko)
WO (1) WO2011013579A1 (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120052767A (ko) * 2010-11-16 2012-05-24 한국전자통신연구원 영상 분리 장치 및 방법
ES2692520T3 (es) * 2011-03-04 2018-12-04 Lbt Innovations Limited Método para mejorar los resultados de clasificación de un clasificador
JP5766986B2 (ja) * 2011-03-16 2015-08-19 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
GB2489272B (en) * 2011-03-23 2013-03-13 Toshiba Res Europ Ltd An image processing system and method
JP5771442B2 (ja) * 2011-05-09 2015-08-26 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
EP2822280A4 (en) 2012-02-27 2015-08-12 Sony Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND COMPUTER PROGRAM
JP5874538B2 (ja) * 2012-06-01 2016-03-02 カシオ計算機株式会社 動画生成装置、動画生成方法、及び、プログラム
US8897562B2 (en) * 2012-06-29 2014-11-25 Adobe Systems Incorporated Adaptive trimap propagation for video matting
JP5872395B2 (ja) * 2012-06-29 2016-03-01 セコム株式会社 領域分割装置
JP5872401B2 (ja) * 2012-07-10 2016-03-01 セコム株式会社 領域分割装置
US9106908B2 (en) 2012-07-30 2015-08-11 Intel Corporation Video communication with three dimensional perception
JP6015267B2 (ja) * 2012-09-13 2016-10-26 オムロン株式会社 画像処理装置、画像処理プログラム、これを記録したコンピュータ読み取り可能な記録媒体、および、画像処理方法
US10235605B2 (en) * 2013-04-10 2019-03-19 Microsoft Technology Licensing, Llc Image labeling using geodesic features
JP6165491B2 (ja) 2013-04-12 2017-07-19 株式会社メガチップス 画像処理装置および画像処理方法
JP6136537B2 (ja) 2013-04-26 2017-05-31 オムロン株式会社 画像処理装置、画像処理方法、画像処理制御プログラム、および記録媒体
JP6342128B2 (ja) 2013-08-23 2018-06-13 キヤノンメディカルシステムズ株式会社 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
JP6161575B2 (ja) * 2014-06-24 2017-07-12 日本電信電話株式会社 画像分割装置、方法、及びプログラム
CN104063865B (zh) * 2014-06-27 2017-08-01 小米科技有限责任公司 分类模型创建方法、图像分割方法及相关装置
KR102330322B1 (ko) 2014-09-16 2021-11-24 삼성전자주식회사 영상 특징 추출 방법 및 장치
CN104680482A (zh) * 2015-03-09 2015-06-03 华为技术有限公司 一种图像处理的方法和装置
CN105741286B (zh) * 2016-01-29 2018-11-09 西安电子科技大学 基于幅相联合的sar图像动目标阴影提取方法
KR20180105294A (ko) * 2017-03-14 2018-09-28 한국전자통신연구원 이미지 압축 장치
JP6787844B2 (ja) * 2017-07-21 2020-11-18 Kddi株式会社 オブジェクト抽出装置およびそのスーパーピクセルラベリング方法
KR101956158B1 (ko) * 2017-08-22 2019-03-08 한국과학기술연구원 식물 잎 식별 시스템 및 방법
CN109697722B (zh) * 2017-10-23 2021-10-15 北京京东尚科信息技术有限公司 用于生成三分图的方法及装置
CN109993761B (zh) * 2018-06-29 2021-04-09 长城汽车股份有限公司 一种三值图像获取方法、装置及车辆
CN109345540B (zh) * 2018-09-15 2021-07-13 北京市商汤科技开发有限公司 一种图像处理方法、电子设备及存储介质
US11024032B1 (en) * 2019-02-07 2021-06-01 Brian A. Landron-Rivera System and method for generating synthetic overhead imagery based on cluster sampling and spatial aggregation factors
FR3095541B1 (fr) * 2019-04-24 2021-09-24 Safran Electronics & Defense Procede de detection de cibles
CN110004664B (zh) * 2019-04-28 2021-07-16 深圳数联天下智能科技有限公司 衣物污渍识别方法、装置、洗衣机及存储介质
CN110266914B (zh) * 2019-07-23 2021-08-24 北京小米移动软件有限公司 图像拍摄方法、装置及计算机可读存储介质
CN111210452B (zh) * 2019-12-30 2023-04-07 西南交通大学 一种基于图割和均值偏移的证件照人像分割方法
TWI751571B (zh) * 2020-06-02 2022-01-01 仁寶電腦工業股份有限公司 環境氛圍調整系統及環境氛圍調整方法
EP3945495B1 (en) * 2020-07-30 2024-02-14 Dassault Systèmes Method for segmenting an object in an image
WO2024035223A1 (en) * 2022-08-11 2024-02-15 Samsung Electronics Co., Ltd. System and method for enhancing the quality of a video
CN115205533A (zh) * 2022-09-19 2022-10-18 华能信息技术有限公司 一种管理数据分析方法及***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295700B2 (en) * 2003-10-24 2007-11-13 Adobe Systems Incorporated Object extraction based on color and visual texture
US20060029275A1 (en) * 2004-08-06 2006-02-09 Microsoft Corporation Systems and methods for image data separation
US7430339B2 (en) * 2004-08-09 2008-09-30 Microsoft Corporation Border matting by dynamic programming
KR101401184B1 (ko) * 2008-02-01 2014-05-30 고려대학교 산학협력단 동영상의 객체 경계 추정 방법

Also Published As

Publication number Publication date
JP2011034178A (ja) 2011-02-17
WO2011013579A1 (ja) 2011-02-03
CN102165491B (zh) 2014-08-06
EP2461290A1 (en) 2012-06-06
CN102165491A (zh) 2011-08-24
EP2461290B1 (en) 2013-09-25
EP2461290A4 (en) 2012-12-26
TW201120816A (en) 2011-06-16
US20120114240A1 (en) 2012-05-10
US8649599B2 (en) 2014-02-11

Similar Documents

Publication Publication Date Title
KR20120061764A (ko) 화상 처리 장치 및 화상 처리 방법, 및 프로그램
Dalla Mura et al. Classification of hyperspectral images by using extended morphological attribute profiles and independent component analysis
JP5157768B2 (ja) 画像処理装置および方法、並びにプログラム
JP4482796B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
Roeder et al. A computational image analysis glossary for biologists
CN105096347B (zh) 图像处理装置和方法
JP5939056B2 (ja) 画像におけるテキスト領域を位置決めする方法及び装置
CN106981068A (zh) 一种联合像素与超像素的交互式图像分割方法
CN113705579B (zh) 一种视觉显著性驱动的图像自动标注方法
Xu et al. Hierarchical image simplification and segmentation based on Mumford–Shah-salient level line selection
CN105809673B (zh) 基于surf算法和合并最大相似区域的视频前景分割方法
JP2012058845A (ja) 画像処理装置および方法、並びにプログラム
JP5965764B2 (ja) 映像領域分割装置及び映像領域分割プログラム
Amelio et al. An evolutionary approach for image segmentation
Schaffner et al. Towards edge-aware spatio-temporal filtering in real-time
EP2966613A1 (en) Method and apparatus for generating a super-resolved image from an input image
JP6546385B2 (ja) 画像処理装置及びその制御方法、プログラム
JP4756436B2 (ja) パターン認識装置とそのパターン認識方法、及びパターン認識プログラム
Guada et al. A novel edge detection algorithm based on a hierarchical graph-partition approach
CN104778468B (zh) 图像处理装置、图像处理方法以及监控设备
JP7144384B2 (ja) オブジェクト検出装置、方法及びプログラム
JP5786838B2 (ja) 画像領域分割装置、方法、およびプログラム
JP5702960B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2011170554A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
Khatoon et al. A Survey on Image Segmentation Techniques

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid