KR20150107579A - 화상 처리 장치 및 화상 처리 방법 - Google Patents

Abstract

입력 화상에 대해, (1) 최초에 모델 베이스의 알고리즘으로 러프한 전경 맵을 계산한다. (2) 러프한 전경 맵에서의 전경 영역과 배경 영역으로부터, 각각 정의 학습 샘플과 부의 학습 샘플을 추출한다. (3) 스탭(2)에서 정의한 학습 샘플을 이용하여, 복수의 식별기를 학습한다. (4) 학습한 복수의 식별기를 조합시켜서 강식별기를 구축하고, 그 강식별기를 이용하여 입력 화상에 대한 최종적인 현저성 맵을 생성한다.

Description

화상 처리 장치 및 화상 처리 방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}

본 발명은, 화상에서의 현저(顯著) 영역을 자동으로 검출하는 기술에 관한 것이다.

종래, 화상 처리의 분야에서는, 화상에서 인간이 주목한다고 예상되는 화상 영역, 또는 주목하여야 할 화상 영역(이들을 현저(顯著) 영역이라고 한다)을, 그 화상으로부터 검출(추출)하는 기술이 알려져 있다. 또한, 이와 같은 현저 영역 검출의 기술을 이용하여, 화상에서의 각 화소의 현저도(saliency measure)를 산출함에 의해, 그 화상의 각 화소의 현저도를 나타내는 현저성 맵(saliency map)을 작성하는 것도 행하여진다.

이러한 현저 영역 검출의 기술은, 화상으로부터 주요 피사체를 검출하거나, 화상 중에 비춰져 있는 이상(異常) 사상(事象)을 검출하기 위한 요소 기술로서, 예를 들면, 감시 카메라, 로봇 비전, 머신 비전 등 폭넓은 응용이 기대되어 있다.

현저 영역 검출을 위한 알고리즘은, 모델 베이스의 수법과 학습 베이스의 수법으로 대별된다. 모델 베이스의 수법이란, 인간의 눈·뇌의 모델 또는 가설(假說)을 수식으로 모델화하고, 당해 모델을 사용하여 현저 영역을 검출하는 수법이다. 모델 베이스는 범용성에 우수하지만, 인간의 눈이나 뇌의 판단을 완벽하게 재현할 수 있는 모델은 아직 구축되어 있지 않고, 현실 세계의 다양한 문제에 대응하기 위해서는, 더한층의 정밀도 향상이 요망된다.

한편, 학습 베이스의 수법은, 다수의 사례(샘플) 데이터나 교사(敎師) 신호(ground-truth)를 사용하여 현저 영역의 화상 특징을 학습하는 수법이고(특허 문헌 1 참조), 모델이나 가설이 필요 없고, 보다 간단하게 고정밀한 검출기를 구축할 수 있다는 이점이 있다. 그러나, 현저 영역으로서 검출하여야 할 패턴을 전부 망라하는 사례(事例) 데이터(학습 DB)를 준비하는 것이 곤란하거나, 교사 신호(ground-truth)의 정의가 어려운 경우가 많고, 이것이 학습 베이스의 수법을 실용화하는 데의 네크로 되어 있다.

이 점을 감안한 종래 수법으로서, 특허 문헌 2에서는, 사전 지식을 필요로 하지 않고, 영상을 구성하는 각 프레임 사이의 정보를 이용하여 현저 영역을 검출하는 기술이 제안되어 있다. 그러나, 특허 문헌 2의 기술은, 사전 지식을 필요로 하지 않지만, 복수의 프레임으로부터 구성되는 동화상만을 대상으로 하고 있고, 정지화상에 대한 현저도의 평가에 적용할 수가 없다.

특허 문헌 1 : 일본국 특개2001-236508호 공보 특허 문헌 2 : 일본국 특개2010-258914호 공보

본 발명은, 상기 과제를 해결하기 위해 이루어진 것으로, 학습용의 사례 데이터를 필요로 하지 않고, 1매의 화상으로부터도 현저 영역을 정밀도 좋게 검출 가능한, 학습 베이스의 신규 수법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해, 본 발명에 관한 화상 처리 장치는, 처리 대상이 되는 화상을 취득하는 화상 취득부와, 상기 화상으로부터 복수의 학습 샘플의 데이터를 추출하는 학습 샘플 추출부와, 상기 복수의 학습 샘플을 이용하여 복수의 식별기(識別器)의 학습을 행하는 식별기 학습부와, 학습한 상기 복수의 식별기를 조합시켜서 강식별기(强識別器)를 생성하는 강식별기 생성부와, 상기 강식별기를 이용하여 상기 화상의 현저성 맵을 생성하는 현저성 맵 생성부를 갖는 것을 특징으로 한다.

이 구성에 의하면, 처리 대상이 되는 화상 자신의 정보를 이용하여 학습하기 때문에, 학습용의 사례 데이터(사전 지식)를 필요로 하지 않는다. 또한, 처리 대상의 화상에 특화한 강식별기를 자동 생성하고, 이에 의해 최종적인 현저성 맵을 얻기 때문에, 종래보다도 고정밀도의 현저 영역 검출을 실현할 수 있다.

상기 화상을 전경(前景)의 영역과 배경(背景)의 영역으로 분류하는 전경 맵을 생성하는 전경 맵 생성부를 또한 가지며, 상기 학습 샘플 추출부는, 상기 전경의 영역으로부터 정(正)의 학습 샘플을 추출하고, 상기 배경의 영역으로부터 부(負)의 학습 샘플을 추출하는 것이 바람직하다. 예를 들면, 상기 전경 맵은, 상기 화상의 화소마다 또는 슈퍼 픽셀마다 전경다움을 나타내는 값을 갖는 맵이고, 상기 학습 샘플 추출부는, 상기 전경다움을 나타내는 값이, 제1의 임계치보다도 큰 화소 또는 슈퍼 픽셀을 정의 학습 샘플로서 추출하고, 상기 전경다움을 나타내는 값이, 제2의 임계치보다도 작은 화소 또는 슈퍼 픽셀을 부의 학습 샘플로서 추출하면 좋다.

이와 같은 전경 맵을 우선 만들고, 전경과 배경 각각으로부터 정의 학습 샘플과 부의 학습 샘플을 추출하도록 함으로써, 학습 샘플의 타당성을 향상하고, 식별기의 학습의 신뢰성과 정밀도의 향상을 도모할 수 있다.

상기 전경 맵 생성부는, 모델 베이스의 알고리즘에 의해, 상기 현저성 맵 생성부에 의해 얻어지는 현저성 맵보다도 정밀도가 낮은, 러프한 현저성 맵을 생성하고, 상기 러프한 현저성 맵으로부터 상기 전경 맵을 생성하는 것이 바람직하다.

모델 베이스의 알고리즘을 이용함으로써, 사전 지식을 필요로 하지 않는 현저성 맵의 생성이 가능하다. 또한, 전경 맵 생성부에 의해 생성하는 러프한 현저성 맵은, 학습 샘플의 추출을 위해 이용하는 것이기 때문에, 러프한(정밀도가 낮은) 것이라도 상관없다.

상기 전경 맵 생성부는, 상기 러프한 현저성 맵에 대해 세그먼테이션 처리를 행하고, 상기 러프한 현저성 맵과, 상기 세그먼테이션 처리의 결과를 합성함에 의해, 상기 전경 맵을 생성하는 것이 바람직하다.

러프한 현저성 맵은, 화소마다 또는 슈퍼 픽셀마다의 개별의(즉 국소적인) 현저도를 나타내는 것이기 때문에, 노이즈나 벗어난값(外れ値) 등을 포함하는 가능성이 있다. 이것에 세그먼테이션 처리를 조합시켜, 영역 단위로(즉 매크로하게) 전경과 배경을 분류함으로써, 노이즈나 벗어난값을 절감할 수가 있어서, 보다 타당한 학습 샘플의 취득이 가능해진다.

상기 전경 맵 생성부는, 상기 러프한 현저성 맵에서의 각 화소 또는 각 슈퍼 픽셀의 현저도를 평가하는 지표의 하나로서, 화소가 어두울수록 높은 현저도를 나타내는 Dark-channel 지표를 이용하는 것이 바람직하다. 이에 의해, 간단한 알고리즘으로 현저도를 평가할 수 있다.

또한, 본 발명은, 상기 구성의 적어도 일부를 갖는 화상 처리 장치로서 파악할 수 있다. 또한, 본 발명은, 상기 처리의 적어도 일부를 포함하는 화상 처리 장치의 제어 방법이나 현저성 맵 생성 방법, 또는, 이러한 방법을 컴퓨터에 실행시키기 위한 프로그램이나 그 프로그램을 비일시적으로 기억한 컴퓨터 판독 가능한 기억 매체로서 파악할 수도 있다. 상기 구성 및 처리의 각각은 기술적인 모순이 생기지 않는 한 서로 조합시켜서 본 발명을 구성할 수 있다.

본 발명에 의하면, 학습용의 사례 데이터를 필요로 하지 않고서, 1매의 화상으로부터도 현저 영역을 정밀도 좋게 검출할 수 있다.

도 1은 실시 형태에 관한 화상 처리 장치의 기능 블록을 도시하는 도면.
도 2는 실시 형태에 관한 화상 처리 방법(현저성 맵 생성 방법)의 흐름을 도시하는 플로 차트.
도 3은 슈퍼 픽셀 화상의 예를 도시하는 도면.
도 4는 LBP 히스토그램을 설명하는 도면.
도 5는 부스팅 처리의 흐름을 도시하는 플로 차트.
도 6은 본 수법에 의해 생성된 현저성 맵과 종래 기술에 의해 생성된 현저성 맵의 비교를 도시하는 도면.

본 발명의 실시 형태는, 신규 학습 베이스의 현저 영역 검출 방법을 제안하는 것이다. 그 최대의 특징은, 사례 데이터(사전 지식)를 필요로 하지 않고서, 1매의 화상으로부터도 현저 영역의 검출(현저성 맵의 생성도 동의(同義)이다)이 가능한 점이다. 이것을 실현하기 위한 기본적인 아이디어로서, 본 실시 형태에서는 이하와 같은 프레임워크를 채용한다.

(1) 최초에 모델 베이스의 알고리즘으로 러프한 전경 맵을 계산한다.

(2) 러프한 전경 맵에서의 전경 영역과 배경 영역으로부터, 각각 정의 학습 샘플과 부의 학습 샘플을 추출한다.

(3) 스탭(2)에서 정의한 학습 샘플을 이용하여, 복수의 식별기를 학습한다.

(4) 학습한 복수의 식별기를 조합시켜서 강식별기를 구축하고, 그 강식별기를 이용하여 최종적인 현저성 맵을 생성한다.

이와 같은 알고리즘에 의하면, 화상 자신의 정보를 이용하여 학습하고, 이 화상에 특화한 식별기를 생성하기 때문에, 종래보다도 고정밀도의 검출 정밀도를 실현할 수 있다. 게다가 종래의 학습 베이스의 알고리즘과 달리, 사례 데이터(사전 지식)나 교사 신호가 일체 필요없다는 이점도 있다. 이하, 도면을 참조하면서 본 발명의 구체적인 실시 형태에 관해 상세히 설명한다.

(구성)

본 발명의 한 실시 형태에 관한 화상 처리 장치(1)의 구성에 관해 설명한다. 도 1은, 화상 처리 장치(1)의 구성을 도시하는 기능 블록도이다. 도 1에 도시하는 화상 처리 장치(1)는, 입력 화상을 취득하고, 취득한 입력 화상의 각 화소에서의 현저도를 나타내는 현저성 맵을 출력하다. 또한, 본 실시 형태에서 입력 화상은 정지화상인 것으로서 설명하지만, 동화상을 입력으로 하여, 동화상의 각 프레임에 대해 현저성 맵을 출력하여도 좋다.

도 1에 도시하는 바와 같이, 화상 처리 장치(1)는, 화상 취득부(11), 제어부(12), 출력부(13) 및 기억부(14)를 구비한다.

화상 취득부(11)는, 외부로부터 처리 대상이 되는 입력 화상을 취득하는 것이다. 화상 취득부(11)는, 예시적으로는, 유저의 입력 조작에 응하여, 화상 처리 장치(1)에 접속되는 디지털 카메라 또는 디지털 비디오 카메라 등의 촬상 장치로부터, 리얼타임으로 (동기를 취하여) 또는 비동기로, 입력 화상을 취득한다.

단, 입력 화상의 취득 방법은 상기로 한정되지 않고, 예를 들면, 화상 취득부(11)는, 기억부(14)에 격납되어 있는 화상 데이터를 입력 화상으로서 취득하여도 좋고, 화상 처리 장치(1)에 접속된 주변 기기로부터 입력 화상을 취득하여도 좋고, 유선 또는 무선의 통신 네트워크를 통하여 입력 화상을 취득하여도 좋다.

제어부(12)는, 화상 처리 장치(1)에서의 각종 기능을 통괄적으로 제어하는 것이다. 제어부(12)의 제어 기능은, 제어 프로그램을 CPU(Central Processing Unit) 등의 처리 장치가 실행함에 의해 실현된다. 또는, 제어 기능은, ASIC(Application Specific Integrated Circuit) 등에 의해 실현되어도 좋다. 또한, 이러한 조합에 의해 실현되어도 좋다. 제어부(12)는, 그 제어 기능의 일부로서, 화상 취득부(11)로부터 입력되는 입력 화상에 대한 각종 처리를 실행하기 위한 기능 및 구성을 구비하고 있다. 제어부(12)의 상세한 기능 및 구성에 관해서는 후술한다.

출력부(13)는, 제어부(12)에 의한 입력 화상의 처리 결과를 외부에 대해 출력하는 것이다. 예를 들면, 출력부(13)는, 각종의 화상 어플리케이션에 상기 처리 결과를 출력하여도 좋다. 본 실시 형태의 출력부(13)는, 화상 취득부(11)가 취득한 입력 화상에 대해 제어부(12)에 의해 생성된 현저성 맵을 출력한다.

기억부(14)는, 각종 데이터 및 컴퓨터 프로그램을 기억하는 것이다. 기억부(14)는, 예를 들면, ROM(Read Only Memory), RAM(Random Access Memory), 및 불휘발성 메모리(예를 들면 플래시 메모리) 등의 기억 장치를 조합시킴에 의해 실현할 수 있다.

기억부(14)에는, 예를 들면, 제어부(12)에서 실행되는 컴퓨터 프로그램이나, 당해 프로그램에서 처리되는 각종 데이터 등이 격납된다.

(제어부)

다음에, 제어부(12)의 각 부분에 관해 설명한다. 도 1에 도시하는 바와 같이, 제어부(12)는, 전처리부(121), 러프 전경 맵 생성부(122), 학습 샘플 추출부(123), 식별기 학습부(124), 강식별기 생성부(125), 현저성 맵 생성부(126)를 구비한다. 각 기능부의 구성을, 제어부(12)에 의한 화상 처리(현저성 맵 생성 처리)의 흐름을 도시하는 도 2의 플로 차트 및 그 밖의 도면과 함께 설명한다.

(전처리)

우선, 제어부(12)는, 화상 취득부(11)에 입력된 입력 화상을 취득한다(스탭 S10). 입력 화상은, 전처리부(121)에 건네진다. 전처리부(121)는, 화상 취득부(11)로부터 취득된 입력 화상을 원화상(元畵像)으로 하여, 화소를 단위 구성으로 하는 원화상으로부터, 슈퍼 픽셀(SP : Super Pixel)을 단위 구성으로 하는 슈퍼 픽셀 화상(SP 화상)을 생성한다(스탭 S11). 여기서, 슈퍼 픽셀이란, 화상에서, 색 또는 휘도 등의 각종의 파라미터의 값이 서로 유사한 인접한 복수의 화소로 이루어지는 소영역이다. 즉, 슈퍼 픽셀 화상은, 입력 화상의 화소의 특징량에 의거하여 연결된 복수의 영역으로 분할된 화상이라고 할 수 있다. 슈퍼 픽셀을 단위 구성으로 하는 화상을, 원화상과 구별하기 위해, 슈퍼 픽셀 화상이라고 부른다. 슈퍼 픽셀 화상의 생성 알고리즘으로서 복수의 생성 알고리즘이 알려져 있는데, 본 발명에서는 어느 알고리즘을 이용하여도 좋다.

원화상 대신에 슈퍼 픽셀 화상을 이용한 화상 처리를 행함에 의해, 처리의 데이터량을 대폭적으로 삭감할 수 있기 때문에 처리의 고속화 및 메모리 절약화를 실현할 수 있음과 함께, 상기한 각종 파라미터(휘도, 색 등)의 노이즈를 억제할 수도 있다. 단, 본 실시 형태에서는 슈퍼 픽셀 화상을 이용하지만, 원화상을 그대로 이용하여도 상관없다. 원화상을 그대로 이용하는 경우에는, 이후의 처리 단위가 「슈퍼 픽셀」 대신에 ·화소」가 될 뿐이다.

도 3에, 입력 화상과, 전처리부(121)에서 생성된 슈퍼 픽셀 화상의 예를 도시한다. 슈퍼 픽셀 화상에서는 그물코형상의 모양이 묘화되어 있는데, 이 그물코(網目)로 분할된 개개의 패치(영역)가 슈퍼 픽셀이다.

(특징량 추출)

계속해서, 전처리부(121)는, 슈퍼 픽셀 화상에 대해, 각 슈퍼 픽셀의 특징량을 추출하는 처리를 행한다(스탭 S12). 여기서는, 특징량으로서, 슈퍼 픽셀을 구성하는 화소군의 RGB의 평균치(Ra, Ga, Ba), 슈퍼 픽셀을 구성하는 화소군의 L* a* b*의 평균치(La, Aa, Ba), 슈퍼 픽셀을 구성하는 화소군의 LBP(Local Binary Pattern) 히스토그램의 3개를 이용하다. 또한, L* a* b*는 CIE(국제조명위원회)에 의해 규정된 등색(等色) 색공간의 하나이다 (이후, 단지 Lab라고 기재한다).

LBP란, 주목 화소와, 주목 화소의 부근에 있는 화소와의 관계를 바이너리 패턴으로 표시한 것이다. 도 4는, LBP에 의한 특징량의 산출 방법을 설명하는 도면이다. 부호 201은, 입력 화상의 일부를 잘라낸, 3화소×3화소의 사이즈를 갖는 영역이고, 중앙의 흑색으로 표시한 화소가 처리 대상의 화소(주목 화소)이다.

여기서는, 주목 화소의 부근에 있는 8개의 화소의 휘도치가, 주목 화소에 대해 밝은지 어두운지를 나타내는 패턴을 생성한다. 구체적으로는, 휘도치가 5 미만이면 0을, 5 이상이면 1을 준다. 이 결과, 부호 202와 같은 패턴이 생성된다. 이와 같이 하여 생성한 바이너리값을 왼쪽위(左上)부터 차례로 나열하고, 8비트의 값(LBP값)을 생성한다.

그리고, 슈퍼 픽셀을 구성한 전 화소에 관해 산출한 LBP값을 비트마다 적산하고, 히스토그램을 생성한다. 이 결과, 부호 203로 도시한 바와 같은 히스토그램을 얻을 수 있다. 이 LBP 히스토그램(203)(즉 8차원의 벡터)이, 슈퍼 픽셀에 대응한 특징량이 된다.

(러프 전경 맵 생성)

계속해서, 러프 전경 맵 생성부(122)가, 슈퍼 픽셀 화상에 대해, 러프 전경 맵의 생성을 행한다(스탭 S13 내지 S15). 상세하게는, 모델 베이스의 현저성 맵 생성 처리(S13), 세그먼테이션 처리(S14), 러프 전경 맵 생성 처리(S15)라는 순서로 행한다. 이하, 각각의 처리를 상세히 설명한다.

(1) 모델 베이스의 현저성 맵 생성 처리(S13)

러프 전경 맵 생성부(122)는, 슈퍼 픽셀 화상에 대해 간이한 모델 베이스의 현저 영역 검출 처리를 적용하고, 각 슈퍼 픽셀의 현저도를 계산함으로써, 러프한 현저성 맵을 생성한다. 여기서 「러프한」이란, 높은 정밀도가 아니라도 좋은 것을 의미한다. 즉, 여기서 생성하는 러프한 현저성 맵은, 학습 샘플을 추출하는 것이 목적이므로, 최종적으로 얻는 현저성 맵보다도 정밀도가 낮아도 상관없다. 본 실시 형태에서는, 다음의 3개의 가설에 의거한 간이적인 모델을 이용하여, 하기 식(1)에 의해 현저도를 구한다.

·Contrast : 콘트라스트가 높은 부분은 현저도가 높다

·Center Prior : 화상의 중심에 있을수록 현저도가 높다

·Dark-channel : 어두운 부분은 현저도가 높다

[수식 1]

여기서, c_i는, i번째의 슈퍼 픽셀(주목 슈퍼 픽셀)이고, f₀(c_i)는, 주목 슈퍼 픽셀의 현저도이다.

Contrast는, 주목 슈퍼 픽셀과 그 부근의 슈퍼 픽셀과의 특징량의 차의 합계를 현저도로 하는 지표이다. k는 특징량의 종류이고, 본 실시 형태에서는, RGB의 평균치, Lab의 평균치, LBP 히스토그램의 3종류를 이용한다. n_j은 j번째의 부근 슈퍼 픽셀이고, N_B는 부근 슈퍼 픽셀의 수이다. d_k는, 특징량(k)에 관한 특징량 공간에서의, 주목 슈퍼 픽셀(c_i)과 부근 슈퍼 픽셀(n_j) 사이의 거리이다.

Center Prior는, 주목 슈퍼 픽셀의 화상 중심에 대한 가까운 정도를 현저도로 하는 지표이다. 구체적인 계산방법을 식(2)에 표시한다.

[수식 2]

여기서, (x, y)는 주목 슈퍼 픽셀의 화상 내에서의 위치 좌표이고, (x_c, y_c)는 화상의 중심 좌표이다. 또한, σ_x와 σ_y는 가우스 분포의 퍼짐을 제어하는 파라미터(정수)이다.

Dark-channel는, 주목 슈퍼 픽셀(c_i)의 어두운 정도를 현저도로 하는 지표이다. 구체적인 계산방법을 식(3)에 표시한다.

[수식 3]

여기서, p는 주목 슈퍼 픽셀(식(1)의 c_i와 같음)이고, q는 주목 슈퍼 픽셀(p)을 구성한 각 화소이다. c는 각 화소의 채널(R, G, B)을 나타내고, I^c(q)는 화소(q)의 채널(c)의 값이다. 식(3)에 의해, 슈퍼 픽셀(p)을 구성하는 전 화소의 전 채널 중의 최소치가 검출되고, 그 최소치를 1로부터 감(減)한 값이 Dark-channel값으로서 얻어진다.

식(1)에 의해, 화상에 포함되는 전 슈퍼 픽셀의 현저도를 계산함으로써, 화상의 러프한 현저성 맵(f₀)이 얻어진다.

(2) 세그먼테이션 처리(S14)

다음에, 러프 전경 맵 생성부(122)는, 스탭 S13에서 얻어진 러프한 현저성 맵(f₀)에 대해 세그먼테이션 처리를 행하여, 영역 분할 맵(f₁)을 생성한다. 세그먼테이션 처리란, 화상을 전경 영역과 배경 영역으로 나누는 영역 분할 처리이고, 여기서는 현저성 맵(f₀)에서 현저도가 높은 슈퍼 픽셀이 가능한 한 전경으로 분류되도록, 전경 영역의 윤곽(전경과 배경의 경계)의 최적해(最適解)가 탐색된다. 세그먼테이션의 알고리즘으로서는, 예를 들면, 그래프 컷트(Graph Cuts), 레벨 세트(Level Sets), 스네이크(Snakes) 등 종래로부터 다양한 것이 제안되어 있는데, 어느 알고리즘을 이용하여도 좋다. 본 실시 형태에서는 그래프 컷트를 이용한다. 영역 분할 맵(f₁)은, 각 슈퍼 픽셀이 전경(1)인지 배경(0)인지를 나타내는 것이다. 또한, 각 슈퍼 픽셀의 전경다움을 전경(1)/배경(0)의 2값으로 나타내는 것이 아니고, 확률(0 내지 1의 실수치)로 나타내는 맵이라도 좋다.

(3) 러프 전경 맵 생성 처리(S15)

다음에, 러프 전경 맵 생성부(122)는, 스탭 S13에서 얻어진 현저성 맵(f₀)과 스탭 S14에서 얻어진 영역 분할 맵(f₁)을 합성하여, 러프 전경 맵을 생성한다. 본 실시 형태에서는, 슈퍼 픽셀마다 현저성 맵(f₀)의 값과 영역 분할 맵(f₁)의 값의 평균치를, 러프 전경 맵(f₂)(=(f₀+f₁)/2)으로 한다.

(학습 샘플 추출)

계속해서, 학습 샘플 추출부(123)가, 러프 전경 맵(f₂)에 의거하여, 슈퍼 픽셀 화상으로부터 정의 학습 샘플과 부의 학습 샘플을 추출한다(스탭 S16). 정의 학습 샘플이란, 후단의 식별기 학습에서, 전경(현저 영역)의 샘플로서 이용하는 데이터이다. 러프 전경 맵(f₂)의 값(전경다움)이 소정의 임계치(Tp)보다도 큰 슈퍼 픽셀군이, 정의 학습 샘플로서 추출된다. 한편, 부의 학습 샘플이란, 후단의 식별기 학습에서, 배경(현저 영역이 아닌 것)의 샘플로서 이용하는 데이터이다. 러프 전경 맵(f₂)의 값(전경다움)이 소정의 임계치(Tn)보다도 작은 슈퍼 픽셀군이, 부의 학습 샘플로서 추출된다. 또한, 임계치(Tp, Tn)를 Tn<Tp와 같이 설정하고, 러프 전경 맵(f₂)의 값이 Tn 내지 Tp의 범위의 슈퍼 픽셀(즉, 전경인지 배경인지가 애매한 슈퍼 픽셀)에 관해서는, 학습 샘플로부터 제외하면 좋다.

(식별기 학습)

계속해서, 식별기 학습부(124)는, 스탭 S16에서 얻어진 학습 샘플을 기초로, 복수의 식별기의 학습을 행한다(스탭 S17). 식별기로서는, 정과 부의 2클래스의 식별을 행하는 식별기를 이용한다. 식별기의 학습 알고리즘에 관해서는 종래로부터 많은 것이 제안되어 있고, 어느 것을 이용할 수도 있지만, 본 실시 형태에서는 서포트 벡터 머신(SVM)을 이용한다.

SVM은, 커널 함수를 바꿈으로써, 다른 식별기를 구성할 수 있다는 특징이 있다. 본 실시 형태에서는, 커널 함수로서, Linear 함수, Polynomial 함수, RBF(래디얼 기저 함수 : Radial basis function), Sigmoid 함수의 4종류를 이용한다. 또한, 각 슈퍼 픽셀로부터는, RGB의 평균치, Lab의 평균치, LBP 히스토그램의 3종류의 특징량을 얻고 있기 때문에, 커널 4종류×특징량 3종류=12종류의 식별기의 학습이 행하여진다. 또한, 커널 함수나 특징량의 수나 종류는 한 예이고, 다른 것을 이용하여도 상관없다.

(강식별기의 생성)

계속해서, 강식별기 생성부(125)가, 스탭 S17에서 학습한 12개의 식별기를 조합시켜서 강식별기를 구축한다(스탭 S18). 부스팅이란, 복수의 약(弱)식별기를 조합시킴으로써 강식별기를 생성하는 조작이고, 예를 들면 AdaBoost 등, 종래로부터 많은 알고리즘이 제안되어 있고, 어느 것을 이용하여도 좋다. 또한, 강식별기란, 약식별기보다도 식별 능력이 높은 식별기이다. 또한, 본 실시 형태에서는 부스팅을 이용하여 식별기를 조합시킴으로써 강식별기를 생성하였지만, 배깅, 랜덤 포레스트 등, 다른 수법을 이용하여도 좋다.

도 5는, 본 실시 형태의 부스팅의 처리의 흐름을 도시하고 있다. 부스팅에는, 스탭 S16에서 얻어진 정 및 부의 학습 샘플을 이용한다.

우선, 강식별기 생성부(125)는, 각 학습 샘플의 무게(w)에 초기치(1/D)를 설정한다(스탭 S20). D는, 학습 샘플의 수이다. 그리고, 12개의 식별기의 각각에서 D개의 무게부여 학습 샘플의 식별을 행하고, 식별 오차가 가장 작은 식별기(S)를 선택한다(스탭 S21). 다음에, 선택된 식별기(S)의 무게(β)를, 그 식별 오차에 의거하여 결정된다(스탭 S22). 그 후, 당해 식별기(S)와 무게(β)와 식별 오차에 의거하여, 각 학습 샘플의 무게(w)를 갱신한다(스탭 S23). 이 때, 학습 샘플의 식별이 어려워지도록 무게(w)의 조정이 행하여진다.

스탭 S21 내지 S23의 처리를, 소정의 회수(B회) 반복함으로써, 식별기(S)와 무게(β)의 조(組)가 B개 얻어진다. 강식별기 생성부(125)는, 하기 식과 같이 B개의 식별기(S)를 선형 결합함으로써, 최종적인 강식별기(Y)를 생성한다(스탭 S24).

[수식 4]

여기서, r은 식별 대상의 화소 내지 슈퍼 픽셀이다.

(현저성 맵 생성)

이상의 처리에 의해 강식별기(Y)가 얻어지면, 현저성 맵 생성부(126)가, 원화상(스탭 S10에서 입력된 화상)의 각 화소를 강식별기(Y)에 입력하고, 각 화소의 현저도를 계산함으로써, 최종적인 현저성 맵을 생성한다(스탭 S19).

이상 기술한 방법에 의하면, 사전 지식을 일체 필요로 하지 않고서, 입력 화상 자신의 정보를 이용하여 식별기의 학습을 행하고, 또한, 그 식별기에서 입력 화상의 현저성 맵을 생성할 수 있다.

(실험 결과)

본 수법 및 종래 기술의 수법에 의해 얻어지는 현저성 맵에 관해 설명한다. 도 6에는, (a) 원화상, (b) 내지 (j) 종래 수법에 의해 얻어진 현저성 맵, (k) 본 수법에 의해 얻어진 현저성 맵, 및, (l) 정해 맵(Ground-truth)이 도시되어 있다. 본 수법에 의하면, 종래 기술과 비교하여, 현저 영역은 보다 정밀도 좋게 검출할 수 있음을 알 수 있다.

(변형례)

상술한 실시 형태는 본 발명의 한 구체례를 나타낸 것이고, 본 발명의 범위를 그들의 구체례로 한정하는 취지의 것은 아니다.

예를 들면, 상기 실시 형태에서는, 슈퍼 픽셀 화상을 이용하고 있지만, 입력된 원화상인 채로 마찬가지 처리를 행하여도 좋다. 그 경우는, 처리 단위가 슈퍼 픽셀이 아니라 한 화소가 될 뿐이다. 또한 상기 실시 형태에서는, 모델 베이스의 현저 영역 검출에 의해 얻은 현저성 맵(f₀)과 세그먼테이션에 의해 얻은 영역 분할 맵(f₁)으로부터 러프 전경 맵(f₂)을 생성했지만, 현저성 맵(f₀)을 그대로 러프 전경 맵(f₂)으로서 이용하여도 좋다. 또한 상기 실시 형태에서는, 현저성 맵(f₀)을 생성할 때에, 화소의 Contrast, Dark-channel, Center prior에 의거하여 현저도를 평가하였지만, 다른 모델이나 가설을 이용하여도 좋다. 또한 상기 실시 형태에서는, 특징량으로서 RGB의 평균치, Lab의 평균치, LBP 히스토그램의 3개를 이용하였지만, 다른 종류의 특징량을 이용하여도 좋고, 특징량의 수도 몇 개라도 상관없다. 또한 식별기의 종류, 학습 알고리즘, 부스팅 수법도 상기 실시 형태의 것에 한정되지 않는다.

(실장례)

상술한 화상 처리 장치의 구체적인 실장은, 소프트웨어(프로그램)에 의한 실장과, 하드웨어에 의한 실장의 어느 것도 가능하다. 예를 들면, 화상 처리 장치에 내장된 컴퓨터(마이크로컴퓨터, CPU, MPU, FPGA 등)의 메모리에 컴퓨터 프로그램을 격납하고, 당해 컴퓨터 프로그램을 컴퓨터에 실행시켜서, 각 처리를 실현시켜도 좋다. 또한, 본 발명의 전부 또는 일부의 처리를 논리 회로에 의해 실현하는 ASIC 등의 전용 프로세서를 마련한 것도 바람직하다. 또한, 본 발명은, 클라우드 환경에서의 서버에도 적용 가능하다.

또한, 예를 들면, 기억 장치에 기록된 프로그램을 판독하여 실행함으로써 전술한 실시 형태의 기능을 실현하는 시스템이나 장치의 컴퓨터에 의해 실행되는 스탭으로 이루어지는 방법에 의해서도, 본 발명을 실시할 수 있다. 이 목적을 위해, 상기 프로그램은, 예를 들면, 네트워크를 통하여, 또는, 상기 기억 장치가 될 수 있는 다양한 타입의 기록 매체(즉, 비일시적으로 데이터를 유지하는 컴퓨터 판독 가능한 기록 매체)로부터, 상기 컴퓨터에 제공되다. 따라서, 상기 컴퓨터(CPU, MPU 등의 디바이스를 포함한다), 상기 방법, 상기 프로그램(프로그램 코드, 프로그램 제품을 포함한다), 상기 프로그램을 비일시적으로 유지하는 컴퓨터 판독 가능한 기록 매체는, 모두 본 발명의 범주에 포함된다.

본 발명은 학습용의 사례 데이터를 필요로 하지 않고서, 1매의 화상으로부터도 현저 영역을 정밀도 좋게 검출할 수 있다.

1 : 화상 처리 장치
11 : 화상 취득부
12 : 제어부
13 : 출력부
14 : 기억부
121 : 전처리부
122 : 러프 전경 맵 생성부
123 : 학습 샘플 추출부
124 : 식별기 학습부
125 : 강식별기 생성부
126 : 현저성 맵 생성부

Claims (8)

1. 처리 대상이 되는 화상을 취득하는 화상 취득부와,
   상기 화상으로부터 복수의 학습 샘플의 데이터를 추출하는 학습 샘플 추출부와,
   상기 복수의 학습 샘플을 이용하여 복수의 식별기의 학습을 행하는 식별기 학습부와,
   학습한 상기 복수의 식별기를 조합시켜서 강식별기를 생성하는 강식별기 생성부와,
   상기 강식별기를 이용하여 상기 화상의 현저성 맵을 생성하는 현저성 맵 생성부를 갖는 것을 특징으로 하는 화상 처리 장치.
2. 제1항에 있어서,
   상기 화상을 전경의 영역과 배경의 영역으로 분류하는 전경 맵을 생성하는 전경 맵 생성부를 또한 가지며,
   상기 학습 샘플 추출부는, 상기 전경의 영역으로부터 정의 학습 샘플을 추출하고, 상기 배경의 영역으로부터 부의 학습 샘플을 추출하는 것을 특징으로 하는 화상 처리 장치.
3. 제2항에 있어서,
   상기 전경 맵은, 상기 화상의 화소마다 또는 슈퍼 픽셀마다 전경다움을 나타내는 값을 갖는 맵이고,
   상기 학습 샘플 추출부는, 상기 전경다움을 나타내는 값이, 제1의 임계치보다도 큰 화소 또는 슈퍼 픽셀을 정의 학습 샘플로서 추출하고, 상기 전경다움을 나타내는 값이, 제2의 임계치보다도 작은 화소 또는 슈퍼 픽셀을 부의 학습 샘플로서 추출하는 것을 특징으로 하는 화상 처리 장치.
4. 제2항에 있어서,
   상기 전경 맵 생성부는, 모델 베이스의 알고리즘에 의해, 상기 현저성 맵 생성부에 의해 얻어지는 현저성 맵보다도 정밀도가 낮은, 러프한 현저성 맵을 생성하고, 상기 러프한 현저성 맵으로부터 상기 전경 맵을 생성하는 것을 특징으로 하는 화상 처리 장치.
5. 제4항에 있어서,
   상기 전경 맵 생성부는, 상기 러프한 현저성 맵에 대해 세그먼테이션 처리를 행하고, 상기 러프한 현저성 맵과, 상기 세그먼테이션 처리의 결과를 합성함에 의해, 상기 전경 맵을 생성하는 것을 특징으로 하는 화상 처리 장치.
6. 제4항 또는 제5항에 있어서,
   상기 전경 맵 생성부는, 상기 러프한 현저성 맵에서의 각 화소 또는 각 슈퍼 픽셀의 현저도를 평가하는 지표의 하나로서, 화소가 어두울수록 높은 현저도를 나타내는 Dark-channel 지표를 이용하는 것을 특징으로 하는 화상 처리 장치.
7. 컴퓨터에 의해 실행되는 화상 처리 방법으로서,
   처리 대상이 되는 화상을 취득하는 화상 취득 스탭과,
   상기 화상으로부터 복수의 학습 샘플의 데이터를 추출하는 학습 샘플 추출 스탭과,
   상기 복수의 학습 샘플을 이용하여 복수의 식별기의 학습을 행하는 식별기 학습 스탭과,
   학습한 상기 복수의 식별기를 조합시켜서 강식별기를 생성하는 강식별기 생성 스탭과,
   상기 강식별기를 이용하여 상기 화상의 현저성 맵을 생성하는 현저성 맵 생성 스탭을 갖는 것을 특징으로 하는 화상 처리 방법.
8. 제7항에 기재된 화상 처리 방법의 각 스탭을 컴퓨터에 실행시키기 위한 프로그램을 비일시적으로 기억한 컴퓨터 판독 가능한 기억 매체.

Images