KR101070565B1

KR101070565B1 - 대상화상 검출 디바이스 및 그 제어 방법, 제어 프로그램을 기록한 기록 매체, 및 대상화상 검출 디바이스를 구비한 전자 기기

Info

Publication number: KR101070565B1
Application number: KR1020090014269A
Authority: KR
Inventors: 코조 모리야마
Original assignee: 오므론 가부시키가이샤
Priority date: 2008-03-14
Filing date: 2009-02-20
Publication date: 2011-10-05
Also published as: TWI483615B; US9189683B2; JP2009223581A; JP5141317B2; US20090231458A1; CN101534393A; EP2107500A3; CN101534393B; TW200943935A; EP2107500B1; EP2107500A2; KR20090098678A

Abstract

과제

얼굴 화상의 검출 결과를 신속하게 출력한다.

해결 수단

디지털 카메라(10)의 제어부(20)는, 촬영 화상중에서 얼굴 화상을 검출하는 대상화상 검출 디바이스이다. 제어부(20)는, 촬영 화상을 취득하는 화상 취득부(22)와, 얼굴 화상을 검출하기 위한 복수의 검출 조건중, 전회의 검출 조건과는 다른 검출 조건을 결정하는 조건 결정부(23)와, 화상 취득부(22)가 취득한 촬영 화상에 대해, 조건 결정부(23)가 결정한 검출 조건으로, 얼굴 화상을 검출하는 얼굴 검출부(24)와, 검출된 얼굴 화상의 위치 정보를 화상 합성부(17)에 출력하는 위치 정보 출력부(26)를 구비하고 있다.

Description

대상화상 검출 디바이스 및 그 제어 방법, 제어 프로그램을 기록한 기록 매체, 및 대상화상 검출 디바이스를 구비한 전자 기기{OBJECT IMAGE DETECTION DEVICE AND CONTROL METHOD THEREOF, RECORDING MEDIUM OF CONTROL PROGRAM, AND ELECTRONIC APPARATUS HAVING OBJECT IMAGE DETECTION DEVICE}

본 발명은, 원화상(元畵像)중에서 대상화상(對象畵像)을 검출하는 대상화상 검출 디바이스, 그 제어 방법, 제어 프로그램, 및 해당 프로그램을 기록한 기록 매체, 및 대상화상 검출 디바이스를 구비한 전자 기기에 관한 것이다.

종래, 촬상 기기 및 표시 디바이스 등에 있어서, 사용하기 쉬운 유저 인터페이스를 제공하거나, 자동적으로 최적의 화상을 취득하거나 하기 위해, 촬영 대상 또는 표시 대상을 자동 인식하는 니즈가 높아지고 있다. 이와 같은 니즈의 한 예로서, 사람의 얼굴을 검출하고, 검출한 얼굴에 최적의 포커스 및 노출이 되도록 조정하거나, 문자를 인식하고, 인식한 문자의 영역을 자동적으로 OCR(Optical Character Recognition)의 대상으로 하거나 하는 기능을 들 수 있다.

일반적으로, 이와 같은 기능을 실현하는데는, 고도의 화상 처리가 필요해지 고, 막대한 계산량이 필요하게 된다. 또한, 상기 기능은, 일반적으로, 리얼타임성이 요구되기 때문에, 고속의 처리가 필요하게 된다. 이 때문에, 디지털 카메라, 휴대형 통신 단말 등과 같은, 처리 능력, 소비 전력, 및 비용이 제약되는 조립 기기로 상기 기능을 실현하는 것이 곤란한 경우가 많다.

이 문제점에 대해, 처리를 고속화하는 여러가지의 방법이 제안되어 있다. 예를 들면, 특허 문헌 1에 기재된 화상 처리 장치에서는, 해상도가 순차로 단계적으로 변화한 순서에 의해 축소 화상을 순차로 템플릿 매칭하여, 특정한 피사체가 촬영된 영역을 검출하고, 검출 후에 처리를 중단함에 의해, 처리의 고속화를 도모하고 있다. 또한, 특허 문헌 2에 기재된 얼굴 검출 방법에서는, 큰 얼굴부터 차례로 검출하고, 얼굴이 검출되면, 그 이후는 이미 얼굴이 검출된 영역을 검출 대상 영역에서 제외하고 검출을 계속하고 있다. 이로써, 얼굴을 검출할 때마다 검출 대상 영역을 축소할 수 있기 때문에, 처리를 고속화할 수 있다.

특허 문헌 1 : 일본 특개2007-135115호 공보(2007년 5월 31일 공개)

특허 문헌 2 : 일본 특개2006-301847호 공보(2006년 11월 2일 공개)

특허 문헌 1의 화상 처리 장치는, 특정한 피사체의 움직임을 추종하기 위한 것이다. 이 때문에, 불특정하며, 또한 수(數)가 미정인 피사체가 촬영된 영역을 검출하는 처리에서는, 검출 후에 처리를 중단하는 것이 곤란하고, 처리의 고속화를 도모하는 것이 곤란하게 된다. 또한, 특허 문헌 2의 얼굴 검출 방법에서는, 검출 대상 영역에 대한 얼굴의 검출을, 큰 얼굴부터 작은 얼굴까지 순번대로 반복하고 있기 때문에, 여전히 처리에 시간이 걸리게 된다.

본 발명은, 상기한 문제점을 감안하여 이루어진 것이고, 그 목적은, 검출 결과를 신속하게 출력할 수 있는 대상화상 검출 디바이스 등을 제공하는 데 있다.

본 발명에 관한 대상화상 검출 디바이스는, 원화상중에서 대상화상을 검출하는 대상화상 검출 디바이스로서, 상기 과제를 해결하기 위해, 상기 원화상을 취득하는 취득 수단과, 상기 대상화상을 검출하기 위한 복수의 검출 조건중, 전회의 검출 조건과는 다른 검출 조건을 결정하는 결정 수단과, 상기 취득 수단이 취득한 원화상에 대해, 상기 결정 수단이 결정한 검출 조건으로, 상기 대상화상을 검출하는 검출 수단과, 해당 검출 수단이 검출한 검출 결과를 출력하는 출력 수단을 구비하는 것을 특징으로 하고 있다.

또한, 본 발명에 관한 대상화상 검출 디바이스의 제어 방법은, 원화상중에서 대상화상을 검출하는 것으로서, 상기 과제를 해결하기 위해, 상기 원화상을 취득하 는 취득 스텝과, 상기 대상화상을 검출하기 위한 복수의 검출 조건중, 전회의 검출 조건과는 다른 검출 조건을 결정하는 결정 스텝과, 상기 취득 스텝에서 취득된 원화상에 대해, 상기 결정 수단이 결정한 검출 조건으로, 상기 대상화상을 검출하는 검출 스텝과, 해당 검출 스텝에서 검출된 검출 결과를 출력하는 출력 스텝을 포함하는 것을 특징으로 하고 있다.

여기서, 검출되는 대상의 예로서는, 사람의 얼굴, 상반신, 및 전신, 볼, 차량 등, 이동한 물체 또는 그 일부를 들 수 있다.

상기한 구성 및 방법에 의하면, 원화상을 취득하면, 대상화상을 검출하기 위한 복수의 검출 조건중, 전회의 검출 조건과는 다른 검출 조건으로, 취득된 원화상에 대해 대상화상을 검출하여, 검출 결과를 출력한다. 따라서, 어떤 원화상에 대해, 대상화상을 검출하기 위한 복수의 검출 조건으로 대상화상을 각각 검출하고, 전 검출 결과를 일제히 출력하는 종래 기술에 비하여, 대상화상의 일부의 검출 결과이지만, 해당 검출 결과를 단시간에 출력할 수 있다. 그 결과, 출력된 검출 결과를 다른 디바이스(예를 들면 표시를 제어하는 디바이스, 촬영을 제어하는 디바이스 등)를 신속하게 이용할 수 있다.

본 발명에 관한 대상화상 검출 디바이스에서는, 상기 검출 수단이 검출한 검출 결과의 이력을 기억하는 결과이력(結果履歷) 기억부를 또한 구비하고 있고, 상기 결정 수단은, 또한, 상기 결과이력 기억부에서의 검출 결과의 이력에 의거하여, 검출 조건을 결정하여도 좋다. 또한, 본 발명에 관한 대상화상 검출 디바이스에서는, 상기 결정 수단은, 상기 대상화상을 검출하기 위한 복수의 검출 조건중에서, 검출 조건을 순서대로 결정하여도 좋다.

순서대로 결정하는 경우, 상기 복수의 검출 조건의 전부에 관해, 상기 종래 기술과 마찬가지로, 대상화상의 전 검출 결과를 출력할 수 있다. 또한, 원화상이, 동화상에 포함된 복수의 정지화상이고, 상기 종래 기술에 있어서 어떤 정지화상의 전 검출 결과가 출력되기까지, 후에 계속된 정지화상이 취득되는 경우, 본 발명에서는, 상기 후에 계속된 정지화상에 대한 검출 결과를 출력할 수 있기 때문에, 종래보다도 새로운 정지화상에 대한 검출 결과를 포함할 수 있다.

한편, 검출 결과의 이력에 의거하여 검출 조건을 결정하는 경우, 예를 들면, 대상화상을 검출할 가능성이 높은 검출 조건은, 검출 조건으로서 결정되는 빈도를 많게 하는 한편, 대상화상을 검출할 가능성이 낮은 검출 조건은, 검출 조건으로서 결정되는 빈도를 적게 하는 것 등이 고려된다. 따라서, 대상화상을 검출하는 효율이 향상한다.

그런데, 검출 대상은 상기 이동하는 물체 등이기 때문에, 원화상이 동화상에 포함된 복수의 정지화상인 경우, 대상화상의 위치는, 시간의 경과와 함께 검출 위치로부터 빗나갈 우려가 있다.

그래서, 본 발명에 관한 대상화상 검출 디바이스에서는, 상기 취득 수단은, 동화상에 포함되는 복수의 정지화상을 상기 원화상으로서 취득하고 있고, 상기 취득 수단이 취득한 어떤 시점의 원화상에 대해, 상기 검출 수단이 검출한 상기 대상화상을, 상기 시점보다 후의 시점의 원화상으로 추적하는 추적 수단을 또한 구비하고 있고, 상기 출력 수단은, 상기 추적 수단이 추적한 추적 결과를 또한 출력하는 것이 바람직하다.

이 경우, 한 번 검출한 대상화상을 추적하여, 추적 결과를 출력하기 때문에, 상기 문제점을 회피할 수 있다. 또한, 추적 수단은, 추적 조건에 의거하여 대상화상을 추적하여도 좋다. 또한, 상기 추적 조건은, 상기 검출 조건으로부터 취득하여도 좋다.

그런데, 본 발명에서는, 일부의 검출 조건으로 대상화상을 검출하고, 검출 결과를 출력하기 때문에, 모든 검출 조건으로 대상화상을 검출한 후에 검출 결과를 출력하는 종래 기술에 비하여, 검출 결과의 정밀도가 낮은 경우가 존재한다.

그래서, 본 발명에 관한 대상화상 검출 디바이스에서는, 상기 추적 수단이 추적한 추적 결과를, 상기 검출 수단이 검출한 검출 결과에 의거하여 보정하는 보정 수단을 또한 구비하고 있고, 상기 출력 수단은, 상기 추적 수단이 추적한 추적 결과에 대신하여, 상기 보정 수단이 보정한 추적 결과를 출력하는 것이 바람직하다.

이 경우, 다른 검출 조건으로의 검출 결과를 추적 결과에 반영시킬 수 있기 때문에, 검출 결과의 정밀도를 서서히 향상시킬 수 있다. 또한, 상기 보정 수단은, 또한 검출 결과의 이력에 의거하여 보정하여도 좋다.

또한, 상기 구성의 대상화상 검출 디바이스를 구비한 전자 기기에서도, 상술한 작용 효과를 이룰 수 있다.

또한, 상기 전자 기기에서는, 정보를 표시하는 표시부와, 상기 대상화상 검출 디바이스가 검출한 검출 결과를 나타내는 화상을, 상기 원화상에 합성하여 상기 표시부에 표시시키는 화상 합성 수단을 또한 구비하여도 좋다. 이 경우, 일부이지만, 검출 결과를 나타내는 화상의 표시 시작을 신속하게 행할 수 있고, 그 후에 나머지 검출 결과를 나타내는 화상을 순서대로 표시할 수 있다. 그 결과, 모든 검출 결과를 나타내는 화상을 일제히 표시하는 종래 기술에 비하여, 대상화상의 검출을 유저가 대기하는 시간을 단축할 수 있다. 또한, 검출 결과를 나타내는 화상이 순서대로 표시되기 때문에, 유저에게 새로운 오락을 제공할 수 있다. 또한, 나머지 검출 결과는, 최초의 검출이 행하여진 원화상보다도 후의 원화상에 대한 것이기 때문에, 해당 검출 결과를 나타내는 화상과, 현재 표시되어 있는 원화상에 대해 대상화상을 검출한 경우의 검출 결과를 나타내는 화상과의 어긋남을 억제할 수 있다.

또한, 상기 대상화상 검출 디바이스에 있어서의 각 수단을, 제어 프로그램에 의해 컴퓨터상에서 실행시킬 수 있다. 또한, 상기 제어 프로그램을 컴퓨터 판독 가능한 기록 매체에 기억시킴에 의해, 임의의 컴퓨터상에서 상기 제어 프로그램을 실행시킬 수 있다.

이상과 같이, 본 발명에 관한 대상화상 검출 디바이스는, 원화상을 취득하면, 대상화상을 검출하기 위한 복수의 검출 조건중, 전회의 검출 조건과는 다른 검출 조건으로, 취득된 원화상에 대해 대상화상을 검출하여, 검출 결과를 출력하기 때문에, 종래 기술에 비하여, 대상화상의 일부의 검출 결과이지만, 해당 검출 결과를 단시간에 출력할 수 있고, 그 결과, 출력된 검출 결과를 다른 디바이스가 신속하게 이용할 수 있다는 효과를 갖는다.

[실시의 형태 1]

본 발명의 한 실시 형태에 관해 도 1 내지 도 4를 참조하여 설명한다. 도 1은 본 실시 형태인 디지털 카메라의 개략 구성을 도시하고 있다. 도시하는 바와 같이, 디지털 카메라(전자 기기)(10)는, 촬영부(11)에서 촬영되고, 화상 처리부(12)에서 화상 처리된 촬영 화상(원화상)이, 라이브 뷰 화상으로서 표시부(13)에 표시된다. 또한, 디지털 카메라(10)는, 유저가 조작부(14)의 셔터 버튼(도시 생략)을 누르면, 화상 처리부(12)에서 화상 처리된 촬영 화상이, 화상 압축부(15)에서 화상 압축된 후, 화상 기록부(16)에 기억된다.

본 실시 형태의 디지털 카메라(10)는, 우선, 화상 처리부(12)에서 화상 처리된 촬영 화상을 취득하고, 얼굴 화상(대상화상)을 검출하기 위한 복수의 검출 조건중, 전회(前回)의 검출 조건과는 다른 검출 조건으로 변경한다. 다음에, 취득된 촬영 화상에 대해, 변경된 검출 조건으로 얼굴 화상을 검출한다. 그리고, 검출된 얼굴 화상의 영역을 둘러싸는 테두리 화상을 생성하고, 생성된 테두리 화상을, 화상 합성부(화상 합성 수단)(17)에서 상기 촬영 화상과 합성하여, 라이브 뷰 화상으로서 표시부(13)에 표시된다.

이로써, 종래 기술에 비하여, 얼굴 화상의 일부의 검출 결과이지만, 그 검출 결과가 단시간에 출력된다. 그 결과, 출력된 검출 결과를 이용하여, 테두리 화상을 신속하게 표시할 수 있다. 또한, 계속된 촬영 화상에 대해, 또다른 검출 조건으로 얼굴 화상을 검출하고, 다른 검출 결과가 단시간에 출력된다. 따라서, 촬영 화상이 동화상인 경우, 테두리 화상의 수가 서서히 증가하여 가기 때문에, 테두리 화상의 표시의 양상이, 종래 기술에 비하여 매끄럽게 된다.

다음에, 본 실시 형태의 디지털 카메라(10)의 상세에 관해 설명한다. 상술한 바와 같이, 디지털 카메라(10)는, 촬영부(11), 화상 처리부(12), 표시부(13), 조작부(14), 화상 압축부(15), 화상 기록부(16), 및 화상 합성부(17)를 구비하고 있다. 또한, 도 1에 도시하는 바와 같이, 디지털 카메라(10)는, 제어부(대상화상 검출 디바이스)(20) 및 기억부(21)를 구비하고 있다.

촬영부(11)는, 피사체의 촬영을 행하는 것이고, 예를 들면 렌즈군, 조리개, 촬상 소자 등의 광학계와, 앰프, A/D 컨버터 등의 회로계를 구비하고 있다. 촬상 소자의 예로서는, CCD, CMOS(Complementary Metal-oxide Semiconductor) 이미지 센서 등을 들 수 있다. 촬영부(11)는, 상기 촬영에 의해 촬영 화상을 생성하고, 촬영 화상의 데이터로 변환하여 화상 처리부(12)에 송신한다.

화상 처리부(12)는, 촬영부(11)로부터의 촬영 화상의 데이터에 대해, 매트릭스 연산, γ보정, 화이트 밸런스의 조정 등의 화상 처리를 행하는 것이다. 또한, 화상 처리부(12)는, 화상 처리된 촬영 화상의 데이터로부터, 표시용, 기록용, 및 얼굴 검출용의 촬영 화상의 데이터를 작성하고, 각각, 표시부(13), 화상 압축부(15), 및 제어부(20)에 송신한다. 또한, 표시용 및 얼굴 검출용의 촬영 화상의 데이터는 같아도 좋다.

화상 합성부(17)는, 화상 처리부(12)로부터의 촬영 화상에 대해, 제어부(20)로부터의 지시에 의거한 화상을 합성하는 것이다. 화상 합성부(17)는, 합성한 화상 인 합성 화상의 데이터를 표시부(13)에 송신한다.

본 실시 형태에서는, 화상 합성부(17)는, 제어부(20)가 검출한 얼굴 화상의 위치 정보를 수신하고, 수신한 위치 정보에 의거하여, 상기 얼굴 화상을 적당하게 둘러싸는 직사각형 화상, 원형 화상 등의 테두리 화상을 생성한다. 또한, 화상 합성부(17)는, 제어부(20)가 추적한 얼굴 화상의 위치 정보를 수신하고, 수신한 위치 정보에 의거하여, 상기 얼굴 화상을 적당하게 둘러싸는 테두리 화상을 생성한다. 그리고, 화상 합성부(17)는, 생성한 테두리 화상을 화상 처리부(12)로부터의 촬영 화상에 합성한다. 합성된 합성 화상은, 그 데이터가 표시부(13)에 송신되고, 표시부(13)에 표시된다.

또한, 제어부(20)가 검출한 얼굴 화상에 관한 테두리 화상과, 제어부(20)가 추적한 얼굴 화상에 관한 테두리 화상은, 같아도 좋고, 달라도 좋다. 또한, 테두리 화상은, 그 내측에 얼굴 화상을 포함하는 것을 나타낼 수 있는 도형이면 좋고, 예를 들면, 직사각형의 정점(頂点) 부근만을 표시하는 화상이라도 좋다.

표시부(13)는, LCD(액정 표시 소자), CRT(음극선관), 플라즈마 디스플레이 등의 표시 디바이스에 의해 구성되어 있다. 표시부(13)는, 화상 합성부(17)로부터의 합성화상의 데이터에 의거하여, 문자나 화상 등의 각종의 정보를 표시 출력한다.

조작부(14)는, 유저의 조작에 의해 유저로부터 각종의 입력을 접수하는 것이고, 입력용 버튼, 터치 패널, 그 밖의 입력 디바이스에 의해 구성되어 있다. 조작부(14)는, 유저가 조작한 정보를 조작 데이터로 변환하여 제어부(20)에 송신한다. 또한, 입력 디바이스의 다른 예로서는, 키보드와, 텐 키와, 마우스 등의 포인팅 디바이스를 들 수 있다.

화상 압축부(15)는, 화상 처리부(12)로부터의 촬영 화상의 데이터를, JPEG, MPEG 등의 방식에 따라 압축하는 것이다. 화상 압축부(15)는, 압축한 촬영 화상의 데이터를 화상 기록부(16)에 기록한다.

화상 기록부(16)는, 정보를 기록하는 것이고, 특히 화상 압축부(15)가 압축한 촬영 화상의 데이터를 기록하는 것이다. 화상 기록부(16)는, 플래시 메모리, 하드 디스크 등의 불휘발성의 기억 장치에 의해 구성된다.

제어부(20)는, 디지털 카메라(10) 내에서의 각종 구성의 동작을 통괄적으로 제어한다. 제어부(20)는, 예를 들면 CPU(Central Processing Unit) 및 메모리를 포함하는 컴퓨터에 의해 구성된다. 그리고, 각종 구성의 동작 제어는, 제어 프로그램을 컴퓨터에 실행시킴에 의해 행하여진다. 이 프로그램은, 예를 들면 플래시 메모리 등의 리무버블 미디어에 기록되어 있는 것을 판독하여 사용하는 형태라도 좋고, 하드 디스크 등에 인스톨된 것을 판독하여 사용하는 형태라도 좋다. 또한, 상기 프로그램을 다운로드하여 하드 디스크 등에 인스톨하여 실행하는 형태 등도 고려된다. 또한, 제어부(20)의 상세에 대해서는 후술한다.

기억부(21)는, 플래시 메모리, ROM(Read Only Memory) 등의 불휘발성의 기억 장치와, RAM(Random Access Memory) 등의 휘발성의 기억 장치에 의해 구성되는 것이다. 불휘발성의 기억 장치에 기억되는 내용으로서는, 상기한 제어 프로그램, OS(operating system) 프로그램, 그 밖의 각종 프로그램, 화상 처리부(12)에서의 동작 설정치, 입력된 문자 데이터 등을 들 수 있다. 화상 처리부(12)에서의 동작 설정치로서는, 장치 출하시나 메인터넌스시 등에 설정되는 화이트 밸런스의 값, 촬영 화상의 명암 등을 조정할 때의 화상 처리에 관한 각종 파라미터값 등을 들 수 있다. 한편, 휘발성의 기억 장치에 기억되는 내용으로서는, 작업용 파일, 템퍼러리파일 등을 들 수 있다. 또한, 기억부(21)의 상세에 대해서는 후술한다.

본 실시 형태에서는, 제어부(20)는, 시계열순의 복수의 촬영 화상으로 이루어지는 동화상에 관해, 상기 촬영 화상으로부터 얼굴 화상을 검출하는 얼굴 검출 기능과, 검출된 얼굴 화상을, 계속된 촬영 화상으로부터 검출함에 의해, 상기 얼굴 화상을 추적하는 얼굴 추적 기능을 갖고 있다. 또한, 얼굴 화상의 검출에는, 템플릿 매칭을 이용하거나, 살색 영역을 검출하거나, 얼굴의 윤곽을 검출하거나, 얼굴의 특징점을 검출하거나 하는 등, 공지의 얼굴 검출 기술을 이용할 수 있다.

도 1에는, 제어부(20) 및 기억부(21)에 있어서, 얼굴 검출 기능 및 얼굴 추적 기능에 관련되는 구성이 도시되어 있다. 도시하는 바와 같이, 제어부(20)는, 화상 취득부(취득 수단)(22), 조건 결정부(결정 수단)(23), 얼굴 검출부(검출 수단)(24), 얼굴 추적부(추적 수단)(25), 및 위치 정보 출력부(출력 수단)(26)를 구비하는 구성이다. 또한, 기억부(21)는, 조건 기억부(27) 및 결과이력 기억부(28)를 구비하는 구성이다.

조건 기억부(27)는, 상기 얼굴 화상을 검출하기 위한 복수의 검출 조건(이하 「얼굴 검출의 검출 조건」이라고 칭한다.)을 미리 기억하고 있다. 도 2는, 상기 얼굴 검출의 검출 조건의 예를 도시하고 있다. 또한, 도시하는 화살표는, 템플릿의 스캔 방향을 나타내고 있다. 동 도면의 (a)는, 상기 템플릿 매칭에서 이용되는 템플릿이고, 사이즈가 다른 복수의 템플릿을 도시하고 있다. 또한, 동 도면의 (b)는, 상기 템플릿에 대해 화상 내의 회전(RIP(Rotation In Plane))을 행한 복수의 템플릿을 도시하고 있다. 또한, 동 도면의 (c)는, 상기 템플릿에 대해 관측 방향의 변화(ROP(Rotation Off Plane))한 복수의 템플릿을 도시하고 있다.

또한, 도 2의 (d)는, 얼굴 검출의 대상이 되는 촬영 화상에 있어서, 상기 템플릿으로 검색을 행하는 복수의 검색 범위를 도시하고 있다. 또한, 동 도면의 (e)는, 특징량이 다른 복수의 템플릿을 도시하고 있다. 그 밖의 검출 조건으로서는, 얼굴 검출을 양호하게 행하기 위한 복수의 화상 필터, 템플릿과의 유사도를 산출하는 복수의 유사도 산출 방법 등을 들 수 있다.

그런데, 사람은, 1 또는 수(數)프레임이라는 극히 단시간에 그다지 이동하지 않는다고 생각된다. 이것으로부터, 어떤 촬영 화상에서 검출된 얼굴 화상은, 계속된 촬영 화상에서도, 전회 검출된 얼굴 화상의 위치 부근에, 전회의 검출 조건과 같은 또는 유사한 검출 조건으로 검출되는 것이 예상된다. 따라서, 상기 얼굴 화상을 추적하기 위한 추적 조건은, 상기 얼굴 화상을 검출하기 위한 검출 조건에 포함되게 된다.

결과이력 기억부(28)는, 상기 얼굴 검출의 검출 결과 및 검출 조건과, 상기 얼굴 추적의 추적 결과 및 검출 조건을 결과이력으로서 축적(蓄積)하고 있다. 상기 검출 결과 및 상기 추적 결과로서는, 검출된 얼굴 화상의 검출 일시, 사이즈, 위치 정보 등을 들 수 있다.

화상 취득부(22)는, 화상 처리부(12)로부터 촬영 화상의 데이터를 취득하는 것이다. 화상 취득부(22)는, 상기 촬영 화상의 데이터를 취득하면, 그 취지를 조건 결정부(23)에 통지함과 함께, 취득한 상기 촬영 화상의 데이터를 얼굴 검출부(24) 및 얼굴 추적부(25)에 송출한다.

조건 결정부(23)는, 화상 취득부(22)로부터의 통지를 수취하면, 결과이력 기억부(28)의 검출 조건을 참조하고, 조건 기억부(27)에서의 복수의 검출 조건중에서, 전회의 검출 조건과는 다른 검출 조건을 결정하는 것이다. 본 실시 형태에서는, 조건 결정부(23)는, 촬영 화상으로부터 모든 얼굴 화상을 검출하기 위해 필요하게 되는 복수의 검출 조건을 순서대로 결정하고 있다. 조건 결정부(23)는, 결정한 검출 조건을 얼굴 검출부(24)에 송출한다.

또한, 조건 결정부(23)는, 화상 취득부(22)로부터의 통지를 수취하면, 결과이력 기억부(28)에서의 얼굴 화상의 검출 이력 및 추적 이력에 의거하여, 상기 추적 조건을 결정한다. 조건 결정부(23)는, 결정한 추적 조건을 얼굴 추적부(25)에 송출한다. 또한, 조건 결정부(23)는, 상기 추적 조건을 결정할 때에, 조건 기억부(27)에서의 복수의 검출 조건을 이용하여도 좋다.

얼굴 검출부(24)는, 화상 취득부(22)로부터 촬영 화상의 데이터를 수취하면, 조건 결정부(23)로부터의 검출 조건에 의거하여, 해당 촬영 화상에서 얼굴 화상을 검출한다. 얼굴 검출부(24)는, 검출 결과를 위치 정보 출력부(26)에 송출함과 함께, 상기 검출 결과 및 상기 검출 조건을 결과이력 기억부(28)에 축적한다. 또한, 얼굴 검출부(24)가 행하는 얼굴 검출의 구체적인 처리는, 종래와 마찬가지이기 때 문에, 그 설명을 생략한다.

얼굴 추적부(25)는, 화상 취득부(22)로부터 촬영 화상의 데이터를 수취하면, 조건 결정부(23)로부터의 추적 조건에 의거하여, 해당 촬영 화상에서 얼굴 화상을 추적한다. 구체적으로는, 얼굴 추적부(25)는, 조건 결정부(23)로부터의 상기 얼굴 추적으로 적합한 검출 조건에 의거하여, 전회 검출한 얼굴 화상을 해당 촬영 화상으로부터 검출한다. 얼굴 추적부(25)는, 추적 결과를 위치 정보 출력부(26)에 송출함과 함께, 상기 추적 결과 및 상기 추적 조건을 결과이력 기억부(28)에 축적한다. 또한, 얼굴 추적부(25)가 행하는 얼굴 추적의 구체적인 처리는, 종래와 마찬가지이기 때문에, 그 설명을 생략한다.

위치 정보 출력부(26)는, 얼굴 검출부(24)로부터의 검출 결과에 의거하여, 검출된 얼굴 화상의 위치 정보를 화상 합성부(17)에 출력하는 것이다. 또한, 위치 정보 출력부(26)는, 얼굴 추적부(25)로부터의 추적 결과에 의거하여, 추적된 얼굴 화상의 위치 정보를 화상 합성부(17)에 출력하는 것이다.

또한, 위치 정보 출력부(26)가 출력하는 얼굴 화상의 위치 정보로서는, 촬영 화상에 있어서의 얼굴 화상의 영역을 특정할 수 있는 정보라면 임의의 정보를 이용할 수 있다. 상기 얼굴 화상의 위치 정보의 예로서는, 상기 얼굴 화상의 영역에 있어서의 중심 좌표 및 폭의 조합이나, 상기 얼굴 화상의 영역의 경계를 나타내는 직사각형의 4정점의 좌표의 조합 등을 들 수 있다.

도 3은, 상기 구성의 디지털 카메라(10)에 있어서의 얼굴 검출 처리 및 얼굴 추적 처리의 처리 동작을 도시하고 있다. 도시하는 바와 같이, 촬영부(11)에서 촬 영된 동화상에 있어서의 하나의 촬영 화상을 화상 취득부(22)가 취득하면, 조건 결정부(23)는, 결과이력 기억부(28)에서의 결과이력인 얼굴 화상의 검출 이력 및 추적 이력을 참조하여, 검출된 얼굴 화상(검출완료 대상)이 존재하는지의 여부를 판단한다(스텝 S10. 이하, 단지 「S10」이라고 기재하는 일이 있다. 다른 스텝에 대해서도 마찬가지이다.). 존재하지 않는 경우, 스텝 S15로 진행한다.

검출완료 대상이 존재하는 경우, 조건 결정부(23)는, 상기 결과이력으로부터 상기 추적 조건을 결정하고(S11), 결정된 추적 조건으로, 얼굴 추적부(25)는, 검출된 얼굴 화상을 추적한다(S12). 다음에, 얼굴 추적부(25)는, 추적 결과 및 추적 조건을 결과이력 기억부(28)에 기억하는 한편, 위치 정보 출력부(26)는, 상기 추적 결과에 의거한 얼굴 화상의 위치 정보를 화상 합성부(17)에 출력한다(S13). 이로써, 화상 합성부(17)는, 얼굴 추적부(25)가 추적한 얼굴 화상에 관한 테두리 화상을 생성하고, 생성한 테두리 화상과 촬영 화상을 합성하여, 표시부(13)를 통하여 표시 출력한다.

다음에, 조건 결정부(23)는, 상기 검출완료 대상을 전부 처리하였는지의 여부를 판단한다(S14). 전부 처리하지 않은 경우, 스텝 S11로 되돌아와 상기 처리 동작을 반복한다. 한편, 전부 처리하고 있는 경우, 스텝 S15로 진행한다.

스텝 S15에서, 조건 결정부(23)는, 결과이력 기억부(28)에서의 검출 조건을 참조하여, 검출 조건을 전회의 검출 조건으로부터 변경한다. 다음에, 변경된 검출 조건으로, 얼굴 검출부(24)는, 얼굴 화상을 검출한다(S16). 그리고, 얼굴 검출부(24)는, 검출 결과 및 검출 조건을 결과이력 기억부(28)에 기억하는 한편, 위치 정보 출력부(26)는, 상기 검출 결과에 의거한 얼굴 화상의 위치 정보를 화상 합성부(17)에 출력한다(S17). 이로써, 화상 합성부(17)는, 얼굴 검출부(24)가 검출한 얼굴 화상에 관한 테두리 화상을 생성하고, 생성한 테두리 화상과 촬영 화상을 합성하여, 표시부(13)를 통하여 표시 출력한다. 그 후, 처리 동작을 종료한다.

도 4는, 상기 합성 화상의 예를 도시하고 있다. 동 도면의 (a)는, 본 실시 형태의 디지털 카메라(10)에서 표시되는 합성 화상의 예를 시계열적으로 나타내고 있다. 또한, 동 도면의 (b)는, 비교예이고, 종래의 디지털 카메라에서 표시되는 합성 화상의 예를 시계열적으로 나타내고 있다. 또한, 도시하는 예에서는, 모든 얼굴 검출을 행하기 위한 검출 조건의 수는 5개로 하고 있다.

본 실시 형태에서는, 도 4의 (a)에 도시하는 바와 같이, 1번째의 촬영 화상(a1)에 대해, 제 1의 검출 조건으로 얼굴 검출이 행하여져서, 검출된 얼굴 화상을 둘러싸는 직사각형의 테두리 화상(b1)이 2번째의 촬영 화상(a2)에 합성되어 표시된다. 다음에, 2번째의 촬영 화상(a2)에 대해, 제 1의 검출 조건과는 다른 제 2의 검출 조건으로 얼굴 검출이 행하여져서, 검출된 얼굴 화상을 둘러싸는 직사각형의 테두리 화상(b2)이 3번째의 촬영 화상(a3)에 합성되어 표시된다. 또한, 2번째의 촬영 화상(a2)에 대해, 테두리 화상(b1)으로 둘러싸인 얼굴 화상에 적합한 추적 조건으로 얼굴 추적이 행하여지고, 추적된 얼굴 화상을 둘러싸는 직사각형의 테두리 화상(c1)이 3번째의 촬영 화상(a3)에 합성되어 표시된다.

다음에, 3번째의 촬영 화상(a3)에 대해, 제 1·제 2의 검출 조건과는 다른 제 3의 검출 조건으로 얼굴 검출이 행하여져서, 검출된 얼굴 화상을 둘러싸는 직사 각형의 테두리 화상(b3)이 4번째의 촬영 화상(a4)에 합성되어 표시된다. 또한, 3번째의 촬영 화상(a3)에 대해, 테두리 화상(c1·b2)으로 둘러싸인 2개의 얼굴 화상의 각각에 적합한 추적 조건으로 얼굴 추적이 행하여지고, 추적된 얼굴 화상을 둘러싸는 직사각형의 테두리 화상(c1·c2)이 4번째의 촬영 화상(a4)에 합성되어 표시된다.

다음에, 4번째의 촬영 화상(a4)에 대해, 제 1 내지 제 3의 검출 조건과는 다른 제 4의 검출 조건으로 얼굴 검출이 행하여져서, 검출된 얼굴 화상을 둘러싸는 직사각형의 테두리 화상(b4)이 5번째의 촬영 화상(a5)에 합성되어 표시된다. 또한, 4번째의 촬영 화상(a4)에 대해, 테두리 화상(c1·c2·b3)으로 둘러싸인 3개의 얼굴 화상의 각각에 적합한 추적 조건으로 얼굴 추적이 행하여지고, 추적된 얼굴 화상을 둘러싸는 직사각형의 테두리 화상(c1 내지 c3)이 5번째의 촬영 화상(a5)에 합성되어 표시된다.

이하, 이것을 반복함에 의해, 6번째의 촬영 화상(a6)과, 5번째의 촬영 화상(a5)에 검출된 얼굴 화상을 둘러싸는 직사각형의 테두리 화상(b5)과, 5번째의 촬영 화상(a5)에 추적된 얼굴 화상을 둘러싸는 직사각형의 테두리 화상(c1 내지 c4)이 합성되어 표시되게 된다. 즉, 6번째의 합성 화상에, 모든 검출 조건으로 얼굴 검출이 행하여진 결과의 테두리 화상(c1 내지 c4·b5)이 표시되게 된다.

한편, 종래에는, 도 4의 (b)에 도시하는 바와 같이, 1번째의 촬영 화상(a1)에 대해, 제 1 내지 제 5의 검출 조건으로 순번대로 얼굴 검출이 행하여지고, 해당 얼굴 검출의 종료 후에, 검출된 모든 얼굴 화상을 둘러싸는 직사각형의 테두리 화 상(d1 내지 d5)이 촬영 화상과 합성되어 표시된다. 이 때문에, 상기 테두리 화상(d1 내지 d5)이 표시되기까지 시간이 걸리게 된다. 도시한 예에서는, 1번째의 촬영 화상(a1)에 대한 얼굴 검출에 의한 테두리 화상(d1 내지 d5)이, 6번째의 촬영 화상(a6)과 합성되어 표시되게 된다.

또한, 도 4에서는, 촬영 화상에 있어서의 각 피사체의 위치는, 촬영 화상(a1 내지 a6) 사이에서 같게 하고 있지만, 실제로는 피사체는 움직이기 때문에, 촬영 화상(a1 내지 a6) 사이에서 다른 것이 많고, 시간의 경과와 함께, 어긋남이 커지는 일이 많다.

도 4의 (a) 및 (b)를 비교하면, 본 실시 형태의 쪽이, 종래보다도, 얼굴 검출 및 얼굴 추적의 결과를 나타내는 테두리 화상이, 일부라고 말하지만 신속하게 표시 시작되기 때문에, 얼굴 화상의 검출을 유저가 대기하는 시간을 단축할 수 있는 것을 이해할 수 있다. 또한, 테두리 화상의 수가 서서히 증가하여 가기 때문에, 테두리 화상의 표시의 양상이, 종래 기술에 비하여 매끄럽게 된다. 또한, 얼굴 검출 및 얼굴 추적의 나머지 결과를 나타내는 테두리 화상이 순서대로 표시되기 때문에, 유저에게 새로운 오락을 제공할 수 있음을 이해할 수 있다.

또한, 본 실시 형태에서는, 도 4의 (a)에 도시하는 바와 같이, 제 2의 검출 조건으로의 얼굴 검출이, 2번째의 촬영 화상(a2)에 대해 행하여지고, 검출 결과를 나타내는 테두리 화상(b2)이 다음(3번째)의 촬영 화상(a3)과 합성된다. 한편, 종래 기술에서는, 도 4의 (b)에 도시하는 바와 같이, 제 2의 검출 조건으로의 얼굴 검출이, 1번째의 촬영 화상(a1)에 대해 행하여지고, 검출 결과를 나타내는 테두리 화 상(d2)이 6번째의 촬영 화상(a6)과 합성된다.

따라서 본 실시 형태의 쪽이, 종래보다도, 얼굴 검출의 대상이 되는 촬영 화상의 촬영 시각과, 검출 결과를 나타내는 테두리 화상이 합성되는 촬영 화상의 촬영 시각과의 기간이 짧기 때문에, 테두리 화상과, 해당 테두리 화상이 합성되는 촬영 화상에 있어서의 얼굴 화상과의 어긋남이 작아짐을 이해할 수 있다.

또한, 본 실시 형태에서는, 도 4의 (a)에 도시하는 바와 같이, 6번째의 촬영 화상(a6)과 합성되는 테두리 화상중, 테두리 화상(c1 내지 c4)은, 5번째까지의 촬영 화상에 대해, 한 번 검출된 후에 계속 추적된 얼굴 화상에 관한 것이고, 테두리 화상(b5)은, 5번째까지의 촬영 화상에 대해 검출된 얼굴 화상에 관한 것이다. 즉, 본 실시 형태에서는, 6번째의 촬영 화상(a6)과 합성되는 테두리 화상은, 직전(5번째)의 촬영 화상(a5)에서의 얼굴 화상에 관한 것이다. 한편, 종래 기술에서는, 도 4의 (b)에 도시하는 바와 같이, 6번째의 촬영 화상(a6)과 합성되는 테두리 화상(d1 내지 d5)의 전부는, 1번째의 촬영 화상(a1)에 대해 검출된 얼굴 화상에 관한 것이다.

따라서 본 실시 형태의 쪽이, 종래보다도, 테두리 화상을 생성하는 기초가 되는 촬영 화상의 촬영 시각과, 해당 테두리 화상이 합성되는 촬영 화상의 촬영 시각과의 기간이 짧기 때문에, 테두리 화상과, 그 테두리 화상이 합성된 촬영 화상에 있어서의 얼굴 화상과의 어긋남이 더욱 작아짐을 이해할 수 있다.

[실시의 형태 2]

다음에, 본 발명의 다른 실시 형태에 관해 도 5 내지 도 7을 참조하여 설명 한다. 도 5는 본 실시 형태인 디지털 카메라의 개략 구성을 도시하고 있다. 도시하는 디지털 카메라(10)는, 도 1에 도시하는 디지털 카메라(10)에 비하여, 조건 결정부(30)의 기능이 다른 점과, 얼굴 검출부(24) 및 얼굴 추적부(25)로부터 위치 정보 출력부(26)까지의 사이에, 결과 보정부(보정 수단)(31)가 추가되어 있는 점이 다르고, 그 밖의 구성은 마찬가지이다. 또한, 상기 실시 형태에서 설명한 구성 및 처리 동작과 같은 구성 및 처리 동작에는, 동일한 부호를 붙이고, 그 설명을 생략한다.

도 1에 도시하는 조건 결정부(23)는, 모든 얼굴 화상을 검출하기 위해 필요하게 되는 복수의 검출 조건을 순서대로 결정하고 있다. 이 경우, 동화상에 포함되는 복수의 촬영 화상을 취득함에 의해, 상기 복수의 검출 조건의 전부에 관해, 상기 종래 기술과 마찬가지로, 얼굴 화상의 전 검출 결과를 출력할 수 있다.

이에 대해, 본 실시 형태의 조건 결정부(30)는, 결과이력 기억부(28)의 검출 결과의 이력에 의거하여, 검출 조건을 동적으로 변경하여 결정하고 있다. 또한, 동적으로 변경하는 조건의 정보는, 조건 기억부(27)에 기억된다.

예를 들면, 도 2의 (c)에서의 좌측의 화상에 도시되는 바와 같은, 횡방향의 얼굴 화상의 템플릿에 의한 얼굴 검출이 소정 기간에 없는 경우, 해당 템플릿을 이용하는 검출 조건으로의 검출 빈도를 줄이는 것을 들 수 있다. 이것은, 상기한 경우에서는, 피사체의 얼굴이 디지털 카메라(10)의 방향을 향하고 있다고 생각되기 때문이다.

또한, 지금까지 얼굴 화상이 검출되어 있던 촬영 화상의 영역으로부터 갑자기 얼굴 화상이 검출되지 않게 된 경우, 해당 얼굴 화상의 검출 조건으로의 검출 빈도를 늘리는 것을 들 수 있다. 이것은, 상기한 경우에는, 피사체가 디지털 카메라(10)로부터 프레임 아웃하였는지, 또는, 피사체가 뒤돌아보았기 때문에, 피사체의 얼굴이 디지털 카메라(10)와 반대의 방향을 향하고 있다고 생각되고, 재차 해당 얼굴 화상이 검출될 가능성이 높기 때문이다.

이와 같이, 상기 검출 결과의 이력에 의거하여, 검출 조건을 동적으로 변경함에 의해, 얼굴 검출의 효율을 향상할 수 있다.

이하에, 상기 검출 결과의 이력에 의거하여, 검출 조건을 동적으로 변경하는 수법을 정리하여 기재한다. 제 1의 수법은, 어떤 검출 조건에 의한 지금까지의 검출 회수에 따라, 해당 검출 조건의 이용 빈도를 변경하는 것이다. 예를 들면, 촬영 화상의 어떤 영역에서의 검출 회수가 많은 경우, 해당 영역을 검출 조건으로서 이용하는 빈도를 증가하는 것을 들 수 있다. 또한, 얼굴의 어떤방향의 검출 회수가 적은 경우, 해당 방향의 템플릿을 검출 조건으로서 이용하는 빈도를 감소하는 것을 들 수 있다.

제 2의 수법은, 검출 조건의 조합에 따라, 검출 조건의 이용 빈도 및/또는 조합을 변경한 것이다. 예를 들면, 촬영 화상에 있어서의 오른쪽 아래의 영역과 왼쪽 위의 영역에 동시에 얼굴 화상을 검출하는 회수가 적은 경우, 한쪽의 영역에서 얼굴 화상을 검출하면, 다른쪽의 영역을 검출 조건으로서 이용하는 빈도를 감소하는 것을 들 수 있다. 또한, 제 1의 방향의 얼굴 화상과, 제 1의 방향으로부터 화상 내에서 180°회전한 제 2의 방향의 얼굴 화상을 동시에 검출할 가능성이 낮은 경우, 제 1의 방향의 얼굴 화상을 검출하면, 제 2의 방향을 검출 조건으로서 이용하 는 빈도를 감소하는 것을 들 수 있다.

또한, 예를 들면, 촬영 화상의 중앙 영역에서 30픽셀의 얼굴 화상이 많고, 주연(周緣) 영역에서 20픽셀의 얼굴 화상이 많은 경우와 같이, 촬영 화상에 있어서의 영역에 따라, 검출되는 얼굴 화상의 사이즈에 경향이 존재하는 경우, 얼굴 화상의 사이즈를 검출 조건으로서 이용하는 빈도를, 영역에 따라 변경하는 것을 들 수 있다.

제 3의 수법은, 검출 조건의 순번에 규칙성이 존재하는 경우, 해당 규칙성에 의거하여 검출 조건의 순번을 변경하는 것이다. 예를 들면, 한 번 검출한 얼굴 화상의 사이즈가 시간과 함께 작아지는 경향이 있는 경우, 얼굴 화상의 사이즈를 큰 쪽부터 작은 쪽으로 순번대로 검출 조건으로서 이용하는 것을 들 수 있다. 또한, 한 번 검출한 얼굴 화상을 놓치면, 잠시동안에 같은 검출 조건으로 재차 나타나는 것이 예상되는 경우, 잠시동안 상기 검출 조건을 이용하는 빈도를 증가하는 것을 들 수 있다.

결과 보정부(31)는, 얼굴 검출부(24)로부터의 검출 결과에 의거하여, 얼굴 추적부(25)로부터의 추적 결과를 보정하는 것이다. 결과 보정부(31)는, 보정한 검출 결과 및 추적 결과를 위치 정보 출력부(26)에 송출한다.

종래에는, 촬영 화상으로부터 모든 얼굴 화상을 검출하기 위해 필요하게 되는 복수의 검출 조건의 각각에 대해 순번대로 얼굴 화상을 검출하고, 이들의 복수의 검출 결과에 의거하여, 검출 결과를 보정하고, 보정된 검출 결과를 출력하고 있다. 예를 들면, 촬영 화상의 어떤 영역에 대해, 사이즈가 20화소인 얼굴 화상과, 사이즈가 30화소인 얼굴 화상의 양쪽이 검출된 경우, 평균치인 25화소를 사이즈로 한 얼굴 화상으로 보정하는 것을 들 수 있다.

이에 대해, 본 실시 형태에서는, 촬영 화상을 취득하면, 상기 복수의 검출 조건의 일부를 결정하고, 결정된 검출 조건으로 얼굴 화상을 검출하고, 검출 결과를 출력하고 있다. 이 때문에, 상기 복수의 검출 조건의 전부에 의한 검출 결과에 의거하여, 검출 결과를 보정하는 종래의 경우에 비하여, 검출 결과의 정밀도가 저하되게 된다.

그래서, 본 실시 형태에서는, 결과 보정부(31)는, 상술한 바와 같이, 얼굴 추적부(25)로부터의 추적 결과를, 얼굴 검출부(24)로부터의 검출 결과에 의거하여 보정하고 있다. 또한, 결과 보정부(31)는, 또한 결과이력 기억부(28)의 결과이력에 의거하여 얼굴 추적부(25)로부터의 추적 결과를 보정하여도 좋다.

도 7은, 추적 결과의 보정의 한 예를 설명하기 위한 것이다. 동 도면의 (a)는, 어떤 시점에서의 합성 화상을 도시하고 있다. 도시하는 바와 같이, 해당 합성 화상은, 어떤 시점에서의 촬영 화상(e1)과, 그 시점의 직전의 촬영 화상(도시 생략)에 대해, 얼굴 검출에 의해 검출된 30픽셀의 얼굴 화상에 대응하는 테두리 화상(f1)을 포함하고 있다. 동 도면의 (a)에 도시하는 촬영 화상(e1)에 대해, 20픽셀의 템플릿을 이용하여 얼굴 검출부(24)가 얼굴 검출을 행한 바, 동 도면의 (b)에 파선으로 도시하는 바와 같이, 20픽셀의 얼굴 화상(g1·g2)이 2개 검출되었다고 한다. 이 때, 테두리 화상(f1)으로 둘러싸인 30픽셀의 얼굴 화상과, 20픽셀의 얼굴 화상(g1)은, 촬영 화상에 있어서의 같은 영역에서 검출되기 때문에, 동일한 얼굴이 라고 생각된다.

그래서, 도 7의 (a)에 도시하는 촬영 화상(e1)에 대해, 테두리 화상(f1)으로 둘러싸인 얼굴 화상에 적합한 추적 조건으로 추적된 30픽셀의 얼굴 화상(도시 생략)을, 결과 보정부(31)가, 30픽셀과 20픽셀의 평균인 25픽셀의 얼굴 화상으로 보정하고, 보정 결과를 위치 정보 출력부(26)에 송출한다. 또한, 상기 영역과는 다른 영역에서 처음으로 검출된 얼굴 화상(g2)은, 보정되는 일 없이 위치 정보 출력부(26)에 송출된다.

이 때, 표시부(13)에 표시되는 합성 화상을 도 7의 (c)에 도시한다. 도시하는 바와 같이, 해당 구성 화상은, 다음 촬영 화상(e2)과, 촬영 화상(e1)에 대해, 얼굴 검출에 의해 검출된 20픽셀의 얼굴 화상에 대응하는 테두리 화상(f2)과, 얼굴 추적에 의해 추적되며 또한 보정된 25픽셀의 얼굴 화상에 대응하는 테두리 화상(h1)을 포함하고 있다. 동 도면의 (a) 및 (c)를 비교하면, 보정 후의 테두리 화상(h1)은, 보정 전의 테두리 화상(f1)에 비하여, 사이즈가 실제의 얼굴 화상의 사이즈에 가까워져 있는 것을 이해할 수 있다. 따라서, 얼굴 화상의 정밀도를 서서히 향상시킬 수 있다.

이하에, 검출 결과에 의거하여 추적 결과를 보정한 수법을 정리하여 기재한다. 제 1의 수법은, 같은 피사체라고 추측되는 얼굴 화상을 복수의 검출 조건으로 검출한 경우, 검출 결과의 평균으로 추적 결과를 보정하는 수법이다. 예를 들면, 촬영 화상의 거의 같은 영역에서의 얼굴 화상의 검출 회수가 소정의 프레임 수에 달한 경우, 검출한 얼굴 화상의 사이즈의 평균치로, 추적 결과에 있어서의 얼굴 화 상의 사이즈를 보정하거나, 검출한 얼굴 화상의 방향의 평균치로, 추적 결과에 있어서의 얼굴 화상의 방향을 보정하거나 하는 것을 들 수 있다. 또한, 같은 피사체라고 추측되는 얼굴 화상의 이동 궤적이 매끈하게 되도록, 추적 결과에 있어서의 얼굴 화상의 추적 위치를 보정하는 것을 들 수 있다.

또한, 같은 피사체라고 추측되는 얼굴 화상을 복수의 검출 조건으로 검출한 경우, 적절한 쪽의 검출 조건의 검출 결과를 우선하여 추적 결과를 보정하는 수법이다. 예를 들면, 화상 필터의 검출 조건을 변경함으로써 검출 수가 감소한 경우, 전(前)의 검출 조건의 검출 결과의 쪽이 보다 적절하다고 하여, 그 검출 결과에 무게를 둔 가중(加重)평균을 산출하고, 산출 결과에 의거하여 추적 결과를 보정하는 것을 들 수 있다.

도 6은, 상기 구성의 디지털 카메라(10)에 있어서의 얼굴 검출 처리 및 얼굴 추적 처리의 처리 동작을 도시하고 있다. 도시하는 바와 같이, 촬영부(11)에서 촬영된 동화상에 있어서의 하나의 촬영 화상을 화상 취득부(22)가 취득하면, 조건 결정부(30)는, 결과이력 기억부(28)에서의 결과이력을 참조하여, 검출완료 대상이 존재하였는지의 여부를 판단한다(S10). 존재하지 않는 경우, 스텝 S21로 진행한다.

검출완료 대상이 존재하는 경우, 조건 결정부(30)는, 상기 결과이력으로부터 상기 추적 조건을 결정하고(S11), 결정된 추적 조건으로, 얼굴 추적부(25)는, 검출된 얼굴 화상을 추적한다(S12). 다음에, 얼굴 추적부(25)는, 추적 결과 및 추적 조건을 결과이력 기억부(28)에 기억한다(S20).

다음에, 조건 결정부(30)는, 상기 검출완료 대상을 전부 처리하였는지의 여 부를 판단한다(S14). 전부 처리하지 않은 경우, 스텝 S11로 되돌아와 상기 처리 동작을 반복한다. 한편, 전부 처리하고 있는 경우, 스텝 S21로 진행한다.

스텝 S21에서, 조건 결정부(30)는, 결과이력 기억부(28)에서의 검출 조건을 참조하여, 검출 조건을 전회의 검출 조건으로부터 변경한다. 이 때, 조건 결정부(30)는, 또한, 결과이력 기억부(28)에서의 검출 결과의 이력을 고려하여 검출 조건을 변경한다.

다음에, 변경된 검출 조건으로, 얼굴 검출부(24)는, 얼굴 화상을 검출한다(S16). 그리고, 얼굴 검출부(24)는, 검출 결과 및 검출 조건을 결과이력 기억부(28)에 기억한다(S22).

다음에, 결과 보정부(31)는, 스텝 S16에 의한 검출 결과에 의거하여, 스텝 S12에 의한 추적 결과를 보정한다(S23). 그리고, 위치 정보 출력부(26)는, 상기 검출 결과에 의거한 얼굴 화상의 위치 정보와, 보정된 추적 결과에 의거한 얼굴 화상의 위치 정보를 화상 합성부(17)에 출력한다(S24). 이로써, 화상 합성부(17)는, 얼굴 검출부(24)가 검출한 얼굴 화상에 관한 테두리 화상과, 얼굴 추적부(25)가 추적하고, 결과 보정부(31)가 보정한 얼굴 화상에 관한 테두리 화상을 생성하고, 생성한 테두리 화상과 촬영 화상을 합성하여, 표시부(13)를 통하여 표시 출력한다. 그 후, 처리 동작을 종료한다.

본 발명은 상술한 각 실시 형태로 한정되는 것이 아니고, 청구항에 나타낸 범위에서 여러가지의 변경이 가능하고, 다른 실시 형태에 각각 개시된 기술적 수단을 적절히 조합시켜서 얻어지는 실시 형태에 대해서도 본 발명의 기술적 범위에 포 함된다.

예를 들면, 상기 실시 형태에서는, 얼굴 검출 및 얼굴 추적에 관한 각 구성(22 내지 28·30·31)을 제어부(20)에 마련하고 있지만, 화상 처리부(12)에 마련할 수도 있다. 또한, 상기 실시 형태에서는, 검출 결과 및 추적 결과를 테두리 화상으로서 표시 출력하고 있지만, 검출 결과 및 추적 결과에 의거하여, 포커스 조정이나 핀트 조정 등의 촬영부(11)의 제어를 행할 수도 있다.

또한, 상기 실시 형태에서는, 촬영 화상으로부터 사람의 얼굴 화상을 검출하여 추적하고 있다. 그러나, 애니메이션 그 밖의 동화상에도 적용 가능하다. 또한, 사람의 상반신이나 전신의 화상을 검출하여도 좋고, 볼, 차량, 운반되는 하물 그 밖에 움직이는 물체의 화상을 검출하여도 좋다. 나아가서는, 정지한 물체라도, 디지털 카메라(10)를 움직이면, 촬영 화상상에서는 이동하는 것으로 되기 때문에, 적용 가능하다. 즉, 본 발명은, 취득한 시계열 화상상에서 이동하는 물체의 화상의 검출에 적용 가능하다.

또한, 상기 실시 형태에서는, 본 발명을 디지털 카메라(10)에 적용하고 있지만, 카메라 부착 휴대 전화기 등, 촬영부를 갖는 임의의 전자 기기에 본 발명을 적용 가능하다. 또한, 동화상을 취득하여 화상 처리를 행하는 화상 처리 디바이스에도 적용 가능하다. 이와 같은 화상 처리 디바이스는, 디지털 카메라(10)뿐만 아니라, 프린터에도 적용되는 것이 예상된다.

최후로, 디지털 카메라(10)의 각 블록, 특히 제어부(20) 및 화상 처리부(12)는, 하드웨어 로직에 의해 구성하여도 좋고, 다음과 같이 CPU를 이용하여 소프트웨 어에 의해 실현하여도 좋다.

즉, 디지털 카메라(10)는, 각 기능을 실현하는 제어 프로그램의 명령을 실행하는 CPU, 상기 프로그램을 격납한 ROM, 상기 프로그램을 전개하는 RAM, 상기 프로그램 및 각종 데이터를 격납하는 메모리 등의 기억 장치(기록 매체) 등을 구비하고 있다. 그리고, 본 발명의 목적은, 상술한 기능을 실현하는 소프트웨어인 디지털 카메라(10)의 제어 프로그램의 프로그램 코드(실행 형식 프로그램, 중간 코드 프로그램, 원시 프로그램)를 컴퓨터로 판독 가능하게 기록한 기록 매체를, 상기 디지털 카메라(10)에 공급하고, 그 컴퓨터(또는 CPU나 MPU)가 기록 매체에 기록되어 있는 프로그램 코드를 판독하고 실행함에 의해서도, 달성 가능하다.

상기 기록 매체로서는, 예를 들면, 자기 테이프나 카세트 테이프 등의 테이프계, 플로피(등록상표) 디스크/하드 디스크 등의 자기 디스크나 CD-ROM/MO/MD/DVD/CD-R 등의 광디스크를 포함하는 디스크계, IC 카드(메모리 카드를 포함한다)/광카드 등의 카드계, 또는 마스크 ROM/EPROM/EEPROM/플래시 ROM 등의 반도체 메모리계 등을 이용할 수 있다.

또한, 디지털 카메라(10)를 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를 통신 네트워크를 통하여 공급하여도 좋다. 이 통신 네트워크로서는, 특히 한정되지 않고, 예를 들면, 인터넷, 인트라넷, 엑스트라넷, LAN, ISDN, VAN, CATV 통신망, 가상 전용망(virtual private network), 전화 회선망, 이동체 통신망, 위성 통신망 등이 이용 가능하다. 또한, 통신 네트워크를 구성하는 전송 매체로서는, 특히 한정되지 않고, 예를 들면, IEEE1394, USB, 전력선 반송, 케이블 TV 회선, 전화선, ADSL 회선 등의 유선이라도, IrDA나 리모트 콘트롤과 같은 적외선, Bluetooth(등록상표), 802.11 무선, HDR, 휴대 전화망, 위성 회선, 지상파 디지털망 등의 무선이라도 이용 가능하다. 또한, 본 발명은, 상기 프로그램 코드가 전자적인 전송으로 구현화된, 반송파에 매입된 컴퓨터 데이터 신호의 형태라도 실현될 수 있다.

산업상의 이용 가능성

이상과 같이, 본 발명에 관한 디지털 카메라는, 촬영 화상을 취득하면, 전회의 검출 조건과는 다른 검출 조건으로, 취득된 촬영 화상에 대해 얼굴 화상을 검출함에 의해, 일부이지만 검출 결과를 단시간에 출력할 수 있기 때문에, 카메라 부착 휴대 전화기 이외에도, 프린터 등과 같이, 원화상으로부터 대상화상을 검출하는 임의의 전자 기기에 적용할 수 있다.

도 1은 본 발명의 한 실시 형태인 디지털 카메라의 개략 구성을 도시하는 블록도.

도 2는 얼굴 검출의 검출 조건의 예를 도시하는 도면.

도 3은 상기 디지털 카메라에 있어서의 얼굴 검출 처리 및 얼굴 추적 처리의 처리 동작을 도시하는 플로우 차트.

도 4는 상기 디지털 카메라에서 표시되는 합성 화상의 예와, 종래 기술에 의해 표시되는 합성 화상의 비교예를 시계열적으로 도시하는 도면.

도 5는 본 발명의 다른 실시 형태인 디지털 카메라의 개략 구성을 도시하는 블록도.

도 6은 상기 디지털 카메라에 있어서의 얼굴 검출 처리 및 얼굴 추적 처리의 처리 동작을 도시하는 플로우 차트.

도 7은 상기 디지털 카메라에 있어서의 얼굴 추적의 추적 결과를 보정하는 한 예를 설명하기 위한 도면.

(도면의 주요 부분에 대한 부호의 설명)

10 : 디지털 카메라(전자 기기)

11 : 촬영부

12 : 화상 처리부

13 : 표시부

14 : 조작부

15 : 화상 압축부

16 : 화상 기록부

17 : 화상 합성부(화상 합성 수단)

20 : 제어부(대상화상 검출 디바이스)

21 : 기억부

22 : 화상 취득부(취득 수단)

23·30 : 조건 결정부(결정 수단)

24 : 얼굴 검출부(검출 수단)

25 : 얼굴 추적부(추적 수단)

26 : 위치 정보 출력부(출력 수단)

27 : 조건 기억부

28 : 결과이력 기억부

31 : 결과 보정부(보정 수단)

Claims

삭제
원화상중에서 대상화상을 검출하는 대상화상 검출 디바이스로서,

상기 원화상을 취득하는 취득 수단과,

상기 대상화상을 검출하기 위한 복수의 검출 조건중, 전회의 검출 조건과는 다른 검출 조건을 결정하는 결정 수단과,

상기 취득 수단이 취득한 원화상에 대해, 상기 결정 수단이 결정한 검출 조건으로, 상기 대상화상을 검출하는 검출 수단과,

상기 검출 수단이 검출한 검출 결과를 출력하는 출력 수단, 및

상기 검출 수단이 검출한 검출 결과의 이력을 기억하는 결과이력 기억부를 구비하고 있고,

상기 결정 수단은, 또한, 상기 결과이력 기억부에서의 검출 결과의 이력에 의거하여, 검출 조건을 결정하는 것을 특징으로 하는 대상화상 검출 디바이스.
원화상중에서 대상화상을 검출하는 대상화상 검출 디바이스로서,

상기 원화상을 취득하는 취득 수단과,

상기 대상화상을 검출하기 위한 복수의 검출 조건중, 전회의 검출 조건과는 다른 검출 조건을 결정하는 결정 수단과,

상기 취득 수단이 취득한 원화상에 대해, 상기 결정 수단이 결정한 검출 조건으로, 상기 대상화상을 검출하는 검출 수단과,

해당 검출 수단이 검출한 검출 결과를 출력하는 출력 수단을 구비하며,

상기 결정 수단은, 상기 대상화상을 검출하기 위한 복수의 검출 조건중에서, 검출 조건을 순서대로 결정하는 것을 특징으로 하는 대상화상 검출 디바이스.
원화상중에서 대상화상을 검출하는 대상화상 검출 디바이스로서,

상기 원화상을 취득하는 취득 수단과,

상기 대상화상을 검출하기 위한 복수의 검출 조건중, 전회의 검출 조건과는 다른 검출 조건을 결정하는 결정 수단과,

상기 취득 수단이 취득한 원화상에 대해, 상기 결정 수단이 결정한 검출 조건으로, 상기 대상화상을 검출하는 검출 수단과,

해당 검출 수단이 검출한 검출 결과를 출력하는 출력 수단을 구비하며,

상기 취득 수단은, 동화상에 포함되는 복수의 정지화상을 상기 원화상으로서 취득하고 있고,

상기 취득 수단이 취득한 어떤 시점의 원화상에 대해, 상기 검출 수단이 검출한 상기 대상화상을, 상기 시점보다 후의 시점의 원화상으로 추적하는 추적 수단을 또한 구비하고 있고,

상기 출력 수단은, 상기 추적 수단이 추적한 추적 결과를 또한 출력하는 것을 특징으로 하는 대상화상 검출 디바이스.
제 4항에 있어서,

상기 추적 수단이 추적한 추적 결과를, 상기 검출 수단이 검출한 검출 결과에 의거하여 보정하는 보정 수단을 또한 구비하고 있고,

상기 출력 수단은, 상기 추적 수단이 추적한 추적 결과에 대신하여, 상기 보정 수단이 보정한 추적 결과를 출력하는 것을 특징으로 하는 대상화상 검출 디바이스.
제 2항 내지 제 5항 중 어느 한 항에 기재된 대상화상 검출 디바이스를 구비하는 것을 특징으로 하는 원화상으로부터 대상화상을 검출하는 전자 기기.
제 6항에 있어서,

정보를 표시하는 표시부와,

상기 대상화상 검출 디바이스가 검출한 검출 결과를 나타내는 화상을, 상기 원화상에 합성하여 상기 표시부에 표시시키는 화상 합성 수단을 더 구비하는 것을 특징으로 하는 원화상으로부터 대상화상을 검출하는 전자 기기.
삭제
제 2항 내지 제 5항 중 어느 한 항에 기재된 대상화상 검출 디바이스를 동작시키기 위한 제어 프로그램을 기록한 기록 매체로서,

컴퓨터를 상기 취득 수단, 상기 결정 수단, 상기 검출 수단, 및 상기 출력 수단으로서 각각 기능시키기 위한 제어 프로그램이 기록된 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.
삭제