KR20080012790A - 얼굴 검출 장치, 촬상 장치 및 얼굴 검출 방법 - Google Patents

얼굴 검출 장치, 촬상 장치 및 얼굴 검출 방법 Download PDF

Info

Publication number
KR20080012790A
KR20080012790A KR1020070077989A KR20070077989A KR20080012790A KR 20080012790 A KR20080012790 A KR 20080012790A KR 1020070077989 A KR1020070077989 A KR 1020070077989A KR 20070077989 A KR20070077989 A KR 20070077989A KR 20080012790 A KR20080012790 A KR 20080012790A
Authority
KR
South Korea
Prior art keywords
face
face detection
circuit
signal processing
detection
Prior art date
Application number
KR1020070077989A
Other languages
English (en)
Other versions
KR101421717B1 (ko
Inventor
미유키 오카다
켄 나카지마
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20080012790A publication Critical patent/KR20080012790A/ko
Application granted granted Critical
Publication of KR101421717B1 publication Critical patent/KR101421717B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

과제
얼굴 검출 장치에 있어서, 얼굴의 검출 정밀도가 높고, 그 적용 범위를 넓게 한다.
해결 수단
입력 화상으로부터의 얼굴 검출에 특화한 하드웨어 회로로 이루어지는 얼굴 검출 회로(14)와, 재기록 가능한 프로그램에 따라, 입력 화상 신호를 기초로 신호 처리를 실행하는 프로그래머블 신호 처리 회로(15)가 마련되고, 프로그래머블 신호 처리 회로(15)에서도, 얼굴 검출 프로그램을 실행시킴으로써 얼굴이 검출된다. 그리고, 얼굴 검출 회로(14) 및 프로그래머블 신호 처리 회로(15)에서는, 같은 프레임의 화상 또는 연속한 중의 부근 프레임의 화상으로부터의 얼굴 검출 처리가 병렬로 실행되고, 이때 CPU(21)에 의해, 얼굴 검출 회로(14) 및 프로그래머블 신호 처리 회로(15)의 각각에 의한 얼굴의 검출 결과를 기초로 최종적인 얼굴의 검출 결과가 출력된다.
얼굴 검출, 촬상 장치

Description

얼굴 검출 장치, 촬상 장치 및 얼굴 검출 방법{FACE DETECTION DEVICE, IMAGING APPARATUS, AND FACE DETECTION METHOD}
본 발명은, 입력된 화상으로부터 인물의 얼굴을 검출하는 얼굴 검출 장치, 그 기능을 구비한 촬상 장치, 및 얼굴 검출 방법에 관한 것이다.
근래, 디지털 카메라, 디지털 비디오 카메라 등의 디지털 방식의 촬상 장치가 급속하게 보급되고, 이들 제품의 고성능화가 진행되고 있다. 이 때문에, 촬상 장치로서 보다 고도의 기능을 탑재하여, 그 상품 가치를 높이는 것이 강하게 요구되고 있다. 이와 같은 고도의 기능의 하나로서, 화상으로부터 특정한 피사체를 검출하는 기술이 주목받고 있다.
피사체 검출의 대표적인 기술로서, 인물의 얼굴을 검출하는 기술을 들 수 있다. 이 얼굴 검출 기술에 의해, 촬상한 화상으로부터 인물의 얼굴 영역을 추출할 수 있고, 그 추출 결과를, 예를 들면 촬상 장치 내의 다양한 어플리케이션에 적용하는, 또는 화상의 부수 데이터로서 기록한다는 응용이 고려되어 있다.
종래의 얼굴 검출의 수법으로서는, 예를 들면, 촬상된 화상의 데이터를 휘도 데이터, 색상 데이터, 크로마 데이터로 변환하고, 휘도 데이터에 의거한 살색 영역 에서의 수직 방향의 휘도 변화와, 3속성 데이터에 의거한 살색 픽셀의 공간적인 화소 분포를 기초로, 인물의 얼굴 영역을 검출하는 것이 있다(예를 들면, 특허 문헌 1 참조). 또한, 촬상된 화상으로부터 살색 영역과 눈, 입 등의 얼굴의 특징점을 검출하고, 그 특징점의 위치로부터 살색 영역이 인물의 얼굴인지를 판정하는 것이 있다(예를 들면, 특허 문헌 2 참조). 또한, 특히 색의 정보를 이용하지 않는 수법으로서, 촬상된 화상의 휘도 데이터를 이용하여 얼굴의 템플릿 화상과의 매칭 처리를 행하고, 그들의 상관치가 충분히 높은 경우에 얼굴이라고 판정하는 것이 있다(예를 들면, 특허 문헌 3 참조).
특허문헌 1 : 일본국 특허 제3561985호 공보(단락 번호 [0038] 내지 [0058], 도 1)
특허문헌 2 : 일본국 특개2004-5384호 공보(단락 번호 [0018] 내지 [0019], 도 1)
특허문헌 3 : 일본국 특개2003-271933호 공보(단락 번호 [0046] 내지 [0055], 도 6)
상기한 바와 같이, 얼굴 검출에 관해서는 여러가지의 알고리즘이 존재하고 있지만, 이와 같은 얼굴 검출 수법을 촬상 장치에 적용할 때에는, 동화 기록, 정지화 기록에 관계없이, 이하의 2점이 중요해진다. 제 1의 중요점은, 피사체의 움직임이나 촬상 장치 자체의 움직임에 추종할 수 있는 고속성과, 오검출이나 검출 빠짐을 회피할 수 있는 검출 정밀도의 높이를 양립하는 것이다. 제 2의 중요점은, 다양한 검출 알고리즘이나 촬영 조건 등에 대응할 수 있는 유연성, 적응성을 갖는 것이다.
얼굴 검출의 처리는, 소프트웨어로 실행되는 경우와, 전용의 하드웨어로 실행되는 경우가 있다. 일반적으로, 소프트웨어로 얼굴 검출 처리를 실행한 경우, 처리의 고속성을 손상시키는 일이 많고, 예를 들면 정지화 기록 모드에서의 모니터링 화상의 처리나 동화 기록시의 처리에 충분히 추종할 수 없는 일이 있다. 또한, 검출 정밀도를 높이고자 하면 처리 부하는 더욱 증대하고, 촬상 장치로서는 실용에 견딜 만한 검출 레이트의 실현이 곤란해진다. 즉, 제 1의 중요점에서 들었던 바와 같이 고속성과 검출 정밀도의 높이를 양립하는 것은 매우 어렵다고 할 수 있다.
이에 대해, 전용의 하드웨어에 의해 얼굴 검출 처리를 실행한 경우, 일반적으로, 그 처리 속도 및 검출 정밀도를 소프트웨어와 비교하고 현격하게 개선하는 것이 알려져 있다. 그러나, 하드웨어의 경우에는, 제 2의 중요점에서 들었던 바와 같이 다양한 알고리즘이나 촬영 조건에 대응하는 것이나, 검출 성능에 개선을 가하 는 것 등은 곤란하고, 검출 동작의 유연성, 적응성이 부족하다는 문제가 있다.
본 발명은 이와 같은 점을 감안하여 이루어진 것이고, 얼굴의 검출 정밀도가 높아지고, 그 적용 범위가 넓은 얼굴 검출 장치, 촬상 장치, 및 얼굴 검출 방법을 제공하는 것을 목적으로 한다.
본 발명에서는 상기 과제를 해결하기 위해, 입력된 화상으로부터 인물의 얼굴을 검출하는 얼굴 검출 장치에 있어서, 입력 화상으로부터의 얼굴 검출에 특화한 하드웨어 회로로 이루어지는 얼굴 검출 회로와, 입력 화상으로부터 얼굴을 검출하기 위한 얼굴 검출 프로그램을 포함하는 재기록 가능한 프로그램에 따라, 입력 화상 신호를 기초로 신호 처리를 실행하는 신호 처리 회로와, 상기 얼굴 검출 회로 및 상기 신호 처리 회로의 각각에, 같은 프레임의 화상 또는 연속한 중의 부근 프레임의 화상으로부터의 얼굴 검출 처리를 병렬로 실행시키고, 상기 얼굴 검출 회로 및 상기 신호 처리 회로의 각각에 의한 얼굴의 검출 결과를 기초로 최종적인 얼굴의 검출 결과를 출력하는 제어부를 갖는 것을 특징으로 하는 얼굴 검출 장치가 제공된다.
이와 같은 얼굴 검출 장치에서는, 입력 화상으로부터의 얼굴 검출에 특화한 하드웨어 회로로 이루어지는 얼굴 검출 회로가 마련됨과 함께, 재기록 가능한 프로그램에 따라 입력 화상 신호를 기초로 신호 처리를 실행하는 신호 처리 회로가 마련되고, 이 신호 처리 회로에 의해 얼굴 검출 프로그램이 실행됨으로써, 신호 처리 회로에서도 얼굴 검출 처리를 실행할 수 있다. 제어부는, 얼굴 검출 회로 및 신호 처리 회로의 각각에, 같은 프레임의 화상 또는 연속한 중의 부근 프레임의 화상으로부터의 얼굴 검출 처리를 병렬로 실행시킨다. 그리고, 얼굴 검출 회로 및 신호 처리 회로의 각각에 의한 얼굴의 검출 결과를 기초로 최종적인 얼굴의 검출 결과를 출력한다.
본 발명의 얼굴 검출 장치에 의하면, 얼굴 검출 회로와 신호 처리 회로의 쌍방에서 얼굴 검출 처리를 실행할 수 있고, 각각으로부터의 검출 결과를 기초로 최종적인 얼굴의 검출 결과가 출력됨으로써, 얼굴의 검출 정밀도를 높일 수 있다. 또한, 신호 처리 회로에서는, 실행시키는 프로그램을 변경함으로써, 다양한 얼굴 검출 알고리즘이나 얼굴 검출 이외의 처리를 실행시킬 수 있기 때문에, 제품의 사양 변경이나 기능 추가에 대한 유연성, 적응성이 향상하고, 회로 구성을 바꾸지 않고 그 적용 범위를 넓게 할 수 있다.
이하, 본 발명의 실시의 형태를 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 실시의 형태에 관한 촬상 장치의 주요부 구성을 도시하는 블록도이다. 또한, 이 도 1에서는, 화상 데이터의 경로를 실선의 화살표로, 제어 데이터의 경로를 점선의 화살표로, 그들의 제어 데이터중 얼굴의 검출 결과를 나타내는 데이터의 경로를 파선의 화살표로, 각각 도시하고 있다.
도 1에 도시하는 촬상 장치는, 디지털 카메라 또는 디지털 비디오 카메라 등으로서 실현되는 것이다. 이 촬상 장치는, 광학 블록(11), 이미지 센서(12), 카메 라 신호 처리 회로(13), 얼굴 검출 회로(14), 프로그래머블 신호 처리 회로(15), 표시 처리 회로(16), 화상 압축·신장 회로(17), 기억 장치(18), 화상 RAM(Random Access Memory)(19), 화상 버스(20), CPU(Central Processing Unit)(21), EEPROM(Electrically Erasable Programmable Read Only Memory)(22), RAM(23), 및 중력 방향 센서(24)를 구비한다.
광학 블록(11)은, 피사체로부터의 광을 이미지 센서(12)에 집광하기 위한 렌즈, 렌즈를 이동시켜서 포커스 맞춤이나 주밍을 행하기 위한 구동 기구, 셔터 기구, 아이리스 기구 등을 구비하고 있다. 광학 블록(11) 내의 이들의 구동 기구는, CPU(21)로부터의 제어 신호에 따라 구동된다. 이미지 센서(12)는, 예를 들면, CCD(Charge Coupled Device)형, CMOS(Complementary Metal Oxide Semiconductor)형 등의 고체 촬상 소자이고, 피사체로부터의 입사광을 전기 신호로 변환한다.
카메라 신호 처리 회로(13)는, 이미지 센서(12)로부터 출력된 화상 신호에 대해 각종의 신호 처리를 시행하는 블록이다. 구체적으로는, 예를 들면, 이미지 센서(12)로부터의 화상 신호를 디지털 데이터로 변환하는 기능, 디지털화된 화상 데이터로부터의 각종 검파 기능, 그 화상 데이터에 대한 각종의 화질 보정 기능 등을 구비한다. 또한, 이 카메라 신호 처리 회로(13)에 의한 검파 정보는 CPU(21)에 공급되고, CPU(21)는, 이들의 검파 정보를 기초로 AF(Auto Focus) 처리, AE(Auto Exposure) 처리, 카메라 신호 처리 회로(13) 내의 화질 보정 기능 등에 대한 제어치를 연산한다. 또한, 카메라 신호 처리 회로(13) 내의 화질 보정 기능으로서는, 게인 보정 기능, 화이트 밸런스 조정 기능 등이 탑재된다.
얼굴 검출 회로(14)는, 입력 화상으로부터 인물의 얼굴을 검출하기 위해 마련된 전용의 하드웨어이고, 카메라 신호 처리 회로(13)로부터 출력된 화상 데이터를 화상 RAM(19)을 통하여 수취하고, 인물의 얼굴이 존재하는 영역을 검출하여, 그 검출 결과를 CPU(21)에 공급한다.
프로그래머블 신호 처리 회로(15)는, 화상 RAM(19)으로부터 판독한 화상 데이터에 대해 신호 처리를 시행하는 블록이고, CPU(21)로부터 프로그램을 판독함에 의해 복수 종류의 신호 처리를 실행할 수 있도록 되어 있다. 본 실시의 형태에서는 특히, 입력 화상으로부터 인물의 얼굴을 검출하는 프로그램을 실행할 수 있도록 되어 있다. 즉, 얼굴 검출 회로(14)와 프로그래머블 신호 처리 회로(15)의 쌍방에, 얼굴 검출기능이 구비되어 있다.
표시 처리 회로(16)는, 카메라 신호 처리 회로(13) 및 화상 압축·신장 회로(17)로부터 출력된 화상 데이터를 화상 RAM(19)을 통하여 수취하고, 표시용의 화상 신호로 변환하여, LCD(Liquid Crystal Display) 등으로 이루어지는 모니터(도시 생략)에 공급한다.
화상 압축·신장 회로(17)는, 카메라 신호 처리 회로(13)로부터 출력된 화상 데이터를 화상 RAM(19)을 통하여 수취하고, 이 화상 데이터를 압축 부호화하여, 동화상 또는 정지화상의 데이터 파일로서 기억 장치(18)에 출력한다. 또한, 기억 장치(18)로부터 판독한 화상 데이터 파일을 신장 복호화하고, 화상 RAM(19)을 통하여 표시 처리 회로(16)에 공급한다. 또한, 예를 들면, 동화상의 부호화 방식으로서는 MPEG(Moving Picture Experts Group) 방식, 정지화상의 부호화 방식으로서는 JPEG(Joint Photographic Experts Group) 방식 등이 적용된다.
기억 장치(18)는, 화상 압축·신장 회로(17)에 의해 부호화되고 생성된 화상 파일을 기억하는 장치이고, 예를 들면, 자기 테이프, 광디스크 등의 가반형 기록 매체의 드라이브 장치, 또는 HDD(Hard Disk Drive) 등으로서 실현된다. 이 기억 장치(18)는, 기억된 화상 데이터 파일을 화상 압축·신장 회로(17)에 판독하는 것 외에, 그 데이터 파일에 부수된 정보를 CPU(21)에 공급하는 것도 가능하게 되어 있다.
화상 RAM(19)은, 카메라 신호 처리 회로(13), 얼굴 검출 회로(14), 프로그래머블 신호 처리 회로(15), 표시 처리 회로(16), 및 화상 압축·신장 회로(17)에 대해 각각 화상 버스(20)를 통하여 접속된다. 화상 RAM(19)은, 접속된 이들의 처리 블록에 의해 공유되고, 각 블록 사이에서는 화상 RAM(19)을 통하여 화상 데이터가 주고받아진다.
또한, 본 실시의 형태에서는, 이들의 처리 블록은 반드시 화상 RAM(19)을 통하여 화상 데이터를 주고받는 것으로 하여 설명하지만, 예를 들면, 얼굴 검출 회로(14) 및 표시 처리 회로(16)는, 카메라 신호 처리 회로(13) 및 화상 압축·신장 회로(17)로부터의 출력 화상 데이터를, 화상 버스(20)를 통하지 않고 직접 수신할 수 있도록 하여도 좋다.
CPU(21)는, 이 촬상 장치 전체를 통괄적으로 제어하는 블록이고, EEPROM(22)에 기억된 프로그램을 판독하여 실행함으로써, 이와 같은 제어를 실현한다. EEPROM(22)은, CPU(21)에서 실행되는 프로그램이나, 프로그래머블 신호 처리 회 로(15)에서 실행되는 프로그램, 그들의 프로그램의 실행시에 선택되는 제어 데이터 등의 각종 데이터가 미리 기억된다. RAM(23)에는, CPU(21)에서의 프로그램 실행시에 일시적으로 데이터가 기억된다. 예를 들면, 얼굴 검출 회로(14) 및 프로그래머블 신호 처리 회로(15)에 의한 얼굴의 검출 결과 등의 데이터가 기억된다.
중력 방향 센서(24)는, 이 촬상 장치에 대해 가하여져 있는 중력의 방향을 검출하고, 그 검출 결과를 CPU(21)에 공급한다. CPU(21)는, 이 검출 결과를 기초로, 촬상 장치가 어떤 방향으로 기울어져 있는지를 식별할 수 있다.
이 촬상 장치에서의 기본적인 동작은 이하와 같이 된다. 우선, 화상의 기록시에는, 이미지 센서(12)에 의해 수광되어 광전 변환된 신호가, 순차로 카메라 신호 처리 회로(13)에 공급되고, 디지털 변환이나 화질 보정 처리 등이 시행된다. 처리 후의 화상 데이터는 화상 버스(20)를 통하여 화상 RAM(19)에 일단 기억된다. 표시 처리 회로(16)는, 카메라 신호 처리 회로(13)로부터의 화상 데이터를 화상 RAM(19)을 통하여 수취하여 표시용의 화상 신호를 생성하고, 도시하지 않은 모니터에 공급한다. 이로써, 현재 촬상중의 화상(카메라 스루 화상)이 모니터에 표시되고, 촬영자는 이 화상을 시인하여 화각(畵角)을 확인할 수 있게 된다.
또한, 화상 압축·신장 회로(17)는, 카메라 신호 처리 회로(13)로부터의 출력 화상 데이터를 화상 RAM(19)을 통하여 순차로 수취하고, 압축 부호화 처리를 시행하여 동화상 파일을 기억 장치(18)에 기록한다. 또한, 도시하지 않은 셔터 릴리스 버튼의 압하 등에 응하여, 카메라 신호 처리 회로(13)로부터의 1프레임분의 화상 데이터가 화상 압축·신장 회로(17)에서 압축 부호화됨으로써, 정지화상 파일을 기억 장치(18)에 기록할 수도 있다.
또한, 기억 장치(18)에 기억된 화상 파일은, 화상 압축·신장 회로(17)에 판독되어 신장 복호화되고, 표시 처리 회로(16)에 공급되어 표시용의 신호로 변환된다. 이로써, 동화상 또는 정지화상을 모니터에 재생 표시할 수 있다.
그런데, 상기한 바와 같은 화상의 기록시에 있어서, 얼굴 검출 회로(14)는, 카메라 신호 처리 회로(13)로부터의 출력 화상 데이터를 화상 RAM(19)을 통하여 수취하고, 얼굴 검출 처리를 실행한다. 또한, 프로그래머블 신호 처리 회로(15)에 대해서도, 카메라 신호 처리 회로(13)로부터의 출력 화상 데이터가 화상 RAM(19)을 통하여 공급되고, 프로그래머블 신호 처리 회로(15)는, 이 화상 데이터를 기초로 얼굴 검출 처리를 실행할 수 있다. 얼굴 검출 회로(14) 및 프로그래머블 신호 처리 회로(15)에서의 얼굴의 검출 결과는, CPU(21)에 공급된다. 또한, 후술하는 바와 같이, 얼굴 검출 회로(14) 및 프로그래머블 신호 처리 회로(15)는, 서로의 검출 결과를 CPU(21)를 통하여 수취하고, 그 검출 결과를 기초로 다시 얼굴 검출 처리를 행할 수도 있다.
CPU(21)는 예를 들면, 이들의 각 처리 블록에 의한 검출 결과를 기초로 최종적인 검출 결과를 구하고, 그 검출 결과를 AE, AF, 화이트 밸런스 조정 등의 제어치 연산에 이용한다. 예를 들면, 검출된 얼굴의 밝기나 색을 최적으로 하도록 조리개 양이나 화이트 밸런스 게인을 조정하는, 또는 검출된 얼굴에 포커스를 맞춘다는 제어를 행할 수 있다. 또한, 얼굴의 검출 결과의 정보(예를 들면 얼굴 영역의 위치 정보)를, 화상 파일의 부수 정보로서 기억 장치(18)에 기록하여도 좋다.
또한, 얼굴 검출 회로(14) 및 프로그래머블 신호 처리 회로(15)는 각각, 기억 장치(18) 내의 화상 파일의 재생시에 있어서, 화상 압축·신장 회로(17)에 의해 신장 복호화된 화상 데이터를 화상 RAM(19)을 통하여 수취하고, 얼굴 검출 처리를 실행하여도 좋다. 이 경우의 각 처리 블록에 의한 얼굴 검출 처리로서는, 화상의 기록시와 마찬가지로 행하는 것이 가능하다. 또한, CPU(21)는, 각 처리 블록에 의한 검출 결과를 기초로 최종적인 검출 결과를 구하고, 예를 들면, 그 검출 결과를 원래의 화상 파일의 부수 정보로서 기록하는, 또는 원래의 부수 정보를 갱신한다. 또한, 그 검출 결과를 재생 화상과 함께 모니터에 표시하거나, 검출 결과를 EEPROM(22)에 기록하여, 후에 다른 처리에 이용하여도 좋다.
다음에, 얼굴 검출 회로(14) 및 프로그래머블 신호 처리 회로(15)를 이용한 얼굴 검출 처리에 관해 상세히 설명한다.
우선, 도 2는 얼굴 검출 회로의 내부 구성예를 도시하는 블록도이다.
얼굴 검출 회로(14)는, 상술한 바와 같이 얼굴 검출을 위한 전용의 하드웨어이고, 그 내부에는 도 2에 도시하는 바와 같이, 확대·축소 회로(41), 화상 메모리(42), 얼굴 검출 코어(43), 및 컨트롤러(44)가 마련되어 있다.
상기 얼굴 검출 회로(14)에 있어서, 얼굴 검출 코어(43)는 얼굴 검출 처리를 실행하는 회로 블록이고, 본 실시의 형태에서는, 일정 사이즈의 얼굴의 템플릿 화상과 입력 화상의 매칭을 행하고, 상관치에 응하여 얼굴의 존재의 유무를 판정한다. 확대·축소 회로(41)는, 화상 RAM(19)으로부터 화상 버스(20)를 통하여 판독한 화상 데이터의 사이즈(수평·수직 방향의 각 화소수)를, 얼굴 검출 코어(43)에서의 얼굴 검출 처리에 적합하도록 변환한다. 화상 메모리(42)는, 확대·축소 회로(41)에 의해 변환된 화상 데이터를 일시적으로 보존하고, 컨트롤러(44)로부터 지정되는 판독 어드레스에 응하여 일정 사이즈의 화상을 잘라내어 얼굴 검출 코어(43)에 출력한다. 또한, 이 잘라진 화상의 데이터는 화상 RAM(19)에 기록되고, 후의 처리에서 이용할 수 있도록 되어 있다.
컨트롤러(44)는, CPU(21)로부터 공급되는 얼굴 검출 파라미터에 의거하여, 확대·축소 회로(41), 화상 메모리(42) 및 얼굴 검출 코어(43)의 동작을 제어한다. 예를 들면, 확대·축소 회로(41)에 대해서는 화상 데이터의 확대·축소율이, 화상 메모리(42)에 대해서는 기록·판독의 메모리 어드레스가, 얼굴 검출 코어(43)에 대해서는 얼굴의 탐색 방향 등을 지정하는 제어치가, 각각 컨트롤러(44)로부터 출력된다.
도 3은 얼굴 검출 회로에 의한 기본적인 얼굴 검출 처리의 흐름을 도시하는 플로우 차트이다.
[스텝 S11] CPU(21)는, 얼굴 검출 회로(14)의 컨트롤러(44)에 대해, 얼굴 검출 파라미터를 설정한다. 컨트롤러(44)는, 이 얼굴 검출 파라미터의 설정에 따라, 다음의 스텝 S12 이후의 동작을 제어한다.
[스텝 S12] 컨트롤러(44)는, 확대·축소 회로(41)에 대해 화상의 확대·축소율을 설정한다. 확대·축소 회로(41)는, 카메라 신호 처리 회로(13)로부터 출력되어 화상 RAM(19)에 기록된 화상 데이터를, 이 화상 RAM(19)으로부터 예를 들면 1프레임분만 판독하고, 컨트롤러(44)로부터의 설정에 따라 화상 사이즈를 변환하여, 화상 메모리(42)에 일시적으로 기록한다.
또한, 화상 메모리(42)의 용량을 억제하기 위해, 화상 RAM(19)상의 1프레임분의 화상중 일정 영역만을 판독하도록 하여도 좋다. 이 경우, 화상 전체의 데이터가 판독될 때까지 일정 영역의 데이터의 판독을 반복하여 행하고, 그때마다 스텝 S12 내지 S18의 처리를 반복하는 것으로 된다.
[스텝 S13] 컨트롤러(44)로부터 지정되는 판독 어드레스에 응하여, 화상 메모리(42)는, 스텝 S12에서 기록된 사이즈 변환 후의 화상으로부터, 일정 사이즈의 영역을 얼굴 윈도우로서 잘라내어, 얼굴 검출 코어(43)에 출력한다.
여기서, 스텝 S12 및 S13의 처리는, 화상 RAM(19)으로부터 판독한 화상 내에 존재할 수 있는 얼굴 영역을, 얼굴 검출 코어(43)가 검출 처리에 이용하는 얼굴 템플릿의 사이즈에 일치시키는 것을 목적으로 한 것이다. 즉, 얼굴 검출 코어(43)는, 미리 결정된 일정 사이즈의 얼굴 템플릿을 그 내부의 메모리로 보존하고 있고, 화상 메모리(42)는, 기록된 화상중에서 얼굴 템플릿과 같은 사이즈의 영역을 잘라낸다.
[스텝 S14] 얼굴 검출 코어(43)는, 화상 메모리(42)로부터 공급된 얼굴 윈도우와, 자신이 보존하고 있던 다수의 얼굴 템플릿과의 매칭 처리를 행하고, 그들 사이의 상관치를 계산한다.
[스텝 S15] 얼굴 검출 코어(43)는, 스텝 S14에서 계산된 상관치가 충분히 높은지의 여부에 의해, 얼굴 윈도우 내의 화상이 얼굴인지의 여부를 판정한다. 예를 들면, 계산된 상관치중의 최대치가 소정의 임계치를 초과하였는지의 여부에 응하 여, 얼굴인지의 여부를 판정한다.
[스텝 S16] 얼굴 검출 코어(43)는, 스텝 S15에서 얼굴이라고 판정한 경우는 스텝 S17의 처리를 실행하고, 얼굴이 아니라고 판정한 경우에는 스텝 S18의 처리를 실행한다.
[스텝 S17] 얼굴 검출 코어(43)는, 얼굴의 검출 결과를 내부의 메모리에 일시적으로 격납하고, 이것을 일시적으로 보존한다. 또한, 얼굴의 검출 결과로서는 예를 들면, 얼굴 영역의 정보(예를 들면, 화상 내의 기준 위치의 좌표와, 그 기준 위치로부터의 수평·수직 방향의 사이즈) 외에, 얼굴이 향하고 있는 방향, 얼굴의 경사각도, 촬영 화각, 얼굴다움을 나타내는 평가치(예를 들면 상기한 상관치에 의거한 평가치), 얼굴이 검출된 때의 확대·축소 회로(41)에서의 확대·축소율 등을 들 수 있다.
[스텝 S18] 컨트롤러(44)는, 화상 메모리(42)에 기억된 화상으로부터, 최후의 얼굴 윈도우가 이미 잘라졌는지의 여부를 판단한다. 잘라냄이 완료되지 않은 경우는, 얼굴 윈도우의 잘라냄 위치를 바꾸어 스텝 S13의 처리를 실행하고, 잘라냄이 완료된 경우는 스텝 S19의 처리를 실행한다.
[스텝 S19] 컨트롤러(44)는, CPU(21)로부터 설정된 얼굴 검출 파라미터에 의거하여, 얼굴의 검출 대상으로 하는 사이즈를 바꾸어 재차 얼굴 검출을 행하였는지의 여부를 판단한다. 재차 검출하지 않은 경우에는 스텝 S20의 처리로 진행한다. 또한, 재차 검출하는 경우에는 스텝 S12로 되돌아와, 화상 RAM(19)으로부터 같은 화상을 재차 판독하도록 제어한다. 이때, 확대·축소 회로(41)에 대한 확대·축소 율의 설정을 바꿈으로써, 입력 화상 내에 차지한 크기가 다른 얼굴을 검출할 수 있게 된다.
[스텝 S20] 얼굴 검출 코어(43)는, 스텝 S17에서 보존하고 있던 얼굴의 검출 결과를, CPU(21)에 출력한다. 여기서, 상기한 스텝 S11의 얼굴 검출 파라미터의 설정에 관해 보충 설명한다.
이 얼굴 검출 회로(14)에서는, CPU(21)로부터 설정되는 얼굴 검출 파라미터에 응하여, 얼굴 검출 회로(14)에서의 검출 정밀도나 검출 속도를 변화시킬 수 있다. 예를 들면, 같은 입력 화상에 대해, 확대·축소 회로(41)에서의 확대·축소율을 세밀하게 변화시킴으로써, 어떤 크기의 얼굴이라도 검출할 수 있게 되고, 검출 정밀도가 향상한다. 그 반면, 처리 속도는 저하되게 된다. 또한, 얼굴 검출 코어(43)에서 사용되는 얼굴 템플릿의 수에 의해서도, 검출 정밀도나 처리 속도가 변화한다. 예를 들면, 얼굴이 향하고 있는 방향이나 기울기가 다른 얼굴 템플릿을 이용하여 매칭 처리하면, 검출 정밀도를 향상시킬 수 있다.
또한, CPU(21)로부터의 얼굴 검출 파라미터에 응하여, 컨트롤러(44)는, 얼굴 검출 코어(43)에서의 얼굴의 탐색 방향(탐색 각도)을 지정할 수도 있다. 이 얼굴의 탐색 방향에 따른 얼굴의 검출에 관해, 다음의 도 4 및 도 5를 이용하여 설명한다.
도 4는 촬상시의 화각과 얼굴의 탐색 각도와의 관계를 설명하기 위한 도면이다. 또한, 도 4에서는 검출된 얼굴에 대응하는 얼굴 윈도우를 점선의 테두리에 의해 나타내고 있다. 동화상의 촬상시에는, 기록한 동화상이 일반적인 텔레비전 모니터에서 표시되기 때문에, 촬상 장치는 항상 일정한 방향으로 사용되고, 촬상된 화 상은 도 4(A)에 도시하는 바와 같이, 주사 기준점(Px0)이 좌상(左上)이 되도록 가로가 길다란 화각의 화상으로 된다. 이에 대해, 정지화상의 촬상시에는 촬상 장치가 다양하게 기울어져서 사용되기 때문에, 도 4(A)의 화각 이외에, 도 4(Ｂ)와 같이 주사 기준점(Px0)이 우상(右上)이 되도록 촬상 장치가 오른쪽 방향으로 기울어진 세로가 길다란 화각이나, 도 4(C)에 도시하는 바와 같이 촬상 장치가 왼쪽 방향으로 기울어진 세로가 길다란 화각 등이 상정된다. 이와 같이, 화상의 기울기가 다르면, 그 중의 얼굴 방향도 달라저 버리기 때문에, 얼굴 검출할 때에 어느 방향에 대해 얼굴을 탐색하여야 하는지를 제어할 필요가 생긴다. 이 때문에, 얼굴 검출 회로(14)의 컨트롤러(44)는, CPU(21)로부터의 얼굴 검출 파라미터에 응하여, 얼굴 검출 코어(43)에 대해 얼굴의 탐색 각도를 설정할 수 있도록 되어 있다.
도 5는, 얼굴의 탐색 각도의 정의의 한 예를 도시하는 도면이다. 얼굴 검출 코어(43)에 대해 설정되는 얼굴의 탐색 각도로서는, 예로서 도 5에 도시하는 바와 같이, 0°, ＋90°, -90°, 180°의 4종류가 설정 가능하게 되어 있다. 이 정의에서는, 도 4(A)에 도시하는 화각으로의 얼굴의 탐색 각도가 기준인 0°로 되어 있고, -90°, ＋90°가 각각 도 4(Ｂ), (C)에 도시하는 화각으로의 탐색 각도에 대응한다.
본 실시의 형태에 관한 촬상 장치는 중력 방향 센서(24)를 구비하고 있고, CPU(21)가 중력 방향 센서(24)로부터의 검출 신호에 따라, 촬상시에 있어서의 촬상 장치의 기울기를 자동적으로 판단하고, 그것에 응하여 상기한 얼굴의 탐색 각도를 얼굴 검출 파라미터로서 얼굴 검출 회로(14)에 대해 설정할 수 있다.
또한, 유저가 입력 키 등을 통하여 촬상시의 기울기를 입력하고, 그 입력 정보에 응하여 CPU(21)가 탐색 각도를 설정하여도 좋다. 또한, 탐색 각도의 설정 이력에 의거한 탐색 방향 빈도를 EEPROM(22)에 보존하여 두고, 다음의 얼굴 검출할 때에 CPU(21)가 이 탐색 방향 빈도를 판독하고, 그것을 기초로 탐색 각도를 예측하여 설정하여도 좋다. 또한, 기억 장치(18)에 기억된 정지화상 파일의 재생 화상으로부터 얼굴을 검출할 때에는, 이 정지화상 파일에 부수 정보로서 촬상시의 기울기 정보가 기억되어 있으면, CPU(21)가 이 기울기 정보를 기초로 탐색 각도를 설정하여도 좋다.
또한, 동일한 화상중에, 다른 기울기를 갖는 얼굴이 포함되어 있는 경우도 있다. 그러면, 하나의 화상으로부터의 얼굴을 검출할 때에, CPU(21)가 얼굴 검출 회로(14)에 대해 도 5에 도시하는 바와 같은 복수의 탐색 각도를 설정하여도 좋고, 이로써 얼굴의 검출 빠짐을 적게 할 수 있다.
다음에, 도 6은 프로그래머블 신호 처리 회로의 내부 구성예를 도시하는 블록도이다.
프로그래머블 신호 처리 회로(15)는, RAM(51), DSP(52 및 53), 컨트롤러(54)를 구비하고 있다. RAM(51)에는, 화상 RAM(19)으로부터 판독된 화상 데이터나, 컨트롤러(54)로부터 공급되는 프로그램 등이 일시적으로 기억된다. DSP(52 및 53)는, RAM(51)에 기억된 프로그램을 실행함으로써 얼굴 검출 처리 등을 실행하는 신호 처리 모듈이고, 본 실시의 형태에서는 예로서 2개 마련되어 있다. 컨트롤러(54)는, CPU(21)로부터의 제어 정보에 응하여, DSP(52 및 53)의 동작을 제어하고, RAM(51) 의 기록·판독 어드레스를 지정한다.
이 프로그래머블 신호 처리 회로(15)에서는, EEPROM(22)에 기억된 프로그램이 CPU(21)에 의해 판독되고, 컨트롤러(54)를 통하여 RAM(51)에 기억된다. 이와 함께, CPU(21)로부터 각종의 제어 파라미터가 주어져서, 컨트롤러(54)가 DSP(52 및 53)에 설정한다. 프로그래머블 신호 처리 회로(15)는, 이들의 프로그램 및 제어 파라미터의 내용에 따라, 복수의 ALU(Arithmetic Logic Unit)를 조합시켜서 얼굴 검출용의 명령 세트가 작성되고, 실행된다. 즉, CPU(21)로부터 새로운 프로그램이 로드됨으로써, 필요에 따라 프로그래머블 신호 처리 회로(15)에서 실행되는 처리 내용을 갱신하는 것이 가능하게 되어 있다.
얼굴 검출 처리가 실행되는 경우, 화상 RAM(19)으로부터 판독된 화상 데이터가 일단 RAM(51)에 기억되고, 얼굴 검출 처리를 실행하는 DSP(52 및 53)에 판독된다. 이때, 얼굴 검출 회로(14)에 의한 얼굴의 검출 결과에 의거한 정보가, DSP(52 및 53)에 대한 제어 파라미터로서 CPU(21)로부터 설정할 수 있도록 되어 있다. DSP(52 및 53)에 의한 얼굴의 검출 결과는, 컨트롤러(54)를 통하여 CPU(21)에 출력된다.
또한, 프로그래머블 신호 처리 회로(15)는, 화상의 기록시나 재생시에 있어서, CPU(21)로부터 RAM(51)에 로드되는 프로그램에 응하여, 화상 RAM(19)으로부터 판독한 화상 데이터에 대해 얼굴 검출 처리 이외의 다른 신호 처리를 시행할 수도 있다. 예를 들면, 카메라 신호 처리 회로(13)가 구비하는 검파 기능이나 화질 보정 기능의 일부를 실행하여도 좋다. 이 경우, 검파 결과는 CPU(21)에 공급되고, 화질 보정 처리 후의 화상 데이터는 화상 RAM(19)에 일시적으로 기억되어, 예를 들면 표시 처리 회로(16)나 화상 압축·신장 회로(17)에 판독된다. 또한, 화상의 기록시와 재생시에서 다른 처리가 실행되어도 좋다. 또한, 복수의 DSP(52 및 53)의 각각에 의해 다른 신호 처리가 실행되어도 좋다.
이상의 구성을 갖는 촬상 장치에서는, 얼굴 검출 회로(14) 및 프로그래머블 신호 처리 회로(15)의 쌍방에서, 얼굴 검출 처리를 실행할 수 있도록 되어 있다. 여기서, 얼굴 검출 회로(14)에 관해서는, 얼굴 검출 전용의 하드웨어 회로인 것이므로, 상술한 바와 같이 얼굴 검출 파라미터의 설정에 따라 검출 정밀도나 처리 속도 등의 변경의 여지는 있는 것이지만, 검출 순서 등을 크게 변경할 수는 없다. 이에 대해, 프로그래머블 신호 처리 회로(15)에 관해서는, CPU(21)로부터 로드되는 프로그램에 응하여, 검출 설정뿐만 아니라 예를 들면 검출 알고리즘까지도 크게 변경할 수 있고, 검출 정밀도 등에 대한 유연성이 높다. 그 반면, 예를 들면 같은 검출 알고리즘을 이용하여 같은 화상 영역으로부터 같은 검출 정밀도로 얼굴의 검출을 행한 경우, 얼굴 검출 회로(14) 쪽이 프로그래머블 신호 처리 회로(15)와 비교하여 고속으로 검출 처리를 실행할 수 있다.
그래서, 본 실시의 형태에 관한 촬상 장치에서는, 얼굴 검출 회로(14)에서의 하드웨어에 의한 얼굴 검출 처리와, 프로그래머블 신호 처리 회로(15)에서의 소프트웨어에 의한 얼굴 검출 처리를 병용하고, 각 블록에서 얻어지는 얼굴의 검출 결과를 적절히 조합시켜서 CPU(21)에 의해 최종적인 검출 결과를 출력하도록 한다. 후술하는 바와 같이, 얼굴 검출 회로(14)에 대해서는 주로, 검출 정밀도보다 검출 속도를 중시한 검출 알고리즘 및 얼굴 검출 파라미터를 적용한다. 또한, 프로그래머블 신호 처리 회로(15)에 대해서는, 예를 들면, 얼굴 검출 회로(14)에서의 얼굴 검출 처리보다도 파라미터 설정을 보다 세밀하게 하는, 또는 얼굴 검출 회로(14)에서는 불가능한 특정한 성질을 갖는 얼굴이 검출될 수 있도록 하는 등, 주로 검출 속도보다 검출 정밀도를 중시한 검출 알고리즘이나 얼굴 검출 파라미터를 적용한다. 그리고, 얼굴 검출 회로(14) 및 프로그래머블 신호 처리 회로(15)에서의 각 검출 처리를 적절히 직렬 또는 병렬로 실행시키고, 필요에 따라 한쪽의 검출 결과를 기초로 다른쪽의 얼굴 검출 파라미터를 설정할 수 있도록 한다.
이와 같은 동작에 의해, 하드웨어와 소프트웨어의 각각의 장점을 살리고, 처리 속도와 얼굴의 검출 정밀도를 가능한 한 양립시키도록 한다. 또한, 얼굴 검출 회로(14)와 프로그래머블 신호 처리 회로(15)를 구비한 같은 구성의 회로에서, 촬상 장치의 기종 변경이나 기능 확장에 대한 유연성을 높이고, 장기에 걸쳐서 개발·제조 비용을 억제할 수 있도록 한다.
이하, 얼굴 검출 회로(14)와 프로그래머블 신호 처리 회로(15)를 병용한 얼굴 검출 처리의 예에 관해, 구체적으로 설명한다.
[제 1의 얼굴 검출 처리]
도 7은 제 1의 얼굴 검출 처리의 개요를 설명하기 위한 도면이다.
도 7에 도시하는 제 1의 얼굴 검출 처리에서는, 얼굴 검출 회로(14)는, 입력 화상(P1)의 전체로부터 고속의 얼굴 검출 처리(스텝 S101)를 실행한다. 또한, 프로그래머블 신호 처리 회로(15)는, 얼굴 검출 회로(14)에 의한 검출 결과에 의거하 여, 입력 화상(P1)의 부분적인 영역으로부터 보다 고정밀도의 얼굴 검출 처리(스텝 S102)를 실행한다. 그리고, 각 블록에 의한 얼굴의 검출 결과를 기초로 CPU(21)가 최종적인 검출 결과를 출력한다.
구체적으로는, 얼굴 검출 회로(14)에서는, 다소의 오검출을 허용하여, 적어도 얼굴의 검출 빠짐이 회피되도록, 입력 화상 전체로부터 대략적인 얼굴 영역의 위치나 사이즈를 검출하고, 검출 정밀도보다 검출 속도를 손상시키지 않는 것을 우선시킨다. 도 7에서는, 이와 같은 얼굴 검출 회로(14)에서의 검출 처리에 의해, 입력 화상(P1)으로부터 얼굴 영역(A11 내지 A15)이 검출된 것을 나타내고 있고, 실제로는 얼굴이 존재하지 않는 영역(얼굴 영역(A14 및 A15))에서도 얼굴이 검출되어 있는 것을 알 수 있다.
한편, 프로그래머블 신호 처리 회로(15)에는, 얼굴 검출 회로(14)에서의 처리보다도 정확하게 얼굴 영역을 검출할 수 있도록 처리 프로그램 및 얼굴 검출 파라미터가 설정된다. 또한, 프로그래머블 신호 처리 회로(15)에서는, 얼굴의 영역의 위치나 사이즈를 정확하게 검출할 수 있음과 함께, 얼굴 검출 회로(14)와 비교하여 오검출을 회피할 수 있는 처리가 실행된다. 이때, CPU(21)는, 얼굴 검출 회로(14)에 의한 대략적인 검출 처리에 의해 얻어진 얼굴 영역의 검출 결과(얼굴 영역의 좌표, 사이즈 등)를 기초로, 프로그래머블 신호 처리 회로(15)에서의 얼굴 검출 영역을 한정함으로써, 프로그래머블 신호 처리 회로(15)에서는 고정밀도이고 처리 속도도 단축하도록 한다.
도 7의 예에서는, 이와 같은 프로그래머블 신호 처리 회로(15)에 의한 입력 화상(P1)으로부터의 얼굴 검출 처리의 결과, 얼굴 영역(11 내지 A13)에 각각 대응하는 얼굴 영역(16 내지 A18) 얼굴 영역으로서 검출됨과 함께, 오검출되어 있던 얼굴 영역(A14 및 A15)이 검출 결과로부터 제외되어 있고, 얼굴의 존재의 유무 및 그 존재 영역이 보다 정확하게 검출되어 있다.
프로그래머블 신호 처리 회로(15)는, 이와 같은 처리에 의한 얼굴의 검출 결과로서, 얼굴 영역의 정확한 좌표, 사이즈를 CPU(21)에 출력한다. 또한, 이 밖에 예를 들면, 검출된 얼굴 방향, 얼굴의 기울기, 얼굴다움을 평가한 평가치(예를 들면 템플릿 매칭에 의해 얻어진 상관치에 응한 정보), 얼굴 검출 회로(14)에서의 검출 결과중 얼굴이 존재하지 않은 영역을 나타내는 오검출 정보 등, 보다 상세한 파라미터를 검출하여 CPU(21)에 출력할 수 있도록 하여도 좋다. 도 7의 예에서는, 얼굴 영역(16)에서 얼굴의 방향이 화살표에 의해 도시되고, 얼굴 영역(A18)에서 얼굴의 기울기가 1점 쇄선에 의해 도시되어 있다.
CPU(21)는, 프로그래머블 신호 처리 회로(15)로부터의 이와 같은 검출 결과를 기초로 최종적인 검출 결과를 얻어서, AE, AF 등의 다른 제어 처리에 이용한다. 즉, 프로그래머블 신호 처리 회로(15)는, CPU(21)로부터 로드하는 프로그램의 사양이나 파라미터 설정에 따라, 최소한의 필요한 처리시간에 고정밀도면서도 다양한 검출 결과를 출력할 수 있고, 그 검출 결과의 응용 범위를 유연하게 확장할 수 있다.
또한, CPU(21)는, 프로그래머블 신호 처리 회로(15)로부터의 정확한 검출 결과를 기초로, 얼굴 검출 회로(14)에 대한 얼굴 검출 파라미터를 다시 산출하고, 설 정하는 것도 가능하다.
또한, 이 제 1의 얼굴 검출 처리에서는, 도 7과 같이, 얼굴 검출 회로(14) 및 프로그래머블 신호 처리 회로(15)에서, 같은 입력 화상(P1)의 데이터를 기초로 얼굴 검출 처리가 실행되는 것이 바람직하다. 그러나 실제의 처리에서는, 프로그래머블 신호 처리 회로(15)에서는, 얼굴 검출 회로(14)의 검출 대상의 화상에 대해 1프레임 또는 수프레임분 지연된 화상으로부터 검출이 행하여져도 좋다.
도 8은, 촬상 장치에서의 제 1의 얼굴 검출 처리의 흐름을 도시하는 플로우 차트이다.
[스텝 S111] CPU(21)는, 얼굴 검출 회로(14)에 대해 얼굴 검출 파라미터를 설정한다.
[스텝 S112] 얼굴 검출 회로(14)의 컨트롤러(44)는, CPU(21)로부터의 얼굴 검출 파라미터에 응하여 확대·축소 회로(41), 화상 메모리(42) 및 얼굴 검출 코어(43)를 제어하고, 화상 RAM(19)으로부터 순차로 판독한 1프레임분의 화상 데이터를 기초로, 대략적인 얼굴 영역을 검출하는 고속의 검출 처리를 실행시킨다.
[스텝 S113] 얼굴 검출 회로(14)에서의 얼굴 검출 처리가 종료되면, 얼굴 검출 코어(43)로부터 CPU(21)에 대해 얼굴의 검출 결과(예를 들면 얼굴 영역의 좌표, 사이즈)가 출력된다.
[스텝 S114] CPU(21)는, 얼굴 검출 회로(14)로부터 공급된 검출 결과를 기초로, 프로그래머블 신호 처리 회로(15)에 대한 얼굴 검출 파라미터를 설정한다. 여기서는 예를 들면, 얼굴 검출 회로(14)에 의해 검출된 얼굴 영역과 그 주위만을 얼 굴의 탐색 범위로 하도록, 프로그래머블 신호 처리 회로(15)에 대해 얼굴 검출 파라미터에 의해 지시한다. 또한, 프로그래머블 신호 처리 회로(15)의 RAM(51)에 대해서는, 예를 들면 스텝 S111의 실행 전에 미리 필요한 얼굴 검출 프로그램이 CPU(21)로부터 미리 로드된다.
[스텝 S115] 프로그래머블 신호 처리 회로(15)의 컨트롤러(54)는, CPU(21)로부터의 얼굴 검출 파라미터에 응하여, 화상 RAM(19)으로부터 판독한 화상 데이터중, 얼굴 검출 회로(14)에서 검출된 얼굴 영역 및 그 주위에 대응하는 데이터만을 DSP(52 및 53)(또는 이들의 한쪽)에 전송하고, 검출 정밀도를 중시한 얼굴 검출 처리를 실행시킨다.
[스텝 S116] 프로그래머블 신호 처리 회로(15)의 컨트롤러(54)는, DSP(52 및 53)로부터 얼굴의 검출 결과를 수취하고, CPU(21)에 대해 출력한다.
[스텝 S117] CPU(21)는, 프로그래머블 신호 처리 회로(15)로부터의 얼굴의 검출 결과를 기초로 최종적인 얼굴의 검출 결과를 생성한다.
또한, 스텝 S114 내지 S116의 처리를, 얼굴 검출 회로(14)에 의해 얼굴이 검출된 경우만 실행하여도 좋다.
[스텝 S118] CPU(21)는, 얼굴 검출 처리를 종료하였는지의 여부를 판단하고, 종료하지 않은 경우는 스텝 S119의 처리를 실행한다.
[스텝 S119] CPU(21)는, 프로그래머블 신호 처리 회로(15)로부터의 얼굴의 검출 결과를 기초로, 얼굴 검출 회로(14)에 대한 얼굴 검출 파라미터를 재계산한다. 이 후, 스텝 S111로 되돌아와, 산출한 얼굴 검출 파라미터를 얼굴 검출 회 로(14)에 설정하고, 다음의 화상으로부터의 얼굴 검출 처리를 시작시킨다.
얼굴 검출 파라미터의 재계산 처리로서는, 이하와 같은 순서가 고려된다. 예를 들면, 프로그래머블 신호 처리 회로(15)에서 검출된 얼굴 영역의 위치, 사이즈 등의 정보를 기초로, 얼굴 검출 회로(14)에서의 얼굴의 탐색 범위를 한정한다. 이때, 프로그래머블 신호 처리 회로(15)에서 검출된 얼굴의 방향의 정보를 기초로 CPU(21)가 움직임 벡터를 산출하고, 그 움직임 벡터를 기초로 얼굴 검출 회로(14)에서의 얼굴의 탐색 범위를 지정하여도 좋다. 또한, 산출된 움직임 벡터의 정보를, 화상 파일의 부수 데이터로서 기억 장치(18)에 기록하는, 또는 외부 기기에 출력하여도 좋다.
또한, 프로그래머블 신호 처리 회로(15)로부터의 오검출 정보를 기초로, 얼굴 검출 회로(14)에서 오검출된 얼굴 영역에서 얼굴의 탐색을 행하지 않도록 제어하여도 좋다. 또한, 프로그래머블 신호 처리 회로(15)에서 검출된 얼굴 방향이나 기울기의 정보를 기초로, 얼굴 검출 회로(14)에서의 매칭 처리에서 사용하는 얼굴의 템플릿을 필요성이 높은 것만으로 한정하도록 제어하여도 좋다.
이상의 제 1의 얼굴 검출 처리에서는, 얼굴 검출 회로(14)에 의해, 입력 화상 전체로부터 검출 빠짐이 없도록 대략적으로 얼굴 영역을 검출시킴으로써, 얼굴 검출 회로(14)에서는 얼굴 검출 처리가 고속으로 실행된다. 또한, 그 검출에 의해 얻어진 얼굴 영역의 주위만을 얼굴의 탐색 범위로 하여, 프로그래머블 신호 처리 회로(15)에 의해 고정밀도의 얼굴 검출 처리가 실행된다. 이 프로그래머블 신호 처리 회로(15)는, 얼굴 영역을 정확하게 검출하여 얼굴 검출 회로(14)에서의 검출 결 과를 보정할 수 있고, 그럼에도 불구하고, 얼굴의 탐색 범위가 한정되기 때문에 검출 처리시간을 단축할 수 있다. 따라서, 예를 들면 프로그래머블 신호 처리 회로(15) 단체(單體)로 얼굴 검출을 행한 경우와 동등한 검출 정밀도를 유지하면서, 그 검출 속도를 대폭적으로 고속화할 수 있다. 예를 들면, 이와 같은 얼굴의 검출 결과를 이용하여, 검출된 얼굴을 추적하면서의 AF 제어나 화이트 밸런스 등의 화질 조정 등을, 비교적 저부하의 처리로 용이하게 실현할 수 있게 된다.
또한, 얼굴 검출 회로(14)에 의한 검출 결과를 기초로 프로그래머블 신호 처리 회로(15)에서의 얼굴의 탐색 범위를 한정할 수 있기 때문에, 프로그래머블 신호 처리 회로(15)에서는, 처리시간을 증대시키는 일 없이, 얼굴 방향이나 기울기 등의 다양한 검출 결과를 출력할 수 있도록 되고, 그 검출 결과의 응용 범위를 유연하게 확장할 수 있다.
또한, 프로그래머블 신호 처리 회로(15)에 의한 검출 결과를 기초로, 다음에 얼굴 검출 회로(14)에 대해 설정하는 얼굴 검출 파라미터를 재계산함으로써, 얼굴 검출 회로(14)에서의 처리를 효율화하여, 그 처리시간도 단축할 수 있다. 예를 들면, 일정 시간의 범위에서, 프로그래머블 신호 처리 회로(15)에서 검출된 얼굴 영역의 주위만을 얼굴 검출 회로(14)에서의 다음의 입력 화상에서의 얼굴의 탐색 영역으로 하여, 처리시간을 단축한 경우에도, 인접하는 입력 화상 사이에서는 상관이 높기 때문에, 그 검출 정밀도를 어느 정도 유지할 수 있다.
또한, 상기한 처리 순서에서의 얼굴 검출 회로(14) 또는 프로그래머블 신호 처리 회로(15)에서의 얼굴 검출 처리나, 얼굴 검출 회로(14)에 대한 얼굴 검출 파 라미터의 재계산 처리 등을, 촬상 장치에 설정되는 동작 모드에 응하여 선택적으로 실행하도록 하여도 좋다.
예를 들면, 정지화상 기록 모드인 경우, CPU(21)는, 기록 조작 전에 촬상되어 있는 화상을 모니터에 표시시키고, 유저가 화각 맞춤을 하고 있는 상태에서는, 스텝 S112, S113에서의 얼굴 검출 회로(14)에서의 얼굴 검출 처리만을 실행시키고, 그 검출 결과를 기초로 AE, AF 등을 제어한다. 이로써 검출 정밀도는 떨어지지만, 화상을 고속으로 표시할 수 있고, 그 동안의 소비 전력도 억제할 수 있다. 그리고, 예를 들면 셔터 릴리스 버튼이 반누름으로 되었을 때에, 스텝 S115, S116에서의 프로그래머블 신호 처리 회로(15)에서의 얼굴 검출 처리도 실행하여, 정확한 얼굴 검출 처리를 행하도록 하여도 좋다. 또한, 동화상 기록 모드인 경우에는, 스텝 S119에서의 얼굴 검출 회로(14)에 대한 얼굴 검출 파라미터의 재계산 처리를 예를 들면 일정 시간마다 실행하여, 얼굴의 검출 정밀도를 유지하면서도 전체의 처리 부하를 저하시키고, 소정의 프레임 레이트에서의 화상 기록을 확실하게 실행할 수 있도록 하여도 좋다.
또한, 상기한 플로우 차트에서는, 얼굴 검출 회로(14)에서의 얼굴 검출 처리와 프로그래머블 신호 처리 회로(15)에서의 얼굴 검출 처리를 직렬로 실행하였지만, 이들을 병렬로 실행하여도 좋다. 예를 들면, 얼굴 검출 회로(14)에서는 1프레임마다 얼굴 검출이 가능하지만, 프로그래머블 신호 처리 회로(15)에서는 1프레임분의 주기 내에서 얼굴 검출할 수 없는 경우가 고려된다. 이와 같은 경우에, 얼굴 검출 회로(14)에 의해 검출된 대략적인 얼굴 영역의 정보를 매프레임의 검출 결과 로서 CPU(21)가 출력함과 함께, 프로그래머블 신호 처리 회로(15)로부터 수프레임마다 출력되는 정확한 얼굴 영역의 정보를 이용하여, CPU(21)가 얼굴 검출 회로(14)에 의한 검출 결과를 보정한다. 프로그래머블 신호 처리 회로(15)에서는, 얼굴 검출 회로(14)에 의한 최신의 검출 결과를 기초로 얼굴의 탐색 범위가 지정되면 좋다. 또한, 상기한 스텝 S119의 처리와 마찬가지로, 프로그래머블 신호 처리 회로(15)에서의 검출 결과를 기초로, 얼굴 검출 회로(14)에 대한 얼굴 검출 파라미터를 재설정하여도 좋다. 이와 같은 처리에 의해, 예를 들면 동화상의 기록시 등에 있어서, 얼굴 영역의 검출 결과를 1프레임마다 확실하게 출력할 수 있음과 함께, 그 검출 결과의 정밀도를 높일 수 있다.
또한, 병렬로 처리하는 경우의 다른 예로서는, 얼굴 검출 회로(14)에서 얼굴 검출 처리가 실행되면, 프로그래머블 신호 처리 회로(15)에서는 그 검출 결과를 기초로, 다음의 프레임의 화상으로부터 얼굴 검출 처리를 실행한다. 이때, 프로그래머블 신호 처리 회로(15)에서의 얼굴 검출 처리와 동시에, 얼굴 검출 회로(14)에서 같은 프레임의 화상으로부터의 얼굴 검출 처리를 시작시키도록 한다. 또는, 얼굴 검출 회로(14)의 쪽이 단시간에 처리할 수 있는 경우에는, 얼굴 검출 회로(14)는, 자신에 의한 얼굴 검출 처리의 종료 타이밍이, 프로그래머블 신호 처리 회로(15)에서의 얼굴 검출 처리의 종료 타이밍에 맞도록, 다음 이후의 프레임으로부터의 얼굴 검출 처리를 시작한다. 이와 같은 처리에 의해, 얼굴 영역의 검출 결과를 1프레임마다 확실하게 출력할 수 있음과 함께, 그 검출 결과의 정밀도를 높일 수 있도록 된다.
[제 2의 얼굴 검출 처리]
도 9는, 제 2의 얼굴 검출 처리의 개요를 설명하기 위한 도면이다.
도 9에 도시하는 제 2의 얼굴 검출 처리에서는, 얼굴 검출 회로(14)는, 입력 화상(P2)의 전체로부터 얼굴을 검출하고, 그 얼굴의 전체가 포함되는 영역의 정보를 출력한다(스텝 S201). 또한, 프로그래머블 신호 처리 회로(15)는, 입력 화상(P2)으로부터, 눈, 입, 입술, 코, 눈섭, 안경, 마스크 등, 얼굴의 내부 및 주위의 파츠(이하, 단지 「얼굴의 파츠」라고 부른다.)의 위치나 상태(파츠의 방향, 기울기, 형상 등)를 검출한다(스텝 S202). 이때, 프로그래머블 신호 처리 회로(15)는, 입력 화상(P2)중, 얼굴 검출 회로(14)에 의해 검출된 얼굴 영역만, 또는 그 주위를 포함하는 영역만을, 얼굴의 파츠의 탐색 영역으로 함으로써, 파츠 검출에 필요로 하는 시간을 단축한다.
또한, 얼굴 검출 회로(14)에서는, 얼굴의 좌표나 사이즈뿐만 아니라, 그 얼굴 방향이나 기울기를 검출할 수 있도록 하여도 좋다. 이들의 정보를 얼굴 검출 파라미터로서 프로그래머블 신호 처리 회로(15)에 설정하도록 하면, 프로그래머블 신호 처리 회로(15)에서는, 얼굴의 파츠의 방향, 기울기, 위치의 치우침 등을 미리 알 수 있기 때문에, 보다 고속이면서 고정밀도로 파츠 검출을 실행할 수 있게 된다. 또한, 프로그래머블 신호 처리 회로(15)는, 얼굴의 파츠의 위치나 그 상태 등의 검출 결과로부터, 그 얼굴의 표정을 평가한 평가치를 출력할 수 있도록 하여도 좋다.
도 9의 예에서는, 얼굴 검출 회로(14)에서의 검출 처리에 의해, 입력 화 상(P2)으로부터 얼굴 영역(21 내지 A23)이 검출되어 있고, 얼굴 영역(21)에서는 얼굴 방향이 화살표에 의해 도시되고, 얼굴 영역(23)에서는 얼굴의 기울기가 1점 쇄선에 의해 도시되어 있다. 또한, 이들의 영역중, 얼굴 영역(A22)부터는, 프로그래머블 신호 처리 회로(15)의 처리에 의해, 얼굴의 파츠로서 눈의 영역(A24 및 A25)과 입의 영역(A26)이 검출되어 있다.
또한, 이 제 2의 얼굴 검출 처리에서도, 제 1의 얼굴 검출 처리와 마찬가지로, 얼굴 검출 회로(14) 및 프로그래머블 신호 처리 회로(15)에서, 같은 입력 화상(P2)의 데이터를 기초로 얼굴이나 파츠의 검출 처리가 실행된 것이 바람직하다. 그러나 실제의 처리에서는, 프로그래머블 신호 처리 회로(15)에서는, 얼굴 검출 회로(14)의 검출 대상의 화상에 대해 1프레임 또는 수프레임분 지연된 화상으로부터 검출이 행하여져도 좋다.
도 10은, 촬상 장치에서의 제 2의 얼굴 검출 처리의 흐름을 도시하는 플로우 차트이다.
[스텝 S211] CPU(21)는, 얼굴 검출 회로(14)에 대해 얼굴 검출 파라미터를 설정한다.
[스텝 S212] 얼굴 검출 회로(14)의 컨트롤러(44)는, CPU(21)로부터의 얼굴 검출 파라미터에 응하여 확대·축소 회로(41), 화상 메모리(42) 및 얼굴 검출 코어(43)를 제어하고, 화상 RAM(19)으로부터 순차로 판독한 1프레임분의 화상 데이터를 기초로, 얼굴 전체의 영역을 검출하는 처리를 실행시킨다.
[스텝 S213] 얼굴 검출 회로(14)에서의 얼굴 검출 처리가 종료되면, 얼굴 검 출 코어(43)로부터 CPU(21)에 대해 얼굴의 검출 결과(얼굴 영역의 좌표, 사이즈, 향함, 기울기 등)가 출력된다.
[스텝 S214] CPU(21)는, 얼굴 검출 회로(14)로부터 공급된 검출 결과를 기초로, 프로그래머블 신호 처리 회로(15)에 대한 얼굴 검출 파라미터를 설정한다. 여기서는 예를 들면, 얼굴 검출 회로(14)에 의해 검출된 얼굴 영역과 그 주위만을 얼굴의 탐색 범위로 하도록, 프로그래머블 신호 처리 회로(15)에 대해 얼굴 검출 파라미터에 의해 지시한다. 이와 함께, 그 얼굴 방향, 기울기 등의 정보도 통지한다.
[스텝 S215] 프로그래머블 신호 처리 회로(15)의 컨트롤러(54)는, CPU(21)로부터의 얼굴 검출 파라미터에 응하여, 화상 RAM(19)으로부터 판독한 화상 데이터중, 얼굴 검출 회로(14)에서 검출된 얼굴 영역 및 그 주위에 대응하는 데이터만을 DSP(52 및 53)(또는 이들의 한쪽)에 전송하고, 얼굴의 파츠의 얼굴 검출 처리 및 표정 평가 처리를 실행시킨다.
[스텝 S216] 프로그래머블 신호 처리 회로(15)의 컨트롤러(54)는, DSP(52 및 53)로부터 얼굴의 파츠의 검출 결과나 표정 평가치를 수취하고, CPU(21)에 대해 출력한다.
[스텝 S217] CPU(21)는, 프로그래머블 신호 처리 회로(15)로부터 파츠 검출 결과나 표정 평가치를 기초로 최종적인 얼굴의 검출 결과를 생성한다.
또한, 스텝 S214 내지 S216의 처리를, 얼굴 검출 회로(14)에 의해 얼굴이 검출된 경우만 실행하여도 좋다.
[스텝 S218] CPU(21)는, 얼굴 검출 처리를 종료하였는지의 여부를 판단하고, 종료하지 않은 경우는 스텝 S211로 되돌아와, 얼굴 검출 회로(14)에 의한 얼굴 검출 처리를 재차 실행시킨다.
이상의 제 2의 얼굴 검출 처리에서는, 얼굴 검출 회로(14)에 의한 얼굴 영역의 검출 결과를 기초로, 프로그래머블 신호 처리 회로(15)에서 탐색 영역을 한정하여 얼굴의 파츠가 검출되기 때문에, 프로그래머블 신호 처리 회로(15)에서의 처리시간이 단축되고, 얼굴의 파츠의 검출 정밀도를 유지하면서도 검출 처리를 고속화할 수 있다. 또한, 얼굴 검출 회로(14)에 의해 검출된 얼굴 방향이나 기울기의 정보를, 프로그래머블 신호 처리 회로(15)에서 제어 파라미터로서 사용할 수 있도록 함으로써, 프로그래머블 신호 처리 회로(15)에서의 검출 처리가 한층 효율화되고, 처리 속도를 향상시킬 수 있다.
또한, 프로그래머블 신호 처리 회로(15)에서는, 어느 파츠를 검출하는지, 그 파츠의 위치, 크기, 상태 등중 어느 정보를 검출 결과로 하는지, 그들의 검출 결과에 의거하여 어떤 표정을 평가하는지 라는 것을, CPU(21)로부터의 제어 파라미터나, 또는 실행하는 프로그램을 변경함에 의해 적절히 변경할 수 있다. 이와 같은 변경은, 예를 들면 유저 조작에 의한 촬상 모드의 선택에 따라 행하거나, 촬상중의 상황에 따라 자동적으로 행할 수 있다.
프로그래머블 신호 처리 회로(15)에서는 예를 들면, 얼굴의 파츠의 상태로부터, 웃는 얼굴이나 진지한 얼굴 등의 표정을 판정하거나, 그 정도를 평가할 수 있다. 이와 같은 판정·평가 결과는, CPU(21)의 제어에 의해 예를 들면, 인물의 포트레이트 촬상일 때에, 그 사람물의 표정이 웃는 얼굴로 되었을 때에 자동적으로 셔 터를 누르는, 또는, 증명 사진을 촬상할 때에 웃지 않는 얼굴을 자동적으로 촬상한다는 제어에 이용할 수 있다.
또한, CPU(21)의 제어에 의해, 눈의 상태의 검출 결과로부터 눈을 깜빡이고 있는지의 여부를 판정하고, 촬상되어 있는 모든 인물이 눈을 깜빡이지 않는 타이밍에서 자동적으로 셔터를 누르도록 할 수도 있다. 또한, 눈의 상태의 검출 결과로부터 피사체의 인물이 주시하고 있는 방향을 추정하고, 촬상 렌즈를 주시하고 있는 때에만 셔터를 누르는 것을 가능하게 할 수도 있다. 또한, 눈의 상태의 검출 결과로부터, 이른바 적목(赤目)의 상태나 안구로부터 광이 반사하고 있는 경우 등, 눈의 부분의 색이 바람직하지 않는 경우를 검출하고, 셔터 동작을 제어하는, 또는 촬상된 화상의 색 보정을 행하는 것도 가능해진다.
또한, 입이나 입술 부분의 상태의 검출 결과로부터 피사체의 인물이 이야기하고 있는지의 여부를 판정하고, 이야기하고 있는 경우에 자동적으로 마이크로폰을 온으로 하거나, 그 판정 결과를 셔터 동작의 타이밍 제어에 이용할 수도 있다.
이와 같이, 이 촬상 장치에서는, 내부 구성을 변경하는 일 없이, 부가 가치가 높은 다양한 기능을 탑재할 수 있게 되고, 저렴하고 고기능의 상품이 실현된다. 또한, 신제품의 발매일때에도, 기본 구성을 바꾸는 일 없이 유연하게 사양을 변경할 수 있게 된다.
또한, 이 제 2의 얼굴 검출 처리에서도, 상기한 플로우 차트와 같이, 얼굴 검출 회로(14) 및 프로그래머블 신호 처리 회로(15)에서의 각 얼굴 검출 처리를 직렬로 실행하는 것은 아니고, 이들을 병렬로 실행하여도 좋다. 예를 들면, 얼굴 검 출 회로(14)에서 얼굴 검출 처리가 실행되면, 프로그래머블 신호 처리 회로(15)에서는 그 검출 결과를 기초로, 다음의 프레임의 화상으로부터 얼굴 검출 처리를 실행한다. 이때, 프로그래머블 신호 처리 회로(15)에서의 얼굴 검출 처리와 동시에, 얼굴 검출 회로(14)에서 같은 프레임의 화상으로부터의 얼굴 검출 처리를 시작시키도록 한다. 또는, 얼굴 검출 회로(14) 쪽이 단시간에 처리할 수 있는 경우에는, 얼굴 검출 회로(14)는, 자신에 의한 얼굴 검출 처리의 종료 타이밍이, 프로그래머블 신호 처리 회로(15)에서의 얼굴 검출 처리의 종료 타이밍에 맞도록, 다음 이후의 프레임으로부터의 얼굴 검출 처리를 시작한다. 이와 같은 처리에 의해, 얼굴의 파츠의 검출 결과를 1프레임마다 확실하게 출력할 수 있게 됨과 함께, 그 검출 결과의 정밀도를 높일 수 있다.
[제 3의 얼굴 검출 처리]
도 11은, 제 3의 얼굴 검출 처리의 개요를 설명하기 위한 도면이다.
도 11에 도시하는 제 3의 얼굴 검출 처리에서는, 얼굴 검출 회로(14)는, 입력 화상(P3)의 데이터중 휘도 정보만으로부터 얼굴을 검출한다(스텝 S301). 한편, 프로그래머블 신호 처리 회로(15)는, 입력 화상(P3)중의 살색 영역을 나타내는 정보를 기초로 얼굴을 검출한다(스텝 S302). 예를 들면, 살색의 색상의 영역을 검출하고, 그 영역 또는 그 주위를 포함하는 영역에서, 얼굴 검출 회로(14)와는 다른 검출 알고리즘에 의해 얼굴을 검출한다. 또는, 검출한 살색 영역 자체를 얼굴 영역으로서 검출하여도 좋다.
CPU(21)는, 각 블록으로부터의 검출 결과를 가미하여 최종적인 얼굴 영역을 판정하고(스텝 S303), 이로써 고정밀도의 얼굴 검출을 실현한다. 예를 들면, 얼굴 검출 회로(14)에서는, 휘도 정보만을 이용하여 얼굴을 검출한 구성으로 함으로써 처리 속도를 향상시킬 수 있지만, 그 반면, 얼굴의 오검출이나 검출 빠짐이 발생하는 경우가 있을 수 있다. 이와 같은 경우에, 살색 영역의 검출을 기초로 얼굴을 보다 정확하게 검출하여, 얼굴 검출 회로(14)에서의 검출 결과를 보완할 수 있다.
도 11의 예에서는, 얼굴 검출 회로(14)에 의해 검출된 얼굴 영역(A31)에서는, 피부의 색과 동일한 밝기나 모양의 영역을 얼굴이라고 오검출하고 있다. 그러나, 프로그래머블 신호 처리 회로(15)에서의 얼굴 검출에 의해, 얼굴 영역(A31)이 잘못 검출되었음을 알 수 있고, 이 얼굴 영역(A31)을 최종적으로 검출 결과로부터 제거할 수 있다. 또한, 프로그래머블 신호 처리 회로(15)에서는 얼굴 영역(A36)이 검출되어 있지만, 얼굴 검출 회로(14)에서는 이것에 대응한 영역에서는 얼굴이 검출되어 있지 않다. 이 영역에서는 모자에 의해 얼굴의 일부가 숨겨져 있기 때문에, 얼굴 검출 회로(14)에서 검출 빠짐이 발생하였다고 생각되지만, 프로그래머블 신호 처리 회로(15)에서의 얼굴 검출에 의해 이와 같은 검출 빠짐이 방지된다.
이상의 예에서는, 한쪽의 검출 알고리즘의 약점을 다른쪽의 검출 알고리즘에서의 검출 결과에 의해 보완하고 있지만, 서로의 검출 알고리즘의 약점을 서로 보완하도록 CPU(21)가 제어하여도 좋다. 또한, CPU(21)는, 각 블록으로부터의 검출 결과를 기초로, 각 블록에 대한 얼굴 검출 파라미터를 재설정하고, 보다 효율 좋게 얼굴 검출이 실행되도록 하여도 좋다.
도 12는, 촬상 장치에서의 제 3의 얼굴 검출 처리의 흐름을 도시하는 플로우 차트이다.
[스텝 S311] CPU(21)는, 얼굴 검출 회로(14)에 대해 얼굴 검출 파라미터를 설정한다.
[스텝 S312] 얼굴 검출 회로(14)의 컨트롤러(44)는, CPU(21)로부터의 얼굴 검출 파라미터에 응하여 확대·축소 회로(41), 화상 메모리(42) 및 얼굴 검출 코어(43)를 제어하고, 화상 RAM(19)으로부터 순차로 판독한 1프레임분의 휘도 정보를 기초로 얼굴 영역을 검출하는 처리를 실행시킨다.
[스텝 S313] 얼굴 검출 회로(14)에서의 얼굴 검출 처리가 종료되면, 얼굴 검출 코어(43)로부터 CPU(21)에 대해 얼굴의 검출 결과(얼굴 영역의 좌표, 사이즈 등)가 출력된다.
[스텝 S314] 한편, CPU(21)는, 스텝 S311의 처리와 병행하여, 프로그래머블 신호 처리 회로(15)에 대해 얼굴 검출 파라미터를 설정한다.
[스텝 S315] 프로그래머블 신호 처리 회로(15)의 컨트롤러(54)는, CPU(21)로부터의 얼굴 검출 파라미터에 응하여, 화상 RAM(19)으로부터 판독한 화상 데이터를 DSP(52 및 53)(또는 이들의 한쪽)에 전송하고, 살색 영역에 의거한 얼굴 검출 처리를 실행시킨다.
또한, 상술한 바와 같이, 프로그래머블 신호 처리 회로(15)에서는, 예를 들면, 입력 화상의 색성분으로부터 살색의 색상의 영역을 검출하고, 그 영역 또는 그 주위를 포함하는 영역에서, 얼굴 검출 회로(14)와는 다른 검출 알고리즘에 의해 얼굴을 검출한다. 또는, 그 영역에서 얼굴 검출 회로(14)와는 다른 신호 성분(색차 성분 등)을 기초로 얼굴을 검출하여도 좋다.
또한, 살색 영역은, 프로그래머블 신호 처리 회로(15)가 아니고, 예를 들면 카메라 신호 처리 회로(13)가 화이트 밸런스 조정 등을 위해 종래로부터 구비하고 있는 검파 기능에 의해 검파되어도 좋다. 이 경우, CPU(21)는, 이 검파 기능에 의해 검출된 살색 영역 또는 그 주위를 포함하는 영역을 얼굴의 탐색 영역으로 하도록, 프로그래머블 신호 처리 회로(15)에 지정한다.
[스텝 S316] 프로그래머블 신호 처리 회로(15)의 컨트롤러(54)는, DSP(52 및 53)로부터 얼굴 영역의 검출 결과를 수취하고, CPU(21)에 대해 출력한다.
[스텝 S317] CPU(21)는, 얼굴 검출 회로(14) 및 프로그래머블 신호 처리 회로(15)로부터의 각 검출 결과를 기초로, 최종적인 검출 결과를 생성한다.
[스텝 S318] CPU(21)는, 얼굴 검출 처리를 종료하였는지의 여부를 판단하고, 종료하지 않은 경우는 스텝 S319의 처리를 실행한다.
[스텝 S319] CPU(21)는, 얼굴 검출 회로(14) 및 프로그래머블 신호 처리 회로(15)로부터의 각 검출 결과를 기초로, 각각의 블록에 대한 얼굴 검출 파라미터를 재계산한다. 이 후, 스텝 S311 및 S314로 되돌아와, 산출한 얼굴 검출 파라미터를 각 블록에 설정하고, 다음의 화상으로부터의 얼굴 검출 처리를 시작시킨다.
이상과 같이, 얼굴 검출 회로(14) 및 프로그래머블 신호 처리 회로(15)에서의 얼굴 검출 처리는, 각각 병렬로 실행되고, 그들의 처리에 의한 검출 결과를 기초로 CPU(21)에 의해 최종적인 검출 결과가 얻어진다. 이로써, 한쪽의 블록, 또는 서로의 블록에 의한 검출 알고리즘의 약점을 CPU(21)의 처리에 의해 보완하여, 얼 굴 영역을 정확하게 검출할 수 있다.
또한, 상기한 플로우 차트에서는, 얼굴 검출 회로(14) 및 프로그래머블 신호 처리 회로(15)에서의 얼굴 검출 처리를 각각 1회씩 병렬로 실행하고 있지만, 예를 들면 얼굴 검출 회로(14)에 의한 처리의 쪽이 단시간에 처리할 수 있는 경우에는, 프로그래머블 신호 처리 회로(15)가 1프레임분의 얼굴 검출 처리를 행하는 동안에, 얼굴 검출 회로(14)가 복수 프레임분의 얼굴 검출 처리를 행하도록 하여도 좋다. 이 경우, CPU(21)는 예를 들면, 얼굴 검출 회로(14)로부터 검출 결과가 출력될 때마다, 그 검출 결과와, 프로그래머블 신호 처리 회로(15)로부터의 최신의 검출 결과를 기초로 최종적인 검출 결과를 생성한다. 이와 같은 처리에 의해, 예를 들면 동화상의 기록시 등에 있어서, 얼굴 영역의 검출 결과를 1프레임마다 확실하게 출력할 수 있음과 함께, 그 검출 결과의 정밀도를 높일 수 있다.
또한, 스텝 S319에서의 얼굴 검출 파라미터의 재계산 처리에 의해, 얼굴 검출 회로(14) 및 프로그래머블 신호 처리 회로(15)에서의 얼굴 검출 처리를 효율화할 수 있다. 예를 들면, 프로그래머블 신호 처리 회로(15)는, 검출에 의해 얻어진 얼굴 영역의 정보와 함께 살색 영역의 정보를 CPU(21)에 출력하도록 하고, CPU(21)는, 예를 들면 그 후의 소정 회수에 관해서는 입력 화상으로부터 살색 영역을 포함하는 부분적인 영역만을 얼굴의 탐색 범위로 하도록, 프로그래머블 신호 처리 회로(15)에 대한 얼굴 검출 파라미터를 재계산한다. 이로써, 프로그래머블 신호 처리 회로(15)에서의 처리시간을 단축할 수 있다. 또한, 이와 같은 기능은, CPU(21)의 제어가 아니라, 프로그래머블 신호 처리 회로(15)에서 실행되어 있는 검출 프로그 램에 의해 실현되어 있어도 좋다.
또한 예를 들면, 얼굴 검출 회로(14)에 대해서도 살색 영역을 포함하는 부분적인 영역만을 얼굴의 탐색 범위로 하고, 이와 함께 얼굴의 검출 정밀도를 높이도록 얼굴 검출 파라미터를 재설정하여도 좋다. 이 경우, 얼굴 검출 회로(14)는 예를 들면 일정 회수마다 입력 화상의 전면으로부터 얼굴 검출을 행하고, 그 사이에는 살색 영역에 의거한 탐색 범위만으로부터 얼굴을 검출한다. 이와 같이, 2개의 처리 블록에서 다른 알고리즘을 이용하여 얼굴을 검출하거나, 또는 다른 화상 성분을 기초로 얼굴을 검출하는 경우 등에는, 한쪽 블록의 검출 결과를 다른쪽 블록에서의 얼굴 검출 처리에 반영시킴으로써, 전체에서의 검출 속도를 높이면서, 검출 정밀도를 향상시킬 수 있다.
또한, 상기한 처리 순서에서의 얼굴 검출 회로(14) 또는 프로그래머블 신호 처리 회로(15)에서의 얼굴 검출 처리나, 얼굴 검출 회로(14)와 프로그래머블 신호 처리 회로(15)에 대한 얼굴 검출 파라미터의 재계산 처리 등을, 촬상 장치에 설정되는 동작 모드에 응하여 선택적으로 실행하도록 하여도 좋다.
예를 들면, 정지화상 기록 모드인 경우, CPU(21)는, 기록 조작 전에 촬상되어 있는 화상을 모니터에 표시시키고, 유저가 화각 맞춤을 하고 있는 상태에서는, 스텝 S312, S313에서의 얼굴 검출 회로(14)에서의 얼굴 검출 처리만을 실행시키고, 그 검출 결과를 기초로 AE, AF 등을 제어한다. 이로써 검출 정밀도는 떨어지는 것이지만, 화상을 고속으로 표시할 수 있고, 그 동안의 소비 전력도 억제할 수 있다. 그리고, 예를 들면 셔터 릴리스 버튼이 반누름된 때에, 스텝 S315, S316에서의 프 로그래머블 신호 처리 회로(15)에서의 얼굴 검출 처리도 병렬로 실행하여, 각 블록으로부터의 검출 결과를 기초로 정확한 얼굴 검출 처리를 행하도록 하여도 좋다. 또한, 동화상 기록 모드인 경우에는, 스텝 S319에서의 얼굴 검출 회로(14)와 프로그래머블 신호 처리 회로(15)에 대한 얼굴 검출 파라미터의 재계산 처리를 예를 들면 일정 시간마다 실행하여, 얼굴의 검출 정밀도를 유지하면서도 전체의 처리 부하를 저하시키고, 소정의 프레임 레이트에의 화상 기록을 확실하게 실행할 수 있도록 하여도 좋다.
[제 4의 얼굴 검출 처리]
도 13은 제 4의 얼굴 검출 처리의 개요를 설명하기 위한 도면이다.
제 4의 얼굴 검출 처리는, 입력 화상으로부터 특정한 인물, 또는 특정한 성질을 갖는 인물의 얼굴을 검출하는 것이다. 도 13에 도시하는 바와 같이, 얼굴 검출 회로(14)는, 입력 화상(P4)의 전체로부터 특히 인물이나 성질 등을 특정하지 않고 일반적인 얼굴 검출을 행하고, 얼굴 영역의 좌표나 사이즈, 얼굴 방향, 기울기 등을 출력한다(스텝 S401). 프로그래머블 신호 처리 회로(15)는, 입력 화상(P4)으로부터, 특정한 인물이나 특정한 성질을 갖는 인물의 얼굴을 검출한다(스텝 S402). 이때, 프로그래머블 신호 처리 회로(15)는, 입력 화상(P4)중, 얼굴 검출 회로(14)에 의해 검출된 얼굴 영역, 또는 그 주위를 포함하는 영역만을 얼굴의 탐색 영역으로 함으로써, 얼굴 검출에 필요로 하는 시간이 단축된다.
도 13의 예에서는, 얼굴 검출 회로(14)에서의 일반적인 얼굴의 검출 처리에 의해, 입력 화상(P4)으로부터 얼굴 영역(A41 내지 A43)이 검출되어 있다. 또한, 프 로그래머블 신호 처리 회로(15)는, 이 중 얼굴 영역(A41)에 포함되는 얼굴을, 특정한 인물의 것으로 판정하고 있다.
또한, 얼굴 검출 회로(14)에서는, 얼굴의 좌표나 사이즈뿐만 아니라, 그 얼굴 방향이나 기울기를 검출할 수 있도록 하여도 좋다. 이들의 정보를 얼굴 검출 파라미터로서 프로그래머블 신호 처리 회로(15)에 설정하도록 하면, 프로그래머블 신호 처리 회로(15)에서는, 얼굴의 파츠의 방향, 기울기, 위치의 치우침 등을 미리 알 수 있기 때문에, 보다 고속이면서 고정밀도로 얼굴 검출을 실행할 수 있게 된다.
또한, 검출한 인물이나, 그 인물이 갖는 특정한 성질에 관해서는, 유저 조작 등에 의해 선택할 수 있도록 하여도 좋다. 이 경우, 다음의 도 14에서도 설명하는 바와 같이, 프로그래머블 신호 처리 회로(15)에 있어서, 그들의 선택에 따른 얼굴 검출용 데이터베이스(예를 들면 얼굴의 템플릿 등을 포함한다)가 전환되어 사용된다. 한편, 얼굴 검출 회로(14)에서는, 특정한 인물이나 그 성질 등에 의존하지 않는 일반적인 얼굴을 검출하기 위한 데이터베이스만이 사용된다.
또한, 이 제 4의 얼굴 검출 처리에서도, 제 1 및 제 2의 얼굴 검출 처리와 마찬가지로, 얼굴 검출 회로(14) 및 프로그래머블 신호 처리 회로(15)에서, 같은 입력 화상(P4)의 데이터를 기초로 얼굴 검출 처리가 실행되는 것이 바람직하다. 그러나 실제의 처리에서는, 프로그래머블 신호 처리 회로(15)에서는, 얼굴 검출 회로(14)의 검출 대상의 화상에 대해 1프레임 또는 수프레임분 지연된 화상으로부터 검출이 행하여져도 좋다.
도 14는, 촬상 장치에서의 제 4의 얼굴 검출 처리의 흐름을 도시하는 플로우 차트이다.
이 도 14의 처리에서는, 특정한 성질을 갖는 얼굴을 검출하는 경우의 예로서, 여성의 얼굴, 유소아의 얼굴, 동양인의 얼굴의 어느 하나를, 유저의 선택 조작에 응하여 검출할 수 있도록 되어 있다.
[스텝 S411] CPU(21)는, 얼굴 검출 회로(14)에 대해 얼굴 검출 파라미터를 설정한다.
[스텝 S412] 얼굴 검출 회로(14)의 컨트롤러(44)는, CPU(21)로부터의 얼굴 검출 파라미터에 응하여 확대·축소 회로(41), 화상 메모리(42) 및 얼굴 검출 코어(43)를 제어하고, 화상 RAM(19)으로부터 순차로 판독한 1프레임분의 화상 데이터를 기초로, 일반적인 얼굴을 검출하는 처리를 실행시킨다.
[스텝 S413] 얼굴 검출 회로(14)에서의 얼굴 검출 처리가 종료되면, 얼굴 검출 코어(43)로부터 CPU(21)에 대해 얼굴의 검출 결과(예를 들면 얼굴 영역의 좌표, 사이즈, 얼굴 방향, 기울기 등)가 출력된다.
[스텝 S414] CPU(21)는, 유저에 의해 어떤 성질을 갖는 얼굴을 검출하도록 설정되어 있는지를 판단한다. 여성의 얼굴을 검출하도록 설정되어 있는 경우는 스텝 S415의 처리를 실행한다. 유소아의 얼굴을 검출하도록 설정되어 있는 경우는 스텝 S418의 처리를 실행한다. 동양인의 얼굴을 검출하도록 설정되어 있는 경우는 스텝 S421의 처리를 실행한다.
[스텝 S415] CPU(21)는, 프로그래머블 신호 처리 회로(15)에 대해, 여성의 얼굴을 검출하기 위한 얼굴 검출 파라미터를 설정한다. 여기서는 예를 들면, 얼굴 검출 회로(14)에 의해 검출된 얼굴 영역과 그 주위만을 얼굴의 탐색 범위로 하도록, 프로그래머블 신호 처리 회로(15)에 대해 얼굴 검출 파라미터에 의해 지시한다. 이와 함께, 그 얼굴 방향, 기울기 등의 정보도 통지한다. 또한, 여성의 얼굴 검출용 데이터베이스를 설정한다. 이 데이터베이스에는, 예를 들면 여성의 얼굴의 특징점의 정보 등이 기록되어 있다.
[스텝 S416] 프로그래머블 신호 처리 회로(15)의 컨트롤러(54)는, CPU(21)로부터의 얼굴 검출 파라미터에 응하여 DSP(52 및 53)에 여성의 얼굴 검출용 데이터베이스를 이용한 얼굴 검출 처리를 실행시킨다.
[스텝 S417] 프로그래머블 신호 처리 회로(15)의 컨트롤러(54)는, DSP(52 및 53)로부터 얼굴의 검출 결과를 수취하고, CPU(21)에 대해 출력한다.
[스텝 S418 내지 S420] 이들 스텝의 처리는, 각각 스텝 S415 내지 S417의 처리와 거의 같다. 다른 점은, 스텝 S418에서, CPU(21)가, 유소아의 얼굴 검출용 데이터베이스를 얼굴 검출 파라미터에 의해 프로그래머블 신호 처리 회로(15)에 설정하고, 스텝 S419에서, 프로그래머블 신호 처리 회로(15)가 이 데이터베이스를 이용하여 얼굴 검출을 행하는 점이다.
[스텝 S421 내지 S423] 이들 스텝의 처리는, 각각 스텝 S415 내지 S417의 처리와 거의 같다. 다른 점은, 스텝 S421에서, CPU(21)가, 동양인의 얼굴 검출용 데이터베이스를 얼굴 검출 파라미터에 의해 프로그래머블 신호 처리 회로(15)에 설정하고, 스텝 S422에서, 프로그래머블 신호 처리 회로(15)가 이 데이터베이스를 이용 하여 얼굴 검출을 행하는 점이다.
또한, 상기한 스텝 S415 내지 S423에서는, 예를 들면, 여성, 유소아, 동양인의 얼굴의 검출에 각각 특화한 얼굴 검출용 데이터베이스를 미리 프로그래머블 신호 처리 회로(15)의 RAM(51)에 로드하여 두고, 어느 데이터베이스를 사용하는지가 얼굴 검출 파라미터에 의해 CPU(21)로부터 프로그래머블 신호 처리 회로(15)에 지시된다. 또는, 유저 선택에 따른 얼굴 검출 데이터베이스가, CPU(21)의 처리에 의하여 EEPROM(22)으로부터 판독되고, 프로그래머블 신호 처리 회로(15)에 로드되어도 좋다. 또는, 유저 선택에 따른 얼굴 검출 데이터베이스가 단지 선택되는 것이 아니라, 검출 대상으로 하는 얼굴의 특성마다 다른 얼굴 검출 프로그램이 프로그래머블 신호 처리 회로(15)에서 실행되도록 하여도 좋다.
[스텝 S424] CPU(21)는, 프로그래머블 신호 처리 회로(15)로부터의 얼굴의 검출 결과를 기초로 최종적인 얼굴의 검출 결과(얼굴의 좌표, 사이즈 등)를 생성한다.
또한, 스텝 S414 내지 S424의 처리를, 얼굴 검출 회로(14)에 의해 얼굴이 검출된 경우만 실행하여도 좋다.
[스텝 S425] CPU(21)는, 얼굴 검출 처리를 종료하였는지의 여부를 판단하고, 종료하지 않은 경우는 스텝 S426의 처리를 실행한다.
[스텝 S426] PU21은, 프로그래머블 신호 처리 회로(15)로부터의 얼굴의 검출 결과를 기초로, 얼굴 검출 회로(14)에 대한 얼굴 검출 파라미터를 재계산한다. 이 후, 스텝 S411로 진행하여, 산출한 얼굴 검출 파라미터를 얼굴 검출 회로(14)에 설 정하고, 다음의 화상으로부터의 얼굴 검출 처리를 시작시킨다. 또한, 그 후의 스텝 S415, S418, S421의 어느 하나의 처리에서는, 스텝 S426에서 산출한 얼굴 검출 파라미터를 프로그래머블 신호 처리 회로(15)에 대해 설정한다.
이상의 제 4의 얼굴 검출 처리에서는, 얼굴 검출 회로(14)에 의한 얼굴 영역의 검출 결과를 기초로, 프로그래머블 신호 처리 회로(15)에서 탐색 영역을 한정하여 얼굴이 검출되기 때문에, 프로그래머블 신호 처리 회로(15)에서의 처리시간이 단축되고, 얼굴의 검출 정밀도를 유지하면서도 검출 처리를 고속화할 수 있다. 또한 특히, 얼굴 검출 회로(14)에 의해 이미 얼굴이 존재하고 있다고 판정되어 있는 영역에서, 프로그래머블 신호 처리 회로(15)에서 보다 세밀한 검출이 행하여지기 때문에, 처리 부하를 높이는 일 없이, 보다 정밀도가 높은 얼굴 검출을 행하는 것이 가능해진다.
또한, 프로그래머블 신호 처리 회로(15)에서는, 유저에 의한 설정에 따라, 검출 대상의 인물이나 얼굴의 성질 등을 변경할 수 있기 때문에, 이 촬상 장치의 내부 구성을 변경하는 일 없이, 기능성을 높일 수 있다. 또한, 같은 기본 구성의 회로에 의해, 사양이 다른 다양한 제품에 응용할 수 있도록도 되어, 많은 제품의 개발·제조 비용을 억제할 수 있다.
또한, 이 제 4의 얼굴 검출 처리에서도, 상기한 플로우 차트와 같이, 얼굴 검출 회로(14) 및 프로그래머블 신호 처리 회로(15)에서의 각 얼굴 검출 처리를 직렬로 실행하는 것은 아니고, 이들을 병렬로 실행하여도 좋다. 예를 들면, 얼굴 검출 회로(14)에서 얼굴 검출 처리가 실행되면, 프로그래머블 신호 처리 회로(15)에 서는 그 검출 결과를 기초로, 다음의 프레임의 화상으로부터 얼굴 검출 처리를 실행한다. 이때, 프로그래머블 신호 처리 회로(15)에서의 얼굴 검출 처리와 동시에, 얼굴 검출 회로(14)에서 같은 프레임의 화상으로부터의 얼굴 검출 처리를 시작시키도록 한다. 또는, 얼굴 검출 회로(14)의 쪽이 단시간에 처리할 수 있는 경우에는, 얼굴 검출 회로(14)는, 자신에 의한 얼굴 검출 처리의 종료 타이밍이, 프로그래머블 신호 처리 회로(15)에서의 얼굴 검출 처리의 종료 타이밍에 맞도록, 다음 이후의 프레임으로부터의 얼굴 검출 처리를 시작한다. 이와 같은 처리에 의해, 특정한 인물이나 특정한 성질을 갖는 얼굴의 검출 결과를 1프레임마다 확실하게 출력할 수 있게 됨과 함께, 그 검출 결과의 정밀도를 높일 수 있다.
[다른 실시의 형태]
도 15는, 본 발명의 다른 실시의 형태에 관한 화상 기록 재생 장치의 구성을 도시하는 블록도이다. 또한, 이 도 15에서는, 도 1에 대응하는 블록에는 같은 부호를 붙여서 도시하고 있다.
본 발명은, 상술한 바와 같은 촬상 장치뿐만 아니라, 도 15에 도시하는 바와 같은 촬상 기능을 갖지 않는 화상 기록 재생 장치에 대해 적용할 수도 있다. 이 화상 기록 재생 장치는, 예를 들면 비디오 레코더 등으로서 실현된다. 이 경우, 텔레비전 방송의 수신 신호 등으로부터 얻은 동화상 데이터가, 화상 버스(20)를 통하여 화상 압축·신장 회로(17)에 입력되어 압축 부호화되어, 동화상 파일로서 기억 장치(18)에 기억된다. 또한, 이와 같은 동화상 파일을 기억 장치(18)로부터 판독하여, 화상 압축·신장 회로(17)에 의해 신장 복호화한 후, 화상 처리 회로(25)에 의 해 예를 들면 각종의 화질 보정 처리를 시행하고, 표시 처리 회로(16)에 출력함으로써, 화질 보정 후의 재생 화상을 도시하지 않은 모니터에 표시할 수 있다.
이와 같은 동화상 재생시에 있어서, 신장 복호화된 화상 데이터를, 화상 RAM(19)을 통하여 얼굴 검출 회로(14) 및 프로그래머블 신호 처리 회로(15)에 공급하여, 상술한 각 얼굴 검출 처리 순서에 의해 재생 화상으로부터 얼굴을 검출할 수 있다. 얼굴의 검출 결과는, 예를 들면, 검출된 얼굴의 파츠의 색이 보다 적절하게 되도록, 화상 전체의 색을 화상 처리 회로(25)에서 보정하는 등의 용도에 이용할 수 있다.
이와 같은 화상 기록 재생 장치에서도, 상기한 얼굴 검출 처리 순서에서 설명한 바와 같이, 고속이면서 고정밀도의 얼굴의 검출을 행하는 것이 가능해진다. 또한, 얼굴의 검출 결과의 사용 목적이나, 필요한 검출 정밀도, 검출 정보 등에 응하여, 프로그래머블 신호 처리 회로(15)에서의 검출 처리 순서나 검출 설정을 유연하게 변화시킬 수 있다.
또한, 이 예에서는 기억 매체에 화상을 기록할 수 있는 장치로 하였지만, 예를 들면 가반형의 기억 매체에 기억된 화상 데이터를 재생하는 비디오 플레이어에 본 발명을 적용할 수도 있다. 또한, 다른 촬상 기기에서 촬상된, 또는 네트워크를 통하여 수신한 화상 파일을 일단 기억 장치(18)에 축적하고, 그 화상 파일을 재생 가능한 재생 기기에 본 발명을 적용할 수도 있다. 또한 예를 들면, 다른 기기로부터 화상 파일의 공급을 받아서 그 재생 화상을 인쇄한 프린터 등에도, 본 발명을 적용할 수 있다.
도 1은 본 발명의 실시의 형태에 관한 촬상 장치의 주요부 구성을 도시하는 블록도.
도 2는 얼굴 검출 회로의 내부 구성예를 도시하는 블록도.
도 3은 얼굴 검출 회로에 의한 기본적인 얼굴 검출 처리의 흐름을 도시하는 플로우 차트.
도 4는 촬상시의 화각과 얼굴의 탐색 각도와의 관계를 설명하기 위한 도면.
도 5는 얼굴의 탐색 각도의 정의의 한 예를 도시하는 도면.
도 6은 프로그래머블 신호 처리 회로의 내부 구성예를 도시하는 블록도.
도 7은 제 1의 얼굴 검출 처리의 개요를 설명하기 위한 도면.
도 8은 촬상 장치에서의 제 1의 얼굴 검출 처리의 흐름을 도시하는 플로우 차트.
도 9는 제 2의 얼굴 검출 처리의 개요를 설명하기 위한 도면.
도 10은 촬상 장치에서의 제 2의 얼굴 검출 처리의 흐름을 도시하는 플로우 차트.
도 11은 제 3의 얼굴 검출 처리의 개요를 설명하기 위한 도면.
도 12는 촬상 장치에서의 제 3의 얼굴 검출 처리의 흐름을 도시하는 플로우 차트.
도 13은 제 4의 얼굴 검출 처리의 개요를 설명하기 위한 도면.
도 14는 촬상 장치에서의 제 4의 얼굴 검출 처리의 흐름을 도시하는 플로우 차트.
도 15는 본 발명의 다른 실시의 형태에 관한 화상 기록 재생 장치의 구성을 도시하는 블록도.
(도면의 주요부분에 대한 부호의 설명)
11 : 광학 블록 12 : 이미지 센서
13 : 카메라 신호 처리 회로 14 : 얼굴 검출 회로
15 : 프로그래머블 신호 처리 회로 16 : 표시 처리 회로
17 : 화상 압축·신장 회로 18 : 기억 장치
19 : 화상 RAM 20 : 화상 버스
21 : CPU 22 : EEPROM
23, 51 : RAM 24 : 중력 방향 센서
41 : 확대·축소 회로 42 : 화상 메모리
43 : 얼굴 검출 코어 44, 54 : 컨트롤러
52, 53 : DSP

Claims (12)

  1. 입력된 화상으로부터 인물의 얼굴을 검출하는 얼굴 검출 장치에 있어서,
    입력 화상으로부터의 얼굴 검출에 특화한 하드웨어 회로로 이루어지는 얼굴 검출 회로와,
    입력 화상으로부터 얼굴을 검출하기 위한 얼굴 검출 프로그램을 포함하는 재기록 가능한 프로그램에 따라, 입력 화상 신호를 기초로 신호 처리를 실행하는 신호 처리 회로와,
    상기 얼굴 검출 회로 및 상기 신호 처리 회로의 각각에, 같은 프레임의 화상 또는 연속한 중의 부근 프레임의 화상으로부터의 얼굴 검출 처리를 병렬로 실행시키고, 상기 얼굴 검출 회로 및 상기 신호 처리 회로의 각각에 의한 얼굴의 검출 결과를 기초로 최종적인 얼굴의 검출 결과를 출력하는 제어부를 갖는 것을 특징으로 하는 얼굴 검출 장치.
  2. 제 1항에 있어서,
    상기 제어부는, 상기 얼굴 검출 회로 및 상기 신호 처리 회로의 각각에 의한 얼굴의 검출 결과를 서로 보완하여, 최종적인 얼굴의 검출 결과를 출력하는 것을 특징으로 하는 얼굴 검출 장치.
  3. 제 2항에 있어서,
    상기 얼굴 검출 회로는, 입력 화상 신호의 휘도 성분을 기초로 얼굴 검출 처리를 실행하고,
    상기 신호 처리 회로는, 입력 화상 내의 살색 영역을 나타내는 정보를 기초로 얼굴 검출 처리를 실행하는 것을 특징으로 하는 얼굴 검출 장치.
  4. 제 3항에 있어서,
    상기 신호 처리 회로는, 입력 화상으로부터 상기 살색 영역을 검출하고, 해당 살색 영역을 얼굴의 영역으로 판별하는 것을 특징으로 하는 얼굴 검출 장치.
  5. 제 3항에 있어서,
    상기 신호 처리 회로는, 입력 화상중의 상기 살색 영역을 포함하는 소정 영역에서, 상기 얼굴 검출 회로와는 다른 검출 알고리즘을 이용하여 얼굴을 검출하는 것을 특징으로 하는 얼굴 검출 장치.
  6. 제 2항에 있어서,
    상기 얼굴 검출 회로 및 상기 신호 처리 회로는, 입력 화상 신호중의 서로 다른 신호 성분을 기초로 얼굴 검출 처리를 실행하는 것을 특징으로 하는 얼굴 검출 장치.
  7. 제 1항에 있어서,
    상기 제어부는, 상기 신호 처리 회로가 하나의 입력 화상에 대한 얼굴 검출 처리를 실행하고 있는 동안에, 상기 얼굴 검출 회로에 연속한 복수의 입력 화상에 대한 얼굴 검출 처리를 실행시키고, 상기 얼굴 검출 회로로부터 얼굴이 검출될 때마다, 그 검출 결과와, 상기 신호 처리 회로로부터의 최신의 얼굴의 검출 결과를 기초로 최종적인 검출 결과를 출력하는 것을 특징으로 하는 얼굴 검출 장치.
  8. 제 1항에 있어서,
    상기 제어부는, 상기 얼굴 검출 회로 또는 상기 신호 처리 회로의 적어도 한쪽으로부터의 얼굴의 검출 결과를 기초로, 상기 얼굴 검출 회로 또는 상기 신호 처리 회로의 적어도 한쪽에 의한 다음의 입력 화상으로부터의 얼굴 검출 동작을 제어하기 위한 파라미터를 재설정하는 것을 특징으로 하는 얼굴 검출 장치.
  9. 제 1항에 있어서,
    상기 제어부는, 상기 얼굴 검출 회로에 의한 얼굴의 검출 결과와, 상기 얼굴 검출 회로 및 상기 신호 처리 회로의 각각에 의한 얼굴의 검출 결과에 의거한 정보의 어느 하나를, 최종적인 얼굴의 검출 결과로서 필요에 따라 선택하여 출력하고, 상기 얼굴 검출 회로에 의한 얼굴의 검출 결과를 최종적인 얼굴의 검출 결과로서 출력하는 경우에는, 상기 신호 처리 회로에 의한 얼굴 검출 처리를 정지시키는 것을 특징으로 하는 얼굴 검출 장치.
  10. 고체 촬상 소자를 이용하여 화상을 촬상하는 촬상 장치에 있어서,
    입력 화상으로부터의 얼굴 검출에 특화한 하드웨어 회로로 이루어지는 얼굴 검출 회로와,
    입력 화상으로부터 얼굴을 검출하기 위한 얼굴 검출 프로그램을 포함하는 재기록 가능한 프로그램에 따라, 입력 화상 신호를 기초로 신호 처리를 실행하는 신호 처리 회로와,
    상기 얼굴 검출 회로 및 상기 신호 처리 회로의 각각에, 촬상에 의해 연속적으로 얻어진 화상중의 같은 프레임의 화상 또는 부근 프레임의 화상으로부터의 얼굴 검출 처리를 병렬로 실행시키고, 상기 얼굴 검출 회로 및 상기 신호 처리 회로의 각각에 의한 얼굴의 검출 결과를 기초로 최종적인 얼굴의 검출 결과를 출력하는 제어부를 갖는 것을 특징으로 하는 촬상 장치.
  11. 제 10항에 있어서,
    상기 제어부는, 상기 얼굴 검출 회로에 의한 얼굴의 검출 결과와, 상기 얼굴 검출 회로 및 상기 신호 처리 회로의 각각에 의한 얼굴의 검출 결과에 의거한 정보의 어느 하나를, 최종적인 얼굴의 검출 결과로서 촬상 동작의 상태에 따라 선택하여 출력하고, 상기 얼굴 검출 회로에 의한 얼굴의 검출 결과를 최종적인 얼굴의 검출 결과로서 출력하는 경우에는, 상기 신호 처리 회로에 의한 얼굴 검출 처리를 정지시키는 것을 특징으로 하는 촬상 장치.
  12. 입력된 화상으로부터 인물의 얼굴을 검출하기 위한 얼굴 검출 방법에 있어서,
    얼굴 검출에 특화한 하드웨어 회로로 이루어지는 얼굴 검출 회로가, 입력 화상으로부터 얼굴을 검출하고,
    얼굴을 검출하기 위한 얼굴 검출 프로그램을 포함하는 재기록 가능한 프로그램에 따라 입력 화상 신호를 기초로 신호 처리를 실행하는 신호 처리 회로가, 상기 얼굴 검출 프로그램을 실행함으로써, 상기 얼굴 검출 회로에의 입력과 같은 프레임의 화상 또는 연속한 중의 부근 프레임의 화상으로부터의 얼굴 검출 처리를 상기 얼굴 검출 회로의 처리와 병행하여 실행하고,
    제어부가, 상기 얼굴 검출 회로 및 상기 신호 처리 회로의 각각에 의한 얼굴의 검출 결과를 기초로 최종적인 얼굴의 검출 결과를 출력하는 것을 특징으로 하는 얼굴 검출 방법.
KR1020070077989A 2006-08-04 2007-08-03 얼굴 검출 장치, 촬상 장치 및 얼굴 검출 방법 KR101421717B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2006-00212842 2006-08-04
JP2006212842A JP4218712B2 (ja) 2006-08-04 2006-08-04 顔検出装置、撮像装置および顔検出方法

Publications (2)

Publication Number Publication Date
KR20080012790A true KR20080012790A (ko) 2008-02-12
KR101421717B1 KR101421717B1 (ko) 2014-07-22

Family

ID=39113505

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070077989A KR101421717B1 (ko) 2006-08-04 2007-08-03 얼굴 검출 장치, 촬상 장치 및 얼굴 검출 방법

Country Status (5)

Country Link
US (1) US8897501B2 (ko)
JP (1) JP4218712B2 (ko)
KR (1) KR101421717B1 (ko)
CN (1) CN101159010B (ko)
TW (1) TW200823797A (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4264663B2 (ja) * 2006-11-21 2009-05-20 ソニー株式会社 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
US20110109770A1 (en) * 2008-07-17 2011-05-12 Satoshi Katoh Imaging apparatus, imaging method, and program
JP5173664B2 (ja) * 2008-08-08 2013-04-03 キヤノン株式会社 画像処理装置及び画像処理方法
JP4720880B2 (ja) * 2008-09-04 2011-07-13 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP4702418B2 (ja) * 2008-09-09 2011-06-15 カシオ計算機株式会社 撮影装置、画像領域の存否判定方法及びプログラム
JP5359150B2 (ja) * 2008-09-22 2013-12-04 株式会社ニコン 撮像装置
JP5258506B2 (ja) * 2008-10-24 2013-08-07 キヤノン株式会社 情報処理装置
JP5202264B2 (ja) * 2008-12-05 2013-06-05 キヤノン株式会社 画像処理装置及び画像処理方法
CN102150181A (zh) * 2008-12-05 2011-08-10 松下电器产业株式会社 面部检测装置
JP4911165B2 (ja) 2008-12-12 2012-04-04 カシオ計算機株式会社 撮像装置、顔検出方法及びプログラム
US8385638B2 (en) * 2009-01-05 2013-02-26 Apple Inc. Detecting skin tone in images
JP5359337B2 (ja) * 2009-02-10 2013-12-04 株式会社ニコン 電子スチルカメラ
JP5347834B2 (ja) 2009-08-25 2013-11-20 株式会社ニコン 画像追尾装置
JP2011090569A (ja) * 2009-10-23 2011-05-06 Sony Corp 画像処理装置および画像処理方法
EP2618626B1 (en) 2010-09-13 2018-05-23 Taiwan Semiconductor Manufacturing Company, Ltd. Mobile terminal and method for controlling operation thereof
KR101733512B1 (ko) * 2010-12-22 2017-05-10 에스케이플래닛 주식회사 얼굴 특징 기반의 가상 체험 시스템 및 그 방법
JP5683367B2 (ja) * 2011-04-20 2015-03-11 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
JP5862261B2 (ja) * 2011-12-12 2016-02-16 セイコーエプソン株式会社 検出装置、検出方法、及び、車両
US10708545B2 (en) 2018-01-17 2020-07-07 Duelight Llc System, method, and computer program for transmitting face models based on face data points
JP6124676B2 (ja) * 2013-05-14 2017-05-10 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP6184189B2 (ja) 2013-06-19 2017-08-23 キヤノン株式会社 被写体検出装置およびその制御方法、撮像装置、被写体検出装置の制御プログラムおよび記憶媒体
WO2015009968A2 (en) * 2013-07-19 2015-01-22 Google Inc. Face template balancing
US9571785B2 (en) * 2014-04-11 2017-02-14 International Business Machines Corporation System and method for fine-grained control of privacy from image and video recording devices
US10607063B2 (en) * 2015-07-28 2020-03-31 Sony Corporation Information processing system, information processing method, and recording medium for evaluating a target based on observers
JP2018081402A (ja) * 2016-11-15 2018-05-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR102543656B1 (ko) * 2018-03-16 2023-06-15 삼성전자주식회사 화면 제어 방법 및 이를 지원하는 전자 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3490482B2 (ja) 1993-09-20 2004-01-26 株式会社東芝 エッジ及び輪郭抽出装置
JP3561985B2 (ja) 1994-11-28 2004-09-08 ソニー株式会社 画像処理装置
US5842194A (en) * 1995-07-28 1998-11-24 Mitsubishi Denki Kabushiki Kaisha Method of recognizing images of faces or general images using fuzzy combination of multiple resolutions
JP2001216515A (ja) 2000-02-01 2001-08-10 Matsushita Electric Ind Co Ltd 人物の顔の検出方法およびその装置
JP2003058516A (ja) 2001-08-21 2003-02-28 Toshiba Corp 信号処理装置及び方法
US7113637B2 (en) * 2001-08-24 2006-09-26 Industrial Technology Research Institute Apparatus and methods for pattern recognition based on transform aggregation
JP2003271933A (ja) 2002-03-18 2003-09-26 Sony Corp 顔検出装置及び顔検出方法並びにロボット装置
JP2004005384A (ja) 2002-04-19 2004-01-08 Sony Corp 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置、並びに肖像写真撮影装置
JP4329398B2 (ja) 2002-05-10 2009-09-09 ソニー株式会社 顔検出装置及び方法、並びにプログラム及び記録媒体
GB2395264A (en) * 2002-11-29 2004-05-19 Sony Uk Ltd Face detection in images
JP4743823B2 (ja) 2003-07-18 2011-08-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
GB2409027A (en) * 2003-12-11 2005-06-15 Sony Uk Ltd Face detection

Also Published As

Publication number Publication date
TW200823797A (en) 2008-06-01
US8897501B2 (en) 2014-11-25
JP4218712B2 (ja) 2009-02-04
KR101421717B1 (ko) 2014-07-22
CN101159010A (zh) 2008-04-09
US20080050022A1 (en) 2008-02-28
CN101159010B (zh) 2011-08-10
JP2008040710A (ja) 2008-02-21
TWI380231B (ko) 2012-12-21

Similar Documents

Publication Publication Date Title
KR101421717B1 (ko) 얼굴 검출 장치, 촬상 장치 및 얼굴 검출 방법
JP4218711B2 (ja) 顔検出装置、撮像装置および顔検出方法
US7868915B2 (en) Photographing apparatus, method and computer program product
US20110007187A1 (en) Imaging Device And Image Playback Device
US20090185056A1 (en) Electronic camera
JP2011166442A (ja) 撮像装置
US8988545B2 (en) Digital photographing apparatus and method of controlling the same
JP4802884B2 (ja) 撮像装置、撮像画像記録方法、及び、プログラム
US20100214449A1 (en) Imaging system, image processing method, and image processing program recording medium
JP2004349750A (ja) ディジタル・カメラおよびその制御方法
JP2010199681A (ja) 画像処理装置、および画像処理プログラム
JP4632417B2 (ja) 撮像装置、及びその制御方法
JP2009253925A (ja) 撮像装置及び撮像方法と、撮影制御プログラム
JP2013081136A (ja) 画像処理装置および制御プログラム
JP6975144B2 (ja) 撮像処理装置、電子機器、撮像処理方法、撮像処理装置制御プログラム
JP2009130840A (ja) 撮像装置及びその制御方法及びプログラム
JP5664559B2 (ja) 撮像装置、及び、特定画像検出プログラム
JP2009010546A (ja) 撮像装置、及び、特定画像検出プログラム
JP2010283609A (ja) 撮像装置、顔検出処理方法、プログラム及び記録媒体
JP2008263320A (ja) 撮像装置及び制御方法
JP2009302665A (ja) 撮像装置および撮像装置用プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee