KR20090038828A - 오토포커스 제어 회로, 오토포커스 제어 방법 및 이미지 픽업 장치 - Google Patents

오토포커스 제어 회로, 오토포커스 제어 방법 및 이미지 픽업 장치 Download PDF

Info

Publication number
KR20090038828A
KR20090038828A KR1020080101294A KR20080101294A KR20090038828A KR 20090038828 A KR20090038828 A KR 20090038828A KR 1020080101294 A KR1020080101294 A KR 1020080101294A KR 20080101294 A KR20080101294 A KR 20080101294A KR 20090038828 A KR20090038828 A KR 20090038828A
Authority
KR
South Korea
Prior art keywords
face
site
autofocus target
autofocus
target site
Prior art date
Application number
KR1020080101294A
Other languages
English (en)
Other versions
KR101008864B1 (ko
Inventor
다케시 오츠키
Original Assignee
엔이씨 일렉트로닉스 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔이씨 일렉트로닉스 가부시키가이샤 filed Critical 엔이씨 일렉트로닉스 가부시키가이샤
Publication of KR20090038828A publication Critical patent/KR20090038828A/ko
Application granted granted Critical
Publication of KR101008864B1 publication Critical patent/KR101008864B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

본 발명은, 얼굴 탐지에 의해 획득된 얼굴 부위 내에 결정된 오토포커스 타겟 부위에 오토포커싱을 수행하는 경우, 오토포커스 타겟 부위에 포함된 배경 이미지로부터 기인하는 미스포커싱의 위험성을 감소시키는 것을 목적으로 한다. 이를 위해, 얼굴 탐지 유닛은 먼저 얼굴 탐지를 수행하여, 인간의 얼굴 이미지를 포함하는 얼굴 부위를 결정한다. 그 다음, AF 타겟 부위 결정 유닛은 얼굴 부위 내의 AF 타겟 부위를 결정한다. 이 경우, AF 타겟 부위 결정 유닛은 얼굴 부위에 대한 AF 타겟 부위의 영역 비를 변경할 수 있다. 이하, 포착 이미지 데이터의 AF 타겟 부위 결정 유닛에 의해 결정된 AF 타겟 부위에 대응하는 부위의 콘트라스트에 기초하여, 제어기 및 렌즈 구동 유닛은 피사체 이미지가 촬영 광학 시스템에 의해 형성되는 위치를 조정한다.
오토포커스, AF, 디지털 카메라

Description

오토포커스 제어 회로, 오토포커스 제어 방법 및 이미지 픽업 장치{AUTOFOCUS CONTROL CIRCUIT, AUTOFOCUS CONTROL METHOD AND IMAGE PICKUP APPARATUS}
본 발명은 이미지 픽업 장치에 관한 것으로, 더 상세하게는 이미지 픽업 장치에서 피사체(subject) 이미지의 포커싱 조건을 자동으로 결정하는 오토포커스 기술에 관한 것이다.
지금까지, CCD(charge coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서와 같은 이미지 픽업 디바이스를 각각 포함하는 이미지 픽업 장치들이 실제 이용되고 있다. 이러한 이미지 픽업 장치들의 예로는 디지털 스틸 카메라 및 디지털 비디오 카메라가 있다. 또한, 이들 전자 이미지 픽업 장치에 적용되는 오토포커스 시스템으로서, 이미지 픽업 디바이스에 의해 포착된 이미지에 기초한 콘트라스트 탐지 시스템이 공지되어 있다.
콘트라스트 탐지 시스템은, 촬영 광학 시스템에 의해 이미지 픽업 디바이스의 이미징 표면에 형성되는 피사체 이미지가 인-포커스(in-focus) 조건에 있는 경우, 이미지 픽업 디바이스가 높은 콘트라스트 이미지를 포착할 수 있다는 원리에 기초한다. 구체적으로, 콘트라스트 탐지 시스템에서, 먼저, 이미지 픽업 장치의 이미지 픽업 디바이스는 피사체 이미지의 이미징 위치를 변경하면서 피사체 이미지를 순차적으로 포착한다. 여기에서, 이미징 위치의 변경은, 촬영 광학 시스템에 포함된 포커싱 렌즈를 이동시키거나, 또는 이미지 픽업 디바이스를 이동시킴으로써, 달성된다. 그 다음, 이미지 픽업 장치는 이미지 픽업 디바이스에 의해 순차적으로 포착된 다수의 이미지의 콘트라스트 레벨을 각각 표시하는 콘트라스트 평가 값을 계산하고, 콘트라스트 평가 값이 가장 높은 피사체 이미지의 이미징 위치를 인-포커스 위치로 결정한다. 콘트라스트 평가 값으로서, 예를 들어, 포착 이미지의 공간 주파수 스펙트럼에서 고주파수 컴포넌트의 전체 값이 사용된다. 전술한 바와 같이, 가장 높은 콘트라스트 평가 값을 탐색함으로써 인-포커스 위치를 결정하는 제어 알고리즘은 "힐-클라이밍 제어(hill-climbing control)"라고 지칭된다.
한편, 이미지 픽업 디바이스에 의해 포착된 이미지에 포함된 인간의 얼굴 이미지를 탐지하는 얼굴 탐지를 수행하고, 탐지된 얼굴 이미지에 포커스를 맞출 수 있도록 포커싱 제어를 수행하는 이미지 픽업 장치는 공지되어 있다(예를 들어, 일본 특허출원 공개공보 제2001-215403호 및 제2006-227080호를 참조).
포착 이미지에 포함된 얼굴 이미지를 탐지하는 다양한 얼굴 탐지 알고리즘이 이미 공지되어 있다. 예를 들어, 이들 공지된 알고리즘 중 하나는, 피부 톤을 갖는 것으로 평가된 부위들을 이미지로부터 추출하고, 피부 톤을 갖는 것으로 평가된 부위의 클러스터를 얼굴 부위로 결정하는 알고리즘이다. 한편, 공지된 패턴 인식 기술을 사용하는 얼굴 탐지 알고리즘 또한 공지되어 있다. 구체적으로, 예를 들어, 이들 공지의 알고리즘 중 하나에서, 이미지 내에서 피부 톤을 갖는 것으로 평가된 부위의 윤곽은 사전에 알고 있던 얼굴 선 템플릿과 비교된다. 그 다음, 얼굴 부위는 비교의 결과로서 유사성 레벨에 기초하여 결정된다. 예를 들어, 이들 공지된 알고리즘의 다른 하나에서는, 피부 톤을 갖는 것으로 평가된 부위가 얼굴 후보로 설정되고, 이 얼굴 후보 부위로부터 눈 및 코에 대응하는 피처 양(feature quantity)들이 추출된다. 그 다음, 추출된 피처 양들과 다수의 얼굴 템플릿 이미지의 피처 양들을 비교함으로써, 얼굴 후보가 인간의 얼굴인지 여부가 결정된다.
일본 특허출원 공개공보 제2001-215403호(이하, 특허문헌 1이라고 지칭함)는 CCD와 같은 이미지 픽업 디바이스를 사용함으로써 오토포커싱을 수행하는 카메라를 개시하고 있다. 특허문헌 1은 전술한 바와 같은 콘트라스트 탐지 시스템이 "이 시스템에 의해 피사체가 아닌 배경 또는 그 의상에 포커스가 맞을 수도 있기 때문에 불안정하며, 따라서, 카메라 작동자가 원하는 위치에 확실하고 자동적으로 포커스를 맞출 수 없다"는 문제점을 해결하는 것을 목적으로 한다(특허문헌 1의 문단[0014] 참조). 이를 위해, 특허문헌 1에 개시되어 있는 카메라는 먼저 이미지 픽업 디바이스에 의해 포착된 이미지에서 얼굴 탐지를 수행함으로써 인간의 얼굴을 포함하는 부위(이하, 얼굴 부위라고 지칭함)를 결정한 다음, 얼굴 부위로부터 인간의 눈을 탐지한다. 특허문헌 1에 개시되어 있는 카메라는 공지된 삼각측량 원리를 사용함으로써, 탐지된 인간의 눈의 위치에 대응하는 포인트까지의 거리를 계산한다. 그 다음, 특허문헌 1에 개시되어 있는 카메라는 포커싱 제어를 수행하여, 인간의 눈의 위치에 대응하는 포인트까지의 계산된 거리를 사용함으로써 피사체의 인간의 눈에 포커스를 맞춘다. 전술한 내용으로부터 명확해지는 바와 같이, 특허문헌 1에 개시되어 있는 카메라가 기초하는 오토포커스 시스템은 콘트라스트 탐지 시스템이 아니다.
일본 특허출원 공개공보 제2006-227080호(이하, 특허문헌 2라고 지칭함)는 오토포커스 기능을 갖는 디지털 카메라를 개시하고 있다. 특허 문허 2는, 인간 피사체가 자신의 눈을 감거나 안경을 쓰고 있는 경우, 특허문헌 1에 개시되어 있는 카메라에 의해 수행되는 오토포커스 제어가 인간 피사체의 눈에 자동으로 포커싱하는데 어려움이 있다는 문제점을 해결하는 것을 목적으로 한다(특허 문허 2의 문단[0002] 및 문단[0003] 참조). 이를 위해, 특허문헌 2에 개시되어 있는 디지털 카메라는, 이미지 픽업 디바이스에 의해 출력된 포착 이미지에 얼굴 탐지를 수행함으로써, 인간의 얼굴을 포함하는 부위(즉, 얼굴 부위)를 결정하고, 결정된 얼굴 부위 및 그 주변을 포함하는 직사각형 영역을 오토포커스 타겟 부위로 결정하여, 탐지된 인간의 얼굴이 오토포커스 타겟 부위에 포함될 수 있다. 그 다음, 특허문헌 2에 개시되어 있는 디지털 카메라는 포착 이미지 내의 오토포커스 타겟 부위에 관한 콘트라스트 평가 값이 가장 높은 인-포커스 위치를 결정한다. 즉, 특허문헌 2에 개시되어 있는 디지털 카메라는 얼굴 선 주변부에서의 콘트라스트에 기초하여 포커싱 제어를 수행한다. 결과적으로, 오토포커스 타겟 부위로 결정된 부분 이미지는 부득이하게 얼굴의 얼굴 선 부분뿐 아니라 배경 이미지를 포함한 다.
한편, 일본 특허출원 공개공보 제평5-66458호(이하, 특허문헌 3이라고 지칭함)는 CCD와 같은 이미지 픽업 디바이스를 사용함으로써 피사체의 밝기를 측정하는 카메라를 개시하고 있다. 특허문헌 3에 개시되어 있는 카메라의 파인더창에는 타겟 표시가 디스플레이되며, 카메라 작동자는 카메라의 방향을 제어하여, 인간의 얼굴이, 카메라의 파인더창에 디스플레이되어 있는 타겟 표시를 오버랩할 수 있다(특허문헌 3의 문단[0008] 참조). 그 다음, 특허문헌 3에 개시되어 있는 카메라는 동적 거리 센서를 사용함으로써 타겟 표시와 오버랩하는 타겟까지의 거리를 측정하며, 평균 얼굴 사이즈에 대한 정보 및 측정된 거리에 기초하여 피사체의 얼굴 사이즈를 계산한다(특허문헌 3의 문단[0008] 및 문단[0009] 참조). 이하, 특허문헌 3에 개시되어 있는 카메라는, 계산된 얼굴 사이즈에 기초하여 얼굴을 거의 커버하는 영역 사이즈를 갖는 직사각형 영역으로 결정된 측광 부위에서 측광을 수행한다. 이 경우, 바람직하게는, 노출 측정 부위의 사이즈가, 노출이 배경에서 측정되지 않도록, 얼굴 사이즈의 특정 퍼센트이어야 한다(특허문헌 3의 문단[0012]). 그러나, 특허문헌 3에 개시되어 있는 카메라는 포착 이미지에서 이미지 프로세싱하는 것을 수행함으로써 얼굴 탐지를 수행하지 않으며, 또한 탐지된 얼굴 부위에 오토포커싱하는 것을 수행하지 않는다.
상기 특허문헌 1 내지 특허문헌 3 중에, 특허문헌 2만이 콘트라스트 탐지 시스템에 기초하여 오토포커싱을 수행하는 이미지 픽업 장치를 개시하고 있다. 그러나, 특허문헌 2에 개시되어 있는 이미지 픽업 장치는 얼굴 선 주변부에서의 콘트라스트에 주로 기초하여 피사체 이미지의 이미징 위치를 조정한다. 따라서, 특허문헌 2에 개시되어 있는 이미지 픽업 장치에 의해 결정된 오토포커스 타겟 부위는 인간 얼굴 이미지뿐 아니라 배경 이미지를 포함한다. 오토포커스 타겟 부위는 오토포커싱용 콘트라스트-탐지-타겟 부위를 의미한다.
전술한 바와 같이, 얼굴 부위의 주변부 및 얼굴 부위 주변의 배경 이미지를 포함하도록 오토포커스 타겟 부위를 결정하면, 특허문헌 2에 개시되어 있는 기술은, 배경이 오토포커스 타겟 부위 중 큰 퍼센트를 차지하는 경우, 인간의 얼굴에 포커스가 맞지 않고 그 배경에 포커스가 맞는 현상인 미스포커싱을 발생시킬 높은 위험성을 갖는다는 문제점을 갖는다. 이러한 미스포커싱 위험성은 특히, 인간 피사체가 카메라 가까이 있어서, 얼굴 부위가 포착 이미지의 전체 영역 중 큰 퍼센트를 차지하는 경우에 현저해진다. 이는, 인간 피사체가 카메라에 근접한 경우, 오토포커스 타겟 부위는 큰 영역의 배경을 포함하며, 또한, 인간 피사체는 그 배경으로부터 멀리 있기 때문이다.
또한, 포착 이미지에 포함된 얼굴 이미지의 사이즈, 즉, 얼굴 부위의 사이즈는 사진촬영 조건에 따라 변하게 되어 있다. 한편, 많은 기술에서, 특허문헌 2 에 개시되어 있는 바와 같이, 얼굴 부위는 인간의 얼굴을 포함하는 직사각형 영역으로 선택된다. 결과적으로, 얼굴 부위가 클수록, 배경부가 더 크게 포함된다. 따라서, 특허문헌 2에 개시되어 있는 기술에 의해 얼굴 선을 포함하도록 선택된 오토포커스 타겟 부위는 또한 큰 배경부를 포함할 것이다.
전술한 바와 같이, 특허문헌 2에 개시되어 있는 이미지 픽업 장치는, 오토포커스 타겟 부위에 포함된 배경 이미지로 인해, 미스포커싱의 높은 위험성을 갖는다는 문제점을 갖는다.
본 발명의 제1 양태에 따른 오토포커스 제어 회로는 얼굴 탐지 수단, 오토포커스 타겟 부위 결정 수단 및 포커싱 조건 결정 수단을 포함한다. 얼굴 탐지 수단은, 촬영 광학 시스템에 의해 형성되는 피사체 이미지를 포착함으로써 생성되는 포착 이미지 데이터에 기초하여 피사체 이미지 내의 피사체의 얼굴을 포함하는 얼굴 부위를 결정한다. 오토포커스 타겟 부위 결정 수단은 얼굴 부위 내의 오토포커스 타겟 부위를 결정한다. 이 경우, 오토포커스 타겟 부위 결정 수단은 얼굴 부위에 대한 오토포커스 타겟 부위의 영역 비를 변경할 수 있다. 포커싱 조건 결정 수단은 포착 이미지 데이터의, 오토포커스 타겟 부위에 대응하는 부위에서의 콘트라스트에 기초하여 피사체 이미지의 포커싱 조건을 결정한다.
본 발명의 제2 양태에 따른 방법은 촬영 광학 시스템에 의해 형성되는 피사체 이미지를 포착함으로써 포착 이미지 데이터를 생성하는 이미지 픽업 수단을 포함하는 이미지 픽업 장치를 위한 오토포커스 제어 방법이다. 이 방법은 포착 이미지 데이터에 기초하여 피사체 이미지 내의 피사체의 얼굴을 포함하는 얼굴 부위를 결정하는 단계; 얼굴 부위에 대한 오토포커스 타겟 부위의 영역 비를 변경함으로써 얼굴 부위 내의 오토포커스 타겟 부위를 결정하는 단계; 및 포착 이미지 데이터의, 오토포커스 타겟 부위에 대응하는 부위에서의 콘트라스트에 기초하여 피사체 이미지의 이미징 위치를 조정하는 단계를 포함한다.
본 발명의 제3 양태에 따른 이미지 픽업 장치는 촬영 광학 시스템, 이미지 픽업 수단, 얼굴 탐지 수단, 오토포커스 타겟 부위 결정 수단 및 오토포커스 수단을 포함한다. 이미지 픽업 수단은 촬영 광학 시스템에 의해 형성되는 피사체 이미지를 포착함으로써 포착 이미지 데이터를 생성한다. 얼굴 탐지 수단은 포착 이미지 데이터에 기초하여 피사체 이미지 내의 피사체의 얼굴을 포함하는 얼굴 부위를 결정한다. 오토포커스 타겟 부위 결정 수단은 얼굴 부위 내의 오토포커스 타겟 부위를 결정한다. 이 경우, 오토포커스 타겟 부위 결정 수단은 얼굴 부위에 대한 오토포커스 타겟 부위의 영역 비를 변경할 수 있다. 오토포커스 수단은 포착 이미지 데이터의. 오토포커스 타겟 부위에 대응하는 부위에서의 콘트라스트에 기초하여 피사체 이미지의 이미징 위치를 조정한다.
얼굴 부위에서, 배경 이미지를 거의 대부분 포함하는 부위는 얼굴 부위의 주변부이다. 따라서, 전술한 본 발명의 각각의 양태에 따른 오토포커스 제어 회로, 오토포커스 제어 방법 및 이미지 픽업 장치는 얼굴 부위의 주변부 이외의 중심부를 오토포커스 타겟 부위로 각각 선택한다. 이는, 얼굴 부위에 포함된 배경부를 효과적으로 배제하면서, 오토포커스 타겟 부위를 선택하는 것을 가능하게 한 다. 즉, 본 발명의 각각의 양태에 따른 오토포커스 제어 회로, 오토포커스 제어 방법 및 이미지 픽업 장치는, 각각, 배경부를 포함하지 않거나 상대적으로 작은 배경부를 포함하는 오토포커스 타겟 부위에서의 콘트라스트에 기초하여 오토포커스를 수행하는 것을 가능하게 한다. 이는 우연히 배경에 포커싱하는 위험성을 감소시키며, 따라서, 인간의 얼굴에 포커싱하는 이미지 포착을 가능하게 한다.
또한, 전술한 본 발명의 각각의 양태에 따른 오토포커스 제어 회로, 오토포커스 제어 방법 및 이미지 픽업 장치는 각각 얼굴 부위에 대한 오토포커스 타겟 부위의 영역 비를 변경할 수 있다. 이는, 오토포커스 타겟 부위의 영역 사이즈를 얼굴 부위의 사이즈에 상관없이 고정 값으로 설정하는 단계, 및 얼굴 부위의 사이즈의 증가에 따라, 오토포커스 타겟 부위로부터 배제되는, 얼굴 부위의 주변부의 영역 사이즈를 증가시키는 단계를 포함하는 동작을 가능하게 한다. 따라서, 오토포커스 타겟 부위는, 얼굴 부위에 포함된 배경 이미지를 효과적으로 배제하면서 선택될 수 있다.
본 발명은, 얼굴 탐지에 의해 획득된 얼굴 부위 내에서 결정되는 오토포커스 타겟 부위에 오토포커싱을 수행하는 경우, 미스포커싱의 위험성을 감소시킬 수 있다. 여기에서, 미스포커싱은 오토포커스 타겟 부위에 포함된 배경 이미지에 기인한다.
콘트라스트 탐지 시스템에 기초하여 오토포커싱을 수행하는 경우, 얼굴 부위의 영역 사이즈의 감소에 따라, 얼굴 부위 및 오토포커스 타겟 부위에 포함된 배경 부는 더 작아지며, 따라서, 미스포커싱의 위험성, 즉, 우연히 배경에 포커싱하는 것은 감소하게 되어 있다. 그러나, 이 경우, 얼굴 부위가 작기 때문에, 콘트라스트 탐지를 위한 오토포커스 타겟 부위는 신뢰가능한 콘트라스트 평가용으로는 너무 작으며, 따라서, 오토포커스를 실패할 위험성은 증가한다.
이 문제점을 해결하기 위해, 전술한 본 발명의 각각의 양태에 따른 오토포커스 제어 회로, 오토포커스 제어 방법 및 이미지 픽업 장치는 얼굴 부위의 사이즈에 기초하여 얼굴 부위에 대한 오토포커스 타겟 부위의 영역 비를 바람직하게 변경해야 한다. 이는, 포착 이미지에 대한 얼굴 부위의 영역 비가 높은 경우, 얼굴 부위에 대한 오토포커스 타겟 부위의 영역 비를 감소하게 한다. 따라서, 이러한 영역 비의 감소가, 오토포커스 타겟 부위로부터 배경부를 효과적으로 배제하기 때문에, 우연히 배경에 포커싱할 위험성은 감소할 수 있다. 한편, 상기 특징은, 포착 이미지에 대한 얼굴 부위의 영역 비가 낮은 경우, 얼굴 부위에 대한 오토포커스 타겟 부위의 영역 비를 증가하게 한다. 따라서, 너무 작은 오토포커스 타겟 부위가 콘트라스트 탐지 시스템에 기초한 오토포커스의 실패를 발생시키는 위험성은 감소할 수 있다.
반면, 특허문헌 2에 개시되어 있는 이미지 픽업 장치는, 얼굴 탐지의 결과에 기초하여, 포착 이미지면에 규칙적으로 배열된 다수의 직사각형 부위들(특허문헌 2에서의 포커스 탐지 영역들)로부터 얼굴의 얼굴 선 부분을 포함하는 직사각형 부위를 선택한다. 그 다음, 이미지 픽업 장치는 선택 부위를 오토포커스 타겟 부위(특허문헌 2에서의 지정 영역)로 설정한다. 따라서, 특허문헌 2에 개시되어 있는 이미지 픽업 장치는, 자신의 얼굴 선을 포함하여 인간 피사체의 얼굴 이미지가, 포착 이미지면에 규칙적으로 배열된 직사각형 부위들 중 임의의 직사각형 부위를 대부분 차지한다는 조건 하에서 이미지가 포착되는 경우에만, 이미지의 오토포커스 타겟 부위 내의 배경 이미지를 감소시킬 수 있다. 그러나, 이러한 조건은 단지 우연히 제공될 것이다. 이러한 우연한 조건에 의존하지 않고, 오토포커스 타겟 부위 내의 배경 이미지를 감소시키기 위해, 다수의 직사각형 부위 각각은, 포착 이미지가 더 많은 조각으로 분할될 수 있도록, 사이즈를 감소시켜야 한다. 그러나, 이러한 접근법은 오토포커스 타겟 부위를 결정하는데 요구되는 계산의 복잡성을 증가시키는 단점을 갖는다.
이 문제점을 해결하기 위해, 전술한 본 발명의 각각의 양태에 따른 오토포커스 제어 회로, 오토포커스 제어 방법 및 이미지 픽업 장치는, 영역 비에 따라 얼굴 부위를 감소시킴으로써 획득되는 부위로 오토포커스 타겟 부위를 바람직하게 설정해야 한다. 배경 이미지가 얼굴 부위의 주변부에 포함되지 않을 것이기 때문에, 이는 얼굴 부위의 주변부 이외의 중심부를 오토포커스 타겟 부위로 설정하는 것이 가능하게 하며, 따라서, 계산의 복잡성을 증가시키지 않고 오토포커스 타겟 부위에 대한 오토포커스 타겟 부위에서의 배경 이미지의 영역 비가 효과적으로 감소하게 한다.
이하, 본 발명의 응용으로서 특정 양태의 상세한 설명이 도면을 참조하여 제시될 것이다. 도면에서, 동일한 구성요소는 동일한 참조부호에 의해 표시되며, 설명의 명확화를 위해, 중복된 설명은 필요에 따라 생략할 것이다.
제1 실시형태
도 1은 제1 실시형태에 따른 이미지 픽업 장치의 주요한 구성부분을 나타내는 블록도이다. 이하, 도 1에 포함된 구성요소를 각각 설명한다. 도 1에서, 촬영 광학 시스템(10)은 후술할 이미지 픽업 디바이스(110)의 이미징 표면에 피사체 이미지를 형성하는데 사용되는 일 세트의 광학 렌즈이다. 촬영 광학 시스템(10)은 포커싱 렌즈(101)를 포함한다. 포커싱 렌즈(101)는 후술할 렌즈 구동 유닛(134)의 구동력에 의해 구동되며, 따라서, 촬영 광학 시스템(10)과 이미지 픽업 디바이스(110)를 연결시키는 광학 축의 방향으로 이동가능하다.
이미지 픽업 유닛(11)은 이미지 픽업 디바이스(110), 아날로그 신호 프로세서(111) 및 A/D 변환기(112)를 포함한다. 이미지 픽업 디바이스(110)는 촬영 광학 시스템(10)을 통해 입사된 광학 신호를 광전기적으로 변환하여, 최종 신호를 아날로그 이미지 신호로서 출력하는 센서이다. 이미지 픽업 디바이스(110)는 예를 들어, CCD(charge coupled device) 이미지 센서 또는 CMOS(complementary MOS) 이미지 센서와 같은 센서이다.
아날로그 신호 프로세서(111)는 신호를 증폭함으로써, 이미지 픽업 디바이스(110)에 의해 출력된 아날로그 이미지 신호를 프로세싱하고, 신호 등으로부터 잡음을 제거한다. A/D 변환기(112)는 아날로그 신호 프로세서(111)에 의해 출력된 아날로그 이미지 신호를 샘플링하여, 포착 이미지 데이터를 디지털 이미지 신호로서 생성한다.
이미지 프로세서(12)는 A/D 변환기(112)에 의해 공급된 포착 이미지 데이터에 컬러 보정, 화이트 밸런스 조정, 및 감마 보정과 같은 이미지 프로세싱을 수행한다.
포커싱 유닛(13)은 포착 이미지 데이터에 대한 콘트라스트 탐지 시스템에 기초하여 오토포커스 프로세스를 수행한다. 구체적으로, 포커싱 유닛(13)은 먼저 이미지 픽업 유닛(11)에 의해 생성된 포착 이미지에 포함되는 인간의 얼굴을 탐지하는 얼굴 탐지를 수행한다. 인간의 얼굴을 탐지한 경우, 포커싱 유닛(13)은 인간의 얼굴이 차지하는 얼굴 부위 내의 영역을 오토포커스 타겟 부위(이하, AF 타겟 부위라고 지칭함)로 결정한다. 이하, 포커싱 유닛(13)은 광학 축의 방향으로 포커싱 렌즈(101)를 이동시켜서, 포착 이미지 데이터의, AF 타겟 부위에 대응하는 부위에서의 콘트라스트를 최대화한다.
도 1에 나타낸 구성 예에서, 포커싱 유닛(13)은 얼굴 탐지 유닛(130), AF 타겟 부위 결정 유닛(131), AF 평가 값 계산 유닛(132), 제어기(133) 및 렌즈 구동 유닛(134)을 포함한다. 얼굴 탐지 유닛(130)은 관련 기술로서 설명한 공지된 얼굴 탐지 알고리즘을 사용함으로써, 이미지 픽업 유닛(11)에 의해 생생되는 포착 이미지로부터 얼굴 부위를 탐지한다.
얼굴 탐지 유닛(130)에 의해 탐지된 얼굴 부위의 사이즈에 기초하여, AF 타겟 영역 결정 유닛(131)은 얼굴 부위 내의 부위를 AF 타겟 부위로 결정한다. 예를 들어, 얼굴 부위의 사이즈는 그 영역 사이즈에 기초하여 평가될 수도 있다. 얼굴 부위가 직사각형인 경우, 그 사이즈는 수평 길이 및 수직 길이에 기초하여 다른 방법으로 평가될 수도 있다. 부수적으로, 일부 얼굴 탐지 알고리즘은 포착 이미지 스크린을 다수의 작은 부위로 분할하고, 각각의 작은 부위가 그 작은 부위에 포함되는 픽셀들의 픽셀 값에 기초하여 인간의 얼굴의 적어도 일부에 대응하는지 여부를 결정함으로써 얼굴 탐지를 수행한다. 이러한 얼굴 탐지 알고리즘이 채택된 경우, 얼굴 부위의 사이즈는 얼굴 부위에 포함된 작은 부위의 개수에 기초하여 평가될 수도 있다. AF 타겟 부위 결정 유닛(131)이 AF 타겟 부위를 결정하는 계산 절차는 후술할 것이다.
AF 평가 값 계산 유닛(132)은 적어도 포착 이미지 데이터의, AF 타겟 부위에 대응하는 부위에서의 콘트라스트 평가 값을 AF 평가 값으로서 계산한다. 파라미터가 포착 이미지의 콘트라스트 레벨을 표현하는 한, 콘트라스트 평가 값으로서 다양한 파라미터들 중 임의의 파라미터가 사용될 수 있다. 예를 들어, AF 타겟 부위의 공간-주파수 스펙트럼은 DCT(discrete cosine transform)에 의해 획득될 수도 있고, 공간 주파수 스펙트럼에서의 고-주파수 컴포넌트의 크기는 콘트라스트 평가 값으로서 사용될 수도 있다. 다른 방법으로, AF 타겟 부위에서의 각각의 픽셀의 경우, 그 픽셀과 수평 및 수직으로 인접한 픽셀들 간의 픽셀 값 차이(절대값)가 계산될 수도 있고, AF 타겟 부위 내의 픽셀들의 픽셀 값 차이를 더함으로써 획득되는 전체 값이 콘트라스트 평가 값으로서 사용될 수도 있다.
제어기(133)는 AF 평가 값 계산 유닛(132)에 의해 계산된 AF 평가 값을 사용함으로써, 이미지 픽업 디바이스(110)의 이미징 표면에서의 포커싱 조건을 결정하며, 이로써, 포커싱 렌즈(101)의 위치를 결정하여, 인-포커스 조건을 제공한다. 구체적으로, 제어기(133)는 이미지 픽업 유닛(11)으로 하여금 포커싱 렌즈(101)를 움직이게 하면서 이미지들을 순차적으로 포착하게 하며, 따라서, AF 평가 값이 가장 높은, 포커싱 렌즈(101)의 위치를 결정한다. 여기서, 인-포커스 위치를 추정하는 기술은, 제어기(133)가 인-포커스 위치를 찾을 때 사용되는 알고리즘에 적용될 수도 있다. 이 기술에서, 이미지 콘트라스트가 가장 높은 인-포커스 위치는, 가우시안 곡선 또는 2차 곡선과 같은 근사 곡선을 사용하여, 포커싱 렌즈(101)의 위치와 AF 평가 값 간의 관계를 근사화시킴으로써 추정된다. 제어기(133)가 콘트라스트 평가 값을 사용함으로써 포커싱 조건을 결정할 때 사용되는 알고리즘은 이들 특정 예들로 제한되는 것이 아니라, 다양한 공지의 알고리즘 중 임의의 알고리즘이 사용될 수도 있다.
렌즈 구동 유닛(134)은, 제어기(133)의 제어 하에서, 광학 축의 방향으로 포커싱 렌즈(101)를 이동시킨다.
이하, 포커싱 유닛(13)에 의해 수행되는 오토포커스 프로세스의 절차에 대한 설명이 제시될 것이다. 도 2는 포커싱 유닛(13)에 의해 수행되는 오토포커스 프로세스의 절차를 나타내는 흐름도이다. 단계 S101에서, 포커싱 유닛(13)은 이미지 픽업 유닛(11)에 의해 생성된 포착 이미지 데이터를 수신한다. 단계 S102에서, 얼굴 탐지 유닛(130)은, 수신된 포착 이미지 데이터에서 얼굴 부위를 탐지하기 위해 얼굴 탐지 알고리즘을 실행한다.
단계 S102에서, 얼굴 탐지 유닛(130)이 어떠한 얼굴 부위도 탐지하지 못한 경우, AF 타겟 부위 결정 유닛(131)은 얼굴 부위에 포커싱하지 않는 일반적인 프로 세싱 절차에 따라 AF 타겟 부위를 결정한다(단계 S103 및 단계 S104). 여기에서, 일반적인 프로세싱 절차의 일례는 먼저, 포착 이미지로부터 높은 콘트라스트 부위를 피처 부위로서 추출한 다음, 그 피처 부위를 AF 타겟 부위로 설정하는 것이다. 다른 방법으로, AF 타겟 부위 결정 유닛(131)은 포착 이미지 내의 소정의 부위를 AF 타겟 부위로 설정할 수도 있다.
한편, 단계 S102에서 얼굴 탐지 유닛(130)이 얼굴 부위를 탐지한 경우, AF 타겟 부위 결정 유닛(131)은 탐지된 얼굴 부위의 영역 사이즈를 소정의 임계치 ATH와 비교한다(단계 S103 및 단계 S105). 얼굴 부위의 영역 사이즈에 대한 임계치 비교 대신에, 그 수평 및 수직 길이 또는 얼굴 부위에 포함된 작은 부위의 개수와 같은 얼굴 부위의 사이즈를 표현하는 다른 파라미터에 대한 임계치 비교를 할 수도 있다.
얼굴 부위의 영역 사이즈가 임계치 ATH 초과인 경우, AF 타겟 부위 결정 유닛(131)은 얼굴 부위의 주변부 이외의 중심부를 AF 타겟 부위로 결정한다(단계 S106). 한편, 얼굴 부위의 영역 사이즈가 임계치 ATH를 이하인 경우, AF 타겟 부위 결정 유닛(131)은 전체 얼굴 부위를 AF 타겟 부위로 결정한다(단계 S107).
단계 S108에서, 포커싱 유닛(13)은 포커싱 렌즈(101)의 위치를 결정함으로써 제어기(133)의 제어 하에서 오토포커싱을 수행하여, AF 타겟 부위 결정 유닛(131)에 의해 결정되는 AF 타겟 부위에서의 콘트라스트를 최대화하며, 즉 AF 타겟 부위에서의 피사체에 포커스를 맞출 수 있다.
상기 오토포커스 프로세스 다음으로, 단계 S109에서 포커싱 유닛(13)은 AE(auto exposure)를 수행하여, 포착 이미지의 밝기를 적절한 레벨로 조정한다. 마지막으로, 단계 S110에서, 이미지 픽업 장치(1)는 오토포커스 프로세스 및 자동노출 프로세스가 완료된 후에 또 다른 이미지를 포착한다. 단계 S110에서 포착된 이미지 데이터는, 이미지 프로세서(12)가 이에 대한 이미지 프로세싱을 수행한 후에, 메모리(미도시)에 저장된다. 예를 들어, 카메라 작동자가 이미지 픽업 장치(1)에 제공되는 셔터 버튼(미도시)을 누르는 동작에 대응하여, AF 타겟 부위를 결정하는 단계, 오토포커싱하는 단계, 자동노출 단계, 및 이미지를 포착하는 단계를 포함하는, 도 2에 나타낸 전체 프로세스가 수행될 수도 있다.
이하, 도 2의 단계 S106 및 단계 S107에서 결정되는 AF 타겟 부위의 특정한 예시의 설명이, 도 3a 및 도 3b를 참조하여 제시될 것이다. 도 3a는 인간의 얼굴 이미지(300)를 포함하는 포착 이미지(301)를 나타낸다. 도 3a에서 점선으로 둘러싸인 부위인 RFD는 얼굴 부위를 표현한다. 한편, 도 3a에서 일점쇄선으로 둘러싸인 부위인 RAF는 얼굴 부위 RFD의 주변부 이외의 중심부로 설정된 AF 타겟 부위를 표현한다. 즉, 도 3a에 나타낸 AF 타겟 부위 RAF는 얼굴 부위 RFD의 영역 사이즈가 임계치 ATH를 초과하는 경우, 단계 S106에서 결정된 AF 타겟 부위 RAF에 대응한다.
도 3a에 나타낸 바와 같이, 얼굴 이미지(300)가 포착 이미지(301)에서 상대적으로 큰 영역을 차지하는 경우, 얼굴 이미지(300) 이외의 배경부 또한 얼굴 부위 RFD에서 큰 영역을 차지한다. 따라서, 전체 얼굴 부위 RFD 또는 얼굴 부위 RFD보다 큰 부위를 AF 타겟 부위 RAF로 결정함으로써 오토포커싱하는 것은 미스포커싱을 유발시킬 수도 있다. 미스포커싱은 얼굴 이미지(300)에 포커스가 맞지 않고 얼굴 이미지(300) 주변의 배경 이미지에 포커스가 맞는 현상이다. 이 경우, 이미지 픽업 장치(1)는 얼굴 부위 RFD의 주변부 이외의 중심부를 AF 타겟 부위로 결정한다. 이는 AF 타겟 부위 RAF에 포함되는 배경 이미지의 영역 사이즈를 감소시키며, 따라서, 이미지 픽업 장치(1)로 하여금 오토포커싱을 수행하게 하여, 얼굴 이미지(300)에 포함되는 눈, 입, 코, 귀 및 눈썹과 같은 피처 포인트의 콘트라스트 레벨을 최대화한다.
단계 S106에서 포커싱 유닛(13)이 얼굴 부위 RFD부터 AF 타겟 부위 RAF를 선택하는 특정 절차의 일례는 얼굴 부위 RFD와 유사한 형상을 갖는 얼굴 부위 RFD의 중심부를 AF 타겟 부위 RAF로 선택하는 것이다. 예를 들어, 얼굴 부위 RFD가 직사각형인 경우, AF 타겟 부위 RAF의 수평 길이 및 수직 길이는 각각 얼굴 부위 RFD의 수평 길이 및 수직 길이의 80%로 미리 설정될 수도 있다. 이 경우, 얼굴 부위 RFD에 대한 얼굴 부위 RFD와 유사한 형상을 갖는 AF 타겟 부위 RAF의 영역 비는 64%이다. 전술한 바와 같이, AF 타겟 부위 RAF를 결정하는 간단한 절차는 낮은 계산 복잡성에 의해 AF 타겟 부위 RAF의 결정을 가능하게 하며, 따라서, 더 신속한 오토 포커스 프로세스에 기여한다는 이점을 갖는다.
AF 타겟 부위 RAF를 결정하는 절차는 상기 특정 예로 제한되는 것은 아니다. 대신에, 포커싱 유닛(13)은 직사각형의 얼굴 부위 RFD의 4개의 코너 주변부를 우선적으로 배제함으로써 AF 타겟 부위 RAF를 결정할 수도 있다. 얼굴 부위 RFD가 직사각형의 형상으로 설정된 경우, 배경 이미지는 얼굴 부위 RFD에서의 4개의 코너 주변에 포함될 것이기 때문에, AF 타겟 부위 RAF를 결정하는 이 절차는 AF 타겟 부위 RAF에 포함되는 배경부의 현저한 감소를 가능하게 한다.
도 3b는 전체 얼굴 부위 RFD가 AF 타겟 부위 RAF로 결정된 경우를 나타낸다. 즉, 도 3b에 나타낸 AF 타겟 부위 RAF는, 얼굴 부위 RFD의 영역 사이즈가 임계치 ATH 이하인 경우, 단계 S107에서 결정된 AF 타겟 부위 RAF에 대응한다. 도 3a에 나타낸 바와 같이, 얼굴 부위 RFD가 상대적으로 작은 경우, 배경부 또한 얼굴 부위 RFD에서 작은 영역을 차지한다. 한편, 얼굴 부위 RFD가 상대적으로 작기 때문에, 이미지 픽업 장치(1)는 얼굴 부위 RFD의 주변부 이외의 중심부만을 AF 타겟 부위 RAF로 결정해서는 안된다. 이는, 도 3a와 유사한 알고리즘에 기초한 이 방법이, AF 타겟 부위 RAF가 너무 작아서 이미지 픽업 장치(1)가 힐-클라이밍 제어에 필요한 콘트라스트 평가 값의 현저한 변화를 계산할 수 없고, 정상적으로 오토포커싱을 완 료할 수 없게 만들기 때문이다.
그러나, 이미지 픽업 장치(1)는 얼굴 부위 RFD의 사이즈에 따라 얼굴 부위 RFD에 대한 AF 타겟 부위 RAF로 선택된 부위의 영역 비를 변경하는 기능을 갖는다. 또한, 이미지 픽업 장치(1)는, 얼굴 부위 RFD의 영역 사이즈가 작은 경우, 전체 얼굴 부위 RFD를 AF 타겟 부위 RAF로 선택하도록 구성된다. 이는 AF 타겟 부위 RAF가 너무 작아서 이미지 픽업 장치(1)의 성공적인 오토포커싱을 허용하지 않을 위험성을 감소시킨다.
도 4a는 포착 이미지(301)에 포함되는 인간의 얼굴 이미지(300)가 기울어진 경우를 나타낸다. 이 경우, 얼굴 부위 RFD가 윤곽 보정에 의해 결정되는 경우에는, 도 4a에 나타낸 바와 같이, 얼굴 이미지(300) 이외의 배경부가 큰 영역을 차지한다. 따라서, 이러한 기울어진 얼굴 이미지(300)가 탐지된 경우, 도 4b에 나타낸 바와 같이, 이미지 픽업 장치(1)는 얼굴 부위 RFD의 중심부를 AF 타겟 부위 RAF로 결정할 수도 있다. 그러나, 바람직하게, 얼굴 부위 RFD에 대한 AF 타겟 부위 RAF의 영역 비는, 얼굴 부위 RFD에서의 배경부가 효과적으로 제거될 수 있도록 도 3a의 경우에서 보다 더 작게 설정되어야 한다.
전술한 바와 같이, 본 실시형태에 따른 이미지 픽업 장치(1)는 얼굴 탐지에 의해 획득되는 얼굴 부위 내에 AF 타겟 부위를 설정한다. 또한, 얼굴 부위의 영역 사이즈가 임계치 ATH를 초과하는지 여부에 따라, 이미지 픽업 장치(1)는 AF 타겟 부위를 얼굴 부위의 주변부 이외의 중심부 또는 전체 얼굴 부위로 설정한다. 즉, 이미지 픽업 장치(1)는 얼굴 부위의 사이즈에 따라 전체 얼굴 부위에 대한 AF 타겟 부위의 영역 비를 변경시키도록 구성된다. 따라서, 얼굴 부위가 상대적으로 큰 경우, AF 타겟 부위의 영역 비를 감소시켜서, 배경부의 악영향이 제어될 수 있으며, 따라서, 미스포커싱이 덜 발생하게 할 수 있다. 한편, 얼굴 부위가 상대적으로 작은 경우, AF 타겟 부위의 영역 비를 증가시켜서, 큰 AF 타겟 부위가 확보될 수 있으며, 따라서, 콘트라스트 탐지 시스템은 오토포커스를 덜 실패하게 할 수 있다.
부수적으로, 도 1에 나타낸 얼굴 탐지 유닛(130), AF 타겟 부위 결정 유닛(131) 및 제어기(133)에 의해 수행되는 프로세스들은 포착 이미지 데이터를 저장하는 메모리 및 CPU(central processing unit)를 갖는 컴퓨터로 하여금 도 2의 단계 S101 내지 단계 S107의 프로세스 절차를 설명하는 프로그램을 실행하게 함으로써 구현될 수도 있다.
도 5는 CPU를 포함하는 이미지 픽업 장치(1)의 특정 구성 예를 나타낸다. 도 5의 구성 도면은 도 1에 나타낸 이미지 픽업 장치(1)의 주요한 구성요소뿐 아니라 디지털 카메라 내에 이미지 픽업 장치(1)를 적용하는데 유용한, 디스플레이 디바이스와 같은 구성요소들을 나타낸다. 도 5에서, CPU(230)는, 메모리(231)에 저장된 프로그램을 판독하여 실행함으로써, 얼굴 탐지 유닛(130), AF 타겟 부위 결정 유닛(131), 및 제어기(133)에 할당된 프로세스들을 수행한다. 메모리(231)는 ROM(read-only memory) 또는 플래시 메모리와 같은 비휘발성 메모리 및 DRAM(dynamic random access momory)과 같은 휘발성 메모리의 메모리 세트이다. 메모리(231)는 CPU(230)에 의해 실행되는 프로그램, 포착 이미지 데이터 등을 저장한다. 디스플레이 디바이스(233)는 디스플레이 인터페이스(232)를 통해 공급되는 이미지를 디스플레이한다. 디스플레이 디바이스(233)는, 이미지 픽업 유닛(11)에 의해 순차적으로 출력되는 포착 이미지(스루 이미지; through image), 얼굴 탐지 알고리즘을 실행함으로써 탐지되는 얼굴 부위, 오토포커싱이 완료된 후의 스루 이미지, 및 카메라 작동자가 셔터 버튼(미도시)을 동작시킬 때 포착되는 포착 이미지를 디스플레이한다. 당연히, CPU(230)는 AF 평가 값 계산 유닛(132)을 대신하여 AF 평가 값의 계산을 실행할 수도 있다.
<제2 실시형태>
상기 제1 실시형태에서, 얼굴 부위의 영역 사이즈가 임계치 ATH를 초과하는지 여부에 따라, AF 타겟 부위가 얼굴 부위의 주변부 이외의 중심부 또는 전체 얼굴 부위로 설정되는 구성의 설명이 제시될 것이다. 그러나, 제1 실시형태는 단지, 얼굴 부위의 사이즈에 따라 얼굴 부위에 대한 AF 타겟 부위의 비를 변경할 수 있는 이미지 픽업 장치의 특정한 일례이다. 제2 실시형태에 따른 이미지 픽업 장치는 얼굴 부위의 사이즈에 따라 얼굴 부위에 대한 AF 타겟 부위의 영역 비를 변경할 수 있는 이미지 픽업 장치의 또 다른 예이다.
본 실시형태에 따른 이미지 픽업 장치의 구성은 도 1 및 도 5에 나타낸 이미지 픽업 장치(1)의 구성과 유사하게 설정될 수도 있다. 따라서, 본 실시형태에 다른 이미지 픽업 장치의 구성 도면은 중복적으로 제시되지 않을 것이고, 이에 대한 상세한 설명은 생략할 것이다. 또한, 다음의 설명에서, 본 실시형태에 따른 이미지 픽업 장치의 구성요소는 도 1 또는 도 5에 나타낸 이미지 픽업 장치(1)의 구성요소에 할당된 참조 부호를 사용함으로써 지칭된다.
도 6은 본 발명에 따른 이미지 픽업 장치에 포함된 포커싱 유닛(13)에 의해 수행되는 오토포커스 프로세스의 절차를 나타낸다. 도 6에 나타낸 흐름도는, 단계 S105 내지 단계 S107이 단계 S205로 대체된다는 점에서, 도 2에 나타낸 흐름도와 상이하다. 얼굴 탐지 유닛(130)이 얼굴 부위를 탐지하는 경우 수행되는 단계 S205에서, AF 타겟 부위 결정 유닛(131)은 탐지된 얼굴 부위의 사이즈에 따라 결정된 AF 타겟 부위 RAF의 영역 비를 채택함으로써 얼굴 부위 내의 AF 타겟 부위를 결정한다. 도 7은 단계 S205에서 결정된 AF 타겟 부위와 얼굴 부위 간의 사이즈 관계를 나타내는 그래프이다. 도 7에 나타낸 그래프의 수평축은 얼굴 부위의 영역 사이즈를 나타내며, 그래프의 수직축은 얼굴 부위에 대한 AF 타겟 부위의 영역 비를 나타낸다.
도 7에 나타낸 예시에서, 얼굴 부위의 영역 사이즈가 임계치 ATH 이하인 경우, AF 타겟 부위의 영역 비는 100%로 결정되며, 즉, 전체 얼굴 부위가 AF 타겟 부위로 결정된다. 한편, 얼굴 부위의 영역 사이즈가 임계치 ATH와 임계치 ATH보다 큰 제2 임계치 ATH2 사이의 범위에 있는 경우, AF 타겟 부위는, 얼굴 부위에 대한 AF 타겟 부위의 영역 비가 얼굴 부위의 영역 사이즈의 증가에 따라 더 작아질 수 있도록 결정된다. 얼굴 부위의 영역 사이즈가 임계치 ATH2를 초과하는 경우, 얼굴 부위에 대한 AF 타겟 부위의 영역 비는 소정의 더 낮은 한도로 설정된다. 일례로, 도 7에서 영역 비의 더 낮은 한도는 60%로 설정된다.
<다른 실시형태들>
본 발명에 따른 상기 실시형태들에서, 피사체 이미지의 이미징 위치는, 일례로, 촬영 광학 시스템(10)에 포함되는 포커싱 렌즈(101)를 이동시킴으로써 조정된다. 그러나, 피사체 이미지의 이미징 위치는 이미지 픽업 디바이스(110)를 이동시킴으로서 조정될 수도 있다.
또한, 본 발명에 따른 상기 제1 실시형태에서, 얼굴 부위에 대한 AF 타겟 부위의 영역 비는, 일례로, 얼굴 부위의 사이즈의 결과를 단일 임계치 ATH와 비교하는 것에 기초하여 2개의 값 중 어느 하나로 설정된다. 그러나, 2 이상의 임계치가 얼굴 부위의 사이즈에 관해 설정될 수도 있으며, 얼굴 부위의 사이즈에 따라 결정된 AF 타겟 부위의 영역 비는 3개 이상의 값 중 어느 하나로 설정될 수도 있다.
본 발명에 따른 상기 실시형태들에서, 얼굴 부위가 상대적으로 큰 경우, 얼굴 주위의 주변부 이외의 중심부가 AF 타겟 부위로 결정되는 구성이 설명되어 있다. 그러나, 이러한 구성은 AF 타겟 부위로부터 배경을 완전히 제거하려는 것이 아니다. 즉, 본 발명에 따른 상기 실시형태들의 이미지 픽업 장치에 의해 결정되는 AF 타겟 부위는 배경 이미지를 포함할 수도 있다. 본 발명은 배경 이미지를 포함하는 AF 타겟 부위의 선택을 배제하지 않는다.
명백히, 본 발명은 상기 실시형태들로 제한되는 것이 아니라, 본 발명의 범위 및 사상으로부터 벗어나지 않으면 변형되거나 변경될 수도 있다.
도 1은 본 발명의 제1 실시형태에 따른 이미지 픽업 장치를 나타내는 블록도.
도 2는 본 발명의 제1 실시형태에 따른 이미지 픽업 장치에 의해 수행되는 오토포커스 프로세스의 절차를 나타내는 흐름도.
도 3a 및 도 3b는 본 발명의 제1 실시형태에 따른 이미지 픽업 장치에서 얼굴 부위와 오토포커스 타겟 부위 간의 관계를 나타내는 도면.
도 4a 및 도 4b는 본 발명의 제1 실시형태에 따른 이미지 픽업 장치에서 얼굴 부위와 오토포커스 타겟 부위 간의 관계를 나타내는 도면.
도 5는 본 발명의 제1 실시형태에 따른 이미지 픽업 장치의 구성 예를 나타내는 도면.
도 6은 본 발명의 제2 실시형태에 따른 이미지 픽업 장치에 의해 수행되는 오토포커스 프로세스의 절차를 나타내는 흐름도.
도 7은 본 발명의 제2 실시형태에 따른 이미지 픽업 장치에서 얼굴 부위와 오토포커스 타겟 부위 간의 영역 사이즈 관계를 나타내는 그래프.
*도면의 주요부분에 대한 설명*
1 : 이미지 픽업 장치
10 : 촬영 광학 시스템
11 : 이미지 픽업 유닛
12 : 이미지 프로세서
13 : 포커싱 유닛

Claims (17)

  1. 촬영 광학 시스템에 의해 형성되는 피사체 이미지를 포착함으로써 생성되는 포착 이미지 데이터에 기초하여 상기 피사체 이미지의 얼굴을 포함하는 얼굴 부위를 결정하는 얼굴 탐지부;
    상기 얼굴 부위 내에서 오토포커스 타겟 부위를 결정하고, 상기 얼굴 부위에 대한 상기 오토포커스 타겟 부위의 영역 비를 변경할 수 있는 오토포커스 타겟 부위 결정부; 및
    상기 포착 이미지 데이터의, 상기 오토포커스 타겟 부위에 대응하는 부위에서의 콘트라스트에 기초하여 상기 피사체 이미지의 포커싱 조건을 결정하는 포커싱 조건 결정부를 포함하는, 오토포커스 제어 회로.
  2. 제 1 항에 있어서,
    상기 오토포커스 타겟 부위 결정부는 상기 얼굴 부위의 사이즈에 기초하여 상기 영역 비를 변경하는, 오토포커스 제어 회로.
  3. 제 1 항에 있어서,
    상기 오토포커스 타겟 부위 결정부는, 상기 얼굴 부위의 사이즈를 감소시킴에 따라 상기 영역 비가 더 커지도록 상기 오토포커스 타겟 부위를 결정하는, 오토포커스 제어 회로.
  4. 제 1 항에 있어서,
    상기 오토포커스 타겟 부위 결정부는 상기 얼굴 부위의 사이즈가 소정의 값을 초과하는 경우, 상기 얼굴 부위의 주변부 이외의 중심부를 상기 오토포커스 타겟 부위로 설정하고,
    상기 오토포커스 타겟 부위 결정부는, 상기 얼굴 부위의 상기 사이즈가 상기 소정의 값 이하인 경우, 전체 얼굴 부위를 상기 오토포커스 타겟 부위로 설정하는, 오토포커스 제어 회로.
  5. 제 1 항에 있어서,
    상기 오토포커스 타겟 부위 결정부는 상기 영역 비에 기초하여 상기 얼굴 부위를 감소시킴으로써 획득되는 부위를 상기 오토포커스 타겟 부위로 설정하는, 오토포커스 제어 회로.
  6. 제 5 항에 있어서,
    상기 오토포커스 타겟 부위 결정부는 상기 오토포커스 타겟 부위가 상기 얼굴 부위와 유사한 형상을 갖게 하는, 오토포커스 제어 회로.
  7. 제 1 항에 있어서,
    상기 얼굴 부위는 직사각형이며,
    상기 오토포커스 타겟 부위 결정부는, 상기 얼굴 부위 내에 상기 오토포커스 타겟 부위를 결정하는 경우, 상기 얼굴 부위의 4개의 코너 주변부를 상기 오토포커스 타겟 부위로부터 우선적으로 배제하는, 오토포커스 제어 회로.
  8. 촬영 광학 시스템에 의해 형성되는 피사체 이미지를 포착함으로써 포착 이미지 데이터를 생성하는 이미지 픽업부를 포함하는 이미지 픽업 장치를 위한 오토포커스 제어 방법으로서,
    상기 포착 이미지 데이터에 기초하여 상기 피사체 이미지의 얼굴을 포함하는 얼굴 부위를 결정하는 단계;
    상기 얼굴 부위에 대한 오토포커스 타겟 부위의 영역 비를 변경함으로써, 상기 얼굴 부위 내에서 상기 오토포커스 타겟 부위를 결정하는 단계; 및
    상기 포착 이미지 데이터의, 상기 오토포커스 타겟 부위에 대응하는 부위에서의 콘트라스트에 기초하여 상기 피사체 이미지의 이미징 위치를 조정하는 단계를 포함하는, 오토포커스 제어 방법.
  9. 제 8 항에 있어서,
    상기 영역 비는 상기 얼굴 부위의 사이즈에 기초하여 변경되는, 오토포커스 제어 방법.
  10. 제 8 항에 있어서,
    상기 얼굴 부위의 사이즈를 감소시킴에 따라 상기 얼굴 부위에 대한 상기 오토포커스 타겟 부위의 상기 영역 비가 더 커지도록 상기 오토포커스 타겟 부위가 결정되는, 오토포커스 제어 방법.
  11. 제 8 항에 있어서,
    상기 얼굴 부위의 사이즈가 소정의 값을 초과하는 경우, 상기 오토포커스 타겟 부위가 상기 얼굴 부위의 주변부 이외의 중심부로 설정되고,
    상기 얼굴 부위의 상기 사이즈가 상기 소정의 값 이하인 경우, 상기 오토포커스 타겟 부위가 전체 얼굴 부위로 설정되는, 오토포커스 제어 방법.
  12. 제 8 항에 있어서,
    상기 오토포커스 타겟 부위가 상기 영역 비에 기초하여 상기 얼굴 부위를 감소시킴으로써 획득되는 부위로 설정되는, 오토포커스 제어 방법.
  13. 제 12 항에 있어서,
    상기 오토포커스 타겟 부위가 상기 얼굴 부위와 유사한 형상을 갖게 되는, 오토포커스 제어 방법.
  14. 촬영 광학 시스템;
    상기 촬영 광학 시스템에 의해 형성되는 피사체 이미지를 포착함으로써 포착 이미지 데이터를 생성하는 이미지 픽업부;
    상기 포착 이미지 데이터에 기초하여 상기 피사체 이미지의 얼굴을 포함하는 얼굴 부위를 결정하는 얼굴 탐지부;
    상기 얼굴 부위 내에서 오토포커스 타겟 부위를 결정하고, 상기 얼굴 부위에 대한 상기 오토포커스 타겟 부위의 영역 비를 변경할 수 있는 오토포커스 타겟 부위 결정부; 및
    상기 포착 이미지 데이터의, 상기 오토포커스 타겟 부위에 대응하는 부위에서의 콘트라스트에 기초하여 상기 피사체 이미지의 이미징 위치를 조정하는 오토포커스부를 포함하는, 이미지 픽업 장치.
  15. 제 14 항에 있어서,
    상기 오토포커스 타겟 부위 결정부는 상기 얼굴 부위의 사이즈에 기초하여 상기 영역 비를 변경하는, 이미지 픽업 장치.
  16. 제 14 항에 있어서,
    상기 오토포커스 타겟 부위 결정부는, 상기 얼굴 부위의 사이즈를 감소시킴에 따라 상기 영역 비가 더 커지도록 상기 오토포커스 타겟 부위를 결정하는, 이미지 픽업 장치.
  17. 제 14 항에 있어서,
    상기 오토포커스 타겟 부위 결정부는,
    상기 얼굴 부위의 사이즈가 소정의 값을 초과하는 경우, 상기 얼굴 부위의 주변부 이외의 중심부를 상기 오토포커스 타겟 부위로 설정하고,
    상기 오토포커스 타겟 부위 결정부는, 상기 얼굴 부위의 상기 사이즈가 상기 소정의 값 이하인 경우, 전체 얼굴 부위를 상기 오토포커스 타겟 부위로 설정하는, 이미지 픽업 장치.
KR1020080101294A 2007-10-16 2008-10-15 오토포커스 제어 회로, 오토포커스 제어 방법 및 이미지 픽업 장치 KR101008864B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2007-268537 2007-10-16
JP2007268537A JP4917509B2 (ja) 2007-10-16 2007-10-16 オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置

Publications (2)

Publication Number Publication Date
KR20090038828A true KR20090038828A (ko) 2009-04-21
KR101008864B1 KR101008864B1 (ko) 2011-01-17

Family

ID=40533264

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080101294A KR101008864B1 (ko) 2007-10-16 2008-10-15 오토포커스 제어 회로, 오토포커스 제어 방법 및 이미지 픽업 장치

Country Status (3)

Country Link
US (1) US20090095880A1 (ko)
JP (1) JP4917509B2 (ko)
KR (1) KR101008864B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110054309A (ko) * 2009-11-17 2011-05-25 삼성전자주식회사 디지털 영상 처리기에서 포커스 조정 장치 및 방법
KR20110103795A (ko) * 2010-03-15 2011-09-21 삼성전자주식회사 자동 초점 조절 장치 및 방법
WO2013024946A1 (ko) * 2011-08-12 2013-02-21 에이치디씨 주식회사 오토포커스 시스템의 제어방법

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010282107A (ja) * 2009-06-08 2010-12-16 Canon Inc 撮像装置及びその制御方法
JP5428559B2 (ja) * 2009-06-10 2014-02-26 株式会社ニコン 焦点検出装置及び撮像装置
JP5421691B2 (ja) 2009-08-18 2014-02-19 キヤノン株式会社 焦点調節装置および焦点調節方法
US8294810B2 (en) * 2010-07-09 2012-10-23 Altek Corporation Assisting focusing method for face block
JP5593990B2 (ja) 2010-09-08 2014-09-24 リコーイメージング株式会社 撮像システムおよび画素信号読出し方法
JP5780750B2 (ja) * 2010-12-20 2015-09-16 キヤノン株式会社 自動合焦装置、その制御方法及びプログラム
JP2012247682A (ja) * 2011-05-30 2012-12-13 Nikon Corp 撮像装置
JP2013040995A (ja) * 2011-08-11 2013-02-28 Nikon Corp 撮像装置
JP2013143755A (ja) * 2012-01-12 2013-07-22 Xacti Corp 電子カメラ
JP5963606B2 (ja) 2012-08-10 2016-08-03 キヤノン株式会社 撮像装置及びその制御方法
TWI508001B (zh) * 2013-10-30 2015-11-11 Wistron Corp 路人偵測方法、裝置與電腦程式產品
US9363499B2 (en) * 2013-11-15 2016-06-07 Htc Corporation Method, electronic device and medium for adjusting depth values
KR101604651B1 (ko) * 2015-07-01 2016-03-18 렉스젠(주) 영상 감시 장치 및 그 방법
KR102460838B1 (ko) 2015-08-28 2022-10-28 삼성전자주식회사 얼굴 검출을 이용한 카메라의 자동 초점 조절 방법 및 카메라 제어 장치
CN107395957B (zh) * 2017-06-30 2019-12-10 Oppo广东移动通信有限公司 拍照方法、装置、存储介质及电子设备
CN107360366B (zh) * 2017-06-30 2020-05-12 Oppo广东移动通信有限公司 拍照方法、装置、存储介质及电子设备
WO2024124431A1 (en) * 2022-12-14 2024-06-20 Intel Corporation Methods and apparatus for autofocus for image capture systems

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001215403A (ja) * 2000-02-01 2001-08-10 Canon Inc 撮像装置および焦点の自動検出方法
JP2004317699A (ja) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
JP4674471B2 (ja) * 2005-01-18 2011-04-20 株式会社ニコン デジタルカメラ
JP4639837B2 (ja) * 2005-02-15 2011-02-23 株式会社ニコン 電子カメラ
JP4747003B2 (ja) * 2005-06-22 2011-08-10 富士フイルム株式会社 自動合焦制御装置およびその制御方法
JP2007249000A (ja) * 2006-03-17 2007-09-27 Casio Comput Co Ltd 撮像装置、撮像方法および撮像プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110054309A (ko) * 2009-11-17 2011-05-25 삼성전자주식회사 디지털 영상 처리기에서 포커스 조정 장치 및 방법
US9521310B2 (en) 2009-11-17 2016-12-13 Samsung Electronics Co., Ltd. Method and apparatus for focusing on subject in digital image processing device
KR20110103795A (ko) * 2010-03-15 2011-09-21 삼성전자주식회사 자동 초점 조절 장치 및 방법
WO2013024946A1 (ko) * 2011-08-12 2013-02-21 에이치디씨 주식회사 오토포커스 시스템의 제어방법

Also Published As

Publication number Publication date
US20090095880A1 (en) 2009-04-16
JP2009098317A (ja) 2009-05-07
KR101008864B1 (ko) 2011-01-17
JP4917509B2 (ja) 2012-04-18

Similar Documents

Publication Publication Date Title
KR101008864B1 (ko) 오토포커스 제어 회로, 오토포커스 제어 방법 및 이미지 픽업 장치
US8629915B2 (en) Digital photographing apparatus, method of controlling the same, and computer readable storage medium
US9826140B2 (en) Image capturing apparatus and control method thereof
US7868915B2 (en) Photographing apparatus, method and computer program product
US9113075B2 (en) Image processing method and apparatus and digital photographing apparatus using the same
US20070263997A1 (en) Focus adjustment method, focus adjustment apparatus, and control method thereof
US7957633B2 (en) Focus adjusting apparatus and focus adjusting method
US9131145B2 (en) Image pickup apparatus and control method therefor
KR20070078819A (ko) 얼굴 중요도 판정장치, 방법 및 촬상장치
JP2010122301A (ja) フォーカス制御装置、およびフォーカス制御方法
JP2012118817A (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
TW201329554A (zh) 用於自動聚焦的系統及其方法
KR20160030361A (ko) 이미지 보정 장치, 이미지 보정 방법 및 기록 매체에 저장된 컴퓨터 프로그램
US9357124B2 (en) Focusing control device and controlling method of the same
US20210306543A1 (en) Information processing apparatus, image capturing apparatus, method, and storage medium
KR101167866B1 (ko) 오토포커스를 위한 장치, 방법, 및 컴퓨터 판독가능 매체
JP2015106116A (ja) 撮像装置
US20200177814A1 (en) Image capturing apparatus and method of controlling image capturing apparatus
KR101635602B1 (ko) 홍채 인식 방법 및 장치
US10747089B2 (en) Imaging apparatus and control method of the same
JP2010134309A (ja) オートフォーカス装置、オートフォーカス方法及び撮像装置
US11727716B2 (en) Information processing apparatus, imaging apparatus, which determines exposure amount with respect to face detection and human body detection
JP5315019B2 (ja) オートフォーカス装置、オートフォーカス方法及び撮像装置
US11115582B2 (en) Imaging control apparatus, imaging apparatus, and recording medium
JP6200240B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee