KR20090118095A - 분류기 체인을 이용한 조명 검출 - Google Patents
분류기 체인을 이용한 조명 검출 Download PDFInfo
- Publication number
- KR20090118095A KR20090118095A KR1020097020698A KR20097020698A KR20090118095A KR 20090118095 A KR20090118095 A KR 20090118095A KR 1020097020698 A KR1020097020698 A KR 1020097020698A KR 20097020698 A KR20097020698 A KR 20097020698A KR 20090118095 A KR20090118095 A KR 20090118095A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- image
- classifier
- applying
- illumination
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
Abstract
얼굴 조명 규격화 방법은 고르지 않게 조명된 것으로 나타나는 얼굴을 포함하는 디지털 이미지를 획득하는 단계를 포함한다. 하나 이상의 비균일 조명 분류기 프로그램은 디지털 이미지 및/또는 얼굴의 비균일 조명 조건내에 얼굴이 존재하는 지를 판단하기 위해 얼굴 데이터에 적용된다. 보다 균일한 조명을 가지는 것으로, 예를 들어, 얼굴 인지 화질이 개선되는 것으로 나타나는 정정된 얼굴 이미지를 생성하기 위해, 이 비균일 조명 조건이 정정될 수 있다.
Description
본 발명은 특히, 고르지 않은 조명 조건 하에서의 얼굴 검출 및 감지와 관련된다.
Viola-Jones는 순차적인 특징 검출기의 연속으로 이루어진 분류기 체인을 제안한다. 상기 분류기는 얼굴을 나타내지 않는 이미지 패턴들을 거절하고 얼굴을 나타내는 이미지 패턴들을 받아들인다.
얼굴 감지 과정에서의 문제점은 고르지 않게 조명된 얼굴들이 올바른 분류를 어렵게 하며 얼굴 공간의 넓은 영역에 분포할 때 발생한다. 유사한 조명을 가지는 얼굴들은 서로 클러스터(cluster)를 이루는 경향이 있고 동일한 사람의 이미지들에 대한 올바르게 클러스터링 하는 것이 어렵다. 이미지들의 범위 안에서 고르지 않게 조명된 얼굴들, 또는 비정면 자세(non-frontal pose)를 가지는 얼굴과 같이, 다른 어려운 얼굴 특징이 존재하는 곳에서, 얼굴 검출을 할 수 있는 것이 요망된다. 또한, 예를 들어, 얼굴 인식 및/또는 다른 얼굴에 기초한 애플리케이션을 사용하는 데 있어서, 얼굴의 조명을 규격화하는 방법을 가지는 것이 요망된다.
얼굴 조명 규격화 방법이 제공된다. 고르지 않게 조명된 것으로 나타나는 얼굴에 대응하는 데이터를 포함하여 디지털 이미지가 획득된다. 하나 이상의 조명 분류기 프로그램이 얼굴 데이터에 적용되고, 얼굴 데이터가 상기 얼굴에 대응되는 것으로 식별된다. 얼굴에 대한 비균일 조명 조건이 상기 하나 이상의 비균일 조명 분류기 프로그램을 적용한 결과로서 판단된다. 상기 판단에 근거하여, 균일한 조명을 갖는 것으로 나타나는 정정된 얼굴 이미지를 생성하기 위해, 상기 얼굴에 대한 비균일 조명 조건이 정정된다. 본 방법은 또한 상기 정정된 얼굴 이미지를 전자적으로 저장, 전송, 얼굴 인지 프로그램에 적용, 편집, 또는 디스플레이하거나, 이들을 조합하여 수행하는 단계를 포함한다.
얼굴 인지 프로그램이 상기 정정된 얼굴 이미지에 적용될 수 있다. 얼굴을 검출하는 것과 상기 얼굴의 비균일 조명 조건을 판단하는 것이 동시에 수행될 수 있다. 비얼굴 데이터(non-face data)가 얼굴 데이터로 식별되는 것을 거절하기 위해 특징 검출기 프로그램의 세트가 적용될 수 있다.
정면 조명 분류기 프로그램이 상기 얼굴 데이터에 또한 적용될 수 있다. 조명 조건은 상기 분류기 프로그램 중 하나에 의한 얼굴 데이터의 수락(acceptance)에 기초하여 결정될 수 있다. 상기 디지털 이미지는 상기 얼굴을 포함하는 시리즈에서 다중의 이미지들 중의 하나이고, 상기 정정 단계는, 상기 시리즈에서 상기 조명 조건이 결정된 디지털 이미지와는 다른 이미지에 적용될 수 있다.
상기 비균일 조명 분류기 프로그램은, 탑 조명 분류기, 바텀 조명 분류기, 오른쪽 및 왼쪽 조명 분류기들 중 어느 하나 또는 양쪽 모두를 포함할 수 있다. 정면 조명 분류기 프로그램이 상기 얼굴 데이터에 적용될 수 있다. 하나의 조명 조건도 적용되지 않고, 얼굴 데이터가 얼굴로 거절되지 않음을 판단한 후에 두 개 이상의 전체 분류기 세트가 적용될 수 있다.
얼굴 검출 방법이 제공된다. 얼굴 검출 방법은 디지털 이미지를 획득하는 단계와 상기 이미지로부터 서브-윈도우를 추출하는 단계를 포함한다. 얼굴 영역의 특징에 선택적으로 민감하도록 훈련된 두 개 이상의 단축된 얼굴 검출 분류기 캐스케이드가 적용된다. 상기 적용에 근거하여, 상기 특징의 일정 형태를 가지는 얼굴이 서브-윈도우 내에 존재할 확률이 결정된다. 상기 특징의 일정 형태에 민감하도록 훈련된 확장된 얼굴 검출 분류기 캐스케이드가 적용된다. 상기 이미지 서브-윈도우 내에 얼굴이 존재한다는 최종 판단이 제공된다. 이미지 및/또는 하나 이상의 특징들로부터 하나 이상의 서브-윈도우들에 대하여 상기 방법이 반복된다.
상기 특징 또는 특징들은 얼굴 영역의 지향성 조명, 얼굴 영역의 인-플레인 회전, 얼굴 영역의 3D 자세 변화, 미소의 정도, 눈 깜박임(eye-blinking)의 정도, 눈짓(eye-winking)의 정도, 입을 벌린 정도, 얼굴 흐려짐, 눈의 결함(eye-defect), 얼굴의 음영, 얼굴의 폐색(occlusion), 얼굴의 색, 얼굴의 모양, 또는 이들의 조합을 포함할 수 있다.
상기 특징은 지향성 조명을 포함하며, 비균일 조명조건이 하나 이상의 비균일 조명 분류기 캐스케이드를 적용함으로써 결정될 수 있다. 정면 조명 분류기 캐스케이드가 또한 적용될 수 있다. 얼굴에 대한 조명 조건이 상기 분류기 캐스케이드 중 하나에 의한 수락에 근거하여 서브-윈도우 내에서 결정될 수 있다. 상기 디지털 이미지는 얼굴을 포함하는 시리즈에서 다중의 이미지들 중의 하나이고, 비균일 조명 조건이 상기 조명 조건이 결정된 상기 디지털 이미지와 다른, 상기 시리즈에 있는 이미지 내에서 정정될 수 있다. 상기 비균일 조명 분류기 캐스케이드는, 탑 조명 분류기, 바텀 조명 분류기, 오른쪽 및 왼쪽 조명 분류기들 중 어느 하나 또는 양쪽 모두를 포함할 수 있다.
디지털 이미지를 획득하는 단계와 상기 이미지로부터 서브-윈도우를 추출하는 단계를 포함하는 얼굴 검출 방법이 더 제공된다. 지향성 얼굴 조명에 선택적으로 민감하도록 훈련된 두 개 이상의 단축된 얼굴 검출 분류기 캐스케이드가 적용될 수 있다. 서브-윈도우 내에서 일정 형태를 가지는 지향성 얼굴 조명을 가지는 얼굴이 존재할 확률이 결정될 수 있다. 지향성 얼굴 조명의 상기 일정 형태에 민감하도록 훈련된 확장된 얼굴 조명 검출 분류기 캐스케이드가 적용될 수 있다.
상기 디지털 이미지는 얼굴을 포함하는 시리즈에서 다중의 이미지들 중의 하나일 수 있고, 비균일 조명 조건이 상기 조명 조건이 결정된 상기 디지털 이미지와 다른, 상기 시리즈에 있는 이미지 내에서 정정될 수 있다.
상기 비균일 조명 분류기 캐스케이드는, 탑 조명 분류기, 바텀 조명 분류기, 오른쪽 및 왼쪽 조명 분류기들 중 어느 하나 또는 양쪽 모두를 포함할 수 있다. 정면 조명 분류기 캐스케이드가 또한 적용될 수 있다. 얼굴에 대한 조명 조건은 상기 분류기 캐스케이드 중 하나에 의한 수락에 근거하여 서브-윈도우 내에서 결정될 수 있다.
디지털 이미지를 획득하기 위한 광전자 시스템과, 여기서 기술된 얼굴 조명 규격화 방법을 수행하는 프로세서를 프로그램하는 프로세서가 읽을 수 있는(processor-readable) 코드가 저장된 디지털 메모리;를 포함하는 디지털 이미지 획득 소자가 또한 제공된다.
도 1은 본 발명의 바람직한 실시예에 의한 이미지 처리 장치의 본질적인 구성요소들을 보이는 블록도이다.
도 2는 도 1의 이미지 처리 장치의 동작을 설명하는 흐름도이다.
도 3A 내지 도 3D는 바람직한 실시예의 장치에 의해 처리된 이미지들의 예들을 보인다.
도 4는 실시예에 의한 이미지 처리 시스템의 블록도이다.
도 5는 실시예에 의한 주요 이미지 분류/회수의 동작 흐름을 보인다.
도 6A는 이미지 수집 데이터 세트를 위한 예시적인 데이터 저장 구조를 보인다.
도 6B 및 도 6D는 개개의 패턴들에 대한 특징 벡터들이 평균된 패턴(평균 얼굴)에 상대적인 것으로 결정될 수 있는 경우 및 개개의 패턴들에 대한 특징 벡터들이 절대적인 항목(컬러 상관도)으로 판단될 수 있는 경우 각각에 대하여 이미지 분류기의 양상들을 보인다.
도 6C 및 도 6E는 이미지 수집체의 이미지 내에서 다른 모든 분류기 패턴에 대하여 선택된 분류기 패턴으로부터 유사성 측정 거리의 각각의 세트에 대한 계산을 보인다.
도 6F는 어떻게 다중의 분류기가 규격화되고 그들의 유사성 척도들이 단일의 유사성 척도를 제공하기 위해 결합되는지를 보인다.
도 7은 실시예에 의한 이미지 처리 시스템의 인-카메라 블록도를 보인다.
도 8은 실시예에 의한 얼굴 조명 규격화 방법을 보인다.
도 9A 및 9B는 실시예에 의한 얼굴 검출 방법들을 보인다.
도 10A 및 10B는 실시예에 의한 방법을 더 보인다.
도 1은 실시예에 의한 얼굴 검출 및 트래킹 시스템의 서브시스템들을 보인다. 실선은 이미지 데이터의 흐름을 나타내고, 점선은 모듈로부터의 제어 입력 또는 정보 출력(예를 들어 검출된 얼굴의 위치(들))을 나타낸다. 이 실시예에서 이미지 처리 장치는 디지털 스틸 카메라(DSC), 비디오 카메라, 이미지 획득 기능이 구비된 휴대폰 또는 내장 또는 외장된 카메라가 구비된 손에 쥘 수 있는 컴퓨터가 될 수 있다.
디지털 이미지는 이미지 센서(CCD 또는 CMOS)(105)로부터 미가공의 포맷(raw format)으로 획득되고, 이미지 서브샘플러(112)는 주요 이미지의 더 작은 사본을 생성한다. 디지털 카메라는 이미지 서브샘플링(subsampling)을 수행하기 위해, 예를 들어, 카메라 디스플레이 및/또는 카메라 동작 구성요소들에 미리보기 이미지를 제공하기 위한 전용의 하드웨어 서브 시스템을 포함할 수 있다. 서브샘플된 이미지는 비트맵 포맷 (RGB 또는 YCC)으로 제공될 수 있다. 한편으로, 보통 이미지 획득 체인(normal image acquisition chain)은 약간의 휘도나 컬러 균형을 포함할 수 있는 미가공 이미지(110)에 대해 후처리를 수행한다. 일정의 디지털 이미징 시스템에서, 서브 샘플링은 후처리 후에, 또는 일정의 후처리 필터들이 적용된 후 그러나 전체 후처리 필터 체인이 완료되기 전에 발생할 수 있다.
서브샘플된 이미지는 다음, 서브샘플된 이미지로부터 통합 이미지를 ㅅ생성하는 통합 이미지 생성기(115)로 전달된다. 통합 이미지는 다음, 고정 크기 얼굴 검출기(120)로 전달된다. 얼굴 검출기는 전체 통합 이미지에 적용되지만, 이것은 주 이미지의 서브 샘플된 사본의 통합이미지이기 때문에, 얼굴 검출기에 의해 요구되는 처리는 비례하여 감소될 수 있다. 만약, 서브샘플이 주 이미지의 1/4이라면, 이것은 처리 시간이 전체 이미지의 처리 시간의 겨우 25%임을 의미한다.
이러한 접근법은 서브샘플된 이미지 메모리 공간이 고정된 크기의 DMA 윈도우에 의해 스캔되고 하-특징(Haar-feature) 분류기 체인을 수행하기 위한 디지털 로직이 이 DMA 윈도우에 적용되는 곳에서, 특히 하드웨어 구현체에 순응한다. 그러나, 어떤 구현체는 하나 이상의 다른 크기의 분류기 또는 여러 크기의 분류기를 사용할 수 있으며, 또는 중첩된 고정 크기의 분류기가 (예를 들어, 하드웨어 구현체에서) 사용된다. 작은 통합이미지가 계산된다는 것이 이점이다.
빠른 얼굴 검출기(280)를 적용한 후에, 새롭게 검출된 후보의 얼굴 영역[141)이, 얼굴 트래킹이 요구될 때 얼굴 트래킹 모듈(111)로 전달될 수 있으며, 여기서, 이전의 분석(145)으로부터 확인된 하나 이상의 얼굴 영역이 얼굴 트래커(290)에 제공되기 전에 새로운 후보의 얼굴 영역과 병합될 수 있다.
얼굴 트래커(290)는 확인된 후보 영역들(143)의 세트를 트래킹 모듈(111)에 제공한다. 이들 확인된 영역들(143)이 얼굴 영역인지 확인하거나 또는 얼굴 트래커(290)에 의해 그렇지 않은 것으로 확인되는 경우 그 영역들을 후보로 유지하기 위해, 추가적인 이미지 처리 필터들이 트래킹 모듈(111)에 의해 적용된다. 최종 얼굴 영역의 세트(145)는 카메라의 다른 곳에서 사용되거나 또는 그 안에 저장되거나 또는 획득된 이미지와 연합하여 이후의 처리에서 카메라 또는 오프라인에서 사용되기 위해, 뿐만 아니라, 얼굴 트래킹의 다음 반복에서 사용되기 위해, 모듈(111)에 의해 위해 출력될 수 있다.
주 이미지 획득 체인이 완료된 후에, 보통, 전체 크기의 주 이미지 사본이 이미지 획득 시스템의 시스템 메모리(140)에 있게 될 것이다. 이것은 얼굴 트래킹 모듈(111)로부터 얻어진 후보 얼굴 영역 데이터(142)에 기초하여 이미지 패치들(patches)을 선택하는 얼굴 트래커(290)의 후보 영역 추출기(125)에 의해 접근될 수 있다. 각 후보 영역에 대한 이 이미지 패치들은, 결과된 통합 이미지들을 가변 크기 검출기(121), 가능한 예로서, VJ 검출기에 전달하는 통합 이미지 생성기(115)에 전달되고, 다음, 분류기 체인, 일부 실시예에서는 32보다 작은 것이 사용될 수 있지만, 바람직하게는 적어도 32 분류기 체인을 각각의 후보 영역에 대해 다른 스케일 범위에 걸쳐 통합 이미지에 적용한다.
얼굴 검출기(121)에 채용된 스케일(144)의 범위는 얼굴 검출기 모듈(111)에 의해 판단되고 공급되며, 부분적으로 현재의 후보 얼굴 영역(142)의 이력와 관련된 통계 정보에 기초를 두고, 부분적으로 외부의 이미지 획득 시스템내의 다른 서브시스템들로부터 결정된 외부의 메타데이터(metadata)에 기초를 둔다.
전자의 예로서, 만약, 후보 얼굴 영역이 획득된 이미지 프레임들의 일정 개수에 대해 특정 크기를 일관되게 유지하는 경우, 얼굴 검출기(121)는 이 특정 스케일에, 그리고 한 스케일 높은(1.25배 큰) 스케일과 한 스케일 낮은(1.25배 낮은) 스케일에 적용될 수 있다.
후자의 예로서, 만약 이미지 획득 시스템의 초점이 무한대로 옮겨진 경우, 가장 작은 스케일링이 얼굴 검출기(121)에 적용될지도 모른다. 보통, 이 스케일링은 채용되지 않을지도 모르는데, 이들이 후보 얼굴 영역에 이를 완벽하게 커버하기 더 많은 회수로 적용되기 때문이다. 후보 얼굴 영역은 더 이상 줄어들 수 없는 최소 크기를 가질 수 있으며, 이것은 프레임들 사이에서 사용자에 의한 카메라의 국소적 움직임을 가능하게 하기 위한 것이다. 움직임 센서를 구비하는 어떤 이미지 획득 시스템에 있어서, 이러한 국소적 움직임을 추적하는 것이 가능할 수 있으며, 이 정보는 후보 영역들의 스케일과 크기의 선택을 더욱 개선하기 위해 채용될 수 있다.
후보 영역 트래커(290)는 이미지 패치들의 완전한 가변 크기 얼굴 검출에 근거하여 얼굴 트래킹 모듈에 확인된 얼굴 영역들[143)의 세트를 제공한다. 확실히, 몇몇 후보 영역들은 확인되어 있을 수 있고, 반면 다른 것들은 거절되어 있을 수 있고, 이들은 트래커(290)에 의해 명백하게 되돌려지거나 트래킹 모듈(111)에 의해 확인된 영역들(143)과 후보 영역들(142)의 차이를 분석함으로써 계산될 수 있다. 각 경우에, 얼굴 트래킹 모듈(111)은 그 다음에, 트래커(290)에 의해 거절된 후보 영역들에 대하여, 이들이 트래킹의 다음 사이클에 후보 영역들(142)로 유지되어야 하는지, 또는 이들이 트래킹으로부터 정말로 제거되어야 하는지를 판단하기 위해, 선택적인 테스트를 적용할 수 있다.
확인된 후보 영역들(145)의 세트가 얼굴 트래킹 모듈(111)에 의해 일단 결정되면, 모듈(111)은 언제, 다음 획득 이미지가 서브 샘플링되어 검출기(280)에 제공되고, 또한 다음 획득 이미지가 서브 샘플링 될 해상도(146)를 제공할지를 결정하기 위해 서브 샘플러(112)와 통신한다.
다음 이미지가 획득될 때 검출기(280)가 동작하지 않는 곳에서, 다음 획득 이미지를 위해 추출기(125)에 제공된 후보 영역은 트래킹 모듈(111)에 의해 최후의 획득 이미지로부터 확인된 영역(145)이 될 것이다. 반면, 얼굴 검출기(280)가 새로운 세트의 후보 영역들(141)을 얼굴 트래킹 모듈(111)에 제공할 때, 이 후보 영역은 다음 획득 이미지를 위해 후보 영역(142)의 세트를 추출기(124)에 제공하기 위해, 이전의 확인된 영역들(145)의 세트에 병합된다.
도 2는 예시적인 작업 흐름을 보인다. 도시된 과정은 (ⅰ) 완전한 이미지의 서브 샘플된 버전에 대해 동작하는 빠른 얼굴 검출기(280)을 사용하여 새로운 후보 얼굴 영역(141)을 찾는 위상 검출 및 초기화, (ⅱ)후보 영역들을 위해 추출된 이미지 패치들에 동작하고, 하나 이상의 이전의 획득 이미지 프레임들의 위치에 근거하여 결정되는 2차 얼굴 검출 과정(290), (ⅲ) 확인된 얼굴 영역들(143)의 통계적인 이력을 계산하고 저장하는 주요 트래킹 과정으로 나뉘어진다. 빠른 얼굴 검출기(280)의 적용이 후보 영역 트래커(290)의 적용 이전에 발생하는 것으로 도시되어 있지만, 이 순서는 중요하지 않으며, 빠른 검출은 모든 프레임에서 실행될 필요는 없으며, 일정 환경에서는 중첩된 프레임에 걸쳐 전개될 수 있다. 또한, 얼굴 검출은 얼굴 트래킹이 사용되던지 않던지, 얼굴 인식과 같은 다양한 적용예를 위해 사용될 수 있다.
단계 205에서 주 이미지가 획득되고, 단계 210에서 도 1과 관련된 설명에서 기술된대로 주 이미지의 초기 이미지 처리가 수행된다. 앞서 기술된 바와 같이 단계 211에서, 서브 샘플된 이미지는 서브샘플러(112)에 의해 생성되고, 통합 이미지는 생성기(115)에 의해 이로부터 생성된다. 단계 220에서, 통합된 이미지는 고정 크기 얼굴 검출기(120)에 전달되고, 고정 크기 윈도우는 통합 이미지 내에서 얼굴 트래킹 모듈에 얼굴 영역들(141)의 세트를 제공한다. 이 영역들의 크기는 오얼굴 트래킹 모듈에 의해 서브 샘플러에 지정된 서브 샘플링 스케일(146)에 의해 결정되고, 이 스케일은 카메라의 초점과 이동과 같은 다른 입력들 뿐 아니라, 검출기(280)에 의한 이전의 서브샘플되고 통합된 이미지들, 트랙커(290)에 의해 이전에 획득된 이미지들로부터의 패치에 대한 분석에 기초한다.
단계 242에서, 후보 영역들의 세트(141)는 확인을 위해 제공된 후보 영역들의 병합된 세트(142)를 생성하기 위해 기존의 확인된 영역들의 세트(145)에 병합된다. 단계 225에서, 얼굴 트래킹 모듈(111)에 의해 지정된 후보 영역들(142)에 대하여, 후보 영역 추출기(125)는 획득된 이미지로부터 대응하는 전체 행상도 패치들을 추출한다. 단계 230에서 각각의 추출된 패치에 대해 통합 이미지가 생성되고, 예를 들어, 완전한 Viola-Jones 분석과 같이, 가변 크기의 얼굴 검출이 얼굴 검출기(121)에 의해 각 통합 이미지 패치에 적용된다. 단계 240에서, 이 결과들(143)은 얼굴 트래킹 모듈(111)에 역으로 피드백 된다.
트래킹 모듈(111)은 확인된 영역들의 세트(145)가 출력되기 훨씬 이전에 이 영역들(143)을 처리한다. 이 관점에서, 단계 245에서, 추가적인 필터들이 트래커(290)에 의해 확인된 영역들을 위해, 또는 트래커(290)에 의해 확인되지 않을 수 있거나 검출기(280)에 의해 픽업된 후보 영역들(142)을 유지하기 위해, 모듈 (111)에 의해 적용될 수 있다.
예를 들어, 얼굴 영역이 일련의 획득된 이미지들에 걸쳐 트래킹된 다음 잃어버려졌을 때, 카메라에 마주하는 피사체가 단순히 돌아선 것인지를 체크하기 위해 스킨 견본(skin prototype)이 모듈에 적용될 수 있다. 만약 그렇다면, 다음 획득 이미지에서 피사체가 카메라를 마주하도록 다시 돌아서는지를 체크하기 위해이 후보 영역이 유지될 수 있었을 것이다. 단계 250에서, 어떤 주어진 시간에서든지 유지되는 확인된 영역의 크기들과 그 크기들의 이력, 예를 들어, 그들이 커지거나 작아지는지에 의존하여, 모듈(111)은 검출기(280)에 의해 분석될 다음 획득 이미지의 서브 샘플링을 위해 스케일(146)을 결정하고, 이것을 서브 샘플러(112)에 제공한다.
빠른 얼굴 검출기(280)은 모든 획득 이미지에 대해 동작할 필요는 없다. 예를 들어, 서브 샘플된 이미지들 중 단 하나의 소스만이 사용가능한 곳에서, 카메라가 초당 60개의 프레임을 획득하는 경우, 초당 15-25 서브샘플된 프레임(fps)은 사용자의 미리보기를 위해 카메라 디스플레이에 제공될 것이 요구될 수 있다. 이 이미지들은 같은 스케일로, 그리고 디스플레이를 위해 충분히 높은 해상도로 서브샘 플된다. 남은 35-45 fps의 일부 또는 전부는 얼굴 검출과 트래킹 목적을 위해 트래킹 모듈(111)에 의해 결정된 스케일로 샘플될 수 있다.
연속된 흐름으로부터 이미지들이 선택되는 주기에 관한 결정은 고정 수 또는 선택적으로 런-타임 변수에 기초할 수 있다. 이러한 경우들에 있어서, 다음 샘플된 이미지에 관한 결정은 캡쳐된 실시간 스트림과 얼굴 트래킹 처리 사이의 동시성을 유지하기 위해, 이전 이미지에서 걸렸던 처리 시간에 결정될 수 있다. 따라서, 복잡한 이미지 환경에서 샘플 비율은 감소할 수 있다.
선택적으로, 다음 샘플에 대한 결정은 선택된 이미지들의 내용 처리에 기초하여 수행될 수 있다. 만약, 이미지 스트림에 의미있는 변화가 없는 경우, 전체 얼굴 트래킹 과정은 수행되지 않을지도 모른다. 이러한 경우들에서, 샘플링 비율이 일정하다고 하더라도, 이미지들은 단순한 이미지 비교를 겪게 되고, 정당화될 만한 차이가 있다고 결정될 때만 얼굴 트래킹 알고리즘이 착수된다.
얼굴 검출기(280)가 규칙적인 또는 비규칙적인 간격으로 동작할 수 있다는 점이 주목되어야 할 것이다. 예를 들어, 카메라 초점이 두드러지게 변한다면, 얼굴 검출기는 크기가 변하여야 할 얼굴들을 검출하기 위해 보다 빈번하게, 특히 서브 샘플된 이미지의 스케일을 다르게 하면서, 동작할 것이다. 선택적으로, 초점이 급격히 변하는 곳에서, 검출기(280)는 초점이 안정될 때까지 중간 개재된 프레임들을 건너뛸 수 있다. 그러나, 일반적으로 가장 높은 해상도의 통합 이미지가 생성기(115)에 의해 생성되는 것은 초점이 무한대로 갈 때뿐이다.
이 후자의 경우에, 어떤 환경에서 검출기는 한 프레임에서 획득되고 서브샘 플된 이미지의 전체 영역을 커버하지 못할 수도 있다. 이에 따라, 검출기는 첫번째 프레임에서 획득되고 서브샘플된 이미지의 일부에 걸쳐서만, 그리고 뒤따르는 획득 이미지 프레임에서의 이미지의 잔류 부분에 걸쳐 적용될 수 있다. 실시예에서, 검출기는 주변으로부터의 이미지에 들어오는 작은 얼굴들을 파악하기 위해 첫번째 획득 이미지 프레임에서 얻어진 이미지의 바깥 영역에, 그리고 뒤따르는 프레임에서 이미지의 더 중앙 영역에 적용된다.
얼굴 검출기(120)가 적용될 이미지 영역을 제한하는 선택적인 방법은 피부 톤을 포함하는 이미지 영역을 식별하는 것을 포함한다. US 6,661,907은 피부 톤을 검출하고 뒤따라 두드러진 피부 컬러를 가지는 영역에서 얼굴 검출만을 적용하는 이러한 한 기술을 개시한다.
실시예에서, 피부 구분(190)은 바람직하게는, 획득된 이미지의 서브 샘플된 버전에 적용된다. 서브 샘플된 버전의 해상도가 충분하지 않은 경우, 다음, 이미지 저장소(150)에 저장된 이전 이미지 또는 다음의 서브 샘플된 이미지가, 두 이미지들이 현재 획득된 이미지와 내용상 크게 다르지 않을 때, 선호적으로 사용된다. 선택적으로, 피부 구분(190)은 전체 크기의 비디오 이미지(130)에 적용될 수 있다.
어느 경우에서나, 피부 톤을 포함하는 영역은 직사각형으로 경계지음에 의해 식별되고 이 직사각형 경계지음은, 트래커 통합 이미지 생성기(115)와 유사한 방식으로 직사각형에 대응하는 통합 이미지 패치들을 산출하는 통합 이미지 생성기(115)에 제공된다.
이 접근은 통합 이미지 산출 및 얼굴 검출의 구동과 관련된 처리 비용을 줄 일 뿐만 아니라, 일정 실시예들에서는, 이 피부 톤 영역이 실제로 얼굴을 포함할 가능성이 더 높기 때문에, 얼굴 검출기(120)가 직사각형 경계지음에 더 완화된 얼굴 검출을 적용하는 것을 가능하게 한다. 따라서, VJ 검출기(120)의 경우, 더 짧은 분류기 체인이, 얼굴을 명확하게 검출하는데 요구되는 더 긴 VJ 분류기를 가지는 전체 이미지에 걸쳐 얼굴 검출을 구동하는데 있어서, 유사한 품질의 결과를 보다 효과적으로 제공하기 위해 채용될 수 있다.
얼굴 검출에 대한 한층 더 나아간 개선이 또한 가능하다. 예를 들어, 얼굴 검출은 조명 조건에 상당히 의존하는데 조명의 매우 작은 변화는 다소 불안정한 검출 반응을 야기하며, 얼굴 검출이 되지 않게 할 수 있다.
실시예에서, 확인된 얼굴 영역들(145)은, 분석될 관심 대상의 이미지 영역이 원하는 변수를 가지도록 조명 보정이 수행되어야 할, 연이어 얻어진 서브샘플된 이미지의 영역을 식별하기 위해 사용된다. 이러한 보정의 한 예는 확인된 얼굴 영역들(145)에 의해 정의된 서브 샘플된 이미지 영역 내에서의 휘도 콘트라스트를 개선할 수 있다.
콘트라스트 강화는 이미지의 국소적 콘트라스트를 증가시키기 위해, 특히, 사용할 수 있는 이미지 데이터가 근접한 콘트라스트 값들로 표현될 때, 사용될 수 있다. 이러한 조절을 통해, 히스토그램 상에 표현되는 영역의 픽셀에 대한 세기는 더 잘 분포되며, 그렇지 않았다면 근접하게 분포되었을 것이다. 이것은 낮은 국소 콘트라스트를 가지는 영역이 전체적인 콘트라스트에 영향을 주지 않고 더 높은 콘트라스트를 얻는 것을 가능하게 한다. 히스토그램 균등화는 최다 빈도의 세기 값을 효과적으로 펼침에 의해 이를 수행한다.
이 방법은 배경과 전경을 가지며 이들이 모두 밝거나 또는 모두 어두운 이미지들에 유용하다. 특히, 이 방법은 노출 과다 또는 노출 부족의 사진에서 더 나은 디테일에 이르게 할 수 있다. 선택적으로, 이 휘도 보정은 생성기(115)의 "보정된" 통합 이미지의 계산에 포함될 수도 있다.
다른 개선에서, 얼굴 검출이 사용될 때, 카메라 애플리케이션은, 얼굴 검출이 얼굴에 잠금을 제공할 때까지, 노출을 계산된 디폴트로부터 더 높은 값으로(프레임에서 프레임으로, 장면을 약간 과다노출하며) 동적으로 조절하도록 조절된다. 별개의 실시예에서, 얼굴 검출기(120)는 이미지들간이 실질적으로 다른 영역들에 적용될 수 있다. 내용 변경을 위해 두 샘플된 이미지들을 비교하기 전에, 카메라의 줌(zoom), 팬(pan), 틸트(tilt)와 같은 카메라의 움직임에 의해 야기되는 카메라에 있어서의 변화 가변성을 제거하기 위해 이미지들 간의 등록 스테이지가 필요할 수 있음에 주목해라.
카메라 펌웨어로부터 줌 정보를 얻는 것이 가능하며, 또한, 카메라 메모리(140) 도는 이미지 저장소(150)에 있는 이미지를 분석하는 소프트웨어 기술을 사용하여 한 이미지에서 다른 이미지로의 카메라의 팬 또는 틸트의 정도를 판단하는 것이 가능하다.
실시예에서, 획득 소자에는 도 1에 도시된 바와 같이, 소프트웨어에서 카메라 움직임을 결정하는 처리 요구를 피할 수 있도록, 한 이미지에서 다른 이미지로의 팬의 정도 및 방향을 결정하기 위한, 움직임 센서(180)가 구비된다. 움직임 센 서는 예를 들어, 가속도계에 근거하여, 그러나, 선택적으로는 자이로스코픽 원리에 근거하여 주 이미지의 캡쳐 동안에 손 떨림을 경고하거나 보상하는 것을 주요한 목적으로 하며, 디지털 카메라에 포함된다. 이러한 맥락에서, US 특허 4,448,510에서 Murakoshi는 통상의 카메라에 대하여 이러한 시스템을 개시하며, US 특허 6,747,690에서 Molgaard는 새로운 디지털 카메라 내에 적용된 가속도 센서를 개시한다.
움직임 센서가 카메라에 구비된 곳에서, 이것은 광축 주위에서의 작은 움직임에 대해 최적화될 수 있다. 가속도계는 경험된 가속에 근거하여 신호를 생성하는 감지 모듈과 효과적으로 측정될 수 있는 가속 범위를 결정하는 증폭기 모듈을 포함할 수 있다. 가속도계는 민감도 조절을 가능하게 하는 증폭기 상태에 대한 소프트웨어 제어를 허용할 수 있다.
움직임 센서(180)는 차세대 소비자 카메라 및 카메라 폰에 구비될 수 있는 종류의 MEMS 센서에 의해 동일하게 수행될 수 있다. 어느 경우든지, 카메라가 얼굴 트래킹 모드에서 동작할 때, 즉, 일정한 비디오 획득이 주 이미지의 획득과 구별될 때, 이미지 품질이 낮기 때문에 손떨림 보정이 사용되지 않을 수 있다. 이것은 움직임 센서 증폭기 모듈을 낮은 게인에 세팅함으로써 큰 움직임을 감지하도록, 움직임 센서(180)를 구성할 기회를 제공한다. 센서(180)에 의해 감지되는 움직임의 크기와 방향은 얼굴 트래커(111)에 제공된다. 추적되는 얼굴들의 대략적인 크기는 이미 알려져 있으며, 이것은 각 얼굴의 카메라로부터 거리의 추정을 가능하게 한다. 이에 따라, 센서(180)로부터 큰 움직임의 대략적인 크기를 아는 것은, 각 후보 얼 굴 영역의 대략적인 변위를, 이들이 카메라로부터의 거리가 달라지고 있다고 하더라도, 결정할 수 있게 한다.
큰 움직임이 검출될 대, 얼굴 트래커(111)은 움직임의 방향과 크기에 대한 함수로써 후보 영역의 위치를 이동한다. 선택적으로, 트래킹 알고리즘이 적용될 영역의 크기는 또한 움직임의 방향과 크기에 대한 함수로써 커질 수 있다. (만약 필요하다면, 더 큰 이미지 영역의 스캐닝을 보상하기 위해 트래커의 정교함은 감소될 수 있다.)
카메라가 주 이미지를 캡쳐하기 위해 구동될 때 또는 다른 어떤 이유로든지 카메라가 얼굴 트래킹 모드에서 나갈 때, 움직임 센서(180)의 증폭기 게인은 보통으로 되돌아오며, 완전한 크기의 이미지를 위한 주 이미지 획득 체인(105,110)이 움직임 센서(180)로부터의 정보에 근거하여 보통의 손떨림 보장 알고리즘을 채용하는 것이 가능해진다. 선택적인 실시예에서, 카메라 디스플레이를 위한 서브 샘플된 미리보기 이미지는, 이미지 서브샘플러(112)로 공급되고 이미지 서브샘플러로부터 공급받는 이미지들과는 달리, 별도의 파이프를 통해 공급될 수 있고, 따라서 모든 획득된 이미지와 이의 서브샘플된 사본은 카메라 디스플레이 뿐만 아니라 검출기(280)에서도 사용가능하다.
비디오 스트림(stream)으로부터 샘플을 주기적으로 획득하는 것에 더하여, 이 과정은 또한 디지털 카메라에 의해 얻어진 하나의 스틸 이미지에 적용될 수 있다. 이 경우, 얼굴 트래킹을 위한 스트림은 미리보기 이미지들을 위한 스트림을 포함하며, 시리즈에서의 최종 이미지는 전체 해상도로 획득된 이미지이다. 이러한 경 우, 얼굴 트래킹 정보는, 도 2에서 설명한 것과 유사한 방법으로, 최종 이미지에 의해 검증될 수 있다. 이에 더하여, 얼굴의 좌표 또는 마스크와 같은 정보는 최종 이미지와 함께 저장될 수 있다. 이러한 데이터는 예를 들어, 획득 소자에서 또는 외부 소자에 의한 다음 스테이지에서의 미래의 후처리를 위해, 저장된 이미지 헤더에 입력으로 적합해질 수 있다.
도 3A 내지 3D는 작업된 예들을 통한 일 실시예들의 동작을 보인다. 도 3A는 비디오 또는 스틸 시리즈 내에서의 스틸 프레임에서 검출 및 트래킹 사이클의 끝에서의 결과를 보이며, 다른 스케일의 두 확인된 얼굴 영역(301,302)을 보인다. 이 실시예에서, 실용적인 이유로, 직사각형 영역에 대해 계산하는 것이 보다 쉽기 때문에, 각 얼굴 영역은 직사각형의 경계 박스를 가진다. 이 정보는 도 1의 트래킹 모듈(111)에 의해, 기록 및 145로 출력된다. 얼굴 영역(301,302)의 이력에 기초하여, 트래킹 모듈(111)은 이에 따라 제공되고 분석될 통합 이미지를 가지는 얼굴 영역(301) 크기의 분류기 윈도우를 가지는 빠른 얼굴 트래킹을 실행할 것을 결정할 수 있다.
도 3B는 비디오 열에서 다음 프레임이 캡쳐되고, 새로운 이미지에 빠른 얼굴 검출기가 적용된 상황을 보인다. 양 얼굴은 모두 움직였고(311,312), 이전의 얼굴 영역(301, 302)에 대하여 보여진다. 세번째 얼굴 영역(303)이 나타났고 빠른 얼굴 검출기(303)에 의해 검출되었다. 이에 더하여, 빠른 얼굴 검출기는 이전의 두 확인된 얼굴들(304) 중에서 더 작은 것을 발견하였는데, 이것이 빠른 얼굴 검출기에 대하여 올바른 위치에 있기 때무이다. 영역(303)과 영역(304)는 후보 영역(141)으로 서, 트래킹 모듈(111)에 제공된다. 트래킹 모듈은 영역(303,304,302)를 포함하는 후보 영역의 세트를 후보 영역 추출기(290)에 제공하기 위해, 이 새로운 후보 영역 정보(141)를 영역(301,302)를 포함하는 이전의 확인된 영역 정보(145)에 병합한다. 트래킹 모듈(111)은 영역(302)이 검출기(280)에 의해 픽업되지 않았다는 것을 안다. 이것은 얼굴이 사라지고, 검출기(280)에 의해 검출될 수 없었을 크기로 남아있기 때문이거나 또는 검출기(280)에 의해 검출될 수 없었던 크기로 크기가 변했기 때문이다. 따라서, 이 영역에 대하여, 모듈(111)은 큰 패치(305)를 지정할 것이다.
큰 패치(305)는 도 3C에 도시된 바와 같이, 트래커(290)에 의해 체크되도록 영역(302) 주위에 있을 수 있다. 새롭게 검출된 얼굴 후보를 경계짓는 영역(303)만이 트래커(290)에 의해 체크될 필요가 있으며, 반면, 얼굴(301)은 움직이고 있기 때문에, 이 영역을 둘러싸는 상대적으로 큰 패치(306)는 트래커(290)에 지정된다.
도 3C는 후보 영역 추출기가 이미지들에 동작한 후에, 확인된 얼굴 영역들(301,302) 양자에 둘러싸인, 이전의 비디오 프레임뿐만 아니라 새로운 영역(303)으로부터의 후보 영역(306,305)이 전체 해상도 이미지(130)로부터 추출된 상황을 보인다. 이 후보 영역의 크기는, 부분적으로는 현재 얼굴 후보의 이력과 관계된 통계 정보에 기초하여, 부분적으로는 이미지 획득 시스템 내에서의 다른 서브시스템으로부터 결정된 외부 메타 데이터에 기초하여 계산되었다. 이 추출된 후보 영역은 스케일 범위에 걸쳐 VJ 얼굴 검출기를 후보 영역에 적용하는 가변 크기의 얼굴 검출기(121) 상으로 전달된다. 하나 이상의 확인된 얼굴 영역들의 위치는, 만약 있다면, 얼굴 트래킹 모듈(111)로 되돌려 전달된다.
도 3D는 얼굴 트래킹 모듈(111)이 빠른 얼굴 검출기(280)와 얼굴 트래커(290) 양자로부터의 결과들을 병합하고 다양한 확인 필터들을 확인된 얼굴 영역들에 적용한 후의 상황을 보인다. 이 확인된 얼굴 영역은 패치들(305,306,303) 내에서 검출되었다(307,308,309). 가장 큰 영역(307)은 알려지만 이전 비디오 프렝임으로부터 이동되었고, 적절한 데이터가 얼굴 영역의 이력에 추가되었다. 움직인 다른 이전에 알련진 영역(308)은 이중 확인을 위해 기능하는 빠른 얼굴 검출기로부터 또한 검출되었고 이 데이터는 이력에 추가되었다. 최종적으로, 새로운 얼굴 영역(303)은 검출 및 확인되었고, 새로운 얼굴 영역 이력이 이 새롭게 검출된 얼굴을 위해 초기화되어야 한다. 이 세 얼굴 영역들은 다음 사이클에서 확인된 얼굴 영역들(145)의 세트를 제공하기 위해 사용된다.
얼굴 검출 모듈에 의해 제공된 영역(145)을 위한 많은 가능한 애플리케이션이 있다. 예를 들어, 각 영역들(145)에 대한 경계 박스는 카메라가 자동적으로 장면 내에서 검출된 얼굴을 트래킹한다는 것을 나타내기 위해 카메라 상에 중첩될 수 있다. 이것은 다양한 프리-캡쳐 변수들을 개선하기 위해 사용될 수 ㅇ lㅆ따. 한 예는 노출인데, 얼굴들이 잘 노출되었다는 것을 보증한다. 다른 예는 자동 초점 조절인데, 이미지 안에서 최적의 표현을 위해, 초점이 검출된 얼굴 상에 놓이거나 또는 다른 캡쳐 세팅을 정말로 조절하는 것을 보증한다.
보정은 전처리 조절의 일부로서 행해질 수 있다. 얼굴 검출의 위치는 또한 후처리를 위해, 특히 얼굴들을 가지는 영역들이 화질 개선될 수 있는 곳에서의 선택적인 후처리를 위해, 이용될 수 있다. 이러한 예들은 윤곽 선명하게 하기, 채도 개선, 밝게 하기 또는 국소 콘트라스트의 증가를 포함한다. 얼굴들의 위치를 이용한 전처리는 얼굴이 없는 영역에서, 예를 들어, 선택적인 흐리게 함, 채도 감소 또는 어둡게 함을 통하여 그들의 시각적인 중요성을 줄이기 위해, 또한 이용될 수 있다.
몇가지 얼굴 영역들이 추적되는 곳에서, 가장 길게 살아남거나 또는 가장 큰 얼굴은 포커싱을 위해 이용될 수 있으며, 그로서 강조될 수 있다. 또한, 영역들(145)은 예를 들어, 필요한 경우에 적목(red-eye) 처리가 행해지는 영역을 제한하기 위해 사용될 수 있다. 경량의 얼굴 검출과 연계되어 사용될 수 있는, 앞서 기술한 다른 후처리는 얼굴 인지이다. 특히, 이러한 접근은 상기에서 또는 자원 소모적인 알고리즘을 더 많이 실행하기 위해 충분한 자원을 가지는 오프라인 소자에서 동작하는, 보다 강건한 얼굴 검출 및 인지와 결합될 때 유용해 질 수 있다.
이 경우, 얼굴 트래킹 모듈(111)은 어떤 확인된 얼굴 영역이든지의 위치를 인-카메라 펌 웨어에 바람직하게는 신뢰 인자와 함께 기록한다. 신뢰 인자가 적어도 하나의 얼굴이 이미지 프레임에 실제로 존재하는 것을 나타내며, 한 영역에 대해 충분히 높을 때, 카메라 펌웨어는 얼굴의 위치에서 경량 얼굴 인지 알고리즘(160), 예를 들어, DCT-기반의 알고리즘을 실행한다. 얼굴 인지 알고리즘(160)은 개인 식별자들과 이들과 관련된 얼굴 변수들을 포함하는 카메라에 선호적으로 저장된 데이터베이스(161)을 사용한다.
동작중에, 모듈(160)은 프레임의 시리즈에 걸쳐 식별자를 수집한다. 미리보기 프레임의 개수에 걸쳐 추적된 검출된 얼굴의 식별자들이 두드러지게 특히 한 사 람에 대한 것일 때, 그 사람은 인지 모듈에 의해 이미지 안에 존재하는 것으로 간주된다. 사람의 식별자와 최후로 알려진 얼굴 위치 중 어느 하나 또는 양쪽 모두가 이미지(헤더 안의) 또는 카메라 저장소에 저장된 별개의 파일에 저장된다. 사람의 ID에 대한 이러한 저장은 인지 모듈(160)이 직전의 프레임들에 대해 실패하고 그러나 이에 대해 얼굴 영역이 모듈(111)에 의해 여전히 검출되고 추적될 때에도 발생할 수 있다.
이미지가 카메라 저장소로부터 디스플레이 또는 PC와 같은 영구 저장 소자에 복사될 때, 사람의 ID는 이미지와 함께 복사된다. 이러한 소자들은 일반적으로, 강건한 얼굴 인지(만약 있다면)로부터 인지 결과들을 더욱 강화하며, 더 강건한 얼굴 검출 및 인지 알고리즘을 실행, 다음, 결과들을 카메라로부터의 인지 결과들과 결합하는 것을 더 잘할 수 있다. 결합된 식별 결과들은 사용자에게 제시되거나, 또는, 만약 식별이 가능하지 않았다면, 발견된 사람의 이름을 입력하도록 사용자에게 요청된다. 사용자가 식별을 거절하거나 또는 새로운 이름이 입력되었을 때, PC는 얼굴 인쇄 데이터베이스를 재훈련하고, 경량 데이터베이스(161)에의 저장을 위해 캡쳐 소자의 적절한 변화들을 다운로드한다. 중첩 확인된 얼굴 영역들(145)이 검출될 때, 인지 모듈(160)은 이미지 내에서 다수의 사람을 검출하고 인지할 수 있다.
사람이 인지될 때까지 또는 얼굴 인쇄 데이터베이스 안에 사람들이 존재하지 않는다는 것이 명확할 때까지 사진을 찍지 않거나, 선택적으로 사람이 인지되었을 때 적절한 지표를 표시하는 모드를 카메라에 도입하는 것이 가능하다. 이것은 이미지 내에서 사람에 대한 신뢰성 있는 식별을 가능하게 한다.
이 특징은 얼굴 검출과 인지를 위해 단 하나의 이미지를 사용하는 알고리즘이 올바르게 수행될 확률이 낮은 곳에서의 문제점을 해결한다. 한 예에서, 인지에 있어서, 만약 얼굴이 어떤 엄격한 제한사항 내에 정렬되지 않았을 때, 사람을 정확하게 인지하는 것이 가능하지 않다. 이 방법은 이 목적을 위해 미리보기 프레임들의 시리즈를 사용하는데, 조금씩 다른 샘플들의 더 많은 변화량 사용가능할 때 신뢰할 만한 얼굴 인지가 행해질 수 있다고 기대되기 때문이다.
여기서 기술된 시스템들의 효율을 위해 더 나아간 개선들이 가능하다. 예를 들어, 얼굴 검출 알고리즘은 다른 방위, 0, 90, 180, 270도의 사진에 있는 얼굴들을 검출하기 위한, 방법들을 채용하거나 분류기들을 사용할 수 있다. 더 나아간 실시예에 따르면, 카메라에는 방위 센서가 더 구비될 수 있다. 이것은 카메라가 똑바로 놓였는지, 뒤집어졌는지, 또는 시계 방향 또는 반시계 방향으로 기울어졌는지를 판단하기 위해 하드웨어 센서를 포함할 수 있다. 선택적으로, 방위 센서는 획득되고 있는 이미지들이 세로(portrait) 모드인지 가로(landscape) 모드인지 그리고 카메라가 시계방향으로 기울었는지 반시계방향으로 기울었는지를 빠르게 판단하기 위해, 각각 도 1에 도시된 바와 같은, 이미지 획득 하드웨어(105,110) 또는 카메라 메모리(140) 또는 이미지 저장소(150)에 연결된 이미지 분석 모듈을 포함할 수 있다.
이러한 결정이 일단 있으면, 카메라의 방위는 얼굴 검출기(120,121)의 하나 또는 양쪽 모두로 공급된다. 다음, 검출기들은, 결정된 카메라의 방위와 함께 얻어진 이미지에서의 얼굴의 가능한 방위에 따라 얼굴 검출에 적용되기만 하면 된다. 이 특징은 예를 들어, 얼굴을 검출할 가능성이 낮거나 또는 주어진 방위에서 얼굴들을 더 자주 더 잘 검출하기 위해 분류기들을 실행함으로써 그 정확성을 높이는 분류기의 채용을 피함으로써, 얼굴 검출 과정의 비용부담을 현저하게 줄일 수 있다.
다른 실시예에 의하면, 디지털 이미지들의 수집체 내에서 이미지 인지를 위한 방법이 제공되며, 이 방법은 이미지 분류기들을 훈련시키는 단계와 상기 수집체로부터 이미지들의 서브-세트를 회수하는 단계를 포함한다. 이미지 분류기의 훈련 단계는 바람직하게는 다음 중 어느 하나, 하나 이상 또는 모두를 포함할 수 있다. 수집체 내의 각 이미지에 대하여, 얼굴에 대응하는 이미지 내부의 모든 영역이 식별된다. 각각의 얼굴 영역과 모든 관련된 주변 영역에 대하여, 특징 벡터(feature vector)들인 각각의 이미지 분류기에 대하여 결정된다. 특징 벡터들은 연합된 얼굴 영역에 관련된 데이터와 연합하여 저장된다.
수집체로부터 이미지의 서브-세트를 회수하는 단계는 바람직하게는 다음 중 어느 하나, 하나 이상 또는 모두를 포함할 수 있다. 인지될 얼굴을 포함하는 적어도 하나의 참조 영역(들)이 이미지로부터 선택된다. 상기 회수의 근거가 될 적어도 하나의 분류기가 이미지 분류기들로부터 선택된다. 각각의 선택된 분류기에 대한 각각의 특징 벡터가 참조 영역에 대해 결정된다. 이미지들의 서브-세트는 참조 영역에 대해 결정된 특징 벡터와 이미지 수집체의 얼굴 영역에 대한 특징 벡터 사이의 거리에 따라 이미지 수집체 내부로부터 회수된다.
디지털 이미지의 수집체에서 이미지 인지에 대한 구성요소는 이미지 분류기 들을 훈련하기 위한 훈련 모듈과 수집체로부터 이미지들의 서브-세트를 회수하기 위한 회수 모듈을 포함한다.
훈련 모듈은 바람직하게는 다음 중 하나, 하나 이상 또는 모두에 따라 구성될 수 있다. 수집체에서 각 이미지에 대하여, 이미지에서 얼굴에 대응하는 모든 영역이 식별된다. 각 얼굴 영역 및 모든 연관된 주변 영역에 대하여, 특징 벡터들은 각 이미지 분류기들에 대해 결정된다. 특징 벡터들은 연합된 얼굴 영역에 관련된 데이터와 연합하여 저장된다.
회수 모듈은 바람직하게는 다음 중 한, 하나 이상 또는 모두에 따라 구성될 수 있다. 인지될 얼굴을 포함하는 적어도 하나의 참조 영역이 이미지로부터 선택된다. 회수의 근거가 될 적어도 하나의 이미지 분류기가 선택된다. 각각의 특징 벡터는 참조 영역의 각각의 선택된 분류기에 대해 결정된다. 이미지들의 서브-세트는 참조 영역에 대해 결정된 특징 벡터와 이미지 수집체의 얼굴 영역에 대한 특징 벡터 사이의 거리에 따라 이미지 수집체 내부로부터 선택된다.
더 나아간 양태에서, 이미지 인지에 대한 대응 요소가 제공된다. 이 실시예에서, 훈련 과정은 이미지 수집체의 각 이미지를 통해 자동적으로 주기를 이루며, 이미지 내부에서 얼굴 영역의 위치를 검출하는 얼굴 검출기를 채용한다. 이것은 다음, 이 영역과, 예를 들어, 결정된 얼굴 영역과 연합된 사람의 머리, 옷, 및/또는 자세를 나타내는 되는 관련된 비얼굴 주변 영역을 추출하고 규격화한다. 초기 훈련 데이터는 각 얼굴 분류기에 대하여 기초 벡터를 결정하는데 사용된다.
기초 벡터 세트는 부속물들의 선택된 세트와 특정의 분류기에 대한 이 부속 물들에 대한 참조 값들을 포함한다. 예를 들어, DCT 뷴류기에 있어서, 기초 벡터는 선택된 이미지 영역이 미래의 매칭 및/또는 구별을 위해 가장 잘 특징지워지는 빈도들의 선택된 세트와, 각 빈도에 대한 참조값을 포함한다. 다른 분류기에 있어서, 참조값은 벡터 공간에서 단순히 원점( 0의 값)일 수 있다.
다음, 각 결정되고 추출되고 규격화된 얼굴 영역에 대하여, 적어도 하나의 특징 벡터가 적어도 하나의 얼굴 영역 기반의 분류기에 대하여 생성되고, 연관된 비얼굴 영역이 사용가능한 곳에, 적어도 하나의 특징 벡터가 각각의 비얼굴 영역 기반의 분류기에 대해 더 생성된다. 특징 벡터는 기초 벡터 공간 내에서 참조값에 상대적인, 식별된 영역의 좌표로 생각될 수 있다.
이 데이터는 적절한 이미지와 얼굴/주변 영역과 연합되고 미래의 참조를 위해 저장된다. 이 실시예에서 이미지 회수(retrieval)는 사용자가 선택한 얼굴 영역을 채용하거나 또는 선택된 이미지 수집체 내에서 다른 얼굴 영역들과 비교하기 위해 새롭게 획득된 이미지에서 자동적으로 얼굴 영역을 결정하고 선택할 수 있다. 일단 적어도 하나의 얼굴 영역이 선택되면, 회수 과정은 적어도 하나의 얼굴 기반의 분류기와 적어도 하나의 비얼굴 기반의 분류기와 연관된 특징 벡터를 결정(또는, 만약 이미지가 이전에 "훈련"되었다면, 공급)한다. 선택된 얼굴 영역과 현재 이미지 수집체에서 다른 모든 얼굴 영역간의 비교는 다음, 각 분류기에 대해 거리 측정치(measures) 세트를 산출할 것이다. 더욱이, 이 거리 측정치 세트를 계산하는 동안 각 분류기에 대한 거리 측정치의 통계 분포와 연관된 평균 및 분산값이 계산될 것이다. 최종적으로, 이 거리 측정치들은 바람직하게는 각 분류기에 대한 평균 및 분산을 사용하여 규격화되고, 최종 랭크된 유사성 목록을 생성하기 위해 사용되는 결합된 거리 측정치를 제공하기 위해 합쳐진다.
다른 실시예에서, 분류기들은 얼굴 영역들을 인식하기 위해 웨이브렛 도메인(wavelet domain) PCA(principld component analysis) 분류기와 2D-DCT(discrete cosine transform) 분류기를 포함한다. 이 분류기들은 이미지 수집체에 추가된 각기의 새로운 이미지에 대한 훈련 상태를 요구하지 않는다. 예를 들어, ICA 기술이나 또는 LDA(linear discriminant analysis)를 채용하는 피셔 페이스(Fisher Face)기술은 훈련 상태 동안에 기초 벡터를 클러스터 유사 이미지들에 적합화시키고 이 클러스터들의 분리(separation)를 최적화하는 잘 알려진 얼굴 인지 기술이다.
이 분류기들의 조합은 얼굴 자세의 다른 변화들, 조명, 얼굴 표정, 이미지 품질 및 초점(선명도)에 대해 강건(robust)하다. PCA(principle component analysis)는 고유얼굴(eigenface) 방법으로 또한 알려져 있다. 이러한 방법을 활용한 통상적인 기술의 요약이 "Eigenfaces for recognition, Journal of Cognitive Neuroscience, 3(1), 1991 to Turk et al"에 나타나 있다. 이 방법은 얼굴 표정, 적은 정도의 회전과 다른 조명들에 민감하다. 바람직한 실시예에서, 얼굴 외관에서 작은 변화의 원인이 되는 빈도가 높은 구성요소들은 이미지로부터 걸러진다. 저역 투과 필터된 서브 밴드로부터 얻어진 웨이브렛 분해로부터의 특징들은 얼굴 표정, 적은 정도의 회전과 다른 조명에 대해 통상의 PCA보다 상당히 더 강건하다.
일반적으로, PCA/Wavelet 기술을 수행하는데 포함되는 단계들은 다음을 포함한다. (ⅰ)추출되고 규격화된 얼굴 영역이 그레이 스케일로 변환되고; (ⅱ)Daubechie 웨이브렛을 사용하여 웨이브렛 분해가 적용되고; (ⅲ)그레이 스케일 LL 서브밴드 표현상에 히스토그램 균등화가 행해지고; 다음, (ⅳ)평균의 LL 서브밴드가 계산되고 모든 얼굴로부터 제거되며; (ⅴ)첫번째 레벨의 LL 서브밴드가 코배리언스(covariance) 매트릭스와 주요 요소(아이겐벡터)의 계산을 위해 사용된다. 결과된 아이겐벡터들(기초 벡터 세트)과 평균 얼굴은 훈련된 후에 파일에 저장되고, 따라서, 검출된 얼굴 영역에 대한 특징 벡터에 대하여 주요 요소들을 결정하는데 사용될 수 있다. 대체적인 실시예는 H. Lai, P.C.Yuen과 G.C.Feng 의 "Face recognition using holistic Fourier invariant features, Pattern Recognition, Vol.34, pp.95-109, 2001"에서의 논의와 구별될 수 있다.
2D 이산 코사인 변환(Discrete Cosine Transform) 분류기에서 얼굴 영역의 DCT 변환에 대한 스펙트럼은 더 큰 강건함을 얻기 위해 더 처리될 수 있다. (Application of the DCT Energy Histogram for Face Recognition, in Proceedings of the 2nd International Conference on Information Technology for Application(ICITA 2004), Tjahyadi et al.을 참조할 것)
이 기술에 포함된 단계들은 일반적으로 다음과 같다.(ⅰ)크기가 다시 정해진 얼굴은 256 컬러 gif 컬러맵을 사용하여 인덱스된 이미지로 변환되고; (ⅱ) 2D DCT 변환이 적용되고; (ⅲ) 분류를 위해 결과된 스펙트럼이 사용되며; (ⅳ) DCT 스펙트럼들간의 유사성 비교를 위해 Euclidian 거리가 사용된다. 비얼굴 기반의 분류기의 예들은 컬러 히스토그램, 컬러 모멘트(moment), 컬러 상관도(correlogram), 밴드 컬러 상관도(banded color correlogram), 웨이브렛 텍스처(wavelet texture) 분석 기술에 기초한다. 컬러 히스토그램의 수행이 "CBIR method based on color spatial feature, IEEE Region 10th Ann. Int. Conf. 1999 (TENCON '99, Cheju, Korea, 1999)"에 기술된다. 컬러 히스토그램의 사용은, 그러나, 하나 이상의 이미지 서브 영역들 내에 포함된 컬러 정보에 근거한 분류로 통상 제한된다.
컬러 모멘트는 컬러 히스토그램을 분류기로 사용할 때 발생하는 양자화 효과를 피하기 위해 사용될 수 있다.("Similarity of color images", SPIE Proc. pp. 2420 (1995), Stricker et al. 을 참조할 것). 첫번째 세 모멘트들(평균, 표준편차와 스큐)은 세 컬러 채널로부터 추출되며, 따라서 9차원의 특징 벡터를 형성한다.
컬러 자동상관도(auto-correlogram)(US 6,246,790, Stricker et al.을 참조할 것)는, 컬러와 픽셀간 거리로 인덱스된 3차원 테이블에 기초하며, 저장된 이미지에서 컬러 변화의 공간 상관도가 거리에 따라 어떻게 변하는지를 표현하는 이미지 분석 기술을 제공한다. 컬러 상관도는 데이터베이스에서 다른 이미지들로부터 한 이미지를 구별하는데 사용될 수 있다. 단 하나의 분류기에서 컬러와 텍스처 특징을 결합하는데 효과적이다.("Image indexing using color correlograms", IEEE Conf. Computer Vision and Pattern Recognition, PP. 762 et seq(1997), Huang et al.을 참조할 것).
일 실시예에서, 컬러 상관도는 이미지를 RGB 컬러 공간으로부터 변환하고 최소 분산 양자화에 기초한 디더링(dithering) 기술을 사용하여 이미지 컬러맵을 감소시킴에 의해 실행될 수 있다. 변형된 대체적인 실시예들은 "Variance based color image quantization for frame buffer display, Color Res. Applicat., vol.15, no. 1, pp.52-58, 1990, Wan et al."와 구별될 수 있다. 16, 64, 256 컬러의 감소된 컬러맵이 획득될 수 있다. 16컬러를 위해, VGA 컬러맵이 사용될 수 있으며, 64, 256 컬러를 위해 gif 컬러맵이 사용될 수 있다. 최대 거리 세트 D=1;3;5;7가 N×D 차원의 특징 벡터를 구성하기 위한 자동-상관도를 계산하기 위해 사용될 수 있으며, 여기서, N은 컬러의 수이고, D는 최대 거리이다.
컬러 자동상관도와 밴드 상관도는 빠른 알고리즘을 사용하여 계산될 수 있다("Image Indexing Using Color Correlograms' Proceedings of the 1997 Conference on Computer Vision and Pattern Recognition (CVPR '97), Huang et al.을 참조할 것). 웨이브렛 텍스처 분석 기술("Texture analysis and classification with tree-structured wavelet transform", IEEE Trans. Image Processing 2(4), 429(1993), Chang et al.을 참조할 것)은 또한 유리하게 사용될 수 있다. 웨이브렛 기반의 텍스쳐를 추출하기 위해, 원래의 이미지는 3-레벨 웨이브렛 변환을 통해, 10개의 연관이 깨진(de-correlated) 서브밴드들로 분해된다. 각 서브밴드에서, 웨이브렛 계수의 표준 편차가 추출되고, 10차원의 특징 벡터가 결과로서 생겨난다.
다른 실시예는 도 4와 관련하여 기술된다. 이것은 데스크탑 컴퓨터(1150)에서 수행되는 소프트웨어 모듈(1162)의 세트의 형태를 취한다. 두번째 바람직한 실시예는 디지털 카메라와 같은 내장 이미징 기기 내에서의 실행수단을 제공한다.
이 실시예에서, 프로그램은 데스크탑 환경에 채용될 수 있고, 또는 독립(stand-alone) 프로그램으로서 작동되거나, 또는 선택적으로, 기존 애플리케이션 이나 운영 시스템에 그 기능을 향상시키기 위해, 통합될 수 있다.
<이미지 분석 모듈>
도 4에 도시된 바와 같이, 이미지 분석 모듈(1156)은 복수의 얼굴 및 비얼굴 분류기에 대해 특징 벡터들을 결정하기 위해 이미지들의 세트(1170-1,...,1180-2)를 순환하며, 얼굴 영역들과 연관된 주변 영역들을 결정하고, 추출하고, 규격화하고 분석한다. 모듈은 다음, 이 추출된 정보를 이미지 데이터 세트 레코드에 기록한다. 이 모듈의 요소는 또한 훈련과 실시예의 모드들을 분류/회수하는데 사용된다. 이 모듈은 높은 레벨의 작업 흐름도에서 호출되며, 사용상의 보통 모드에서, 분석된 이미지들의 세트에 전달된다(2202). 이 모듈은 다음 이미지(2202)를 공급/획득하며, 상기 이미지(2204)에서 모든 얼굴 영역들을 검출한다. 만약, 얼굴 영역이 발견되지 않는다면, 이미지 영역이 발견되지 않았음을 나타내기 위해, 그 이미지에 대한 이미지 데이터 레코드에서 플래그들이 업데이트 된다. 만약, 현재 이미지가, 분석되고(2208) 있고 이미지 서브샘플링(2232), 얼굴 및 주변 영역 추출(2206), 영역 규격화(2207) 되고 있는 이미지 세트에서의 마지막 이미지가 아닌 경우, 다음 이미지가 공급/획득된다. 만약, 이것이 마지막 이미지였다면, 모듈은 호출 모듈로 나갈 것이다. 적어도 하나의 얼굴 영역이 검출되는 곳에서, 모듈은 바로, 각각의 검출된 얼굴 영역을, 그리고, 가능한 곳이라면 모든 관련된 주변영역을 추출하고 규격화한다.
얼굴 영역 규격화 기술의 범위는, 간단한 얼굴 영역의 크기 재설정으로부터 보다 정교한 2차원 회전 및 아핀(affine) 변환 기술 및 보다 정교한 3차원 얼굴 모델링 방법에까지 이른다.
이미지 분류/회수 과정
이미지 분류(sorting)/회수(retrieval) 과정 또는 모듈에 대한 작업 흐름도는 도 5, 도 6A-6F에 나타나며, 이미지 선택 또는 획득 과정으로부터(US 2006/0140455 참조) 최종 과정 단계(1140)로서 시작된다. 이미지 분류/획득 모듈이 활성화될 때(1140), (ⅰ)검색/구분(sort)/분류(classification) 기준을 결정하기 위해 사용되는 이미지 및 (ⅱ)이에 대한 검색이 수행되는 이미지 수집 데이터에의 접근을 제공하는 적어도 두 개의 입력 변수가 제공될 것이라는 것이 가정된다. 데이터 레코드가 사용가능하지 않은 것으로 결정되고, 사람을 선택하고 이미지(1308)에서의 기준을 검색하기 위해 진행되는 검색 이미지에 대해 아직 결정되지 않은 경우, 주 이미지 분석 모듈은 바로 데이터 레코드(1200)를 생성하기 위해 적용된다. 이미지는 바로, 검색을 위해 사용될 얼굴 영역 및/또는 검색에서 사용될 분류기들에 대해 일정의 선택을 할 수 있는 옵션이 제공된 사용자에게 디스플레이 된다. 선택적으로, 검색 기준은 미리 정해지거나 또는 그렇지 않으면 구성 파일을 통해 자동화되고, 따라서, 단계(1308)는 자동화될 수 있다. 사용자 인터페이스의 양태들은 US 2006/0140455에 상세히 기술된다.
회수 과정에서 사용될 얼굴 및/또는 주변 영역을 포함하는 참조 영역이 선택(또는 자동적으로 결정)된 후에, 주요 회수 과정은 사용자와의 상호작용에 의해 또는 검색 기준이 구성 파이로부터 자동적으로 결정되는 경우, 자동적으로 초기화된다(1310). 주요 회수 과정은 단계(1312)에 기술되며, 분류/회수 과정에서 사용될 각각의 분류기에 대해 반복적으로 수행되는 세 개의 주요 서브-과정들을 포함한다.
(ⅰ)참조 영역에 대한 특징 벡터와 검색될(1312-1) 이미지 수집체 내의 모든 이미지들에 대한 얼굴/주변 영역들에 대한 대응하는 특징 벡터(들) 사이의 거리들이 현재의 분류기 공간에서 계산된다. 바람직한 실시예에서, 유클리드(Euclidean) 거리는 이미지 수집체 내에서 참조 영역과 얼굴/주변 영역들 사이의 유사성의 척도의 역할을 하는 이 거리들을 계산하기 위해 사용된다.
(ⅱ)계산된 거리들의 통계적 평균과 표준편차가 결정되고 임시적으로(1312-2) 저장된다.
(ⅲ)이미지 수집체 내에서 참조 영역과 얼굴/주변 영역 사이의 결정된 거리는 바로 단계(1312-2)에서 결정된 평균과 표준편차를 이용하여 바로 규격화된다.
이 규격화된 데이터 세트는 이미지들의 분류지어진 출력 목록을 생성하는 결정 통합 과정(1314)에서 이제 결합된다. 이들은 다음, UI 모듈(1316)에 의해 디스플레이 될 수 있다.
과정 단계들(1312-1,1312-2 및 1312-3)에 대한 추가적인 전망은 US 2006/0140455에 주어진다. 분류기에 대한 분류기 공간(1500)은 US 2006/0140455에 기술된 웨이브렛/PCA 얼굴 인지와 같은 것일 수 있다. 기초 벡터 세트 [λ1,λ2, ...λn]는 이 분류기에 대해 특징 벡터를 결정하기 위해 사용될 수 있다. 평균 또는 중간의 얼굴이 위상 훈련 동안에 계산되고(1510), 분류기 공간(1500)에서의 벡터 위치(1507)가 모든 얼굴 영역들의 절대적 위치로부터 제거된다. 따라서, 예시적인 얼굴 영역들(1504-1a, 1504-2a 및 1504-3a)은 평균 얼굴(1501)에 상대적인 벡터 항목들로 정의되는 분류기 공간에서 그들의 위치들(1054-1b, 1504-2b 및 1504-3b)를 갖는다.
특정의 얼굴 영역(1504-2a)이 사용자(1308)에 의해 선택된 후에, 특정 이미지 수집체 내에서 다른 모든 얼굴 영역들까지의 거리가 계산된다. 얼굴 영역들(1504-1a, 1504-3a)은 설명을 위한 예로서 보여진다. 연관된 거리(또는 규격화되지 않은 랭킹들)은 1504-1c 및 1504-3c로 주어진다.
분류기 공간에서 거리가 평균된 또는 중간 얼굴의 위치에 대해 상대적으로 측정되는 것이 아니라 원점으로부터의 절대적인 값으로 측정될 때, 유사한 경우가 발생한다. 예를 들어, 일정 실시예들에서 사용된 컬러 상관도 기술은 등가의 평균 얼굴을 갖지 않는 이러한 타입의 분류기이다.
참조 영역(1504-2a, 1509-2a)에 대한 특징 벡터로부터 다른 모든 얼굴 영역들에 대한 특징 벡터들 간의 거리들은 몇가지 방법으로 계산될 수 있다. 일 실시예에서, 유클리드 거리가 사용되지만, 여기서 기술된 것들과 다른 일정 분류기에 대해서는 다른 거리 측정 기준이 유리하게 사용될 수 있다.
분류기 유사성 측정치들을 위한 방법들
통계적 규격화 방법
최종 유사성 랭킹에 도달하기 위해 다양한 분류기들을 규격화하고 결합하기 위한 기법이 선호적으로 사용된다. 이 과정은 다양한 분류기들, C1, C2, ..., CN의 세트를 포함할 수 있고, 현재의 분류기(실시예에서 얼굴 또는 주변영역들)에 적절한 모든 패턴들의 선택된 참조 영역으로부터의 거리 분포에 대한 통계적 결정에 근거할 수 있다. 대부분이 분류기에 있어서, 이 통계적 분석은 통상적으로 평균이 MCn이고 분산이 VCn인 이 정규분포를 산출한다.
인-카메라 실행
이미징 기기들의 처리 능력, 메모리 및 비휘발성 저장 능력이 계속적으로 증가함에 따라, 디지털 카메라에 대한 당업자에게 있어서, 인-카메라 이미지 분류 서브 시스템으로 제공되는 많은 이점이 명백할 것이다. 예시적인 실시예가 도 7에 나타난다.
주 이미지 획득 과정(2202)에 따라, 획득된 이미지의 사본이, 제거될 수 있는 컴팩트-플래시 또는 멀티미디어 데이터 카드(2214)에 통상 저장될 수 있는 주 이미지 수집체(2212)에 저장된다. 획득된 이미지는 또한, 주 이미지의 최적화된 서브샘플된 사본을 생성하고 이것을 서브샘플된 이미지 수집체(2216)에 저장하는 이미지 서브샘플러(2232)에 전달된다. 이 서브샘플된 이미지들은 획득된 이미지들의 분석에 유리하게 채용될 수 있다.
획득된 이미지(또는 이들의 서브샘플된 사본)는 또한, 얼굴 및 주변 영역 추출 모듈(2206)과 영역 규격화 모듈(2207)에 잇달아 얼굴 검출기 모듈(2204)에 전달된다. 추출되고 규격화된 영역들은 바로, 현재의 이미지에 대하여 이미지 데이터 레코드(1409)를 생성하는 주 이미지 분석 모듈(2206)에 전달된다. 주 이미지 분석 모듈은 또한 훈련 모듈(2230)과 이미지 분류/회수 모듈(2218)로부터 호출될 수 있다.
UI 모듈(2220)은 이미지의 브라우징(browsing)과 분류/회수 과정(2218)에서 사용하기 위해 하나 이상의 얼굴 영역(2214)을 선택하는 것을 촉진한다. 이에 더하여, 분류기는 UI 모듈(2220)로부터 선택되고 결합될 수 있다(2226).
디지털 카메라에서 일정 모듈이 실행되는 곳에서 다양한 조합들이 가능하며, 데스크탑 컴퓨터에서 다른 것들이 실행된다.
조명 분류기들
분기된 분류기 체인이 얼굴들의 분류와 비균일(또는 균일) 조명의 분류에 동시적으로 이용될 수 있다. 일정 실시예에서, 분류기 체인은 이미지 내에서 대다수의 대상물을 비얼굴로 거절하는 특징 검출기들의 초기 세트 이후에 예를 들어 3, 4, 5, 6, 7, 8, 또는 9 특징 검출기들의 세트를 적용하도록 구성된다. 특징 검출기들은 위(top), 아래(botton), 그리고, 왼쪽 또는 오른쪽에서(얼굴들이 좌우 대칭이기 때문에) 조명된 얼굴을 받아들이거나, 또는, 위, 아래, 그리고, 왼쪽 또는 오른쪽, 그리고 균일 조명으로 조명된 얼굴을 받아들이거나, 또는 위, 아래, 왼쪽, 오른쪽, 그리고 균일 조명으로 조명된 얼굴을 받아들이거나, 또는 위, 왼쪽, 오른쪽, 아래, 오른쪽 아래(bottom-right), 왼쪽 아래(bottom-left), 오른쪽 위, 왼쪽 위에서 조명된 얼굴을 받아들이거나, 또는 위, 왼쪽, 오른쪽, 아래, 오른쪽 위, 왼쪽 위, 오른쪽 아래, 왼쪽 아래 그리고 균일 조명으로 조명된 얼굴을 받아들이거나, 또는 위, 아래, 오른쪽 또는 왼쪽 또는 양쪽 모두, 오른쪽 위 또는 왼쪽 위 또는 양쪽 모두, 오른쪽 아래 또는 왼쪽 아래 또는 양쪽 모두 그리고 균일 조명에서 조명된 얼굴을 받아들이도록 조정될 수 있다. 다른 조합들이 가능하며, 일부는 배제될 수도 있는데, 예를 들어, 한 분류기의 적용이 얼굴이 특정 조명의 이미지 또는 이미지의 서브 윈도우 내에 존재한다는 결정을 제공한 경우이다. 분류기 브랜치 중의 하나가 얼굴을 받아들일 때, 얼굴과, 얼굴의 조명이 검출된다고 말할 수 있다. 이 검출은 비얼굴보다 얼굴이 더 큰 관심이 있는 이미지 처리 및/또는 비균일 조명 조건의 수정, 얼굴 인식 결과의 개선을 위해 사용될 수 있다.
선택적으로, 한 검출 프레임에서 검출된 조명 문제들은 다음 프레임에서 수정될 수 있으며, 따라서, 얼굴 검출 알고리즘이 얼굴을 발견할 수 있는 더 나은 기회를 갖게 된다. 분류기 체인의 길이가 이전 설계에서보다 길지 않기 때문에 조명 검출은 본질적으로 자유롭게 일어난다.
도 8은 실시예에 따른 얼굴 조명 규격화 방법을 보인다. 디지털 이미지는 602에서 얻어진다. 하나 이상의 비균일 조명 분류기 세트가 한번에 하나의 캐스케이드(cascade)로 시작하며, 604에서 데이터에 적용된다. 이 세트는 얼굴을 찾고 및/또는 이미 검출된 얼굴 이미지 내에서 비균일(또는 균일) 조명 조건을 결정하기 위해 사용될 수 있다. 604에서 회수된 데이터에 의존하여, 다른 실시예에 의한 방 법은 다음, 606에서 이미지 내에서 얼굴을 식별하거나, 608 또는, 606과 608에서 동시적으로나 순차적으로, 비균일(균일) 조명 조건을 결정할 것이다. 예를 들어, 얼굴이 발견될 수 있으며, 그 다음, 얼굴에 대해 발견된 조명조건이나 대상물의 조명 조건이, 대상물이 얼굴인지 여부에 대한 판단에 따라 찾아질 것이다.
618에 어떤 조명 조건도 존재하지 않는다는 것이 결정될 수 있다. 606에서 얼굴이 존재하는 것으로 결정된다면, 특징 검출기 프로그램의 세트는 비얼굴 데이터가 얼굴로 식별되는 것을 거절하기 위해 (또는 얼굴 데이터를 얼굴로 식별되도록 받아들이기 위해) 적용될 수 있다.
만약, 비균일 조명조건이 608에서 결정된다면, 610에서 이미지 또는 이미지 시리즈에서의 다른 이미지에서 얼굴의 비균일 조명 조건이 정정될 수 있다. 예를 들어, 원래의 이미지가 미리보기 이미지일 수 있으며, 전체 해상도 이미지는 획득 중에(플래시 조건을 조정하거나 또는 카메라 사용자에게 사진을 찍기 전에 움직일 것을 제안함에 의해), 카메라 내에서 영구 이미지를 저장하기 전 또는 후나 나중에 외부 기기에서, 정정된다. 정정된 이미지 데이터는 612에서 보다 균일한 조명을 가지는 것으로 나타나며 생성될 수 있고, 정정된 얼굴 이미지는 614에서, 저장, 전송, 얼굴 인지 프로그램에 적용, 편집 및/또는 디스플레이 될 수 있다.
만약, 618에서, 어떤 조명 조건도 적용되지 않는것으로 결정되면, 얼굴 데이터는 620에서 얼굴로 거절되지 않으며, 다음, 622에서 두 개 이상의 분류기 세트의 조합이 그 데이터에 적용될 수 있다.
도 9A-9B는 일정 실시예에 따른 얼굴 검출 방법들을 보인다. 디지털 이미지 는 702에서 획득된다. 서브 윈도우는 704에서 그 이미지로부터 추출된다. 706에서 두 개 이상의 단축된 얼굴 검출 분류기 캐스케이드들이 서브 윈도우에 적용된다. 이 캐스케이드들은 얼굴 영역의 특징에 선택적으로 민감하도록 훈련된다.
708에서, 상기 특징의 일정 형태를 가지는 얼굴이 서브 윈도우 내에 존재하는 확률이 결정된다. 상기 특징은 조명 조건, 또는 카메라에 대한 얼굴의 자세 또는 방향, 또는 해상도, 크기, 위치, 움직임, 상흐림, 얼굴 표정, 눈깜박임 조건, 적색, 금색, 흰색 눈 상태, 폐색(occlusion) 상태, 또는, 예를 들어 다른 특징들 중에서도 면도 여부, 헤어 스타일, 보석 착용 여부과 같은 다양한 외관을 가지는 수집체 내에서의 얼굴의 외관을 포함한다. 710에서 상기 특징의 형태에 민감하도록 훈련된 확장 얼굴 검출 분류기 캐스케이드가 적용된다. 서브 윈도우 내에 얼굴이 존재하는 지 여부에 대한 최종 결정이 712에서 제공된다. 이러한 경우, 714에서 선택적으로, 이미지 내에서 및/또는 이미지 시리즈의 다른 이미지 내에서 검출된 특징에 근거하여 얼굴에 대한 비균일 조명 조건이 정정된다. 이에 더하여, 이미지로부터 서브 윈도우를, 만약 있다면,더 추출하기 위해, 과정이 704로 되돌아온다.
742에서 디지털 이미지가 획득되고, 744에서, 이로부터 서브 윈도우가 추출된다. 746에서, 지향성 얼굴 조명에 선택적으로 민감하도록 훈련된 두 개 이상의 단축된 얼굴 검출 분류기 캐스케이드가 746에서 적용될 수 있다. 748에서, 서브 윈도우 내에 일정 형태의 지향성 조명 조건을 가지는 얼굴이 존재할 확률이 결정된다. 750에서, 지향성 얼굴 조명의 일정 형태, 예를 들어, 위, 아래, 오른쪽, 왼쪽, 오른쪽 위 또는 왼쪽 위, 오른쪽 아래 또는 왼쪽 아래 및/또는 균일성에 민감하도 록 훈련된 확장된 얼굴 검출 분류기 캐스케이드가 적용된다. 752에서, 이미지 서브 윈도우 내에 얼굴이 존재하는지에 대한 최종 결정이 제공된다. 서브 윈도우는, 만약 더 있다면, 단계를 744로 되돌림으로써 추출되며, 및/또는 754에서, 얼굴에 대한 비균일 조명 조건이 이미지 내에서 및/또는 이미지 시리즈의 다른 이미지 내에서 정정된다.
휘도에 대한 "체인 분기(chain branching)" 아이디어는 이것이 훈련 알고리즘을 수정할 것을 요구하지 않기 때문에, 실행하고 테스트 하기가 상당히 수월하다. 얼굴의 변화(variations)/변형(mutations)들은 별개의 대상물로 여겨지며 각각은 별개의 분류기의 검출기/캐스케이드를 받는다. 검출기들은 모두 같은, 선형의, 전체 범위의 체인들이다.
검출에서 직접적인 접근은 모든 검출기들을 남김없이 동작시키고, 어느것이 윈도우를 받아들이는지 보고 다음 최상의 점수를 선택한다. 이것은 올바른 검출기가 마지막에 선택됨을 의미한다. 그러나, 이것은 매우 시간소모적인 것으로, 우리가 테스트했던 것이 아니다.
Chain1=cls11+cls12+...+cls1M
...
ChainN=clsN1+clsN2+...+clsNM
검출기들은 직렬적으로 또는 병력적으로 또는 이들의 조합으로 작동될 수 있으며, 적어도 부분적인 신뢰도가 누적된다. 즉,
Partial1=cls11+cls12+...+cls1P
...
PartialN=clsN1+clsN2+...+clsNP, 여기서, P<M
최상의 검출기는 최대의 부분적 신뢰도 값을 갖는 점에서 선택된다. 검출기가 다음과 같이 실행이 계속된다면;
ChainMax=PartialMax+clsMax(P+1)+clsMax(P+2)+...+clsMaxM
따라서, 예시적인 작업 흐름도는 다음과 같다:
Partial ---
... \
PartialMax ---(choose Max) -> continue with the rest of Max
... /
PartialN ---
이 접근은 얼굴 자세 변환 및/또는 조명 조건 또는 다른 특징에 대해 적용될 수 있다. 조명의 경우에서, (ⅰ)정면에서 조명된 얼굴들; (ⅱ) 위(top)로부터 조명된 얼굴들; (ⅲ) 아래(bottom)로부터 조명된 얼굴들; (ⅳ) 왼쪽으로부터 조명된 얼굴들; (ⅴ)오른쪽으로부터 조명된 얼굴들의 어떤 조합이든지 사용될 수 있다. 얼굴들의 대칭적인 본성때문에, 얻어진 분류기 사이에 대칭성이 있는 (ⅳ)(ⅴ) 중 하나만이 사용될 수도 있다. 이 분류기 세트들을 결정하기 위해 사용되는 훈련 이미지들은 탑/바텀 조명의 레벨에 대응하도록 훈련된 한 변수와 왼쪽/오른쪽 조명에 대응하도록 훈련된 두번째 변수를 가지는 AAM 모델을 사용하여 생성될 수 있다.
도 10A-10B는 예시적인 상세한 작업흐름도를 보인다. 802에서 서브-윈도우는 정면 조명된 부분적 분류기 세트(예를 들어 3-5분류기들을 사용하여)를 가지고 테스트된다. 만약, 누적 확률이 첫번째 문턱값을 넘는 것으로 804에서 판단된 경우, 806에서, 얼굴은 정면 조명되는 것으로 판단되고, 과정은 전체 분류기 체인을 가지고 지속된다. 만약, 누적 확률이 두번째 문턱값 (이것은 첫번째 문턱값보다 낮다) 낮은 것으로 판단되면, 812에서, 서브 윈도우는 얼굴을 포함하지 않는 것으로 판단되고, 과정은 864를 통해 802로 되돌아간다. 808에서 누적 확률이 두번째 문턱값을 넘는 것으로 판단되고, 그러나, 804에서 첫번째 문턱값보다 낮은 것으로 것으로 판단되면, 810에서 서브 윈도우는 여전히 얼굴일 수 있지만 정면에서 조명된 것은 아닌 것으로 간주된다. 따라서, 다음 조명 특정 부분적 분류기 세트가 814에서 적용된다.
814에서, 서브-윈도우는 위에서 조명된 부분적 분류기 세트를 가지고(예를 들어, 3-5분류기들을 사용하여) 테스트되지만, 분류기는 어떤 순서로든지 적용될 수 있다. 만약 누적 확률이 첫번째 문턱값을 넘는 것으로 816에서 판단되면, 818에서 얼굴은 위에서 조명된 것으로 판단되고, 과정은 전체 분류기 체인을 가지고 지속된다. 만약 820에서 누적 확률이 첫번째 문턱값과 두번째 문턱값의 사이에 있다고 여겨지면, 822에서, 서브-윈도우는 여전히 얼굴을 포함할 수 있지만 위에서 조명된 것은 아닌 것으로 판단되며, 따라서 과정은 다음의 조명 특정 부분적 분류기 세트를 적용하기 위해, 826으로 이동된다. 누적 확률이 두번째 문턱값보다 작은 것으로 여겨지면, 824에서, 서브-윈도우는 얼굴을 포함하지 않는 것으로 판단되고, 과정은 864를 통해 다음 서브-윈도우와 802로 되돌아간다.
826에서, 아래에서 조명된 부분적 분류기 세트를 가지고(예를 들어, 3-5 분류기들을 사용하여) 서브-윈도우가 테스트된다. 828에서 누적 확률이 첫번째 문턱값을 넘는 것으로 판단되며, 얼굴은 위에서 조명된 것으로 판단되고, 830에서 과정은 이 전체 분류기 체인을 가지고 지속된다. 만약, 누적 확률이 첫번째 문턱값보다 낮지만 더 낮은 두번째 문턱값보다 높은 것으로 832에서 판단되면, 834에서, 서브-윈도우는 아래에서 조명된 것은 아니라고 하더라도, 여전히 얼굴을 포함할 수 있는 것으로 판단되고, 과정은 다음의 조명 특정 부분적 분류기 세트를 적용하기 위해 838 및 도 10B로 이동된다. 만약, 그럼에도, 누적 확률이 이 두번째 문턱값보다 낮은 것으로 판단되면, 836에서, 서브-윈도우는 얼굴을 포함하지 않으며, 과정은 864를 통해 802 및 다음 서브-윈도우로 이동한다. 서브-윈도우가 810에서도 822에서도 거절되지 않았다면, 836에서 서브-윈도우를 거절하기 전에 확인이 더 행해질 수 있으며, 이것은 824에도 적용되고 도 10B의 846, 858에도 마찬가지이다.
838에서, 왼쪽에서 조명된 부분적 분류기 세트로(예를 들어, 3-5분류기들을 사용하여) 서브-윈도우가 테스트된다. 840에서, 누적 확률이 첫번재 문턱값을 넘는 것으로 여겨진다면, 얼굴은 위에서 조명된 것으로 판단되고, 842에서, 과정은 이 전체 분류기 체인을 가지고 계속된다. 그렇지 않으면, 만약, 누적 확률이 여전히 두번째 문턱값을 넘고 첫번째 문턱값보다 낮은 것으로 844에서 여겨지면, 846에서, 이미지 데이터의 서브-윈도우는 왼쪽에서 조명된 것을 아니라고 하더라도 여전히 얼굴을 포함할 수 있으며, 따라서 850에서 다음의 조명 특정 부분적 분류기 세트가 적용된다. 만약, 누적 확률이 두번째 문턱값보다 낮으면, 848에서 서브-윈도우는 얼굴을 포함하지 않는 것으로 여겨지고, 따라서 과정은 864를 통해 도 10A의 802로 되돌아간다.
850에서, 오른쪽에서 조명된 부분적 분류기 세트로(예를 들어, 3-5분류기들을 사용하여) 서브-윈도우가 테스트된다. 852에서, 누적 확률이 첫번째 문턱값을 넘는 것으로 여겨진다면, 얼굴은 위에서 조명된 것으로 판단되고, 854에서, 과정은 이 전체 분류기 체인을 가지고 계속된다. 그러나, 852에서, 누적 확률이 첫번째 문턱값보다 낮은 것으로 여겨지고, 그러나, 856에서 첫번째 문턱값보다 낮은 두번째 문턱값보다 높은 것으로 여겨지면, 서브-윈도우는, 오른쪽에서 조명된 것은 아니라고 하더라도, 여전히 얼굴을 포함할 수 있는 것으로 여겨지고, 이제, 862에서 특정 부분적 분류기 세트의 쌍들(pairs)이 적용된다. 이 시점에서, 이것은 윈도우가 첫번째 문턱값에서 어떤 조명 특정 분류기도 통과하지 못했고 그러나 얼굴로 거절되지도 않았기 때문이다. 따라서, 가능한 시나리오는 서브-윈도우가 조명 타입의 조합에 의해 표현되는 얼굴을 포함한다는 것이다. 따라서, 두 개의 가장 높은 확률 문턱값이 위/아래, 및/또는 오른쪽/왼쪽 조명되는지 여부를 판단하기 위해 먼저 적용되고, 다음, 이것이 얼굴로 살아남는지를 판단하기 위해 전체 분류기 세트 양쪽 모두가 적용된다. 856에서, 만약 누적 확률이 두번째 문턱값보다 낮은 것으로 여겨지면, 860에서, 서브-윈도우는 얼굴을 포함하지 않는 것으로 여겨지고, 과정은 864를 통해 다음 이미지의 서브-윈도우로 이동한다.
이에 더하여, 여기서의 바람직한 실시예들에 따라 수행될 수 있고 위에서 기술한 방법들에서, 작용들은 선택된 인쇄상의 순서를 따라 기술되었다. 그러나, 이 순서들은 인쇄상의 편의를 위해 선택되고 순서지워진 것이며, 특정한 순서가 명백히 제시된 곳이나 또는 이 기술분야의 당업자가 특정한 순서가 필요한 것으로 생각하는 경우를 제외하고는, 작용 단계들을 수행함에 있어 어떤 특정한 순서를 내포하는 것으로 의도된 것은 아니다.
Claims (18)
- (a) 고르지 않게 조명된 것으로 나타나는 얼굴에 대응하는 데이터를 포함하는 디지털 이미지를 획득하는 단계;(b) 얼굴 데이터에 대하여, 하나 이상의 비균일 조명 분류기 프로그램을 적용하는 단계;(c) 상기 디지털 이미지 내에서 상기 얼굴 데이터를 상기 얼굴에 대응하는 것으로 식별하는 단계;(d) 상기 하나 이상의 비균일 조명 분류기 프로그램을 적용한 결과로서, 상기 얼굴에 대해 비균일 조명 조건을 판단하는 단계;(e) 상기 판단에 근거하여, 보다 균일한 조명을 갖는 것으로 나타나는 정정된 얼굴 이미지를 생성하기 위해, 상기 얼굴에 대한 비균일 조명 조건을 정정하는 단계; 및(f) 상기 정정된 얼굴 이미지를 전자적으로 저장, 전송, 얼굴 인지 프로그램에 적용, 편집, 또는 디스플레이하거나, 이들을 조합하여 수행하는 단계;를 포함하는 얼굴 조명 규격화 방법.
- 제1항에 있어서,상기 정정된 얼굴 이미지에 얼굴 인지 프로그램을 적용하는 단계를 더 포함하는 방법.
- 제1항에 있어서,상기 얼굴을 검출하고, 상기 얼굴의 비균일 조명 조건을 판단하는 것이 동시에 수행되는 방법.
- 제1항에 있어서,비얼굴 데이터(non-face data)가 얼굴 데이터로 식별되는 것을 거절하기 위해 특징 검출기 프로그램의 세트를 적용하는 단계를 더 포함하는 방법.
- 제1항에 있어서,상기 얼굴 데이터에 정면 조명 분류기 프로그램을 적용하는 단계를 더 포함하는 방법.
- 제5항에 있어서,상기 분류기 프로그램 중 하나에 의한 얼굴 데이터의 수락(acceptance)에 기초하여 조명 조건을 결정하는 단계를 더 포함하는 방법.
- 제6항에 있어서,상기 디지털 이미지는 상기 얼굴을 포함하는 시리즈에서 다중의 이미지들 중의 하나이고,상기 정정 단계는, 상기 시리즈에서 상기 조명 조건이 결정된 디지털 이미지와는 다른 이미지에 적용되는 방법.
- 제1항에 있어서,상기 비균일 조명 분류기 프로그램은,탑(top) 조명 분류기, 바텀(bottom) 조명 분류기, 오른쪽 및 왼쪽 조명 분류기들 중 어느 하나 또는 양쪽 모두를 포함하는 방법.
- 제8항에 있어서,상기 얼굴 데이터에 정면 조명 분류기 프로그램을 적용하는 단계를 더 포함하는 방법.
- 제1항에 있어서,상기 적용 단계는,하나의 조명 조건도 적용되지 않고 얼굴 데이터가 얼굴로 거절되지 않음을 판단한 후에 두 개 이상의 전체 분류기 세트를 적용하는 단계를 더 포함하는 방법.
- (a) 디지털 이미지를 획득하는 단계;(b) 상기 이미지로부터 서브-윈도우를 추출하는 단계;(c) 얼굴 영역의 특징에 선택적으로 민감하도록 훈련된, 두 개 이상의 ㄷ다 단축된 얼굴 검출 분류기 캐스케이드를 적용하는 단계;(d) 상기 적용에 근거하여, 상기 특징의 일정 형태를 가지는 얼굴이 서브-윈도우 내에 존재할 확률을 결정하는 단계;(e) 상기 결정에 근거하여, 상기 특징의 일정 형태에 민감하도록 훈련된 확장된 얼굴 검출 분류기 캐스케이드를 적용하는 단계;(f) 상기 이미지 서브-윈도우 내에 얼굴이 존재한다는 최종 판단을 제공하는 단계;(g) 이미지 또는 하나 이상의 특징들, 또는 양쪽 모두로부터 하나 이상의 서브-윈도우들에 대하여 (b)-(e)의 단계를 한 번 이상 반복하는 단계;를 포함하는 얼굴 검출 방법.
- 제11항에 있어서,상기 특징 또는 특징들은 얼굴 영역의 지향성 조명, 얼굴 영역의 인-플레인 회전, 얼굴 영역의 3D 자세 변화, 미소의 정도, 눈 깜박임(eye-blinking)의 정도, 눈짓(eye-winking)의 정도, 입을 벌린 정도, 얼굴 흐려짐, 눈의 결함(eye-defect), 얼굴의 음영, 얼굴의 폐색(occlusion), 얼굴의 색, 얼굴의 모양, 또는 이들의 조합을 포함하는 방법.
- 제11항에 있어서,상기 특징은 지향성 조명을 포함하며,상기 방법은 하나 이상의 비균일 조명 분류기 캐스케이드를 적용함으로써 비균일 조명 조건을 결정하는 단계를 더 포함하는 방법.
- 제13항에 있어서,정면 조명 분류기 캐스케이드를 적용하는 단계를 더 포함하는 방법.
- 제14항에 있어서,상기 분류기 캐스케이드 중 하나에 의한 수락에 근거하여 서브-윈도우 내에서 얼굴에 대한 조명 조건을 결정하는 단계를 더 포함하는 방법.
- 제15항에 있어서,상기 디지털 이미지는 얼굴을 포함하는 시리즈에서 다중의 이미지들 중의 하나이고,상기 조명 조건이 결정된 상기 디지털 이미지와 다른, 상기 시리즈에 있는 이미지 내에서 비균일 조명 조건을 정정하는 단계를 더 포함하는 방법.
- 제13항에 있어서,상기 비균일 조명 분류기 캐스케이드는,탑 조명 분류기, 바텀 조명 분류기, 오른쪽 및 왼쪽 조명 분류기들 중 어느 하나 또는 양쪽 모두를 포함하는 방법.
- 디지털 이미지를 획득하기 위한 광전자 시스템;전술한 청구항들에 의한 얼굴 조명 규격화 방법을 수행하도록 프로세서를 프로그램하기 위한, 프로세서가 읽을수 있는 코드가 저장된 디지털 메모리;를 포함하는 디지털 이미지 획득 소자.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US89288107P | 2007-03-05 | 2007-03-05 | |
US60/892,881 | 2007-03-05 | ||
PCT/EP2008/001578 WO2008107112A2 (en) | 2007-03-05 | 2008-02-28 | Illumination detection using classifier chains |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090118095A true KR20090118095A (ko) | 2009-11-17 |
KR101129405B1 KR101129405B1 (ko) | 2012-03-26 |
Family
ID=39456461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020097020698A KR101129405B1 (ko) | 2007-03-05 | 2008-02-28 | 분류기 체인을 이용한 조명 검출 |
Country Status (5)
Country | Link |
---|---|
US (2) | US8503800B2 (ko) |
EP (1) | EP2137670B1 (ko) |
JP (1) | JP5174045B2 (ko) |
KR (1) | KR101129405B1 (ko) |
WO (1) | WO2008107112A2 (ko) |
Families Citing this family (125)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7565030B2 (en) | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
US8363951B2 (en) | 2007-03-05 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Face recognition training method and apparatus |
US7269292B2 (en) | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
US8682097B2 (en) | 2006-02-14 | 2014-03-25 | DigitalOptics Corporation Europe Limited | Digital image enhancement with reference images |
US8498452B2 (en) | 2003-06-26 | 2013-07-30 | DigitalOptics Corporation Europe Limited | Digital image processing using face detection information |
US8896725B2 (en) | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
US7440593B1 (en) * | 2003-06-26 | 2008-10-21 | Fotonation Vision Limited | Method of improving orientation and color balance of digital images using face detection information |
US7606417B2 (en) | 2004-08-16 | 2009-10-20 | Fotonation Vision Limited | Foreground/background segmentation in digital images with differential exposure calculations |
US8330831B2 (en) | 2003-08-05 | 2012-12-11 | DigitalOptics Corporation Europe Limited | Method of gathering visual meta data using a reference image |
US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
US8989453B2 (en) | 2003-06-26 | 2015-03-24 | Fotonation Limited | Digital image processing using face detection information |
US8494286B2 (en) * | 2008-02-05 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Face detection in mid-shot digital images |
US7620218B2 (en) * | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
US9692964B2 (en) | 2003-06-26 | 2017-06-27 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
US7471846B2 (en) | 2003-06-26 | 2008-12-30 | Fotonation Vision Limited | Perfecting the effect of flash within an image acquisition devices using face detection |
US8948468B2 (en) | 2003-06-26 | 2015-02-03 | Fotonation Limited | Modification of viewing parameters for digital images using face detection information |
US7844076B2 (en) | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
US9129381B2 (en) | 2003-06-26 | 2015-09-08 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
US8593542B2 (en) | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
US8155397B2 (en) | 2007-09-26 | 2012-04-10 | DigitalOptics Corporation Europe Limited | Face tracking in a camera processor |
US8320641B2 (en) | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
US7315631B1 (en) | 2006-08-11 | 2008-01-01 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US8995715B2 (en) | 2010-10-26 | 2015-03-31 | Fotonation Limited | Face or other object detection including template matching |
US7715597B2 (en) | 2004-12-29 | 2010-05-11 | Fotonation Ireland Limited | Method and component for image recognition |
US8503800B2 (en) | 2007-03-05 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Illumination detection using classifier chains |
EP2033142B1 (en) | 2006-06-12 | 2011-01-26 | Tessera Technologies Ireland Limited | Advances in extending the aam techniques from grayscale to color images |
WO2008015586A2 (en) | 2006-08-02 | 2008-02-07 | Fotonation Vision Limited | Face recognition with combined pca-based datasets |
US7916897B2 (en) | 2006-08-11 | 2011-03-29 | Tessera Technologies Ireland Limited | Face tracking for controlling imaging parameters |
US7403643B2 (en) * | 2006-08-11 | 2008-07-22 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
WO2008109622A1 (en) | 2007-03-05 | 2008-09-12 | Fotonation Vision Limited | Face categorization and annotation of a mobile phone contact list |
JP5072655B2 (ja) * | 2008-03-03 | 2012-11-14 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
WO2009151663A2 (en) * | 2008-03-04 | 2009-12-17 | Invicta Networks, Inc. | Method and system for variable or dynamic classification |
JP5141317B2 (ja) * | 2008-03-14 | 2013-02-13 | オムロン株式会社 | 対象画像検出デバイス、制御プログラム、および該プログラムを記録した記録媒体、ならびに対象画像検出デバイスを備えた電子機器 |
WO2010012448A2 (en) | 2008-07-30 | 2010-02-04 | Fotonation Ireland Limited | Automatic face and skin beautification using face detection |
JP4791598B2 (ja) | 2008-09-17 | 2011-10-12 | 富士通株式会社 | 画像処理装置および画像処理方法 |
KR101522985B1 (ko) * | 2008-10-31 | 2015-05-27 | 삼성전자주식회사 | 영상처리 장치 및 방법 |
WO2010063463A2 (en) | 2008-12-05 | 2010-06-10 | Fotonation Ireland Limited | Face recognition using face tracker classifier data |
JP2010252293A (ja) * | 2009-03-23 | 2010-11-04 | Sanyo Electric Co Ltd | 画像処理装置及び撮影装置 |
JP5456159B2 (ja) * | 2009-05-29 | 2014-03-26 | デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド | 背景から前景の頭頂部を分離するための方法および装置 |
ES2395448T3 (es) * | 2009-06-02 | 2013-02-12 | Fundacion Centro De Tecnologias De Interaccion Visual Y Comunicaciones Vicomtech | Procedimiento de detección y reconocimiento de logotipos en un flujo de datos de vídeo |
US8605955B2 (en) * | 2009-06-29 | 2013-12-10 | DigitalOptics Corporation Europe Limited | Methods and apparatuses for half-face detection |
US8670597B2 (en) * | 2009-08-07 | 2014-03-11 | Google Inc. | Facial recognition with social network aiding |
CN101996021B (zh) * | 2009-08-12 | 2013-02-13 | 幻音科技(深圳)有限公司 | 手持式电子设备及其控制显示内容的方法 |
JP5436104B2 (ja) * | 2009-09-04 | 2014-03-05 | キヤノン株式会社 | 画像検索装置及び画像検索方法 |
US8379917B2 (en) | 2009-10-02 | 2013-02-19 | DigitalOptics Corporation Europe Limited | Face recognition performance using additional image features |
US8170332B2 (en) * | 2009-10-07 | 2012-05-01 | Seiko Epson Corporation | Automatic red-eye object classification in digital images using a boosting-based framework |
JP5523053B2 (ja) * | 2009-10-19 | 2014-06-18 | キヤノン株式会社 | 物体識別装置及び物体識別方法 |
US20110141225A1 (en) * | 2009-12-11 | 2011-06-16 | Fotonation Ireland Limited | Panorama Imaging Based on Low-Res Images |
US20110141229A1 (en) * | 2009-12-11 | 2011-06-16 | Fotonation Ireland Limited | Panorama imaging using super-resolution |
US20110141224A1 (en) * | 2009-12-11 | 2011-06-16 | Fotonation Ireland Limited | Panorama Imaging Using Lo-Res Images |
US8294748B2 (en) * | 2009-12-11 | 2012-10-23 | DigitalOptics Corporation Europe Limited | Panorama imaging using a blending map |
WO2011069698A1 (en) | 2009-12-11 | 2011-06-16 | Tessera Technologies Ireland Limited | Panorama imaging |
US10080006B2 (en) | 2009-12-11 | 2018-09-18 | Fotonation Limited | Stereoscopic (3D) panorama creation on handheld device |
US20110141226A1 (en) * | 2009-12-11 | 2011-06-16 | Fotonation Ireland Limited | Panorama imaging based on a lo-res map |
US20110182497A1 (en) * | 2010-01-22 | 2011-07-28 | Aricent Inc. | Cascade structure for classifying objects in an image |
WO2011097795A1 (zh) * | 2010-02-10 | 2011-08-18 | 杭州海康威视软件有限公司 | 人流量统计的方法及*** |
US8872887B2 (en) | 2010-03-05 | 2014-10-28 | Fotonation Limited | Object detection and rendering for wide field of view (WFOV) image acquisition systems |
US8723912B2 (en) | 2010-07-06 | 2014-05-13 | DigitalOptics Corporation Europe Limited | Scene background blurring including face modeling |
US9053681B2 (en) | 2010-07-07 | 2015-06-09 | Fotonation Limited | Real-time video frame pre-processing hardware |
US8971628B2 (en) | 2010-07-26 | 2015-03-03 | Fotonation Limited | Face detection using division-generated haar-like features for illumination invariance |
KR101699922B1 (ko) * | 2010-08-12 | 2017-01-25 | 삼성전자주식회사 | 하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법 |
US8970770B2 (en) | 2010-09-28 | 2015-03-03 | Fotonation Limited | Continuous autofocus based on face detection and tracking |
US8730332B2 (en) | 2010-09-29 | 2014-05-20 | Digitaloptics Corporation | Systems and methods for ergonomic measurement |
US8648959B2 (en) | 2010-11-11 | 2014-02-11 | DigitalOptics Corporation Europe Limited | Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing |
US8659697B2 (en) * | 2010-11-11 | 2014-02-25 | DigitalOptics Corporation Europe Limited | Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing |
US8308379B2 (en) | 2010-12-01 | 2012-11-13 | Digitaloptics Corporation | Three-pole tilt control system for camera module |
KR20120071192A (ko) * | 2010-12-22 | 2012-07-02 | 삼성전자주식회사 | 디지털 촬영 장치 및 이의 제어 방법 |
US8508652B2 (en) | 2011-02-03 | 2013-08-13 | DigitalOptics Corporation Europe Limited | Autofocus method |
US8587665B2 (en) | 2011-02-15 | 2013-11-19 | DigitalOptics Corporation Europe Limited | Fast rotation estimation of objects in sequences of acquired digital images |
US8587666B2 (en) | 2011-02-15 | 2013-11-19 | DigitalOptics Corporation Europe Limited | Object detection from image profiles within sequences of acquired digital images |
US8705894B2 (en) | 2011-02-15 | 2014-04-22 | Digital Optics Corporation Europe Limited | Image rotation from local motion estimates |
JP2012203668A (ja) * | 2011-03-25 | 2012-10-22 | Sony Corp | 情報処理装置、物体認識方法、プログラム及び端末装置 |
US8896703B2 (en) | 2011-03-31 | 2014-11-25 | Fotonation Limited | Superresolution enhancment of peripheral regions in nonlinear lens geometries |
US8982180B2 (en) | 2011-03-31 | 2015-03-17 | Fotonation Limited | Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries |
US8947501B2 (en) | 2011-03-31 | 2015-02-03 | Fotonation Limited | Scene enhancements in off-center peripheral regions for nonlinear lens geometries |
US8723959B2 (en) | 2011-03-31 | 2014-05-13 | DigitalOptics Corporation Europe Limited | Face and other object tracking in off-center peripheral regions for nonlinear lens geometries |
US8913005B2 (en) | 2011-04-08 | 2014-12-16 | Fotonation Limited | Methods and systems for ergonomic feedback using an image analysis module |
EP2515526A3 (en) | 2011-04-08 | 2014-12-24 | FotoNation Limited | Display device with image capture and analysis module |
US20140314273A1 (en) * | 2011-06-07 | 2014-10-23 | Nokia Corporation | Method, Apparatus and Computer Program Product for Object Detection |
US20120328160A1 (en) * | 2011-06-27 | 2012-12-27 | Office of Research Cooperation Foundation of Yeungnam University | Method for detecting and recognizing objects of an image using haar-like features |
US9014470B2 (en) * | 2011-08-31 | 2015-04-21 | Adobe Systems Incorporated | Non-rigid dense correspondence |
US8873813B2 (en) * | 2012-09-17 | 2014-10-28 | Z Advanced Computing, Inc. | Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities |
KR101175597B1 (ko) | 2011-09-27 | 2012-08-21 | (주)올라웍스 | 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체 |
KR101314756B1 (ko) * | 2012-02-23 | 2013-10-08 | 단국대학교 산학협력단 | 컨트롤 마커를 이용한 증강 현실 제공 장치 및 방법 |
US9294667B2 (en) | 2012-03-10 | 2016-03-22 | Digitaloptics Corporation | MEMS auto focus miniature camera module with fixed and movable lens groups |
WO2013136053A1 (en) | 2012-03-10 | 2013-09-19 | Digitaloptics Corporation | Miniature camera module with mems-actuated autofocus |
JP6003124B2 (ja) * | 2012-03-15 | 2016-10-05 | オムロン株式会社 | 認証装置、認証装置の制御方法、制御プログラム、および記録媒体 |
US20130286161A1 (en) * | 2012-04-25 | 2013-10-31 | Futurewei Technologies, Inc. | Three-dimensional face recognition for mobile devices |
KR101321840B1 (ko) | 2012-04-25 | 2013-10-23 | 연세대학교 산학협력단 | 퍼지 기반 레티넥스를 이용한 영상 정규화 방법 및 장치 |
US8938119B1 (en) * | 2012-05-01 | 2015-01-20 | Google Inc. | Facade illumination removal |
CN104798364B (zh) | 2012-06-07 | 2018-08-17 | 数位光学欧洲有限公司 | Mems快速对焦照相机模块 |
US9007520B2 (en) | 2012-08-10 | 2015-04-14 | Nanchang O-Film Optoelectronics Technology Ltd | Camera module with EMI shield |
US9001268B2 (en) | 2012-08-10 | 2015-04-07 | Nan Chang O-Film Optoelectronics Technology Ltd | Auto-focus camera module with flexible printed circuit extension |
US9242602B2 (en) | 2012-08-27 | 2016-01-26 | Fotonation Limited | Rearview imaging systems for vehicle |
US8988586B2 (en) | 2012-12-31 | 2015-03-24 | Digitaloptics Corporation | Auto-focus camera module with MEMS closed loop compensator |
US10402846B2 (en) | 2013-05-21 | 2019-09-03 | Fotonation Limited | Anonymizing facial expression data with a smart-cam |
US20150036942A1 (en) * | 2013-07-31 | 2015-02-05 | Lsi Corporation | Object recognition and tracking using a classifier comprising cascaded stages of multiple decision trees |
GB2520611B (en) * | 2013-08-02 | 2016-12-21 | Anthropics Tech Ltd | Image manipulation |
KR101503788B1 (ko) * | 2013-12-27 | 2015-03-19 | 숭실대학교산학협력단 | 적분영상을 기반으로 하는 특징 정보 예측을 통한 보행자 검출 방법, 이를 수행하기 위한 기록 매체 및 단말기 |
CN104933390B (zh) * | 2014-03-19 | 2018-02-13 | 富士通株式会社 | 生成皮肤图像的方法、装置以及电子设备 |
US9679212B2 (en) | 2014-05-09 | 2017-06-13 | Samsung Electronics Co., Ltd. | Liveness testing methods and apparatuses and image processing methods and apparatuses |
KR102415503B1 (ko) | 2015-08-21 | 2022-07-01 | 삼성전자주식회사 | 분류기 학습 방법 및 객체 검출 방법 |
US10671837B2 (en) * | 2015-09-08 | 2020-06-02 | Nec Corporation | Face recognition system, face recognition method, display control apparatus, display control method, and display control program |
US10460198B2 (en) | 2015-12-23 | 2019-10-29 | Fotonation Limited | Image processing system |
CN108431824B (zh) * | 2015-12-23 | 2022-04-29 | 快图有限公司 | 图像处理*** |
CN106934335B (zh) * | 2015-12-31 | 2021-02-02 | 南通东华软件有限公司 | 图像识别的方法和装置 |
US10169649B2 (en) * | 2016-07-28 | 2019-01-01 | International Business Machines Corporation | Smart image filtering method with domain rules application |
CN106682691B (zh) * | 2016-12-21 | 2019-08-02 | 厦门中控智慧信息技术有限公司 | 基于图像的目标检测方法及装置 |
CN106650672A (zh) * | 2016-12-27 | 2017-05-10 | 深圳云天励飞技术有限公司 | 实时人脸识别中级联检测及特征提取和匹配的方法 |
US10572963B1 (en) | 2017-07-14 | 2020-02-25 | Synapse Technology Corporation | Detection of items |
US10210631B1 (en) | 2017-08-18 | 2019-02-19 | Synapse Technology Corporation | Generating synthetic image data |
US10140553B1 (en) * | 2018-03-08 | 2018-11-27 | Capital One Services, Llc | Machine learning artificial intelligence system for identifying vehicles |
JP7077106B2 (ja) * | 2018-04-04 | 2022-05-30 | アルパイン株式会社 | 撮影画像データ処理装置および撮影画像データ処理方法 |
US10366293B1 (en) | 2018-04-24 | 2019-07-30 | Synapse Technology Corporation | Computer system and method for improving security screening |
US10452959B1 (en) | 2018-07-20 | 2019-10-22 | Synapse Tehnology Corporation | Multi-perspective detection of objects |
US20200151453A1 (en) * | 2018-11-08 | 2020-05-14 | International Business Machines Corporation | Reducing overlap among a collection of photographs |
CN109635686B (zh) * | 2018-11-29 | 2021-04-23 | 上海交通大学 | 结合人脸与外观的两阶段行人搜索方法 |
CN110031477B (zh) * | 2019-04-04 | 2021-01-01 | 华设设计集团股份有限公司 | 基于图像监控数据的桥梁关键构件病害预警***及方法 |
CN110163811A (zh) * | 2019-04-10 | 2019-08-23 | 浙江工业大学 | 一种人脸图像阴阳脸现象消除方法 |
US11010605B2 (en) | 2019-07-30 | 2021-05-18 | Rapiscan Laboratories, Inc. | Multi-model detection of objects |
WO2021048682A1 (ja) * | 2019-09-12 | 2021-03-18 | 株式会社半導体エネルギー研究所 | 分類方法 |
JP2020095757A (ja) * | 2020-03-23 | 2020-06-18 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US11763595B2 (en) * | 2020-08-27 | 2023-09-19 | Sensormatic Electronics, LLC | Method and system for identifying, tracking, and collecting data on a person of interest |
Family Cites Families (403)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US749055A (en) * | 1904-01-05 | Tension device for harvester-binders | ||
US4047187A (en) | 1974-04-01 | 1977-09-06 | Canon Kabushiki Kaisha | System for exposure measurement and/or focus detection by means of image senser |
US4456354A (en) | 1980-01-11 | 1984-06-26 | Olympus Optical Co., Ltd. | Exposure controller for a camera |
US4317991A (en) * | 1980-03-12 | 1982-03-02 | Honeywell Inc. | Digital auto focus system utilizing a photodetector array |
US4367027A (en) * | 1980-03-12 | 1983-01-04 | Honeywell Inc. | Active auto focus system improvement |
JPS5870217A (ja) | 1981-10-23 | 1983-04-26 | Fuji Photo Film Co Ltd | カメラブレ検出装置 |
JPS61105978A (ja) * | 1984-10-30 | 1986-05-24 | Sanyo Electric Co Ltd | オ−トフオ−カス回路 |
US4690536A (en) | 1985-09-09 | 1987-09-01 | Minolta Camera Kabushiki Kaisha | Exposure control device for a camera in flash photography |
US4745427A (en) * | 1985-09-13 | 1988-05-17 | Minolta Camera Kabushiki Kaisha | Multi-point photometric apparatus |
WO1987004530A1 (fr) | 1986-01-20 | 1987-07-30 | Georges Cornuejols | Dispositif de traitement d'image pour le controle de la fonction de transfert d'un systeme optique |
US4970683A (en) | 1986-08-26 | 1990-11-13 | Heads Up Technologies, Inc. | Computerized checklist with predetermined sequences of sublists which automatically returns to skipped checklists |
US5291234A (en) * | 1987-02-04 | 1994-03-01 | Asahi Kogaku Kogyo Kabushiki Kaisha | Auto optical focus detecting device and eye direction detecting optical system |
JPH01158579A (ja) | 1987-09-09 | 1989-06-21 | Aisin Seiki Co Ltd | 像認識装置 |
US4975969A (en) | 1987-10-22 | 1990-12-04 | Peter Tal | Method and apparatus for uniquely identifying individuals by particular physical characteristics and security system utilizing the same |
US5384912A (en) * | 1987-10-30 | 1995-01-24 | New Microtime Inc. | Real time video image processing system |
US5018017A (en) | 1987-12-25 | 1991-05-21 | Kabushiki Kaisha Toshiba | Electronic still camera and image recording method thereof |
US4970663A (en) | 1989-04-28 | 1990-11-13 | Avid Technology, Inc. | Method and apparatus for manipulating digital video data |
US5227837A (en) | 1989-05-12 | 1993-07-13 | Fuji Photo Film Co., Ltd. | Photograph printing method |
US5111231A (en) | 1989-07-27 | 1992-05-05 | Canon Kabushiki Kaisha | Camera system |
US5063603A (en) | 1989-11-06 | 1991-11-05 | David Sarnoff Research Center, Inc. | Dynamic method for recognizing objects and image processing system therefor |
US5164831A (en) | 1990-03-15 | 1992-11-17 | Eastman Kodak Company | Electronic still camera providing multi-format storage of full and reduced resolution images |
US5150432A (en) | 1990-03-26 | 1992-09-22 | Kabushiki Kaisha Toshiba | Apparatus for encoding/decoding video signals to improve quality of a specific region |
US5274714A (en) | 1990-06-04 | 1993-12-28 | Neuristics, Inc. | Method and apparatus for determining and organizing feature vectors for neural network recognition |
US5161204A (en) | 1990-06-04 | 1992-11-03 | Neuristics, Inc. | Apparatus for generating a feature matrix based on normalized out-class and in-class variation matrices |
GB9019538D0 (en) * | 1990-09-07 | 1990-10-24 | Philips Electronic Associated | Tracking a moving object |
JP2748678B2 (ja) | 1990-10-09 | 1998-05-13 | 松下電器産業株式会社 | 階調補正方法および階調補正装置 |
JP2766067B2 (ja) | 1990-10-31 | 1998-06-18 | キヤノン株式会社 | 撮像装置 |
US5164992A (en) | 1990-11-01 | 1992-11-17 | Massachusetts Institute Of Technology | Face recognition system |
US5493409A (en) * | 1990-11-29 | 1996-02-20 | Minolta Camera Kabushiki Kaisha | Still video camera having a printer capable of printing a photographed image in a plurality of printing modes |
JPH04257830A (ja) | 1991-02-12 | 1992-09-14 | Nikon Corp | カメラの閃光調光制御装置 |
JP2790562B2 (ja) | 1992-01-06 | 1998-08-27 | 富士写真フイルム株式会社 | 画像処理方法 |
US5488429A (en) * | 1992-01-13 | 1996-01-30 | Mitsubishi Denki Kabushiki Kaisha | Video signal processor for detecting flesh tones in am image |
US5638136A (en) | 1992-01-13 | 1997-06-10 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for detecting flesh tones in an image |
JP2973676B2 (ja) | 1992-01-23 | 1999-11-08 | 松下電器産業株式会社 | 顔画像特徴点抽出装置 |
US5331544A (en) | 1992-04-23 | 1994-07-19 | A. C. Nielsen Company | Market research method and system for collecting retail store and shopper market research data |
US5450504A (en) | 1992-05-19 | 1995-09-12 | Calia; James | Method for finding a most likely matching of a target facial image in a data base of facial images |
US5680481A (en) | 1992-05-26 | 1997-10-21 | Ricoh Corporation | Facial feature extraction method and apparatus for a neural network acoustic and visual speech recognition system |
JP3298072B2 (ja) | 1992-07-10 | 2002-07-02 | ソニー株式会社 | ビデオカメラシステム |
US5311240A (en) | 1992-11-03 | 1994-05-10 | Eastman Kodak Company | Technique suited for use in multi-zone autofocusing cameras for improving image quality for non-standard display sizes and/or different focal length photographing modes |
KR100276681B1 (ko) | 1992-11-07 | 2001-01-15 | 이데이 노부유끼 | 비디오 카메라 시스템 |
JPH06178261A (ja) | 1992-12-07 | 1994-06-24 | Nikon Corp | デジタルスチルカメラ |
US5550928A (en) | 1992-12-15 | 1996-08-27 | A.C. Nielsen Company | Audience measurement system and method |
JP2983407B2 (ja) * | 1993-03-31 | 1999-11-29 | 三菱電機株式会社 | 画像追尾装置 |
US5384615A (en) * | 1993-06-08 | 1995-01-24 | Industrial Technology Research Institute | Ambient depth-of-field simulation exposuring method |
US5432863A (en) | 1993-07-19 | 1995-07-11 | Eastman Kodak Company | Automated detection and correction of eye color defects due to flash illumination |
AU7603894A (en) | 1993-08-27 | 1995-03-21 | Massachusetts Institute Of Technology | Example-based image analysis and synthesis using pixelwise correspondence |
US5781650A (en) | 1994-02-18 | 1998-07-14 | University Of Central Florida | Automatic feature detection and age classification of human faces in digital images |
US5835616A (en) | 1994-02-18 | 1998-11-10 | University Of Central Florida | Face detection using templates |
US5852669A (en) | 1994-04-06 | 1998-12-22 | Lucent Technologies Inc. | Automatic face and facial feature location detection for low bit rate model-assisted H.261 compatible coding of video |
US5519451A (en) | 1994-04-14 | 1996-05-21 | Texas Instruments Incorporated | Motion adaptive scan-rate conversion using directional edge interpolation |
US5774754A (en) | 1994-04-26 | 1998-06-30 | Minolta Co., Ltd. | Camera capable of previewing a photographed image |
US5678098A (en) | 1994-06-09 | 1997-10-14 | Fuji Photo Film Co., Ltd. | Method and apparatus for controlling exposure of camera |
EP0723721A1 (en) | 1994-08-12 | 1996-07-31 | Koninklijke Philips Electronics N.V. | Optical synchronisation arrangement and transmission system |
US5500671A (en) | 1994-10-25 | 1996-03-19 | At&T Corp. | Video conference system and method of providing parallax correction and a sense of presence |
US5496106A (en) * | 1994-12-13 | 1996-03-05 | Apple Computer, Inc. | System and method for generating a contrast overlay as a focus assist for an imaging device |
US6426779B1 (en) | 1995-01-04 | 2002-07-30 | Sony Electronics, Inc. | Method and apparatus for providing favorite station and programming information in a multiple station broadcast system |
US6128398A (en) | 1995-01-31 | 2000-10-03 | Miros Inc. | System, method and application for the recognition, verification and similarity ranking of facial or other object patterns |
US5870138A (en) * | 1995-03-31 | 1999-02-09 | Hitachi, Ltd. | Facial image processing |
US5724456A (en) * | 1995-03-31 | 1998-03-03 | Polaroid Corporation | Brightness adjustment of images using digital scene analysis |
US5710833A (en) * | 1995-04-20 | 1998-01-20 | Massachusetts Institute Of Technology | Detection, recognition and coding of complex objects using probabilistic eigenspace analysis |
US5844573A (en) | 1995-06-07 | 1998-12-01 | Massachusetts Institute Of Technology | Image compression by pointwise prototype correspondence using shape and texture information |
US5774129A (en) | 1995-06-07 | 1998-06-30 | Massachusetts Institute Of Technology | Image analysis and synthesis networks using shape and texture information |
US5842194A (en) | 1995-07-28 | 1998-11-24 | Mitsubishi Denki Kabushiki Kaisha | Method of recognizing images of faces or general images using fuzzy combination of multiple resolutions |
US5715325A (en) * | 1995-08-30 | 1998-02-03 | Siemens Corporate Research, Inc. | Apparatus and method for detecting a face in a video image |
US5850470A (en) | 1995-08-30 | 1998-12-15 | Siemens Corporate Research, Inc. | Neural network for locating and recognizing a deformable object |
US5802220A (en) | 1995-12-15 | 1998-09-01 | Xerox Corporation | Apparatus and method for tracking facial motion through a sequence of images |
US5774591A (en) | 1995-12-15 | 1998-06-30 | Xerox Corporation | Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images |
US5633678A (en) | 1995-12-20 | 1997-05-27 | Eastman Kodak Company | Electronic still camera for capturing and categorizing images |
US6151073A (en) | 1996-03-28 | 2000-11-21 | Fotonation, Inc. | Intelligent camera flash system |
US5911139A (en) | 1996-03-29 | 1999-06-08 | Virage, Inc. | Visual image database search engine which allows for different schema |
US5764803A (en) | 1996-04-03 | 1998-06-09 | Lucent Technologies Inc. | Motion-adaptive modelling of scene content for very low bit rate model-assisted coding of video sequences |
US5802208A (en) | 1996-05-06 | 1998-09-01 | Lucent Technologies Inc. | Face recognition using DCT-based feature vectors |
US6188776B1 (en) | 1996-05-21 | 2001-02-13 | Interval Research Corporation | Principle component analysis of images for the automatic location of control points |
US5991456A (en) | 1996-05-29 | 1999-11-23 | Science And Technology Corporation | Method of improving a digital image |
US6173068B1 (en) * | 1996-07-29 | 2001-01-09 | Mikos, Ltd. | Method and apparatus for recognizing and classifying individuals based on minutiae |
US5978519A (en) | 1996-08-06 | 1999-11-02 | Xerox Corporation | Automatic image cropping |
US20030118216A1 (en) | 1996-09-04 | 2003-06-26 | Goldberg David A. | Obtaining person-specific images in a public venue |
ES2215238T3 (es) | 1996-09-05 | 2004-10-01 | Swisscom Ag | Dispositivo y procedimiento para criptografia cuantica. |
US6028960A (en) * | 1996-09-20 | 2000-02-22 | Lucent Technologies Inc. | Face feature analysis for automatic lipreading and character animation |
US5852823A (en) | 1996-10-16 | 1998-12-22 | Microsoft | Image classification and retrieval system using a query-by-example paradigm |
US5818975A (en) | 1996-10-28 | 1998-10-06 | Eastman Kodak Company | Method and apparatus for area selective exposure adjustment |
US6765612B1 (en) | 1996-12-09 | 2004-07-20 | Flashpoint Technology, Inc. | Method and system for naming images captured by a digital camera |
JPH10208047A (ja) | 1997-01-23 | 1998-08-07 | Nissan Motor Co Ltd | 車載用走行環境認識装置 |
US6061055A (en) | 1997-03-21 | 2000-05-09 | Autodesk, Inc. | Method of tracking objects with an imaging device |
US6249315B1 (en) | 1997-03-24 | 2001-06-19 | Jack M. Holm | Strategy for pictorial digital image processing |
JP3222091B2 (ja) * | 1997-05-27 | 2001-10-22 | シャープ株式会社 | 画像処理装置及び画像処理装置制御プログラムを記憶した媒体 |
US7057653B1 (en) | 1997-06-19 | 2006-06-06 | Minolta Co., Ltd. | Apparatus capable of image capturing |
AUPO798697A0 (en) * | 1997-07-15 | 1997-08-07 | Silverbrook Research Pty Ltd | Data processing method and apparatus (ART51) |
US6188777B1 (en) * | 1997-08-01 | 2001-02-13 | Interval Research Corporation | Method and apparatus for personnel detection and tracking |
US6072094A (en) | 1997-08-06 | 2000-06-06 | Merck & Co., Inc. | Efficient synthesis of cyclopropylacetylene |
US6252976B1 (en) | 1997-08-29 | 2001-06-26 | Eastman Kodak Company | Computer program product for redeye detection |
JP3661367B2 (ja) | 1997-09-09 | 2005-06-15 | コニカミノルタフォトイメージング株式会社 | 振れ補正機能付きカメラ |
KR19990030882A (ko) | 1997-10-07 | 1999-05-06 | 이해규 | 초점 위치 조절이 가능한 디지탈 스틸 카메라 및 그 제어 방법 |
US7630006B2 (en) | 1997-10-09 | 2009-12-08 | Fotonation Ireland Limited | Detecting red eye filter and apparatus using meta-data |
US7352394B1 (en) * | 1997-10-09 | 2008-04-01 | Fotonation Vision Limited | Image modification based on red-eye filter analysis |
US7738015B2 (en) * | 1997-10-09 | 2010-06-15 | Fotonation Vision Limited | Red-eye filter method and apparatus |
US7042505B1 (en) | 1997-10-09 | 2006-05-09 | Fotonation Ireland Ltd. | Red-eye filter method and apparatus |
US6407777B1 (en) | 1997-10-09 | 2002-06-18 | Deluca Michael Joseph | Red-eye filter method and apparatus |
JP3724157B2 (ja) | 1997-10-30 | 2005-12-07 | コニカミノルタホールディングス株式会社 | 映像観察装置 |
US6108437A (en) | 1997-11-14 | 2000-08-22 | Seiko Epson Corporation | Face recognition apparatus, method, system and computer readable medium thereof |
US6128397A (en) | 1997-11-21 | 2000-10-03 | Justsystem Pittsburgh Research Center | Method for finding all frontal faces in arbitrarily complex visual scenes |
US6035072A (en) * | 1997-12-08 | 2000-03-07 | Read; Robert Lee | Mapping defects or dirt dynamically affecting an image acquisition device |
JP3361980B2 (ja) | 1997-12-12 | 2003-01-07 | 株式会社東芝 | 視線検出装置及びその方法 |
US6246790B1 (en) | 1997-12-29 | 2001-06-12 | Cornell Research Foundation, Inc. | Image indexing using color correlograms |
US6268939B1 (en) | 1998-01-08 | 2001-07-31 | Xerox Corporation | Method and apparatus for correcting luminance and chrominance data in digital color images |
US6148092A (en) | 1998-01-08 | 2000-11-14 | Sharp Laboratories Of America, Inc | System for detecting skin-tone regions within an image |
GB2333590A (en) * | 1998-01-23 | 1999-07-28 | Sharp Kk | Detecting a face-like region |
US6278491B1 (en) | 1998-01-29 | 2001-08-21 | Hewlett-Packard Company | Apparatus and a method for automatically detecting and reducing red-eye in a digital image |
US6556708B1 (en) | 1998-02-06 | 2003-04-29 | Compaq Computer Corporation | Technique for classifying objects within an image |
US6400830B1 (en) | 1998-02-06 | 2002-06-04 | Compaq Computer Corporation | Technique for tracking objects through a series of images |
US6349373B2 (en) * | 1998-02-20 | 2002-02-19 | Eastman Kodak Company | Digital image management system having method for managing images according to image groups |
US6529630B1 (en) * | 1998-03-02 | 2003-03-04 | Fuji Photo Film Co., Ltd. | Method and device for extracting principal image subjects |
JP3657769B2 (ja) | 1998-03-19 | 2005-06-08 | 富士写真フイルム株式会社 | 画像処理方法および画像処理装置 |
US6192149B1 (en) * | 1998-04-08 | 2001-02-20 | Xerox Corporation | Method and apparatus for automatic detection of image target gamma |
US6567983B1 (en) | 1998-04-10 | 2003-05-20 | Fuji Photo Film Co., Ltd. | Electronic album producing and viewing system and method |
US6301370B1 (en) | 1998-04-13 | 2001-10-09 | Eyematic Interfaces, Inc. | Face recognition from video images |
US6097470A (en) | 1998-05-28 | 2000-08-01 | Eastman Kodak Company | Digital photofinishing system including scene balance, contrast normalization, and image sharpening digital image processing |
JP2000048184A (ja) | 1998-05-29 | 2000-02-18 | Canon Inc | 画像処理方法及び顔領域抽出方法とその装置 |
AUPP400998A0 (en) | 1998-06-10 | 1998-07-02 | Canon Kabushiki Kaisha | Face detection in digital images |
US6404900B1 (en) | 1998-06-22 | 2002-06-11 | Sharp Laboratories Of America, Inc. | Method for robust human face tracking in presence of multiple persons |
US6496607B1 (en) | 1998-06-26 | 2002-12-17 | Sarnoff Corporation | Method and apparatus for region-based allocation of processing resources and control of input image formation |
US6362850B1 (en) | 1998-08-04 | 2002-03-26 | Flashpoint Technology, Inc. | Interactive movie creation from one or more still images in a digital imaging device |
DE19837004C1 (de) | 1998-08-14 | 2000-03-09 | Christian Eckes | Verfahren zum Erkennen von Objekten in digitalisierten Abbildungen |
GB2341231A (en) | 1998-09-05 | 2000-03-08 | Sharp Kk | Face detection in an image |
US6456732B1 (en) | 1998-09-11 | 2002-09-24 | Hewlett-Packard Company | Automatic rotation, cropping and scaling of images for printing |
US6134339A (en) | 1998-09-17 | 2000-10-17 | Eastman Kodak Company | Method and apparatus for determining the position of eyes and for correcting eye-defects in a captured frame |
US6606398B2 (en) | 1998-09-30 | 2003-08-12 | Intel Corporation | Automatic cataloging of people in digital photographs |
JP3291259B2 (ja) | 1998-11-11 | 2002-06-10 | キヤノン株式会社 | 画像処理方法および記録媒体 |
US6351556B1 (en) * | 1998-11-20 | 2002-02-26 | Eastman Kodak Company | Method for automatically comparing content of images for classification into events |
DE69914370T2 (de) | 1998-12-02 | 2004-11-04 | The Victoria University Of Manchester | Bestimmung von gesichtsunterräumen |
US6263113B1 (en) | 1998-12-11 | 2001-07-17 | Philips Electronics North America Corp. | Method for detecting a face in a digital image |
US6473199B1 (en) | 1998-12-18 | 2002-10-29 | Eastman Kodak Company | Correcting exposure and tone scale of digital images captured by an image capture device |
US6396599B1 (en) | 1998-12-21 | 2002-05-28 | Eastman Kodak Company | Method and apparatus for modifying a portion of an image in accordance with colorimetric parameters |
JP2000197050A (ja) | 1998-12-25 | 2000-07-14 | Canon Inc | 画像処理装置及び方法 |
US6438264B1 (en) | 1998-12-31 | 2002-08-20 | Eastman Kodak Company | Method for compensating image color when adjusting the contrast of a digital color image |
US6282317B1 (en) | 1998-12-31 | 2001-08-28 | Eastman Kodak Company | Method for automatic determination of main subjects in photographic images |
US6421468B1 (en) | 1999-01-06 | 2002-07-16 | Seiko Epson Corporation | Method and apparatus for sharpening an image by scaling elements of a frequency-domain representation |
US6463163B1 (en) | 1999-01-11 | 2002-10-08 | Hewlett-Packard Company | System and method for face detection using candidate image region selection |
US7038715B1 (en) | 1999-01-19 | 2006-05-02 | Texas Instruments Incorporated | Digital still camera with high-quality portrait mode |
AUPP839199A0 (en) | 1999-02-01 | 1999-02-25 | Traffic Pro Pty Ltd | Object recognition & tracking system |
US6778216B1 (en) | 1999-03-25 | 2004-08-17 | Texas Instruments Incorporated | Method and apparatus for digital camera real-time image correction in preview mode |
US7106374B1 (en) | 1999-04-05 | 2006-09-12 | Amherst Systems, Inc. | Dynamically reconfigurable vision system |
US6393148B1 (en) | 1999-05-13 | 2002-05-21 | Hewlett-Packard Company | Contrast enhancement of an image using luminance and RGB statistical metrics |
JP2000324437A (ja) | 1999-05-13 | 2000-11-24 | Fuurie Kk | 映像データベースシステム |
EP1139286A1 (en) * | 1999-05-18 | 2001-10-04 | Sanyo Electric Co., Ltd. | Dynamic image processing method and device and medium |
US6760485B1 (en) | 1999-05-20 | 2004-07-06 | Eastman Kodak Company | Nonlinearly modifying a rendered digital image |
US7248300B1 (en) | 1999-06-03 | 2007-07-24 | Fujifilm Corporation | Camera and method of photographing good image |
US6879705B1 (en) | 1999-07-14 | 2005-04-12 | Sarnoff Corporation | Method and apparatus for tracking multiple objects in a video sequence |
US6501857B1 (en) | 1999-07-20 | 2002-12-31 | Craig Gotsman | Method and system for detecting and classifying objects in an image |
US6545706B1 (en) | 1999-07-30 | 2003-04-08 | Electric Planet, Inc. | System, method and article of manufacture for tracking a head of a camera-generated image of a person |
US6526161B1 (en) * | 1999-08-30 | 2003-02-25 | Koninklijke Philips Electronics N.V. | System and method for biometrics-based facial feature extraction |
JP4378804B2 (ja) | 1999-09-10 | 2009-12-09 | ソニー株式会社 | 撮像装置 |
WO2001028238A2 (en) * | 1999-10-08 | 2001-04-19 | Sarnoff Corporation | Method and apparatus for enhancing and indexing video and audio signals |
US6937773B1 (en) | 1999-10-20 | 2005-08-30 | Canon Kabushiki Kaisha | Image encoding method and apparatus |
US6792135B1 (en) | 1999-10-29 | 2004-09-14 | Microsoft Corporation | System and method for face detection through geometric distribution of a non-intensity image property |
US6504951B1 (en) * | 1999-11-29 | 2003-01-07 | Eastman Kodak Company | Method for detecting sky in images |
EP1107166A3 (en) * | 1999-12-01 | 2008-08-06 | Matsushita Electric Industrial Co., Ltd. | Device and method for face image extraction, and recording medium having recorded program for the method |
US6754389B1 (en) | 1999-12-01 | 2004-06-22 | Koninklijke Philips Electronics N.V. | Program classification using object tracking |
US6516147B2 (en) | 1999-12-20 | 2003-02-04 | Polaroid Corporation | Scene recognition method and system using brightness and ranging mapping |
US20030035573A1 (en) * | 1999-12-22 | 2003-02-20 | Nicolae Duta | Method for learning-based object detection in cardiac magnetic resonance images |
JP2001186323A (ja) | 1999-12-24 | 2001-07-06 | Fuji Photo Film Co Ltd | 証明写真システム及び画像処理方法 |
JP2001216515A (ja) | 2000-02-01 | 2001-08-10 | Matsushita Electric Ind Co Ltd | 人物の顔の検出方法およびその装置 |
JP4219521B2 (ja) | 2000-02-07 | 2009-02-04 | 富士フイルム株式会社 | マッチング方法および装置並びに記録媒体 |
US7043465B2 (en) | 2000-02-24 | 2006-05-09 | Holding B.E.V.S.A. | Method and device for perception of an object by its shape, its size and/or its orientation |
US6940545B1 (en) | 2000-02-28 | 2005-09-06 | Eastman Kodak Company | Face detecting camera and method |
US6807290B2 (en) | 2000-03-09 | 2004-10-19 | Microsoft Corporation | Rapid computer modeling of faces for animation |
JP3575679B2 (ja) | 2000-03-31 | 2004-10-13 | 日本電気株式会社 | 顔照合方法と該照合方法を格納した記録媒体と顔照合装置 |
US6301440B1 (en) | 2000-04-13 | 2001-10-09 | International Business Machines Corp. | System and method for automatically setting image acquisition controls |
US7106887B2 (en) | 2000-04-13 | 2006-09-12 | Fuji Photo Film Co., Ltd. | Image processing method using conditions corresponding to an identified person |
US20020150662A1 (en) | 2000-04-19 | 2002-10-17 | Dewis Mark Lawrence | Ethyl 3-mercaptobutyrate as a flavoring or fragrance agent and methods for preparing and using same |
JP4443722B2 (ja) | 2000-04-25 | 2010-03-31 | 富士通株式会社 | 画像認識装置及び方法 |
US6944341B2 (en) | 2000-05-01 | 2005-09-13 | Xerox Corporation | Loose gray-scale template matching for image processing of anti-aliased lines |
US6700999B1 (en) * | 2000-06-30 | 2004-03-02 | Intel Corporation | System, method, and apparatus for multiple face tracking |
US6747690B2 (en) | 2000-07-11 | 2004-06-08 | Phase One A/S | Digital camera with integrated accelerometers |
US6564225B1 (en) | 2000-07-14 | 2003-05-13 | Time Warner Entertainment Company, L.P. | Method and apparatus for archiving in and retrieving images from a digital image library |
AUPQ896000A0 (en) | 2000-07-24 | 2000-08-17 | Seeing Machines Pty Ltd | Facial image processing system |
JP4140181B2 (ja) | 2000-09-08 | 2008-08-27 | 富士フイルム株式会社 | 電子カメラ |
US6900840B1 (en) | 2000-09-14 | 2005-05-31 | Hewlett-Packard Development Company, L.P. | Digital camera and method of using same to view image in live view mode |
EP1211640A3 (en) * | 2000-09-15 | 2003-10-15 | Canon Kabushiki Kaisha | Image processing methods and apparatus for detecting human eyes, human face and other objects in an image |
US7038709B1 (en) | 2000-11-01 | 2006-05-02 | Gilbert Verghese | System and method for tracking a subject |
JP4590717B2 (ja) | 2000-11-17 | 2010-12-01 | ソニー株式会社 | 顔識別装置及び顔識別方法 |
US7099510B2 (en) | 2000-11-29 | 2006-08-29 | Hewlett-Packard Development Company, L.P. | Method and system for object detection in digital images |
US6975750B2 (en) | 2000-12-01 | 2005-12-13 | Microsoft Corp. | System and method for face recognition using synthesized training images |
US6654507B2 (en) | 2000-12-14 | 2003-11-25 | Eastman Kodak Company | Automatically producing an image of a portion of a photographic image |
US6697504B2 (en) * | 2000-12-15 | 2004-02-24 | Institute For Information Industry | Method of multi-level facial image recognition and system using the same |
GB2370438A (en) | 2000-12-22 | 2002-06-26 | Hewlett Packard Co | Automated image cropping using selected compositional rules. |
US7034848B2 (en) | 2001-01-05 | 2006-04-25 | Hewlett-Packard Development Company, L.P. | System and method for automatically cropping graphical images |
JP4143305B2 (ja) * | 2001-01-30 | 2008-09-03 | 日本電気株式会社 | ロボット装置、照合環境判定方法、及び照合環境判定プログラム |
GB2372658A (en) | 2001-02-23 | 2002-08-28 | Hewlett Packard Co | A method of creating moving video data from a static image |
US7103200B2 (en) | 2001-03-05 | 2006-09-05 | Robert Hillhouse | Method and system for adaptively varying templates to accommodate changes in biometric information |
US7027621B1 (en) | 2001-03-15 | 2006-04-11 | Mikos, Ltd. | Method and apparatus for operator condition monitoring and assessment |
US20020136433A1 (en) | 2001-03-26 | 2002-09-26 | Koninklijke Philips Electronics N.V. | Adaptive facial recognition system and method |
US6915011B2 (en) | 2001-03-28 | 2005-07-05 | Eastman Kodak Company | Event clustering of images using foreground/background segmentation |
US6760465B2 (en) | 2001-03-30 | 2004-07-06 | Intel Corporation | Mechanism for tracking colored objects in a video sequence |
JP2002334338A (ja) | 2001-05-09 | 2002-11-22 | National Institute Of Advanced Industrial & Technology | 物体追跡装置及び物体追跡方法並びに記録媒体 |
US20020172419A1 (en) | 2001-05-15 | 2002-11-21 | Qian Lin | Image enhancement using face detection |
US6847733B2 (en) * | 2001-05-23 | 2005-01-25 | Eastman Kodak Company | Retrieval and browsing of database images based on image emphasis and appeal |
TW505892B (en) * | 2001-05-25 | 2002-10-11 | Ind Tech Res Inst | System and method for promptly tracking multiple faces |
US20020181801A1 (en) | 2001-06-01 | 2002-12-05 | Needham Bradford H. | Feature-based image correction |
AUPR541801A0 (en) | 2001-06-01 | 2001-06-28 | Canon Kabushiki Kaisha | Face detection in colour images with complex background |
US7068841B2 (en) * | 2001-06-29 | 2006-06-27 | Hewlett-Packard Development Company, L.P. | Automatic digital image enhancement |
GB0116877D0 (en) * | 2001-07-10 | 2001-09-05 | Hewlett Packard Co | Intelligent feature selection and pan zoom control |
US6516154B1 (en) * | 2001-07-17 | 2003-02-04 | Eastman Kodak Company | Image revising camera and method |
US6832006B2 (en) * | 2001-07-23 | 2004-12-14 | Eastman Kodak Company | System and method for controlling image compression based on image emphasis |
US20030023974A1 (en) * | 2001-07-25 | 2003-01-30 | Koninklijke Philips Electronics N.V. | Method and apparatus to track objects in sports programs and select an appropriate camera view |
US6993180B2 (en) * | 2001-09-04 | 2006-01-31 | Eastman Kodak Company | Method and system for automated grouping of images |
US7027619B2 (en) | 2001-09-13 | 2006-04-11 | Honeywell International Inc. | Near-infrared method and system for use in face detection |
US7262798B2 (en) * | 2001-09-17 | 2007-08-28 | Hewlett-Packard Development Company, L.P. | System and method for simulating fill flash in photography |
US7298412B2 (en) | 2001-09-18 | 2007-11-20 | Ricoh Company, Limited | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
US7110569B2 (en) | 2001-09-27 | 2006-09-19 | Koninklijke Philips Electronics N.V. | Video based detection of fall-down and other events |
US7130864B2 (en) | 2001-10-31 | 2006-10-31 | Hewlett-Packard Development Company, L.P. | Method and system for accessing a collection of images in a database |
KR100421221B1 (ko) * | 2001-11-05 | 2004-03-02 | 삼성전자주식회사 | 조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집장치 |
US7162101B2 (en) * | 2001-11-15 | 2007-01-09 | Canon Kabushiki Kaisha | Image processing apparatus and method |
US7130446B2 (en) * | 2001-12-03 | 2006-10-31 | Microsoft Corporation | Automatic detection and tracking of multiple individuals using multiple cues |
US7688349B2 (en) | 2001-12-07 | 2010-03-30 | International Business Machines Corporation | Method of detecting and tracking groups of people |
US7050607B2 (en) | 2001-12-08 | 2006-05-23 | Microsoft Corp. | System and method for multi-view face detection |
TW535413B (en) | 2001-12-13 | 2003-06-01 | Mediatek Inc | Device and method for processing digital video data |
US7221809B2 (en) | 2001-12-17 | 2007-05-22 | Genex Technologies, Inc. | Face recognition system and method |
US7035467B2 (en) | 2002-01-09 | 2006-04-25 | Eastman Kodak Company | Method and system for processing images for themed imaging services |
JP2003219225A (ja) | 2002-01-25 | 2003-07-31 | Nippon Micro Systems Kk | 動体画像監視装置 |
US7362354B2 (en) | 2002-02-12 | 2008-04-22 | Hewlett-Packard Development Company, L.P. | Method and system for assessing the photo quality of a captured image in a digital still camera |
US7254257B2 (en) | 2002-03-04 | 2007-08-07 | Samsung Electronics Co., Ltd. | Method and apparatus of recognizing face using component-based 2nd-order principal component analysis (PCA)/independent component analysis (ICA) |
US6959109B2 (en) | 2002-06-20 | 2005-10-25 | Identix Incorporated | System and method for pose-angle estimation |
US7227976B1 (en) | 2002-07-08 | 2007-06-05 | Videomining Corporation | Method and system for real-time facial image enhancement |
US7843495B2 (en) | 2002-07-10 | 2010-11-30 | Hewlett-Packard Development Company, L.P. | Face recognition in a digital imaging system accessing a database of people |
US7020337B2 (en) | 2002-07-22 | 2006-03-28 | Mitsubishi Electric Research Laboratories, Inc. | System and method for detecting objects in images |
JP2004062565A (ja) * | 2002-07-30 | 2004-02-26 | Canon Inc | 画像処理装置及び方法並びにプログラム記憶媒体 |
US7110575B2 (en) | 2002-08-02 | 2006-09-19 | Eastman Kodak Company | Method for locating faces in digital color images |
US7035462B2 (en) | 2002-08-29 | 2006-04-25 | Eastman Kodak Company | Apparatus and method for processing digital images having eye color defects |
US7194114B2 (en) | 2002-10-07 | 2007-03-20 | Carnegie Mellon University | Object finder for two-dimensional images, and system for determining a set of sub-classifiers composing an object finder |
KR100486738B1 (ko) * | 2002-10-15 | 2005-05-03 | 삼성전자주식회사 | 얼굴 인식 및 검색용 특징벡터 추출방법 및 장치 |
US7154510B2 (en) | 2002-11-14 | 2006-12-26 | Eastman Kodak Company | System and method for modifying a portrait image in response to a stimulus |
GB2395264A (en) | 2002-11-29 | 2004-05-19 | Sony Uk Ltd | Face detection in images |
KR20050085583A (ko) | 2002-12-13 | 2005-08-29 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 표정 불변 얼굴 인식 |
US7082157B2 (en) | 2002-12-24 | 2006-07-25 | Realtek Semiconductor Corp. | Residual echo reduction for a full duplex transceiver |
CN100465985C (zh) | 2002-12-31 | 2009-03-04 | 佳能株式会社 | 人眼探测方法及设备 |
US7120279B2 (en) | 2003-01-30 | 2006-10-10 | Eastman Kodak Company | Method for face orientation determination in digital color images |
US7162076B2 (en) * | 2003-02-11 | 2007-01-09 | New Jersey Institute Of Technology | Face detection method and apparatus |
US7039222B2 (en) | 2003-02-28 | 2006-05-02 | Eastman Kodak Company | Method and system for enhancing portrait images that are processed in a batch mode |
US7508961B2 (en) | 2003-03-12 | 2009-03-24 | Eastman Kodak Company | Method and system for face detection in digital images |
US20040228505A1 (en) | 2003-04-14 | 2004-11-18 | Fuji Photo Film Co., Ltd. | Image characteristic portion extraction method, computer readable medium, and data collection and processing device |
JP4374610B2 (ja) | 2003-04-18 | 2009-12-02 | カシオ計算機株式会社 | 撮像装置、画像データ記憶方法、及び、プログラム |
US7609908B2 (en) | 2003-04-30 | 2009-10-27 | Eastman Kodak Company | Method for adjusting the brightness of a digital image utilizing belief values |
US20040223649A1 (en) | 2003-05-07 | 2004-11-11 | Eastman Kodak Company | Composite imaging method and system |
US8264576B2 (en) | 2007-03-05 | 2012-09-11 | DigitalOptics Corporation Europe Limited | RGBW sensor array |
US7362368B2 (en) | 2003-06-26 | 2008-04-22 | Fotonation Vision Limited | Perfecting the optics within a digital image acquisition device using face detection |
US8989453B2 (en) | 2003-06-26 | 2015-03-24 | Fotonation Limited | Digital image processing using face detection information |
US7636486B2 (en) * | 2004-11-10 | 2009-12-22 | Fotonation Ireland Ltd. | Method of determining PSF using multiple instances of a nominally similar scene |
US7471846B2 (en) | 2003-06-26 | 2008-12-30 | Fotonation Vision Limited | Perfecting the effect of flash within an image acquisition devices using face detection |
US20060093238A1 (en) | 2004-10-28 | 2006-05-04 | Eran Steinberg | Method and apparatus for red-eye detection in an acquired digital image using face recognition |
US8593542B2 (en) | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
US7315630B2 (en) * | 2003-06-26 | 2008-01-01 | Fotonation Vision Limited | Perfecting of digital image rendering parameters within rendering devices using face detection |
US7844076B2 (en) | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
US9129381B2 (en) * | 2003-06-26 | 2015-09-08 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
US7920723B2 (en) | 2005-11-18 | 2011-04-05 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
US8170294B2 (en) | 2006-11-10 | 2012-05-01 | DigitalOptics Corporation Europe Limited | Method of detecting redeye in a digital image |
US7587085B2 (en) | 2004-10-28 | 2009-09-08 | Fotonation Vision Limited | Method and apparatus for red-eye detection in an acquired digital image |
US7792335B2 (en) | 2006-02-24 | 2010-09-07 | Fotonation Vision Limited | Method and apparatus for selective disqualification of digital images |
US8155397B2 (en) | 2007-09-26 | 2012-04-10 | DigitalOptics Corporation Europe Limited | Face tracking in a camera processor |
US7506057B2 (en) | 2005-06-17 | 2009-03-17 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
US7587068B1 (en) | 2004-01-22 | 2009-09-08 | Fotonation Vision Limited | Classification database for consumer digital images |
US8073286B2 (en) | 2006-08-09 | 2011-12-06 | DigitalOptics Corporation Europe Limited | Detection and correction of flash artifacts from airborne particulates |
US8036458B2 (en) | 2007-11-08 | 2011-10-11 | DigitalOptics Corporation Europe Limited | Detecting redeye defects in digital images |
US8948468B2 (en) | 2003-06-26 | 2015-02-03 | Fotonation Limited | Modification of viewing parameters for digital images using face detection information |
US7606417B2 (en) | 2004-08-16 | 2009-10-20 | Fotonation Vision Limited | Foreground/background segmentation in digital images with differential exposure calculations |
US8417055B2 (en) | 2007-03-05 | 2013-04-09 | DigitalOptics Corporation Europe Limited | Image processing method and apparatus |
WO2007142621A1 (en) | 2006-06-02 | 2007-12-13 | Fotonation Vision Limited | Modification of post-viewing parameters for digital images using image region or feature information |
US7336821B2 (en) * | 2006-02-14 | 2008-02-26 | Fotonation Vision Limited | Automatic detection and correction of non-red eye flash defects |
US7565030B2 (en) | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
US7970182B2 (en) | 2005-11-18 | 2011-06-28 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US7680342B2 (en) * | 2004-08-16 | 2010-03-16 | Fotonation Vision Limited | Indoor/outdoor classification in digital images |
US7440593B1 (en) | 2003-06-26 | 2008-10-21 | Fotonation Vision Limited | Method of improving orientation and color balance of digital images using face detection information |
US8254674B2 (en) | 2004-10-28 | 2012-08-28 | DigitalOptics Corporation Europe Limited | Analyzing partial face regions for red-eye detection in acquired digital images |
US8180173B2 (en) | 2007-09-21 | 2012-05-15 | DigitalOptics Corporation Europe Limited | Flash artifact eye defect correction in blurred images using anisotropic blurring |
US8896725B2 (en) | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
US7747596B2 (en) | 2005-06-17 | 2010-06-29 | Fotonation Vision Ltd. | Server device, user interface appliance, and media processing network |
WO2009089847A1 (en) | 2008-01-18 | 2009-07-23 | Fotonation Vision Limited | Image processing method and apparatus |
US7269292B2 (en) | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
US8339462B2 (en) | 2008-01-28 | 2012-12-25 | DigitalOptics Corporation Europe Limited | Methods and apparatuses for addressing chromatic abberations and purple fringing |
US7616233B2 (en) | 2003-06-26 | 2009-11-10 | Fotonation Vision Limited | Perfecting of digital image capture parameters within acquisition devices using face detection |
US8682097B2 (en) | 2006-02-14 | 2014-03-25 | DigitalOptics Corporation Europe Limited | Digital image enhancement with reference images |
US8494286B2 (en) | 2008-02-05 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Face detection in mid-shot digital images |
US7689009B2 (en) * | 2005-11-18 | 2010-03-30 | Fotonation Vision Ltd. | Two stage detection for photographic eye artifacts |
US7685341B2 (en) | 2005-05-06 | 2010-03-23 | Fotonation Vision Limited | Remote control apparatus for consumer electronic appliances |
US8363951B2 (en) | 2007-03-05 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Face recognition training method and apparatus |
US8498452B2 (en) | 2003-06-26 | 2013-07-30 | DigitalOptics Corporation Europe Limited | Digital image processing using face detection information |
US7574016B2 (en) * | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
US7620218B2 (en) | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
US8330831B2 (en) | 2003-08-05 | 2012-12-11 | DigitalOptics Corporation Europe Limited | Method of gathering visual meta data using a reference image |
US9160897B2 (en) | 2007-06-14 | 2015-10-13 | Fotonation Limited | Fast motion estimation method |
US7639889B2 (en) | 2004-11-10 | 2009-12-29 | Fotonation Ireland Ltd. | Method of notifying users regarding motion artifacts based on image analysis |
US8199222B2 (en) | 2007-03-05 | 2012-06-12 | DigitalOptics Corporation Europe Limited | Low-light video frame enhancement |
US7536036B2 (en) | 2004-10-28 | 2009-05-19 | Fotonation Vision Limited | Method and apparatus for red-eye detection in an acquired digital image |
US8989516B2 (en) | 2007-09-18 | 2015-03-24 | Fotonation Limited | Image processing method and apparatus |
US7317815B2 (en) * | 2003-06-26 | 2008-01-08 | Fotonation Vision Limited | Digital image processing composition using face detection information |
US8553949B2 (en) | 2004-01-22 | 2013-10-08 | DigitalOptics Corporation Europe Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
US7274822B2 (en) | 2003-06-30 | 2007-09-25 | Microsoft Corporation | Face annotation for photo management |
US7190829B2 (en) | 2003-06-30 | 2007-03-13 | Microsoft Corporation | Speedup of face detection in digital images |
US7689033B2 (en) * | 2003-07-16 | 2010-03-30 | Microsoft Corporation | Robust multi-view face detection methods and apparatuses |
US20100053367A1 (en) | 2003-08-05 | 2010-03-04 | Fotonation Ireland Limited | Partial face tracker for red-eye filter method and apparatus |
US8520093B2 (en) | 2003-08-05 | 2013-08-27 | DigitalOptics Corporation Europe Limited | Face tracker and partial face tracker for red-eye filter method and apparatus |
US9412007B2 (en) | 2003-08-05 | 2016-08-09 | Fotonation Limited | Partial face detector red-eye filter method and apparatus |
US20050031224A1 (en) * | 2003-08-05 | 2005-02-10 | Yury Prilutsky | Detecting red eye filter and apparatus using meta-data |
US20050140801A1 (en) * | 2003-08-05 | 2005-06-30 | Yury Prilutsky | Optimized performance and performance for red-eye filter method and apparatus |
JP2005078376A (ja) * | 2003-08-29 | 2005-03-24 | Sony Corp | 対象物検出装置、対象物方法、及びロボット装置 |
JP2005100084A (ja) | 2003-09-25 | 2005-04-14 | Toshiba Corp | 画像処理装置及び方法 |
US7590305B2 (en) | 2003-09-30 | 2009-09-15 | Fotonation Vision Limited | Digital camera with built-in lens calibration table |
US7310450B2 (en) | 2003-09-30 | 2007-12-18 | Fotonation Vision Limited | Method of detecting and correcting dust in digital images based on aura and shadow region analysis |
US7295233B2 (en) | 2003-09-30 | 2007-11-13 | Fotonation Vision Limited | Detection and removal of blemishes in digital images utilizing original images of defocused scenes |
US7340109B2 (en) | 2003-09-30 | 2008-03-04 | Fotonation Vision Limited | Automated statistical self-calibrating detection and removal of blemishes in digital images dependent upon changes in extracted parameter values |
US8369650B2 (en) | 2003-09-30 | 2013-02-05 | DigitalOptics Corporation Europe Limited | Image defect map creation using batches of digital images |
US7206461B2 (en) | 2003-09-30 | 2007-04-17 | Fotonation Vision Limited | Digital image acquisition and processing system |
US7369712B2 (en) * | 2003-09-30 | 2008-05-06 | Fotonation Vision Limited | Automated statistical self-calibrating detection and removal of blemishes in digital images based on multiple occurrences of dust in images |
US7315658B2 (en) * | 2003-09-30 | 2008-01-01 | Fotonation Vision Limited | Digital camera |
US7424170B2 (en) | 2003-09-30 | 2008-09-09 | Fotonation Vision Limited | Automated statistical self-calibrating detection and removal of blemishes in digital images based on determining probabilities based on image analysis of single images |
US7308156B2 (en) | 2003-09-30 | 2007-12-11 | Fotonation Vision Limited | Automated statistical self-calibrating detection and removal of blemishes in digital images based on a dust map developed from actual image data |
US7676110B2 (en) | 2003-09-30 | 2010-03-09 | Fotonation Vision Limited | Determination of need to service a camera based on detection of blemishes in digital images |
JP2005128956A (ja) | 2003-10-27 | 2005-05-19 | Pentax Corp | 被写体判定プログラム及びデジタルカメラ |
CN100440944C (zh) | 2003-11-11 | 2008-12-03 | 精工爱普生株式会社 | 图像处理装置以及图像处理方法 |
US7274832B2 (en) | 2003-11-13 | 2007-09-25 | Eastman Kodak Company | In-plane rotation invariant object detection in digitized images |
US7596247B2 (en) | 2003-11-14 | 2009-09-29 | Fujifilm Corporation | Method and apparatus for object recognition using probability models |
US7564994B1 (en) * | 2004-01-22 | 2009-07-21 | Fotonation Vision Limited | Classification system for consumer digital images using automatic workflow and face detection and recognition |
US7558408B1 (en) | 2004-01-22 | 2009-07-07 | Fotonation Vision Limited | Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition |
US7555148B1 (en) | 2004-01-22 | 2009-06-30 | Fotonation Vision Limited | Classification system for consumer digital images using workflow, face detection, normalization, and face recognition |
US7551755B1 (en) | 2004-01-22 | 2009-06-23 | Fotonation Vision Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
JP2006033793A (ja) | 2004-06-14 | 2006-02-02 | Victor Co Of Japan Ltd | 追尾映像再生装置 |
KR100982197B1 (ko) | 2004-06-21 | 2010-09-14 | 구글 인코포레이티드 | 얼굴 인식 방법, 얼굴 인식 장치 및 컴퓨터 판독 가능한 기록 매체 |
JP4574249B2 (ja) * | 2004-06-29 | 2010-11-04 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム、撮像装置 |
KR100601957B1 (ko) * | 2004-07-07 | 2006-07-14 | 삼성전자주식회사 | 얼굴 인식을 위한 영상간 대응 결정 방법 및 장치, 이를이루기위한 영상 보정 방법 및 장치 |
CN101036150B (zh) * | 2004-07-30 | 2010-06-09 | 欧几里得发现有限责任公司 | 用来处理视频数据的装置和方法 |
KR100668303B1 (ko) * | 2004-08-04 | 2007-01-12 | 삼성전자주식회사 | 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법 |
JP4757559B2 (ja) | 2004-08-11 | 2011-08-24 | 富士フイルム株式会社 | 被写体の構成要素を検出する装置および方法 |
US7119838B2 (en) | 2004-08-19 | 2006-10-10 | Blue Marlin Llc | Method and imager for detecting the location of objects |
US8320641B2 (en) | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
JP4383399B2 (ja) | 2004-11-05 | 2009-12-16 | 富士フイルム株式会社 | 検出対象画像検索装置およびその制御方法 |
WO2006049237A1 (ja) * | 2004-11-08 | 2006-05-11 | Matsushita Electric Industrial Co., Ltd. | 法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法 |
US7639888B2 (en) | 2004-11-10 | 2009-12-29 | Fotonation Ireland Ltd. | Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts |
US7734067B2 (en) | 2004-12-07 | 2010-06-08 | Electronics And Telecommunications Research Institute | User recognition system and method thereof |
US20060006077A1 (en) | 2004-12-24 | 2006-01-12 | Erie County Plastics Corporation | Dispensing closure with integral piercing unit |
US8503800B2 (en) | 2007-03-05 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Illumination detection using classifier chains |
US7315631B1 (en) | 2006-08-11 | 2008-01-01 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US8488023B2 (en) * | 2009-05-20 | 2013-07-16 | DigitalOptics Corporation Europe Limited | Identifying facial expressions in acquired digital images |
US7715597B2 (en) | 2004-12-29 | 2010-05-11 | Fotonation Ireland Limited | Method and component for image recognition |
CN100358340C (zh) | 2005-01-05 | 2007-12-26 | 张健 | 可选择最佳拍照时机的数码相机 |
US7454058B2 (en) | 2005-02-07 | 2008-11-18 | Mitsubishi Electric Research Lab, Inc. | Method of extracting and searching integral histograms of data samples |
US7620208B2 (en) | 2005-02-09 | 2009-11-17 | Siemens Corporate Research, Inc. | System and method for detecting features from images of vehicles |
JP4924836B2 (ja) * | 2005-02-23 | 2012-04-25 | 日本電気株式会社 | 顔画像分類方法、顔画像分類装置及び顔画像分類プログラム |
US20060203106A1 (en) | 2005-03-14 | 2006-09-14 | Lawrence Joseph P | Methods and apparatus for retrieving data captured by a media device |
JP2006259974A (ja) | 2005-03-16 | 2006-09-28 | Fuji Photo Film Co Ltd | 画像処理方法および装置 |
JP4324170B2 (ja) | 2005-03-17 | 2009-09-02 | キヤノン株式会社 | 撮像装置およびディスプレイの制御方法 |
US7286707B2 (en) * | 2005-04-29 | 2007-10-23 | National Chiao Tung University | Object-detection method multi-class Bhattacharyya Boost algorithm used therein |
US7694048B2 (en) | 2005-05-06 | 2010-04-06 | Fotonation Vision Limited | Remote control apparatus for printer appliances |
US7519200B2 (en) * | 2005-05-09 | 2009-04-14 | Like.Com | System and method for enabling the use of captured images through recognition |
JP2006318103A (ja) | 2005-05-11 | 2006-11-24 | Fuji Photo Film Co Ltd | 画像処理装置および方法並びにプログラム |
JP4519708B2 (ja) | 2005-05-11 | 2010-08-04 | 富士フイルム株式会社 | 撮影装置および方法並びにプログラム |
JP4906034B2 (ja) | 2005-05-16 | 2012-03-28 | 富士フイルム株式会社 | 撮影装置および方法並びにプログラム |
US7612794B2 (en) | 2005-05-25 | 2009-11-03 | Microsoft Corp. | System and method for applying digital make-up in video conferencing |
US8320660B2 (en) | 2005-06-03 | 2012-11-27 | Nec Corporation | Image processing system, 3-dimensional shape estimation system, object position/posture estimation system and image generation system |
JP2006350498A (ja) | 2005-06-14 | 2006-12-28 | Fujifilm Holdings Corp | 画像処理装置および方法並びにプログラム |
US7756325B2 (en) * | 2005-06-20 | 2010-07-13 | University Of Basel | Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object |
JP2007006182A (ja) | 2005-06-24 | 2007-01-11 | Fujifilm Holdings Corp | 画像処理装置および方法並びにプログラム |
US20070018966A1 (en) * | 2005-07-25 | 2007-01-25 | Blythe Michael M | Predicted object location |
JP4799101B2 (ja) | 2005-09-26 | 2011-10-26 | 富士フイルム株式会社 | 画像処理方法および装置ならびにプログラム |
JP2007094549A (ja) | 2005-09-27 | 2007-04-12 | Fujifilm Corp | 画像処理方法および装置ならびにプログラム |
US7555149B2 (en) | 2005-10-25 | 2009-06-30 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for segmenting videos using face detection |
US20070098303A1 (en) | 2005-10-31 | 2007-05-03 | Eastman Kodak Company | Determining a particular person from a collection |
US7599577B2 (en) * | 2005-11-18 | 2009-10-06 | Fotonation Vision Limited | Method and apparatus of correcting hybrid flash artifacts in digital images |
US7692696B2 (en) | 2005-12-27 | 2010-04-06 | Fotonation Vision Limited | Digital image acquisition system with portrait mode |
US7953253B2 (en) | 2005-12-31 | 2011-05-31 | Arcsoft, Inc. | Face detection on mobile devices |
US7643659B2 (en) | 2005-12-31 | 2010-01-05 | Arcsoft, Inc. | Facial feature detection on mobile devices |
WO2007095556A2 (en) | 2006-02-14 | 2007-08-23 | Fotonation Vision Limited | Digital image acquisition device with built in dust and sensor mapping capability |
IES20060558A2 (en) * | 2006-02-14 | 2006-11-01 | Fotonation Vision Ltd | Image blurring |
EP1987436B1 (en) | 2006-02-14 | 2015-12-09 | FotoNation Limited | Image blurring |
JP4532419B2 (ja) * | 2006-02-22 | 2010-08-25 | 富士フイルム株式会社 | 特徴点検出方法および装置並びにプログラム |
US7551754B2 (en) | 2006-02-24 | 2009-06-23 | Fotonation Vision Limited | Method and apparatus for selective rejection of digital images |
US7804983B2 (en) | 2006-02-24 | 2010-09-28 | Fotonation Vision Limited | Digital image acquisition control and correction method and apparatus |
IES20060564A2 (en) | 2006-05-03 | 2006-11-01 | Fotonation Vision Ltd | Improved foreground / background separation |
IES20070229A2 (en) | 2006-06-05 | 2007-10-03 | Fotonation Vision Ltd | Image acquisition method and apparatus |
EP2033142B1 (en) | 2006-06-12 | 2011-01-26 | Tessera Technologies Ireland Limited | Advances in extending the aam techniques from grayscale to color images |
WO2008015586A2 (en) | 2006-08-02 | 2008-02-07 | Fotonation Vision Limited | Face recognition with combined pca-based datasets |
US20090115915A1 (en) | 2006-08-09 | 2009-05-07 | Fotonation Vision Limited | Camera Based Feedback Loop Calibration of a Projection Device |
US7403643B2 (en) | 2006-08-11 | 2008-07-22 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US7916897B2 (en) | 2006-08-11 | 2011-03-29 | Tessera Technologies Ireland Limited | Face tracking for controlling imaging parameters |
US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
JP5049356B2 (ja) * | 2007-02-28 | 2012-10-17 | デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド | テクスチャ空間分解に基づく統計的顔モデリングにおける指向性照明変動性の分離 |
WO2008109622A1 (en) | 2007-03-05 | 2008-09-12 | Fotonation Vision Limited | Face categorization and annotation of a mobile phone contact list |
EP2188759A1 (en) | 2007-03-05 | 2010-05-26 | Fotonation Vision Limited | Face searching and detection in a digital image acquisition device |
JP2010520567A (ja) | 2007-03-05 | 2010-06-10 | フォトネーション ビジョン リミテッド | 顔の位置および向きを用いた赤目の誤検出フィルタリング |
US7773118B2 (en) | 2007-03-25 | 2010-08-10 | Fotonation Vision Limited | Handheld article with movement discrimination |
WO2008131823A1 (en) | 2007-04-30 | 2008-11-06 | Fotonation Vision Limited | Method and apparatus for automatically controlling the decisive moment for an image acquisition device |
US7916971B2 (en) | 2007-05-24 | 2011-03-29 | Tessera Technologies Ireland Limited | Image processing method and apparatus |
US20080309770A1 (en) | 2007-06-18 | 2008-12-18 | Fotonation Vision Limited | Method and apparatus for simulating a camera panning effect |
US8503818B2 (en) | 2007-09-25 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Eye defect detection in international standards organization images |
US8750578B2 (en) | 2008-01-29 | 2014-06-10 | DigitalOptics Corporation Europe Limited | Detecting facial expressions in digital images |
US8212864B2 (en) | 2008-01-30 | 2012-07-03 | DigitalOptics Corporation Europe Limited | Methods and apparatuses for using image acquisition data to detect and correct image defects |
US7855737B2 (en) | 2008-03-26 | 2010-12-21 | Fotonation Ireland Limited | Method of making a digital camera image of a scene including the camera user |
NL2003111A1 (nl) * | 2008-07-25 | 2010-01-26 | Asml Netherlands Bv | Method of designing sets of mask patterns, sets of mask patterns, and device manufacturing method. |
US8520089B2 (en) * | 2008-07-30 | 2013-08-27 | DigitalOptics Corporation Europe Limited | Eye beautification |
WO2010012448A2 (en) * | 2008-07-30 | 2010-02-04 | Fotonation Ireland Limited | Automatic face and skin beautification using face detection |
US8081254B2 (en) * | 2008-08-14 | 2011-12-20 | DigitalOptics Corporation Europe Limited | In-camera based method of detecting defect eye with high accuracy |
WO2010063463A2 (en) | 2008-12-05 | 2010-06-10 | Fotonation Ireland Limited | Face recognition using face tracker classifier data |
US8208746B2 (en) | 2009-06-29 | 2012-06-26 | DigitalOptics Corporation Europe Limited | Adaptive PSF estimation technique using a sharp preview and a blurred image |
-
2008
- 2008-02-27 US US12/038,777 patent/US8503800B2/en active Active
- 2008-02-28 JP JP2009552105A patent/JP5174045B2/ja active Active
- 2008-02-28 KR KR1020097020698A patent/KR101129405B1/ko active IP Right Grant
- 2008-02-28 EP EP08716106.3A patent/EP2137670B1/en active Active
- 2008-02-28 WO PCT/EP2008/001578 patent/WO2008107112A2/en active Application Filing
-
2012
- 2012-01-16 US US13/351,177 patent/US20120207358A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
EP2137670A2 (en) | 2009-12-30 |
US20120207358A1 (en) | 2012-08-16 |
JP2010520542A (ja) | 2010-06-10 |
WO2008107112A2 (en) | 2008-09-12 |
EP2137670B1 (en) | 2013-12-11 |
US8503800B2 (en) | 2013-08-06 |
WO2008107112A3 (en) | 2009-01-08 |
KR101129405B1 (ko) | 2012-03-26 |
US20080219517A1 (en) | 2008-09-11 |
JP5174045B2 (ja) | 2013-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101129405B1 (ko) | 분류기 체인을 이용한 조명 검출 | |
US8797448B2 (en) | Rapid auto-focus using classifier chains, MEMS and multiple object focusing | |
US8659697B2 (en) | Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing | |
US9681040B2 (en) | Face tracking for controlling imaging parameters | |
US8050465B2 (en) | Real-time face tracking in a digital image acquisition device | |
US8861806B2 (en) | Real-time face tracking with reference images | |
EP2052347B1 (en) | Real-time face tracking in a digital image acquisition device | |
WO2010025908A1 (en) | Partial face detector red-eye filter method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
N231 | Notification of change of applicant | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20150227 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20160225 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20170308 Year of fee payment: 6 |