KR20100134085A

KR20100134085A - 디지털 이미지에서 객체 검출 속도 향상을 위한 시스템 및 방법

Info

Publication number: KR20100134085A
Application number: KR1020107024581A
Authority: KR
Inventors: 클라이 제센; 다니엘 블룸; 대릴 그레이그
Original assignee: 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Priority date: 2008-04-01
Filing date: 2008-04-01
Publication date: 2010-12-22
Also published as: US8331730B2; WO2009123628A1; US20110044545A1

Abstract

디지털 이미지를 순회하기 위한 최대 패치 크기를 결정하고, 디지털 이미지를 분석하여 최대 패치 크기와 대략 동일한 크기의 하나 이상의 제1 객체들을 검출하고, 디지털 이미지가 최대 패치 크기와 대략 동일한 크기를 갖는 제1 객체(들)를 포함하는 경우 디지털 이미지의 분석을 중단하는 시스템들 및 방법들이 개시된다. 최대 패치 크기와 대략 동일한 크기의 제1 객체(들)가 검출되지 않으면 패치 크기는 점차적으로 더 작은 패치 크기들로 감소되고, 제1 객체(들)가 검출되거나 패치 크기가 사전 결정된 최소 크기 아래로 감소될 때까지 디지털 이미지가 더 분석되어 더 작은 패치 크기와 대략 동일한 크기의 하나 이상의 제1 객체들을 검출한다.

Description

디지털 이미지에서 객체 검출 속도 향상을 위한 시스템 및 방법{SYSTEMS AND METHODS TO INCREASE SPEED OF OBJECT DETECTION IN A DIGITAL IMAGE}

일부 이미징 디바이스는 고정 또는 사용자가 선택한 초점 영역을 사용하는 대신 관심 객체(object of interest)를 초점으로서 검출하는 객체 인식 로직을 이용한 수동형 자동 초점(passive auto-focus) 기술을 포함한다. 디지털 이미징 디바이스에서 객체 검출은 계산 집약적이고 처리 속도는 처리 요건에 비해 느리다. 또한, 검출 로직이 너무 느리면, 이전 장면에 대한 결과를 얻기 전에 이미지 내의 객체가 다른 위치로 이동할 수 있다.

검출 동안, 시야는 패치들로 분할되고 객체들은 전형적으로 이미지에서 특정 크기의 모든 개별 패치를 좌에서 우로, 위에서 아래로 검사함으로써 검색된다. 그 다음, 패치 크기가 증가 또는 감소되고 이미지 전체가 다시 순회(traverse)되지만, 모든 가능한 패치들이 검사될 때까지 필요한 만큼 다수회 반복한다. 패치 크기는 작은 것(카메라 렌즈로부터 먼 거리)에서 큰 것(카메라 렌즈로부터 가까운 거리)까지 달한다. 평가되는 패치의 크기가 큰 경우, 이미지를 순회하기 위해 평가되어야 할 필요가 있는 패치의 수는 작다. 평가되는 패치의 크기가 작은 경우, 이미지를 순회하기 위해 평가되어야 할 필요가 있는 패치의 수는 크다. 패치 크기의 차이, 그에 따른 평가되어야 할 패치 수의 차이 때문에, 큰 패치 크기를 평가할 때 이미지를 순회하는데 걸리는 시간보다 작은 패치 크기를 평가할 때 같은 이미지를 순회하는데 훨씬 더 많은 시간이 소요된다. 현재의 해결책은 작은 객체 또는 큰 객체를 찾을 때 우선순위가 없다. 이와 같이 우선순위가 없다는 단점은 전체 객체 검출을 실행하는데 항상 대략 동일한 시간이 소요된다는 것을 의미한다.

디지털 이미지를 순회하기 위한 최대 패치 크기를 결정하고, 상기 디지털 이미지를 분석하여 최대 패치 크기와 대략 동일한 크기의 하나 이상의 객체들을 검출하기 위해 분석하고, 디지털 이미지가 최대 패치 크기와 대략 동일한 크기의 객체(들)를 포함하는 경우 디지털 이미지를 분석하는 것을 중단하는 시스템들 및 방법들이 개시된다. 최대 패치 크기와 대략 동일한 크기의 객체(들)가 검출되지 않으면 패치 크기는 더 작은 패치 크기로 점차 감소되고 객체(들)가 검출되거나 상기 패치 크기가 사전 결정된 최소 크기 아래로 감소될 때까지 디지털 이미지를 분석하여 더 작은 패치 크기와 대략 동일한 크기의 하나 이상의 객체들을 검출한다.

구조 및 동작 방법 모두에 관한 본 발명의 실시예들은 아래의 설명 및 첨부의 도면을 참조하면 잘 이해될 수 있다.
도 1은 디지털 이미징 디바이스의 실시예의 기능 블록도이다.
도 2는 최대 패치부터 시작하여 디지털 이미지를 상하좌우 순회하는데 사용될 수 있는 점차적으로 더 작아지는 일련의 패치들의 예를 도시한다.
도 3은 도 2에 도시된 상이한 크기의 패치들을 사용하여 초점 제어 로직의 검출 로직이 검출할 수 있는 세 개의 객체들을 포함하는 디지털 이미지의 예를 도시한다.
도 4는 디지털 이미지에서 객체를 검출하는 자동화된 방법들의 실시예를 예시하는 흐름도이다.
도 5는 디지털 이미지에서 객체를 검출할 수 있는 제조품의 실시예를 도시하는 개략적인 블록도이다.

본 명세서에 개시된 객체 검출용 시스템들 및 방법들은 디지털 이미지를 검색하여 더 작은 객체에 앞서 큰 객체를 찾는다. 큰 객체 및 작은 객체가 모두 존재하는 이미지에서, 큰 객체(들)가 이미지의 주제에 더 잘 부합할 것이라 가정한다. 작은 객체(들)는 이미지에서 관심이 덜한 사람 또는 사물, 아마도 배경에 있는 사람 또는 다른 객체에 속하는 것으로 가정한다.

일부 양태에서, 객체 검출 로직은 가능한 최대 패치 크기에서 얼굴과 같은 객체를 검색한다. 최대 패치 크기는 전형적으로 이미지의 폭 또는 높이 중 더 작은 것 바로 아래의 크기이다. 전체 이미지는 좌에서 우로, 위에서 아래로, 또는 다른 적절한 방향으로 순회될 수 있으며, 임의의 객체들이 그 특정한 패치 크기에서 발견되었는지를 나타내기 위해 플래그가 설정된다. 객체가 발견되지 않으면, 패치 크기는 설정된 양만큼 감소되고, 이미지가 다시 순회된다. 이러한 프로세스는 하나 이상의 객체들이 발견되거나 최소 패치 크기에 도달할 때까지 반복된다. 객체가 발견되면, 플래그가 설정되고 그 특정한 패치 크기에서 다른 객체들에 대한 검색이 완료된다. 순회 끝 부분에서, 로직은 순회 루프를 빠져나오고 플래그에 기초하여 복귀함으로써, 객체가 발견된 패치 크기보다 더 작은 모든 패치 크기를 스킵(skip)하게 된다. 일부 실시예에서, 객체(들)가 발견된 패치 크기보다 더 작은 하나 이상의 크기의 패치 크기가 분석될 수 있다.

도 1은 본 발명의 예시적인 실시예에 따른 디지털 이미징 디바이스(100)의 기능 블록도이다. 디지털 이미징 디바이스(100)는 장면(scene)의 광학 이미지를 디지털 이미지로 변환할 수 있는 임의의 디바이스일 수 있다. 그 예는 제한없이 디지털 카메라, 디지털 캠코더, 디지털 카메라 기능을 갖는 PDA들(personal digital assistants), 디지털 카메라 기능을 갖는 무선 전화기(예컨대, 셀룰러폰 또는 PCS폰)를 포함한다. 이미징 디바이스(100)는 제어기(105)에 결합된 데이터 버스(102), 이미징 모듈(115), 메모리 디바이스(120), 셔터 버튼(125), 디스플레이 장치(130), 초점 제어 모듈(135), 및 통신 어댑터(145)를 포함한다. 광학 시스템(140)은 이미지 신호를 이미징 모듈(115)에 제공하도록 구성된다. 제어기(105)는 마이크로프로세서 또는 마이크로컨트롤러를 사용하여 구현될 수 있으며, 데이터 버스(102)를 통해 이미징 모듈(115), 메모리(120), 셔터 버튼(125), 디스플레이(130), 초점 제어 로직(135), 및 통신 어댑터(145)와 통신할 수 있다. 디지털 이미징 디바이스(100)는 셔터 버튼(125) 이외에 다른 입력 제어들(도 1에 도시되지 않음)을 포함할 수 있다. 예를 들어, 디지털 이미징 디바이스(100)는 메뉴 및 캡쳐된 디지털 이미지를 브라우징하기 위한 내비게이션 버튼(navigational button) 또는 디지털 이미징 디바이스(100)의 동작을 제어하기 위한 다른 입력 제어들을 가질 수 있다. 디스플레이(130)는, 예를 들어, 액정 디스플레이(LCD) 또는 다른 적절한 디스플레이 장치일 수 있다.

초점 제어 로직(135)은 광학 시스템(140)(예를 들어, 하나 이상의 렌즈)의 초점을 자동으로 맞추기 위한 자동 초점 기능을 구현하는 로직을 포함할 수 있다. 초점 제어 로직(135)의 특정 양태들은 상세한 설명의 후반부에서 더 상세히 설명될 것이다. 일부 실시예에서, 초점 제어 로직(135)은 메모리(120)의 일부인 펌웨어에서 구현된다. 예를 들어, 초점 제어 로직(135)은 제어기(105)에 의해 실행되는 펌웨어 프로그램 명령어들을 포함할 수 있다. 일반적으로, 초점 제어 로직(135)은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에 의해 구현될 수 있다.

광학 시스템(140)은 이미징 모듈(115)에 의해 디지털 이미지로 변환될 수 있는 광학 이미지를 생성한다. 이미징 모듈(115)은 이미지 감지 디바이스를 포함할 수 있다. 일 예에서, 이미지 감지 디바이스는 수광된 광의 세기를 나타내는 광자를 컴퓨터 판독가능한 데이터로 변환하는 감광 소자의 CCD(charge-coupled device) 어레이로서 구현될 수 있다. 이미징 모듈(115)은 이미지 감지 디바이스에 대한 이미지의 노출을 조정하기 위해 이미징 디바이스(110) 상의 조리개와 셔터(도시되지 않음)를 조정하는 노출 제어 로직을 포함할 수 있다. 또한, 주변 광이 충분하지 않을 경우 이미지를 조사(illuminate)하기 위해 플래시 유닛(도시되지 않음)이 제공될 수 있다.

또한, 광학 시스템(140)은 이미지 감지 디바이스와 광학적으로 결합되어 정렬되는 다중 조리개 필터를 포함할 수 있다. 자동 초점 동안, 광학 시스템(140)에 의해 수광된 광은 다중 조리개 필터에 의해 필터링되어 동일한 이미지의 다중 이미지 상(multiple image representation)을 이미지 감지 디바이스 상에 만들어 낸다. 다중 조리개 필터는 초점이 벗어남(defocus)에 따라 변화하는 이미지 감지 디바이스 상에서 광의 분포를 다르게 한다. 이미지 감지 디바이스는 광의 분포를 검출하고 이를 초점을 결정하고 조정하는데 있어서 초점 제어 로직(135)에 의해 사용될 수 있는 컴퓨터 판독가능한 데이터로서 나타낸다.

또한, 이미징 디바이스(100)는 이미징 디바이스(100)를 사용자 워크스테이션과 같은 정보 저장/처리 시스템, 및/또는 인터넷과 같은 정보 네트워크에 직접 연결하기 위한 하나 이상의 통신 어댑터(145)를 포함할 수 있다. 통신 어댑터(145)는 무선 및/또는 유선 통신용으로 구성될 수 있다.

디지털 이미징 디바이스(100)에서, 초점 제어 로직(135)의 자동 초점 로직은 사진의 구성(composition of a picture) 동안, 예를 들어, 디지털 이미징 디바이스(100)의 "라이브 프리뷰(live preview)" 모드 동안 동작할 수 있다. 자동 초점 알고리즘은 전형적으로 "sum modulus difference"와 같은 성능 지수(figure of merit)를 사용하여 렌즈의 다양한 초점 위치를 평가한다. "연속 자동 초점(continuous autofocus)"이라 지칭되는 한가지 통상의 접근법에서, 이미지의 구성 동안(예를 들어, "라이브 프리뷰" 모드 동안) 자동 초점 시스템은 연속적으로 활성 상태이다. 연속 자동 초점의 보다 효율적인 변형예가 사용될 수 있는데, 이 변형예에서 자동 초점 시스템은 구성 동안 어느 때나 초점을 조정할 수 있지만 실제 필요할 때(예를 들어, 디지털 이미징 디바이스가 라이브 프리뷰 동안 장면 변화를 검출할 때)만 초점을 조정한다. 프리뷰 모드 동안, 초점 제어 로직(135)은 이미징 모듈(115)로부터의 이미지 데이터를 액세스하지만, 초점 제어 로직(135)은 메모리 디바이스(120)에 저장된 이미지 데이터를 또한 액세스할 수 있다.

특히, 적목(red-eye) 보정, 밝기/명암 밸런싱(balancing), 샤프닝(sharpening) 또는 블러링(blurring), RGB 및 색조(hue)/채도(saturation) 조정, 노이즈 부가, 반전, 노출 및 화이트 밸런스(white balance) 고정, 옐로우 필터, 에이징, 옐로우 스킨 톤 저감(yellow skin tone reduction), 안티 디스토션(anti-distortion), 디지털 노이즈 저감, 야간 노이즈 저감과 같이, 이미지에서 최대 객체(들)를 신속히 검출함으로써 도움이 될 수 있는 다른 이미지 처리 기능이 이미징 디바이스(100)에 포함될 수 있음을 유의한다.

일부 양태에서, 초점 제어 로직(135)은 디지털 이미지를 순회하기 위한 최대 패치 크기를 결정한다. 예를 들어, 초점 제어 로직(135)은 이미지의 전체 치수를 판정하고 폭과 높이 치수 중 대략 더 작은 것으로 최대 패치 크기를 설정한다. 도 2 및 도 3을 참조하면, 도 2는 최대 패치(202)부터 시작하여 디지털 이미지를 상하좌우 순회하는데 사용될 수 있는 점차적으로 더 작아지는 일련의 패치들(202)의 예를 도시한다. 패치(202)는, 한정하는 것은 아니지만, 정사각형 또는 직사각형을 포함하는 임의의 적절한 형상을 가질 수 있다. 또한, 점차적으로 크기가 더 작아지는 각각의 패치(202)의 감소는 특히 가용 처리 자원, 디지털 이미지의 크기, 및 원하는 정확도와 같은 다수의 팩터들에 기초하여 선택될 수 있다.

도 3은 초점 제어 로직(135)의 검출 로직이 검출할 수 있는 세 개의 객체들(302, 304, 306)을 포함하는 디지털 이미지(300)의 예를 도시한다. 도시된 예에서, 객체들(302, 304, 306)은 얼굴들이며 초점 제어 로직(135)은 얼굴 검출 로직을 포함한다. 초점 제어 로직(135)에서 사용하기에 적합한 각종 객체 검출 기술은 공지되어 있으며 계속 개발되고 있다. 초점 제어 로직(135)에는 객체 검출/인식 기술들 중 하나 이상이 활용될 수 있다. 일 예로서, International Journal of Computer Vision 57(2), 137-154, 2004에서 Viola, P & Jones, M에 의한 "Robust Real-Time Face Detection"에 기술된 유사 하르 특징량을 이용한 계단식 동종 분류(cascade of homogeneous classifiers using haar-like features)와 그 파생 기술이 얼굴, 자동차, 보행자를 포함하는 일정 범위의 객체를 검출하는데, 또는 얼굴 인식을 수행하는데 사용될 수 있다.

초점 제어 로직(135)은 디지털 이미지(300)의 상하좌우로 패치(202)를 이동하고 패치(202)에 포함된 디지털 이미지의 영역을 분석하여 최대 패치(202)와 대략 동일한 크기의 객체(들)를 검출한다. 하나 이상의 객체(들)가 검출되면, 초점 제어 로직(135)은 디지털 이미지(300)의 분석을 중단할 수 있다. 객체(들)가 최대 패치 크기에서 검출되지 않으면, 초점 제어 로직(135)은 하나 이상의 객체들이 검출되거나 패치(202)의 크기가 최소 패치 크기 아래로 감소될 때까지 패치(202)의 크기를 점차적으로 감소시키고 디지털 이미지(300)를 분석하여 더 작은 패치 크기들 중 하나와 대략 동일한 크기의 하나 이상의 객체를 검출한다. 도시된 예에서, 얼굴(302)은 얼굴(304 또는 306)보다 크지만, 패치(202)의 최대 크기보다는 작다. 따라서, 초점 제어 로직(135)이 패치(202)와 대략 동일한 크기의 하나 이상의 객체들(302)을 검출할 때까지 초점 제어 로직(135)은 패치(202)의 크기를 감소시킨다.

추가적인 양태들에서, 초점 제어 로직(135)은 디지털 이미지(300) 분석을 계속하여 제1 객체(들)의 크기에 근접한 하나 이상의 객체들이 디지털 이미지(300)에 포함되는지 여부를 판정할 수 있다. 예를 들어, 초점 제어 로직(135)은 패치(202)의 크기를 사전 지정된 횟수 감소시켜 감소된 패치 크기와 대략 동일한 크기의 하나 이상의 객체들이 디지털 이미지(300)에 포함되는지 여부를 판정할 수 있다. 도시된 예에서, 패치(202)는 객체(302)를 검출한 후 한번 감소되고 그 결과 패치(202)와 객체(304)의 크기가 대략 동일하기 때문에 객체(304)가 검출된다. 디지털 이미지(300)에서 검출될 수 있는 객체의 수는 하나 또는 둘로 제한되지 않음을 주목하여야 한다. 일부 양태에서, 패치(202)의 선택된 크기와 대략 동일한 모든 객체들은 디지털 이미지(300)에서 검출될 수 있다. 다른 양태에서, 초점 제어 로직(135)에 의해 검출된 객체의 유형은 초점 제어 로직(135)에 포함된 객체 검출 로직의 성능에 의해 제한될 수 있다.

최대 객체(들)(302) 또는 객체들(302, 304)이 검출되면, 초점 제어 로직(135)은 최대 객체(들)(302), 또는 최대 및 그 다음 최대 객체들(302, 304)에 초점을 맞추도록 광학 시스템(140)의 렌즈를 이동하라는 명령들을 발행한다. 다른 양태에서, 초점 제어 로직(135)은 이미징 모듈(115)로부터라기 보다 메모리에 저장된 디지털 이미지(302)의 객체(들)(302, 304)의 초점을 분석하고 조정할 수 있다. 객체(302) 또는 객체들(302, 304)에 대한 최적의 초점 레벨을 결정하기 위해 임의의 적절한 기술이 사용될 수 있다. 예를 들어, 둘 이상의 객체들(302, 304)이 검출된 경우, 각 객체(302, 304)에 대한 최적의 초점 레벨의 평균값이 전체 디지털 이미지(300)에 대해 사용될 수 있다. 최대 객체(들)(302)만이 검출된 경우, 최대 객체(들)(302)에 대한 최적의 초점 레벨이 선택될 수 있다.

도 4를 참조하면, 초점 제어 로직(135)(도 1)에서 사용될 수 있는 디지털 이미지에서 객체를 검출하기 위한 자동화 프로세스 또는 방법(400)의 실시예를 예시하는 흐름도가 도시되어 있다. 프로세스(402)는 디지털 이미지에서 객체가 아직 발견되지 않았음을 나타내는 ObjectFound 플래그를 거짓(false)으로 초기화하는 것을 포함할 수 있다.

프로세스(400)는 전형적으로 디지털 이미지에서 관심있는 최대 객체(들)를 찾도록 구성되지만. 프로세스(400)는 더 작은 크기의 둘 이상의 객체들이 관찰자에게는 동등하게 관심 있을 수 있기 때문에 최대 객체(들)보다 약간 작은 객체들을 검출하는 것을 또한 포함할 수 있다. 따라서, 프로세스(404)는 제1 객체가 발견된 후 검색할 패치 크기의 수를 나타내는 파라미터를 설정하는 것을 포함할 수 있다. 파라미터는 더 작은 패치의 수와 패치 크기를 감소시킬 양을 특정할 수 있다.

프로세스(408)는 디지털 이미지를 순회하는데 사용될 최대 패치 크기를 결정하는 것을 포함할 수 있다. 일부 양태에서, 패치는 정사각형이며 각 면은 디지털 이미지의 높이와 폭 중 대략 최소 크기이다. 예를 들어, 이미지의 폭이 1600 픽셀이고 높이가 1200 픽셀이면, 최대 패치의 크기는 대략 1200 픽셀인 정사각형이다. 연속하는 패치 크기뿐 아니라 최대 패치 크기의 형상과 크기를 결정하는데 다른 적절한 기준이 사용될 수 있음을 주목하자. 프로세스(408)는 각각의 연속하는 패치가 감소될 양을 결정하는 것을 포함할 수 있다. 이러한 감소는 처리 자원, 객체의 예상 크기, 이미지 해상도, 및/또는 다른 관련 팩터들에 기초할 수 있다. 따라서, 프로세스(408)는 최대 패치 크기 및 최소 패치 크기를 포함하여, 디지털 이미지를 분석하는데 사용될 패치 크기의 수를 결정할 수 있다.

프로세스(410)는 시작 패치에 대해 최대 패치 크기를 선택하는 것을 포함하며, 프로세스(412)는, 현재의 패치 크기가 분석할 최소 패치 크기보다 더 큰지를 판단함으로써 잠재적인 루프를 시작한다. 만일 그렇다면, 프로세스(414)는 패치의 위치에 따라 디지털 이미지의 세그먼트들을 분석한다. 패치는 선형적으로 좌에서 우로 그리고 아래에서 위로, 및/또는 대각선과 같은 어떤 적절한 패턴을 사용하여 디지털 이미지의 다른 영역으로 "이동"될 수 있다. 대안으로, 이미지의 중앙에서 분석을 시작하여 외측 방사 방향으로 이동하거나, 이미지의 가장자리에서 분석을 시작하여 내측 방사 방향으로 이동할 수 있다. 임의의 적절한 객체 검출 기술이 사용될 수 있다. 또한, 프로세스(414)는 전형적으로 초점 맞춤 목적으로 최대 객체(들)에 우선순위를 부여하여, 얼굴, 동물, 나무, 가구, 꽃 등과 같은 하나 이상의 상이한 유형의 객체들을 검출할 수 있다.

프로세스(416)는 프로세스(414)가 현재 사용되고 있는 패치 크기와 대략 동일한 크기의 하나 이상의 객체들을 검출하였는지를 판정한다. 그렇지 않다면, 프로세스(416)는 프로세스(418)로 천이하고, 이 프로세스는 패치 크기를 감소시키고 프로세스(412)의 시작으로 복귀하여 감소된 패치 크기가 여전히 최소 패치 크기보다 더 큰지를 조사한다. 감소된 패치 크기가 최소 패치 크기보다 더 작으면, 프로세스(412)는 프로세스(420)의 시작으로 천이하고, 이 프로세스는 최대 객체 또는 검출된 객체들로 초점을 조정한다. 프로세스(420)는 최대 객체(들), 또는 최대 및 그 다음 최대 객체(들)에 초점을 맞추도록 광학 시스템의 렌즈를 이동하라는 명령들을 발행할 수 있다. 다른 양태에서, 프로세스(420)는 이미징 디바이스의 이미징 모듈로부터라기 보다 메모리에 저장된 디지털 이미지에서 최대 객체(들)의 초점을 분석하고 조정할 수 있다. 객체(들)에 대한 최적의 초점 레벨을 결정하기 위해 임의의 적절한 기술이 사용될 수 있다. 예를 들어, 둘 이상의 객체가 검출된 경우, 각 객체에 대한 최적의 초점 레벨의 평균값이 전체 디지털 이미지에 대해 사용될 수 있다. 최대 객체(들)만이 검출된 경우, 최대 객체(들)에 대한 최적의 초점 레벨이 선택될 수 있다.

객체가 검출되지 않으면, 프로세스(420)는 디지털 이미징 디바이스에 가장 가까운 객체, 디지털 이미지의 중앙, 및/또는 다른 적절한 기준과 같은 다른 팩터들에 기초하여 초점을 조정할 수 있다.

프로세스(414)에서의 분석의 결과로서 프로세스(416)가 하나 이상의 객체들이 검출되었다고 판단하면, 프로세스(416)는 프로세스(422)로 천이하여 객체 검색을 위해 추가의 더 작은 패치들이 사용될지를 판단한다. 프로세스(422)는 이미 사용된 패치의 수 및/또는 크기를 추적하는 것을 포함할 수 있다. 모든 패치 크기가 이미 사용되었거나, 또는 디지털 이미지의 최대 객체(들)가 발견된 후 어떠한 추가의 패치 크기도 분석되지 않을 것이라는 것을 프로세스(404)가 표시하였다면, 프로세스(422)는 프로세스(420)로 천이하고, 이 프로세스는 최대 객체 또는 검출된 객체들로 초점을 조정한다. 모든 패치 크기가 이미 사용되지 않았거나, 또는 디지털 이미지의 최대 객체(들)가 발견된 후 추가의 패치 크기가 분석될 것이라는 것을 프로세스(404)가 표시하였다면, 프로세스(422)는 프로세스(424)로 진행하고, 이 프로세스는 패치 크기를 감소시키고 프로세스(412)의 시작으로 복귀하여 감소된 패치 크기가 여전히 최소 패치 크기보다 더 큰지를 조사한다.

따라서, 프로세스들(412 내지 424)은 최대 패치 크기에 대응하는 객체들과, (만일 있다면) 그 다음 최대 패치 크기(들)가 검출될 때까지 반복된다.

도 5는 디지털 이미지에서 객체를 검출할 수 있는 컴퓨터 시스템(500)에 포함될 수 있는 컴포넌트들의 실시예를 도시하는 개략적인 블록도이다. 컴퓨터 시스템(500)은 이미지 프로세서(506)로 그리고 이미지 프로세서(506)로부터의 데이터 및 명령어들을 전달하도록 결합된 이미지 소스(504)를 포함할 수 있다. 이미지 프로세서(506)는 처리 유닛(508), 하나 이상의 메모리 디바이스(510), 및 이미지 처리 모듈(512)을 포함할 수 있다. 이미지 처리 모듈(512)의 특징들은 전술한 프로세스(400)(도 4)를 포함할 수 있다. 이미지 처리 모듈(512)은 관심의 집중 대상이 유사한 크기(더 크거나 더 작은)를 갖는 얼굴(또는 다른 객체)에 있는 경우라면 어떠한 상황에서도 사용될 수 있다. 카메라에서, 이것은 자동 초점, 화이트 밸런스, 감마 보정(gamma correction), 구성 파라미터(자동 모드 휠 - 예컨대, "인물사진", "그룹 사진" 등을 선택)를 위한 것일 수 있다. 또한, 이것은 프레임 구성 제안(예를 들어, "카메라를 좀 더 가까이 위로 약간 이동하시오")과 항상 눈을 뜨고 사진을 촬영하는 것과 같은 기능 향상 제안에 유용할 수 있다. 이미지 처리 모듈(512)은 감독 및 모니터링, 관중 수 측정 등에도 사용될 수 있다. 일부 경우에, 디바이스는 특정 크기의 하나 이상의 얼굴의 존재가 검출될 때(예들 들면, 사진 부스, 증명사진 촬영 스테이션(photo ID station)) 활성화될 수 있다. 이미지 처리 모듈(512)은 카메라, 스캐너, 및 다른 디지털 이미지 소스(504)에 의해 생성된 정지 영상뿐만 아니라, 동영상 스트림에서 얼굴 또는 객체를 검출하는데 더 사용될 수 있다.

시스템(500)에 의해 수행되거나 실행되는 각종 기능, 처리, 방법, 및 동작은 제어기, 중앙 처리 유닛, 마이크로프로세서, 디지털 신호 처리기, 상태 머신(state machine), 및 프로그램가능한 로직 어레이 등과 같은 각종 형태의 처리 유닛(508) 상에서 실행가능한 프로그램으로서 구현될 수 있다. 이미지 처리 모듈(512)과 같은 프로그램은 임의의 컴퓨터 관련 시스템 또는 방법에 의해 또는 이들과 관련하여 사용하기 위한 임의의 컴퓨터 판독가능한 매체 또는 메모리 디바이스(510)에 저장될 수 있다. 컴퓨터 판독가능한 매체는 전자적, 자기적, 광학적, 또는 다른 물리적 메모리 디바이스(510) 또는 컴퓨터 시스템(500), 방법(400)(도 4), 프로세스, 또는 절차에 의해 또는 이들과 관련하여 사용하기 위한 이미지 처리 모듈(512)과 같은 컴퓨터 프로그램을 포함할 수 있거나 저장할 수 있는 수단이다. 프로그램은 컴퓨터 또는 프로세서에 기초한 시스템, 또는 명령어 메모리 또는 임의의 적절한 형태의 스토리지로부터 명령어들을 가져올 수 있는 다른 시스템과 같이, 명령어 실행 시스템, 디바이스, 컴포넌트, 구성요소, 또는 장치에 의해 또는 이들과 관련하여 사용하기 위한 컴퓨터 판독가능한 매체에 의해 실행되는 논리 명령어들로 구현될 수 있다.

이미지 프로세서(506)는 T1, ISDN, 또는 케이블 선, 셀룰러 또는 위성 네트워크를 통한 무선 연결, 또는 근거리 네트워크를 통한 이더넷 또는 토큰링과 같은 로컬 데이터 전송 시스템 중 임의의 하나 또는 이들의 조합과 같은 적절한 통신 링크를 통해 이미지 소스(504)와 인터페이스하도록 구성될 수 있다. 이미지 소스(504)는 카메라, 스캐너, 데이터 서버, 메모리와 네트워크 인터페이스를 갖는 처리 장치, 또는 디지털 이미지 데이터와 논리 명령어들을 저장하고 통신하기 위한 다른 적절한 장치일 수 있다. 사용자로 하여금 이미지 프로세서(506) 및 이미지 소스(504) 내부 및 외부에 있는 컴포넌트들과 상호작용하도록 하는 키보드 및 마우스(도시되지 않음)와 같은 각종 입/출력 장치가 포함될 수 있다. 또한, 이미지 소스(504)는 이미지 프로세서(506) 내부 또는 외부에 포함될 수 있다. 이미지 소스(504) 및 이미지 프로세서(506)는 또한 디지털 카메라, 스캐너, 또는 다른 이미징 디바이스와 같은 동일한 장치에 포함될 수 있다.

또한, 이미지 프로세서(506)는 임의의 적절한 컴퓨팅 장치에서 구현될 수 있으며, 따라서 PDA, 디스플레이 영역을 갖는 전화기, 네트워크 기기, 데스크탑, 랩탑, 디지털 이미징 디바이스, 또는 그러한 다른 컴퓨팅 장치를 포함한다. 이미지 프로세서(506) 및 대응하는 논리 명령어들은 마이크로프로세서, FPGA(Field Programmable Gate Arrays), ASIC(Application Specific Integrated Circuit), 또는 다른 적절한 디바이스와 같은 하드웨어, 소프트웨어, 및/또는 펌웨어의 임의의 적절한 조합을 사용하여 구현될 수 있다.

일부 양태에서, 이미지 처리 모듈(512)은,

■ 디지털 이미지를 순회하기 위한 최대 패치 크기를 결정하고,

■ 디지털 이미지를 분석하여 최대 패치 크기와 대략 동일한 크기의 제1 객체를 검출하고,

■ 디지털 이미지가 최대 패치 크기와 대략 동일한 크기의 제1 객체를 포함하는 경우 디지털 이미지의 분석을 중단하며,

■ 최대 패치 크기와 대략 동일한 크기의 제1 객체가 검출되지 않으면 패치 크기를 점차적으로 더 작은 패치 크기로 감소시키고, 제1 객체가 검출되거나 패치 크기가 사전 결정된 최소 크기 아래로 감소될 때까지 디지털 이미지를 분석하여 더 작아진 패치 크기와 대략 동일한 크기의 제1 객체를 검출하는

논리 명령어들과 같은 수단을 포함할 수 있다.

부가적인 양태에서, 이미지 처리 모듈(512)은,

■ 디지털 이미지를 분석하여 제2 객체가 검출되거나 감소된 패치 크기가 최대 패치 크기보다 더 작은 사전 결정된 감소 횟수의 크기가 될 때까지 점차적으로 감소된 패치 크기와 대략 동일한 크기의 제2 객체를 검출하고,

■ 제1 객체가 검출되면 제1 객체에 초점을 맞추도록 광학 렌즈를 이동하고,

■ 메모리 디바이스로부터 액세스되는 디지털 이미지의 초점을 보정하고,

■ 제1 객체가 사람 얼굴임을 인식하고,

■ 디지털 이미지가 기록되기 전에 디지털 이미징 디바이스의 광학 어셈블리로부터 디지털 이미지를 액세스 하고, 및/또는

■ 제 1 및 제2 객체들 사이에서 초점을 조정하는

수단을 포함할 수 있다.

전형적으로, 작은 패치 크기를 평가할 때 이미지를 순회하는 것보다 큰 패치 크기를 평가할 때 이미지 전체를 순회하는데 요구되는 시간이 적다. 따라서, 이미지 처리 모듈(512)이 최대 패치 크기에서 그의 검색을 시작하여 크기를 줄이면서 작업을 하고, 큰 패치 크기에서 하나 이상의 객체를 발견하면, 처리 모듈(512)은 특정 패치 크기에서 이미지 순회의 끝 부분에서 일부의 또는 모든 더 작은 패치를 스킵할 수 있다. 큰 객체가 발견되지 않으면, 처리 모듈(512)은 더 작은 객체가 발견되거나 패치 크기가 이전에 설정된 최소 객체 크기보다 더 작을 때까지, 감소하는 패치 크기들에서 이미지를 순회할 수 있다. 관심 객체가 여전히 발견되는 동안, 더 작은 패치 크기를 분석하는데 필요한 시간과 처리 자원은 절약될 수 있다.

처리 모듈(512)은 임의의 수의 객체의 위치를 결정할 수 있음을 유의한다. 예를 들어, 학급의 사진에서 모든 얼굴은 대략 동일한 크기이므로, 모든 얼굴이 발견될 것이다. 또한, 제1 객체의 검출 후에 일정 수의 해상도 저감 단계를 부가함으로써, 이미지 내 모든 관련 얼굴은 모든 프레임 크기를 이용하여 이미지를 순회하지 않고 발견될 수 있다.

얼굴 검출에서 관심을 끌고 있는 한가지 양태는, 사람의 얼굴이 전체 인구에 걸쳐서 아주 일관된 크기를 갖는다는 것이다. 이미지의 위치에서 얼굴 검출은 다른 카메라 파라미터와 함께 사용되어 카메라로부터 얼굴의 거리를 추정할 수 있다. 거리 추정치는 자동 초점 동안 사용되어 미세 조정하기 전에 초점 거리를 개략적으로 검색하는데 필요한 시간과 처리를 줄여줄 수 있다.

본 명세서에서 제공된 예시적인 블록도 및 흐름도는 프로세스에서 특정한 논리 기능 또는 단계를 구현하는 하나 이상의 실행가능한 명령어들을 포함하는 모듈들, 세그먼트들, 또는 코드의 일부를 나타낼 수 있는 프로세스 단계 또는 블록을 도시한다. 특정한 예들이 특정한 프로세스 단계 또는 동작을 예시할지라도, 대안의 많은 구현들이 가능하며 일반적으로 간단한 설계 선택에 의해 이루어진다. 기능, 목적, 표준 적합성, 및 레거시 구조 등의 고려에 기초하여, 본 명세서의 특정 설명과는 다른 순서로 동작 및 단계가 실행될 수 있다.

본 개시내용이 다양한 실시예들을 설명하고 있지만, 이들 실시예들은 예시적인 것이며 특허청구범위의 범주를 제한하려는 것은 아니다. 설명된 실시예들에 대한 많은 변경, 변형, 부가 및 개선이 가능하다. 예를 들어, 당업자라면 본 명세서에 개시된 구조들 및 방법들을 제공하는데 필요한 단계들을 쉽게 구현할 것이며, 프로세스 파라미터, 재료, 및 치수는 예로서만 제공되었음을 이해할 것이다. 파라미터, 재료, 및 치수는 특허청구범위의 범주 내에서 희망하는 구조를 달성하도록 변경 및 변형될 수 있다. 본 명세서에 개시된 실시예들의 변경 및 변형 또한 이하의 특허청구범위의 범주 내에서 유지되면서 이루어질 수 있다. 예를 들어, 대화 및 데이터 모델에 대한 몇가지 특정 예들이 기술되었다. 대화 필드의 선언적 관계에 대한 예시적 시스템이 임의의 적절한 대화 또는 데이터 모델과 함께 사용될 수 있다. 예시적인 기술이 임의의 적절한 데이터 처리 구성 및 임의의 적절한 서버, 컴퓨터, 및 디바이스와 함께 사용될 수 있을 것이다.

Claims

장치로서,
컴퓨터 프로세서; 및
상기 컴퓨터 프로세서에 의해 실행가능한 논리 명령어들을 포함하고,
상기 논리 명령어들은 상기 컴퓨터 프로세서로 하여금,
디지털 이미지를 액세스하고;
상기 디지털 이미지를 순회(traverse)하기 위한 최대 패치 크기를 결정하고 - 상기 최대 패치 크기는 상기 디지털 이미지의 폭과 높이 치수들 중 대략 최소값으로 설정되는 치수를 가짐 - ;
상기 디지털 이미지를 분석하여 상기 디지털 이미지가 상기 최대 패치 크기와 대략 동일한 크기의 하나 이상의 제1 객체들을 포함하는지의 여부를 검출하고;
상기 제1 객체(들)가 검출된 경우 상기 디지털 이미지의 분석을 중단하고;
상기 최대 패치 크기에서 상기 제1 객체(들)가 검출되지 않으면 상기 패치 크기를 점차적으로 감소시키고, 상기 제1 객체(들)가 검출되거나 상기 패치 크기가 최소 패치 크기 아래로 감소될 때까지 상기 디지털 이미지를 분석하여 더 작은 패치 크기들 중 하나와 대략 동일한 크기의 상기 제1 객체를 검출하도록 하는
장치.
제1항에 있어서,
상기 컴퓨터 프로세서에 의해 실행가능한 논리 명령어들을 더 포함하며,
상기 논리 명령어들은 상기 컴퓨터 프로세서로 하여금, 상기 디지털 이미지의 분석을 계속하여 제2 객체(들)가 검출되거나 또는 감소된 패치 크기가 상기 최대 패치 크기보다 작은 사전 결정된 감소 횟수가 될 때까지 감소된 패치 크기와 대략 동일한 크기의 하나 이상의 상기 제2 객체들을 검출하도록 하는 장치.
제1항에 있어서,
상기 컴퓨터 프로세서에 의해 실행가능한 논리 명령어들을 더 포함하며,
상기 논리 명령어들은 상기 컴퓨터 프로세서로 하여금, 상기 제1 객체가 검출되면 명령들을 발행하여 상기 제1 객체에 초점을 맞추도록 광학 렌즈를 이동하게 하는 장치.
제1항에 있어서,
상기 컴퓨터 프로세서에 의해 실행가능한 논리 명령어들을 더 포함하며,
상기 논리 명령어들은 상기 컴퓨터 프로세서로 하여금, 상기 제1 객체(들)를 강조하여 초점을 맞추도록 메모리 디바이스에 저장되어 있는 상기 디지털 이미지의 초점을 보정하게 하는 장치.
제1항에 있어서,
상기 컴퓨터 프로세서에 의해 실행가능한 논리 명령어들을 더 포함하며,
상기 논리 명령어들은 상기 컴퓨터 프로세서로 하여금, 상기 제1 객체(들)가 사람 얼굴들인 경우를 인식하게 하는 장치.
제1항에 있어서,
상기 장치는 디지털 이미징 디바이스인 장치.
제2항에 있어서,
상기 컴퓨터 프로세서에 의해 실행가능한 논리 명령어들을 더 포함하며,
상기 논리 명령어들은 상기 컴퓨터 프로세서로 하여금, 상기 제1 객체와 상기 제2 객체 사이에서 초점을 조정하게 하는 장치.
컴퓨터-구현 방법으로서,
디지털 이미지를 순회하기 위한 최대 패치 크기를 결정하는 단계;
상기 디지털 이미지를 분석하여 상기 최대 패치 크기와 대략 동일한 크기의 하나 이상의 제1 객체(들)를 검출하는 단계;
상기 디지털 이미지가 상기 최대 패치 크기와 대략 동일한 크기의 제1 객체(들)를 포함하면 상기 디지털 이미지의 분석을 중단하는 단계;
상기 최대 패치 크기와 대략 동일한 크기의 하나 이상의 제1 객체(들)가 검출되지 않으면 상기 패치 크기를 점차 더 작은 패치 크기들로 감소시키고, 상기 제1 객체(들)가 검출되거나 상기 패치 크기가 사전 결정된 최소 크기 아래로 감소될 때까지 상기 디지털 이미지를 분석하여 상기 더 작은 패치 크기와 대략 동일한 크기의 하나 이상의 제1 객체(들)를 검출하는 단계; 및
상기 제1 객체(들)가 상기 디지털 이미지에서 검출되면 상기 제1 객체(들)에 자동으로 초점을 맞추는 단계
를 포함하는 컴퓨터-구현 방법.
제8항에 있어서,
상기 디지털 이미지를 분석하여 제2 객체(들)가 검출되거나 또는 감소된 패치 크기가 상기 최대 패치 크기보다 더 작은 사전 결정된 감소 횟수가 될 때까지 점차적으로 상기 감소된 패치 크기와 대략 동일한 크기의 상기 제2 객체를 검출하는 단계를 더 포함하는 컴퓨터-구현 방법.
제8항에 있어서,
상기 제1 객체(들)가 검출되면 상기 제1 객체(들)에 초점을 맞추도록 광학 렌즈를 이동하는 단계를 더 포함하는 컴퓨터-구현 방법.
제8항에 있어서,
메모리 디바이스로부터 액세스되고 있는 상기 디지털 이미지의 초점을 보정하는 단계를 더 포함하는 컴퓨터-구현 방법.
제8항에 있어서,
상기 제1 객체들 중 하나 이상이 사람 얼굴임을 인식하는 단계를 더 포함하는 컴퓨터-구현 방법.
제8항에 있어서,
상기 디지털 이미지가 기록되기 전에 디지털 이미징 디바이스의 광학 어셈블리로부터 상기 디지털 이미지를 액세스하는 단계를 더 포함하는 컴퓨터-구현 방법.
제13항에 있어서,
상기 제1 객체와 상기 제2 객체 사이에서 초점을 조정하는 단계를 더 포함하는 컴퓨터-구현 방법.
제조 물품으로서,
디지털 이미지를 순회하기 위한 최대 패치 크기를 결정하는 수단;
상기 디지털 이미지를 분석하여 상기 최대 패치 크기와 대략 동일한 크기의 하나 이상의 제1 객체들을 검출하는 수단;
상기 디지털 이미지가 상기 최대 패치 크기와 대략 동일한 크기의 상기 제1 객체(들)를 포함하는 경우 상기 디지털 이미지의 분석을 중단하는 수단; 및
상기 최대 패치 크기와 대략 동일한 크기의 제1 객체(들)가 검출되지 않으면 상기 패치 크기를 점차적으로 더 작은 패치 크기들로 감소시키고, 상기 제1 객체(들)가 검출되거나 또는 상기 패치 크기가 사전 결정된 최소 크기 아래로 감소될 때까지 상기 디지털 이미지를 분석하여 상기 더 작은 패치 크기와 대략 동일한 크기의 하나 이상의 제1 객체들을 검출하는 수단
을 포함하는 제조 물품.
제15항에 있어서,
상기 디지털 이미지를 분석하여 제2 객체(들)가 검출되거나 감소된 패치 크기가 상기 최대 패치 크기보다 더 작은 사전 결정된 감소 횟수가 될 때까지 점차적으로 상기 감소된 패치 크기와 대략 동일한 크기의 하나 이상의 상기 제2 객체들을 검출하는 수단을 더 포함하는 제조 물품.
제15항에 있어서,
상기 제1 객체가 검출되면 상기 제1 객체에 초점을 맞추도록 광학 렌즈를 이동하는 수단을 더 포함하는 제조 물품.
제15항에 있어서,
메모리 디바이스로부터 액세스되고 있는 상기 디지털 이미지의 초점을 보정하는 수단을 더 포함하는 제조 물품.
제15항에 있어서,
상기 제1 객체(들) 중 적어도 하나가 사람 얼굴임을 인식하는 수단을 더 포함하는 제조 물품.
제15항에 있어서,
상기 디지털 이미지가 기록되기 전에 디지털 이미징 디바이스의 광학 어셈블리로부터 상기 디지털 이미지를 액세스하는 수단을 더 포함하는 제조 물품.
제16항에 있어서,
상기 제1 객체와 상기 제2 객체 사이에서 초점을 조정하는 수단을 더 포함하는 제조 물품.