KR101142316B1 - 화상 선택 장치 및 화상 선택 방법 - Google Patents

Abstract

본 발명은 화상 선택 장치 및 화상 선택 방법에 관한 것으로서, 본 발명의 화상 선택 장치는, 1인 이상의 인간을 피사체로서 연속적으로 촬상함으로써 생성된 복수의 촬상 화상을 취득하는 취득 수단과; 상기 취득 수단에 의해 취득된 상기 복수의 촬상 화상에 포함되는 사람의 얼굴(human faces)을 검출하는 얼굴 검출 수단과; 상기 얼굴 검출 수단에 의해 검출된 상기 사람의 얼굴로부터 눈을 검출하는 눈 검출 수단과; 상기 눈 검출 수단에 의해 검출된 상기 눈 각각의 깜박임 정도(blink degrees)를 검출하는 깜박임 검출 수단과; 상기 깜박임 검출 수단에 의해 검출된 상기 깜박임 정도에 기초하여, 상기 사람의 얼굴 상태(status)를 평가하는 평가 수단과; 상기 평가 수단에 의한 상기 평가에 기초하여, 상기 취득 수단에 의해 취득된 상기 복수의 촬상 화상 중에서 기록 매체에 기록되는 적어도 하나의 촬상 화상을 특정(select)하는 특정 수단을 포함하는 것을 특징으로 한다.

Description

화상 선택 장치 및 화상 선택 방법{IMAGE SELECTION DEVICE AND METHOD FOR SELECTING IMAGE}

본 발명은 2009년 3월 31일자로 일본에 출원된 일본특허 출원번호 2009-086197을 우선권 주장하는 것으로서, 상기 특허의 전체 내용은 참조에 의해 본 발명에 원용된다.

본 발명은, 복수의 화상 중에서 어느 하나의 화상을 선택하는 화상 선택 장치, 화상 선택 방법에 관한 것이다.

종래, 연사(連寫) 촬영하여 복수의 화상 데이터를 생성하는 기능을 가지는 디지털 카메라가 알려져 있다. 최근의 연사 가능 매수의 증가에 수반하여, 사용자 자신에 의한 선택 조작은 더욱 번잡해지고 있다. 이 번잡함을 해소하는 것으로서, 전원이 눈을 뜨고 있는 집합 사진을 선택하는 화상 처리 시스템이 알려져 있다(예를 들면, 특허 문헌 1 참조).

그러나, 집합 사진에서 전원이 눈을 뜨고 있는지의 여부의 판정 만에 의해 선택한다면, 선택되는 사진이 없게 될 수도 있다.

일본 특허출원 공개번호 2007-88594호 공보

그래서, 본 발명의 과제는, 화상의 선택을 적정하고, 또한 간편하게 행할 수 있는 화상 선택 장치 및 화상 선택 방법을 제공하는 것이다.

본 발명의 제1 측면에 의하면,

1인 이상의 사람을 피사체로서 연속적으로 촬상함으로써 생성된 복수의 촬상 화상을 취득하는 취득 수단과; 상기 취득 수단에 의해 취득된 상기 복수의 촬상 화상에 포함되는 사람의 얼굴(human faces)을 검출하는 얼굴 검출 수단과; 상기 얼굴 검출 수단에 의해 검출된 상기 사람의 얼굴로부터 눈을 검출하는 눈 검출 수단과; 상기 눈 검출 수단에 의해 검출된 상기 눈 각각의 깜박임 정도(blink degrees)를 검출하는 깜박임 검출 수단과; 상기 깜박임 검출 수단에 의해 검출된 상기 깜박임 정도에 기초하여, 상기 사람의 얼굴 상태(status)를 평가하는 평가 수단과; 상기 평가 수단에 의한 상기 평가에 기초하여, 상기 취득 수단에 의해 취득된 상기 복수의 촬상 화상 중에서 기록 매체에 기록되는 적어도 하나의 촬상 화상을 특정(select)하는 특정 수단을 구비하는 것을 특징으로 하는 화상 선택 장치가 제공된다.

본 발명의 제2 측면에 의하면,

1인 이상의 사람을 피사체로서 연속적으로 촬상함으로써 생성된 복수의 촬상 화상을 취득하고; 상기 복수의 촬상 화상에 포함되는 사람의 얼굴(human faces)을 검출하는 얼굴 검출 처리를 행하고; 상기 얼굴 검출 처리에 의해 검출된 상기 사람의 얼굴로부터 눈을 검출하는 눈 검출 처리를 행하고; 상기 눈 검출 처리에 의해 검출된 상기 눈 각각의 깜박임 정도(blink degrees)를 검출하는 깜박임 검출 처리를 행하고; 상기 깜박임 검출 처리에 의해 검출된 상기 깜박임 정도에 기초하여, 상기 사람의 얼굴 상태(status)를 평가하고; 상기 평가에 기초하여, 상기 복수의 촬상 화상 중에서 기록 매체에 기록되는 적어도 하나의 촬상 화상을 특정(select)하는 화상 선택 방법이 제공된다.

도 1은 본 발명을 적용한 일실시예의 촬상 장치의 개략적인 구성을 나타낸 블록도이다.
도 2는 도 1의 촬상 장치에 의한 화상 선택 처리에 관한 동작의 일례를 나타낸 흐름도이다.
도 3은 도 2의 화상 선택 처리의 계속을 나타내는 흐름도이다.
도 4는 도 2의 화상 선택 처리에 있어서의 깜박임 검출 처리에 관한 동작의 일례를 나타낸 흐름도이다.
도 5는 도 4의 깜박임 검출 처리에 관한 피사체의 눈의 화상 부분을 모식적으로 나타낸 도면이다.
도 6은 변형예의 촬상 장치의 개략적인 구성을 나타낸 블록도이다.
도 7은 도 6의 촬상 장치에 의한 화상 선택 처리에 관한 동작의 일례를 나타낸 흐름도이다.

이하, 본 발명에 대해서, 첨부 도면을 사용하여 실시예를 설명한다. 다만, 본 발명의 범위는 도시한 예 및 하기에서 설명하는 것으로 한정되지 않는다.

도 1은, 본 발명을 적용한 일실시예의 촬상 장치(100)의 개략적인 구성을 나타낸 블록도이다.

본 실시예의 촬상 장치(100)는, 연사 촬영에 의해 생성된 복수의 화상 프레임으로부터 사람의 얼굴을 검출하고, 검출된 사람의 얼굴의 눈의 깜박임 평가값을 산출하고, 산출된 깜박임 평가값에 기초하여 사람의 얼굴 상태를 평가하고, 상기 사람의 얼굴 상태의 평가에 기초하여, 복수의 화상 프레임 중에서 기록 매체(13)에 기록되는 하나의 촬상 화상을 특정한다.

구체적으로는, 도 1에 나타낸 바와 같이, 촬상 장치(100)는, 렌즈부(1), 전자 촬상부(2), 촬상 제어부(3), 화상 데이터 생성부(4), 화상 메모리(5), 얼굴 검출부(6), 눈 검출부(7), 웃는 얼굴 검출부(8), 깜박임 검출부(9), 떨림 검출부(10), 화상 특정부(11), 현상부(12), 기록 매체(13), 표시 제어부(14), 표시부(15), 조작 입력부(16), 및 CPU(17)를 구비하고 있다.

또한, 촬상 제어부(3), 얼굴 검출부(6), 눈 검출부(7), 웃는 얼굴 검출부(8), 깜박임 검출부(9), 떨림 검출부(10), 화상 특정부(11), 현상부(12), 및 CPU(17)는, 예를 들면 커스텀 LSI(1A)로서 설계되어 있다.

렌즈부(1)는, 복수의 렌즈로 구성되며, 줌 렌즈나 포커스 렌즈 등을 구비하고 있다.

또한, 렌즈부(1)는, 도시는 생략하지만, 피사체의 촬상 시에, 줌 렌즈를 광축 방향으로 이동시키는 줌 구동부, 포커스 렌즈를 광축 방향으로 이동시키는 초점 구동부 등을 포함하고 있어도 된다.

전자 촬상부(2)는, 예를 들면, CCD(Charge Coupled Device)나 CMOS(Complementary Metal-oxide Semiconductor) 등의 이미지 센서로 구성되며, 렌즈부(1)의 각종 렌즈를 통과한 광학상을 2차원 화상 신호로 변환한다.

촬상 제어부(3)는, 도시는 생략하지만, 타이밍 발생기, 드라이버 등을 구비하고 있다. 그리고, 촬상 제어부(3)는, 타이밍 발생기, 드라이버에 의해 전자 촬상부(2)를 주사 구동하여, 소정 주기마다 광학상을 전자 촬상부(2)에 의해 2차원 화상 신호로 변환시켜, 전자 촬상부(2)의 촬상 영역으로부터 1화면씩 화상 프레임을 판독하여 화상 데이터 생성부(4)에 출력시킨다.

또한, 촬상 제어부(3)는, AF(자동 초점 처리), AE(자동 노출 처리), AWB(자동 화이트 밸런스) 등의 피사체를 촬상할 때의 조건의 조정 제어를 행한다.

이와 같이 구성된 촬상 렌즈부(1), 전자 촬상부(2) 및 촬상 제어부(3)는, 촬상 수단으로서, 피사체를 소정의 프레임레이트(예를 들면, 3fps나 10fps)로 연속적으로 촬상하여 복수장(예를 들면, 20장)의 화상 프레임을 축차 생성하여 취득한다.

화상 데이터 생성부(4)는, 전자 촬상부(2)로부터 전송된 화상 프레임의 아날로그 값의 신호에 대하여 RGB의 각 색 성분마다 적절하게 게인 조정한 후에, 샘플 홀드 회로(도시 생략)에서 샘플 홀드하고 A/D 변환기(도시 생략)에서 디지털 데이터로 변환하여 RAW 화상 데이터를 생성한다. 또한, 화상 데이터 생성부(4)는, RAW 화상 데이터의 휘도 신호를 수평 및 수직 모두 소정 배율로 축소 처리를 행하여 낮은 해상도의 축소 휘도 화상 데이터를 생성한다.

RAW 화상 데이터 및 축소 휘도 화상 데이터는, 도시하지 않은 DMA 컨트롤러를 통하여, 버퍼 메모리로서 사용되는 화상 메모리(5)에 DMA 전송(DMA-transffered)된다.

화상 메모리(5)는, 예를 들면 DRAM 등에 의해 구성되며, 얼굴 검출부(6), 눈 검출부(7), 웃는 얼굴 검출부(8), 깜박임 검출부(9), 떨림 검출부(10), 화상 특정부(11) 및 CPU(17) 등에 의해 처리되는 데이터 등을 일시적으로 기억한다.

얼굴 검출부(6)는, 복수의 화상 프레임 각각의 축소 휘도 화상 데이터로부터 소정의 얼굴 검출 방법을 이용하여 사람의 얼굴을 검출한다. 구체적으로는, 얼굴 검출부(6)는, 화상 메모리(5)에 일시적으로 기억된 축소 휘도 화상 데이터에 기초하여, 각각의 화상 프레임으로부터 얼굴 화상 영역을 검출하고, 검출된 얼굴 화상 영역 내의 화상 정보를 얼굴 프레임(face frame) 정보로서 생성한다. 그리고, 얼굴 검출 처리는, 공지의 기술이므로, 여기서는 상세한 설명을 생략한다.

여기서, 얼굴 검출부(6)는, 복수의 촬상 화상으로부터 사람의 얼굴을 검출하는 얼굴 검출 수단을 구성하고 있다.

또한, 얼굴 검출 처리에 의해 얼굴이 검출되지 않은 화상 프레임에 대해서는, 전후의 화상 프레임 중, 가장 직근(直近)에서 얼굴이 검출된 얼굴 화상 영역의 좌표를 기초로 하여 얼굴이 검출되지 않은 화상 프레임에 의해 얼굴 프레임 정보를 설정한다.

즉, 연사 촬영은 촬상 간격이 극히 단시간이므로, 어느 하나의 화상 프레임으로부터 얼굴이 검출된 경우에는, 그 전후의 화상 프레임에도 사람의 얼굴이 존재하고 있다고 간주할 수 있고, 얼굴이 검출된 화상 프레임의 얼굴 화상 영역의 좌표(예를 들면 직사각형 프레임의 4개의 모서리 좌표)를 이용하여, 얼굴이 검출되지 않은 화상 프레임에 있어서도 얼굴 프레임 정보를 설정한다.

눈 검출부(7)는, 얼굴 검출부(6)에 의해 생성된 각 화상 프레임의 얼굴 프레임 정보에 기초하여, 사람 얼굴의 눈을 검출한다. 구체적으로는, 눈 검출부(7)는, 각 화상 프레임의 얼굴 프레임 정보에 기초하여, 각 화상 프레임의 모든 사람의 좌우 양 눈을 검출하여, 그 중심 좌표를 산출한다. 그리고, 눈 검출 처리는, 공지의 기술이므로, 여기서는 상세한 설명을 생략한다.

여기서, 눈 검출부(7)는, 얼굴 검출부(6)에 의해 검출된 사람의 얼굴로부터 눈을 검출하는 눈 검출 수단을 구성하고 있다.

또한, 눈 검출부(7)는, 신뢰도 산출부(7a) 및 유효성 판정부(7b)를 구비하고있다.

신뢰도 산출부(7a)는, 신뢰도 산출 수단으로서, 눈 검출부(7)에 의한 눈의 검출에 관한 검출 신뢰도를 산출한다. 구체적으로는, 신뢰도 산출부(7a)는, 예를 들면 얼굴 검출 프레임이 부적절한 경우나 얼굴이 옆으로 향한 경우 등에 신뢰도를 저하시키도록 조정된 검출 신뢰도를 산출한다.

유효성 판정부(7b)는, 유효성 판정 수단으로서, 신뢰도 산출부(7a)에 의해 산출된 검출 신뢰도가 소정의 임계값보다 높은지의 여부에 따라, 눈이 검출된 얼굴의 유효성을 판정한다. 그리고, 유효성 판정부(7b)는, 검출 신뢰도가 소정의 임계값 이하인 경우에는, 상기 눈 검출에 관한 얼굴을 NG 판정으로 하여, 눈 검출이 유효하지 않은 얼굴로 함으로써, 그 후의 깜박임 검출 처리(후술)나 웃는 얼굴 검출 처리(후술)에서 이용되지 않도록 한다. 한편, 유효성 판정부(7b)는, 검출 신뢰도가 소정의 임계값보다 큰 경우에는, 상기 눈 검출에 관한 얼굴을 OK 판정으로 하여, 눈 검출이 유효한 얼굴로 함으로써, 그 후의 깜박임 검출 처리나 웃는 얼굴 검출 처리에서 이용한다.

웃는 얼굴 검출부(8)는, 눈 검출부(7)에 의해 검출된 눈의 위치 정보에 기초하여, 상기 눈이 검출된 얼굴의 웃는 얼굴 정도를 검출한다. 구체적으로는, 웃는 얼굴 검출부(8)는, 연속 촬영에 의해 생성된 모든 화상 프레임의 축소 휘도 화상 데이터에 대하여, 유효성 판정부(7b)에 의해 유효한 것으로 판정된 사람의 얼굴의 좌우 양 눈의 좌표 정보에 기초하여, 축소 휘도 화상 내에서 입의 위치를 탐색하여, 구각(口角)(입아귀)이 올라간 정도에 따라 웃는 얼굴값을 산출한다.

여기서, 웃는 얼굴 검출부(8)는, 눈 검출부(7)에 의해 검출된 눈의 위치 정보에 기초하여, 상기 눈이 검출된 얼굴의 웃는 얼굴값(웃는 얼굴 정도)을 검출하는 웃는 얼굴 검출 수단을 구성하고 있다.

깜박임 검출부(9)는, 눈 검출부(7)에 의해 검출된 눈의 깜박임 정도를 검출한다. 구체적으로는, 깜박임 검출부(9)는, 연속 촬영에 의해 생성된 모든 화상 프레임의 축소 휘도 화상 데이터에 대하여, 유효성 판정부(7b)에 의해 유효한 것으로 판정된 사람의 얼굴의 좌우 양 눈의 좌표 정보에 기초하여 축소 휘도 화상 상에 깜박임 검출 윈도우 W[도 5의 (a) 참조]를 설정하여, 상기 윈도우 내의 각 컬럼 C[도 5의 (b) 참조]에 대하여 평가값을 산출하고, 최소 평가값의 보수(補數)를 깜박임 평가값으로서 산출한다.

즉, 깜박임 검출부(9)는, 눈 검출부(7)에 의해 검출된 눈의 개구 정도를 깜박임 평가값으로서 산출하고 있다. 이로써, 깜박임 평가값은, 값이 클수록 눈을 많이 뜨고 있는 것을 나타내는 것으로 한다.

그리고, 깜박임 검출 처리의 구체적인 처리 내용에 대해서는, 후술한다(도 4 참조).

여기서, 깜박임 검출부(9)는, 눈 검출부(7)에 의해 검출된 눈의 깜박임 평가값(깜박임 정도)을 검출하는 깜박임 검출 수단을 구성하고 있다.

또한, 깜박임 검출부(9)는, 검출한 깜박임 평가값을 인접 화상과의 사이에서 평활화하는 평활화부(9a)를 구비하고 있다. 구체적으로는, 평활화부(9a)는, 연사 촬영 시의 촬상 프레임레이트가 소정값(예를 들면, 10fps) 이상인 경우에, 검출한 각 화상 프레임의 깜박임 평가값을 인접하는 전후의 화상 프레임의 깜박임 평가값과의 사이에서 가산 평균하여 평활화한다. 즉, 촬상 프레임레이트(연사 속도)가 소정값 이상인 경우, 인접하는 화상 프레임과의 사이에 상관이 높아지므로, 눈을 완전히 뜬 화상 프레임과 완전히 감은 화상 프레임의 중간에, 눈을 반쯤 뜨고 있는 상태의 화상 프레임이 있는 경우에, 상기 화상 프레임의 깜박임 평가값이 다소 벗어나더라도 중간값이 되기 쉽도록 할 수 있다.

여기서, 평활화부(9a)는, 촬상 프레임레이트가 소정값 이상인 경우에, 검출된 깜박임 평가값(깜박임 정도)을 인접 화상 사이에서 평활화하는 평활화 수단을 구성하고 있다.

또한, 깜박임 검출부(9)는, 웃는 얼굴 검출부(8)에 의해 검출된 웃는 얼굴값에 따라, 검출된 깜박임 평가값을 보정하는 깜박임 보정부(9b)를 구비하고 있다. 구체적으로는, 깜박임 보정부(9b)는, 웃는 얼굴값이 소정의 임계값보다 낮은지의 여부를 판정하고, 상기 판정의 결과, 웃는 얼굴값이 소정의 임계값 이상으로 판정된 경우, 깜박임 평가값을 하기 식에 따라 점수를 가점(加點)한다.

깜박임 평가값 + = k *(웃는 얼굴값 - 임계값)

여기서, k는 소정의 정수이다.

즉, 사람의 얼굴은 일반적으로 웃으면 눈이 가늘어지는 경향이 있으므로, 웃는 얼굴값이 소정의 임계값 이상인 경우, 반쯤 뜨고 있는 상태의 눈이 완전히 뜨고 있다는 정도로 평가되도록 깜박임 평가값을 더욱 적정한 값으로 보정한다.

여기서, 깜박임 보정부(9b)는, 웃는 얼굴 검출부(8)에 의해 검출된 웃는 얼굴값에 따라, 검출된 깜박임 평가값(깜박임 정도)을 보정하는 깜박임 보정 수단을 구성하고 있다.

또한, 깜박임 검출부(9)는, 검출된 각 사람 마다의 깜박임 정도에 기초하여, 상기 사람의 눈이 감겨 있는지의 여부의 판정에 관한 임계값을 산출하는 임계값 산출부(9c)를 구비하고 있다.

여기서, 깜박임 평가값은, 눈의 크기, 속눈썹의 진함 등의 각 사람의 특성에 의존하는 바가 크기 때문에, 임계값 산출부(9c)는 각 사람마다 깜박임 판정용 임계값을 설정한다. 또한, 눈이 감겨 있는 상태를 정확하게 구별 가능한 임계값을 설정하는 것은 어려우므로, 임계값 산출부(9c)는 각 사람마다 상위로부터 일정 비율에 위치하는 깜박임 평가값을 가임계값 Th1으로서 설정하여, 상기 가임계값 Th1 이상이면 깜박임 판정 OK로 판단하도록 구성한다.

그리고, 깜박임 판정용의 임계값은, 눈이 반쯤 뜨여져 있는 상태를 깜박임 판정 OK로 판단하지 않도록 매우 크게 설정하는 것이 바람직하지만, 크게 하여 임계값을 엄격하게 너무 설정하면, 집합 사진과 같이 촬영 인원수가 많은 경우에, 전원이 모두 눈을 뜨고 있다고 판정되는 화상을 선출할 수 없게 될 우려가 있다. 그래서, 임계값 산출부(9c)는, 촬영 인원수에 따라 임계값을 변화시키도록 설정한다. 예를 들면, 눈이 검출된 화상 프레임 중, 소정의 비율(예를 들면, 비율 N)의 화상 프레임이 남도록 각 사람마다 N^(1/인원수)의 비율에 위치하는 상위 평가값을 가임계값 Th1으로서 설정한다. 구체적으로는, 예를 들면, 피사체로서 3명이 화각 내에 들어가 있는 연사 화상에 대하여, 깜박임 검출에 의한 선택에 의해 최종적으로 전체의 2할의 화상을 남기고 싶은 경우, 각 사람마다 0.2^(1/3) ≒ 0.58로, 상위로부터 약 6할에 위치하는 깜박임 평가값을 깜박임 판정 OK로 판단하는 가임계값 Th1으로서 설정한다.

또한, 임계값이 대상인의 깜박임 평가값의 최대값에 너무 가까운 경우나 너무 먼 경우에는, 임계값으로서 부적절하다고 생각되므로, 임계값 산출부(9c)는, 깜박임 평가값의 최대값을 기준으로 하여, 소정의 지정값에 의해 가임계값 Th1의 상한값 및 하한값의 클립 처리를 하기 식에 따라 행함으로써 깜박임 판정용의 본임계값 Th2를 산출한다.

If(Th1 > Bmax - Ofst1) Th2 = Bmax - Ofst1;

else if(Th1 < Bmax + Ofst2) Th2 = Bmax + Ofst2;

else Th2 = Th1;

여기서, Bmax는, 각 사람마다의 깜박임 평가값의 최대값이며, Ofst1은 상한 클립 오프셋이며, Ofst2는 하한 클립 오프셋이며, Th1은 깜박임 판정용 가임계값이며, Th2는 깜박임 판정용 본임계값이다.

이와 같이, 임계값 산출부(9c)는, 검출된 각 사람마다의 깜박임 평가값(깜박임 정도)에 기초하여, 상기 사람의 눈이 뜨여져 있는지의 여부의 판정에 관한 본 임계값 Th2를 산출하는 임계값 산출 수단을 구성하고 있다.

또한, 깜박임 검출부(9)는, 연사 촬영에 의해 생성된 복수의 화상 프레임의 축소 휘도 화상 데이터에 대하여 각 사람의 눈이 뜨여져 있는지의 여부를 판정하는 깜박임 판정부(9d)를 구비하고 있다. 구체적으로는, 깜박임 판정부(9d)는, 임계값 산출부(9c)에 의해 산출된 깜박임 판정용의 본임계값 Th2와 각 화상 프레임의 각 사람의 깜박임 평가값을 비교하여, 상기 깜박임 평가값이 본 임계값 Th2 이상인지의 여부를 판정하고, 상기 판정의 결과, 깜박임 평가값이 본 임계값 Th2 이상으로 판정된 경우, 깜박임 판정 OK(눈이 뜨여져 있다)로 판단하고, 한편, 깜박임 평가값이 본 임계값 Th2보다 작다고 판정된 경우, 깜박임 판정 NG(눈이 감겨 있다)로 판단한다.

여기서, 깜박임 판정부(9d)는, 임계값 산출부(9c)에 의해 산출된 깜박임 판정용의 본 임계값 Th2에 기초하여, 연사 촬영에 의해 생성된 복수의 화상 프레임에 대하여 각 사람의 눈이 뜨여져 있는지의 여부를 판정하는 깜박임 판정 수단을 구성하고 있다.

떨림 검출부(10)는, 연사 촬영에 의해 생성된 복수의 화상 프레임 각각에 대하여 인접하는 화상 프레임에 대한 떨림 평가값(떨림량)을 검출한다. 구체적으로는, 떨림 검출부(10)는, 연사 촬영에 의해 생성된 복수의 화상 프레임의 축소 휘도 화상 데이터로부터 얼굴 검출 처리에 의해 사람의 얼굴이 검출되지 않은 경우나 어느 하나의 화상 프레임으로부터 사람의 얼굴이 검출되었지만 눈 검출이 유효한 얼굴의 수가 0인 경우에, 각 화상 프레임을 소정의 영역으로 블록 분할하여, 각 블록마다 인접하는 화상 프레임의 동일 위치의 블록과의 사이에 차분을 산출하고, 이 차분값이 전체 블록 중 최대인 것을 상기 화상 프레임의 떨림 평가값으로 한다.

여기서, 떨림 검출부(10)는, 얼굴 검출부(6)에 의해 사람의 얼굴이 검출되지 않은 경우에, 연사 촬영에 의해 생성된 복수의 화상 프레임 각각에 대하여 인접하는 화상 프레임에 대한 떨림 평가값(떨림량)을 검출하는 떨림 검출 수단을 구성하고 있다.

화상 특정부(11)는, 깜박임 검출부(9)에 의해 산출된 깜박임 평가값에 기초하여 사람의 얼굴 상태를 평가하고, 상기 평가에 기초하여, 연사 촬영에 의해 생성된 복수의 RAW 화상 데이터 중에서 기록 매체(13)에 기록되는 하나의 촬상 화상을 특정한다. 구체적으로는, 화상 특정부(11)는, 연사 촬영된 복수의 화상 프레임의 축소 휘도 화상 데이터 중 눈을 감고 있는 얼굴 수를 판정하는 화상 판정부(11a)를 구비하고 있다.

화상 판정부(11a)는, 제1 화상 판정 수단으로서, 깜박임 판정부(9d)에 의한 판정 결과에 기초하여, 연사 촬영에 의해 생성된 복수의 화상 프레임의 축소 휘도 화상 데이터 중 눈을 감고 있는 얼굴 수가 최소인 화상 프레임이 복수개 있는지의 여부를 판정한다(제1 판정 처리). 또한, 화상 판정부(11a)는, 제2 화상 판정 수단으로서, 제1 판정 처리에 의해 눈을 감고 있는 얼굴 수가 최소인 화상 프레임이 복수개 있다고 판정한 경우에, 상기 눈을 감고 있는 얼굴 수가 0인지의 여부를 판정한다(제2 판정 처리).

그리고, 화상 특정부(11)는, 화상 판정부(11a)의 판정 결과에 따라 기록 매체(13)에 기록되는 하나의 촬상 화상을 특정한다. 즉, 화상 특정부(11)는, 제1 판정 처리에서 눈을 감고 있는 얼굴 수가 최소인 화상 프레임이 복수가 아니라고 판정된 경우에, 상기 화상 프레임에 관한 RAW 화상 데이터를 기록 매체(13)에 기록되는 하나의 촬상 화상으로서 특정한다.

또한, 화상 특정부(11)는, 제2 판정 처리에서 눈을 감고 있는 얼굴 수가 0으로 판정된 경우에, 복수개 있는 눈을 감고 있는 얼굴 수가 최소인 화상 프레임 중, 깜박임 검출부(9)에 의해 검출된 각 사람마다의 깜박임 평가값에 기초하여 상기 깜박임 평가값이 가장 높은 하나의 화상 프레임을 특정하여, 상기 화상 프레임에 관한 RAW 화상 데이터를 기록 매체(13)에 기록되는 하나의 촬상 화상으로서 특정한다. 한편, 화상 특정부(11)는, 제2 판정 처리에서 눈을 감고 있는 얼굴 수가 0이 아니라고 판정된 경우에, 복수개 있는 눈을 감고 있는 얼굴 수가 최소인 화상 프레임 중, 웃는 얼굴 검출부(8)에 의해 검출된 웃는 얼굴값에 기초하여 상기 웃는 얼굴값이 가장 높은 하나의 화상 프레임을 특정하여, 상기 화상 프레임에 관한 RAW 화상 데이터를 기록 매체(13)에 기록되는 하나의 촬상 화상으로서 특정한다.

또한, 화상 특정부(11)는, 전체 화상 프레임으로부터 얼굴 검출부(6)에 의해 사람의 얼굴이 검출되지 않은 경우나 어느 화상 프레임으로부터 사람의 얼굴이 검출되었지만 눈 검출이 유효한 얼굴 수가 0인 경우에, 떨림 검출부(10)에 의해 검출된 떨림 평가값이 최소인 화상 프레임에 관한 RAW 화상 데이터를 기록 매체(13)에 기록되는 하나의 촬상 화상으로서 특정한다.

이와 같이, 화상 특정부(11)는, 깜박임 검출부(9)에 의해 산출된 깜박임 평가값(깜박임 정도)에 기초하여, 사람의 얼굴 상태를 평가하는 평가 수단을 구성하고 있다. 또한, 화상 특정부(11)는, 사람의 얼굴 상태의 평가에 따라 연사 촬영에 의해 생성된 복수의 RAW 화상 데이터 중에서 기록 매체(13)에 기록되는 적어도 하나의 촬상 화상을 특정하는 특정 수단을 구성하고 있다.

현상부(12)는, 화상 특정부(11)에 의해 특정된 RAW 화상 데이터에 대하여 컬러 프로세스 회로(도시 생략)에서 화소 보간 처리 및 γ(감마) 보정 처리 등을 포함하는 컬러 프로세스 처리를 행한 후, 디지털 값의 휘도 신호 Y 및 색차 신호 Cb 및 Cr(YUV 데이터)을 생성한다.

기록 매체(13)는, 예를 들면, 불휘발성 메모리(플래시 메모리) 등에 의해 구성되며, 현상부(12)의 JPEG 압축부(도시 생략)에 의해 부호화된 촬상 화상의 기록용 화상 데이터를 기억 보존한다.

표시 제어부(14)는, 화상 메모리(5)에 일시적으로 기억되어 있는 표시용 화상 데이터를 판독하여 표시부(15)에 표시하게 하는 제어를 행한다.

구체적으로는, 표시 제어부(14)는, VRAM, VRAM 컨트롤러, 디지털 비디오 인코더 등을 구비하고 있다. 그리고, 디지털 비디오 인코더는, CPU(17)의 제어하에 화상 메모리(5)로부터 판독되어 VRAM(도시 생략)에 기억되어 있는 휘도 신호 Y 및 색차 신호 Cb, Cr을, VRAM 컨트롤러를 통하여 VRAM으로부터 정기적으로 판독하여, 이들 데이터를 기초로 하여 비디오 신호를 발생하여 표시부(15)에 출력한다.

표시부(15)는, 예를 들면, 액정 표시 장치이며, 표시 제어부(14)로부터의 비디오 신호에 기초하여 전자 촬상부(2)에 의해 촬상된 화상 등을 표시 화면에 표시한다. 구체적으로는, 표시부(15)는, 촬상 모드에 의해, 촬상 렌즈부(1), 전자 촬상부(2) 및 촬상 제어부(3)에 의한 피사체의 촬상에 의해 생성된 복수의 화상 프레임에 기초하여 라이브 뷰 화상을 표시하거나, 본 촬상 화상으로서 촬상된 레코딩 뷰 화상을 표시한다.

조작 입력부(16)는, 촬상 장치(100)의 소정 조작을 행하기 위한 것이다. 구체적으로는, 조작 입력부(16)는, 피사체의 촬영 지시에 관한 셔터 버튼(16a), 촬상 모드의 선택 지시에 관한 모드 버튼(16b), 줌량의 조정 지시에 관한 줌 버튼(도시 생략) 등을 구비하고, 이들 버튼의 조작에 따라 소정의 조작 신호를 CPU(17)에 출력한다.

CPU(17)는, 촬상 장치(100)의 각 부를 제어한다. 구체적으로는, CPU(17)는, 촬상 장치(100)용의 각종 처리 프로그램(도시 생략)에 따라 각종 제어 동작을 행한다.

다음으로, 촬상 장치(100)에 의한 화상 선택 방법에 관한 화상 선택 처리에 대하여, 도 2～도 5를 참조하여 설명한다.

도 2 및 도 3은, 화상 선택 처리에 관한 동작의 일례를 나타낸 흐름도이다. 또한, 도 4는, 화상 선택 처리에 있어서의 깜박임 검출 처리에 관한 동작의 일례를 나타낸 흐름도이다. 또한, 도 5의 (a)는, 깜박임 검출 윈도우 W와 피사체의 좌우 양 눈의 화상 부분을 모식적으로 나타낸 도면이며, 도 5의 (b)는, 깜박임 검출 윈도우 W를 확대하여 모식적으로 나타낸 도면이다.

화상 선택 처리는, 사용자에 의한 조작 입력부(16)의 모드 버튼(16b)의 소정 조작에 기초하여, 메뉴 화면에 표시된 복수의 촬상 모드 중에서 화상 자동 선택 모드가 선택 지시된 경우에 실행되는 처리이다.

도 2에 나타낸 바와 같이, 먼저, CPU(17)는, 사용자에 의한 조작 입력부(16)의 셔터 버튼(16a)의 소정 조작에 기초하여 연사 촬상 지시가 입력되면, 촬상 제어부(3)에, 포커스 렌즈의 초점 위치나 노출 조건(셔터 속도, 조리개, 증폭률 등)이나 화이트 밸런스 등의 촬상 조건을 조정시켜서, 피사체의 광학상을 전자 촬상부(2)에 의해 소정의 촬상 프레임레이트(예를 들면, 10fps)로 연속적으로 소정 장수(예를 들면, 20장)만큼 촬상시키는 연사 촬영을 행하게 한다(단계 S1). 그리고, CPU(17)는, 화상 데이터 생성부(4)에, 전자 촬상부(2)로부터 전송된 피사체의 각 화상 프레임의 RAW 화상 데이터 및 축소 휘도 화상 데이터를 생성시키고, 이들 화상 데이터를 화상 메모리(5)에 일시적으로 기억시킨다(단계 S2).

그리고, CPU(17)는, 얼굴 검출부(6)에, 각 화상 프레임의 축소 휘도 화상 데이터로부터 소정의 얼굴 검출 방법을 이용하여 사람의 얼굴을 검출시키고, 검출된 얼굴 화상 영역 내의 화상 정보를 얼굴 프레임 정보로서 생성시킨다(단계 S3).

이어서, CPU(17)는, 얼굴 검출 처리에 의해 검출된 얼굴 검출수가 0(제로)인지의 여부, 즉 모든 화상 프레임으로부터 얼굴 검출되었는지의 여부를 판정한다(단계 S4). 여기서, 얼굴 검출수가 0가 아니라고 판정되면(단계 S4; NO), CPU(17)는, 각 화상 프레임으로부터 검출된 얼굴 프레임 정보에 기초하여, 사람 얼굴 각각에 대하여 사람 ID를 할당하는 처리를 행한다(단계 S5). 여기서, 사람 ID의 할당은, 인접하는 화상 프레임의 얼굴 프레임 정보끼리에서, 각각의 얼굴 프레임의 중심의 거리가 어느 하나의 얼굴 프레임의 크기(예를 들면, 가로 폭이나 세로 폭)에 대하여 소정 비율(예를 들면, 5할 정도) 이내이면, 그 얼굴 프레임는 동일인으로 판단하여 행한다. 여기서, CPU(17)는, 얼굴 검출 처리에 의해 얼굴이 검출되지 않은 화상 프레임에 대해서는, 전후의 화상 프레임 중, 가장 직근에서 얼굴이 검출된 얼굴 화상 영역을 취득하여, 상기 얼굴 화상 영역의 좌표를 기초로 하여 상기 얼굴이 검출되지 않은 화상 프레임에서 얼굴 프레임 정보를 설정함으로써, 모든 화상 프레임에 대하여 사람 ID를 설정한다.

다음으로, CPU(17)는, 눈 검출부(7)에, 얼굴 검출부(6)에 의해 생성된 각 화상 프레임의 얼굴 프레임 정보에 기초하여, 사람의 좌우 양 눈을 검출시키고, 그 중심 좌표를 산출시키며, 눈 검출부(7)의 신뢰도 산출부(7a)에, 상기 눈 검출에 대한 검출 신뢰도를 산출시킨다(단계 S6).

이어서, CPU(17)는, 눈 검출부(7)의 유효성 판정부(7b)에, 신뢰도 산출부(7a)에 의해 산출된 검출 신뢰도가 소정의 임계값보다 높은지의 여부에 따라 상기 신뢰도에 관련된 눈이 검출된 얼굴의 유효성을 판정시킨다(단계 S7). 구체적으로는, 유효성 판정부(7b)는, 검출 신뢰도가 소정의 임계값 이하인 경우에는, 상기 눈 검출에 관한 얼굴을 NG 판정으로 하고, 눈 검출이 유효하지 않은 얼굴로 하는 한편, 검출 신뢰도가 소정의 임계값보다 큰 경우에는, 상기 눈 검출에 관한 얼굴을 OK 판정으로 하여, 눈 검출이 유효한 얼굴로 한다.

이어서, CPU(17)는, 유효성 판정부(7b)의 판정 결과에 기초하여, 눈 검출이 유효한 얼굴 수(눈 검출 유효 얼굴 수)가 0(제로)인지의 여부를 판정한다(단계 S8).

여기서, 눈 검출 유효 얼굴 수가 0로 판정되면(단계 S8; YES), CPU(17)는, 떨림 검출부(10)에, 복수의 화상 프레임 각각을 소정의 영역으로 블록 분할하여, 각 블록마다 인접하는 화상 프레임의 동일 위치의 블록과의 사이에서 차분값을 산출하고, 이 차분값이 전체 블록 중 최대인 것을 상기 화상 프레임의 평가값으로 하는 떨림 검출 처리를 행하게 한다(단계 S9). 또한, 단계 S4에서, 얼굴 검출수가 0로 판정된 경우에도(단계 S4; YES), CPU(17)는, 처리를 단계 S9로 이행시켜서, 떨림 검출 처리를 떨림 검출부(10)에 행하게 한다.

그 후, CPU(17)는, 떨림 검출부(10)에 의해 검출된 떨림 평가값이 최소인 화상 프레임에 관한 RAW 화상 데이터를 화상 특정부(11)에 특정시킨 후(단계 S10), 화상 특정부(11)에 의해 특정된 RAW 화상 데이터의 현상 처리를 현상부(12)에 행하게 하여, 상기 화상 데이터를 JPEG 형식으로 부호화하여 기록 매체(13)에 보존시킨다(단계 S11).

한편, 단계 S8에서, 눈 검출 유효 얼굴 수가 0가 아니라고 판정되면(단계 S8; NO), CPU(17)는, 깜박임 검출부(9)에 깜박임 검출 처리를 실행시킨다(단계 S12).

여기서, 깜박임 검출 처리에 대하여 도 4 및 도 5의 (a) 및 도 5의 (b)를 참조하여 상세하게 설명한다.

도 4에 나타낸 바와 같이, 깜박임 검출부(9)는, 유효성 판정부(7b)에 의해 유효한 것으로 판정된 사람의 얼굴의 좌우 양 눈의 좌표 정보에 기초하여 각 사람의 좌우 양 눈의 평균 거리 De를 산출한다(단계 S31).

이어서, 깜박임 검출부(9)는, 전체 화상 프레임의 축소 휘도 화상 데이터에 기초하여, 각 축소 휘도 화상 상에 깜박임 검출 윈도우 W[도 5의 (a) 참조]를 설정한다(단계 S32). 여기서, 깜박임 검출 윈도우 W의 크기 Wlen은, 하기 식에 따라 양 눈의 평균 거리 De에 대하여 소정의 비율이 되도록 계수 Wratio를 곱함으로써 결정한다.

Wlen = De*Wratio

그리고, 깜박임 검출 윈도우 W의 중심 위치는, 눈 검출로 얻어진 양 눈의 좌표값으로 설정한다.

다음으로, 깜박임 검출부(9)는, 설정된 깜박임 검출 윈도우 W를 좌우 방향(X축 방향)으로 소정 간격으로 분할하는 각 컬럼 C[도 5의 (b) 참조]에 대하여 평가값을 산출한다(단계 S33). 구체적으로는, 깜박임 검출부(9)는, 각 컬럼 C에 대하여, 상하 방향(Y축 방향)의 화소값을 휘도가 낮은 차례로 소팅(sorting)하여, 상위로부터 일정 비율의 화소값을 평균한 값을 각 컬럼 C의 평가값으로서 산출한다. 이로써, 눈을 깜박여서 검은자위 영역이 줄어들거나, 광의 반사로 검은자위의 중앙에 가까운 장소에 흰 영역이 나오거나, 얼굴의 떨림에 의해 검은자위가 흐릿한 경우라도, 검은자위의 상하 방향으로 긴 곳에서 평가값이 높아지기 때문에, 가장 긴 곳의 검은자위의 값을 취득할 수 있다.

이어서, 깜박임 검출부(9)는, 모든 컬럼 C의 평가값의 중에서 최소 평가값을 특정한 후(단계 S34), 눈이 뜨여져 있을 때 평가값이 높아지도록 상기 최소 평가값의 보수를 깜박임 평가값으로서 산출한다(단계 S35).

다음으로, 깜박임 검출부(9)는, 연사 촬영 시의 촬상 프레임레이트가 소정값(예를 들면, 10fps) 이상인지의 여부를 판정한다(단계 S36). 여기서, 촬상 프레임레이트가 소정값 이상으로 판정되면(단계 S36; YES), 깜박임 검출부(9)의 평활화부(9a)는, 각 화상 프레임의 깜박임 평가값을 인접하는 전후 화상 프레임의 깜박임 평가값과의 사이에서 가산 평균하여 평활화한다(단계 S37). 이로써, 눈이 완전히 뜨여져 있는 화상 프레임과 완전히 감긴 화상 프레임의 중간에, 눈이 반쯤 뜨여져 있는 상태의 화상 프레임이 있는 경우, 상기 화상 프레임의 깜박임 평가값이 다소 벗어나더라도 중간값이 되기 쉽도록 할 수 있다.

한편, 촬상 프레임레이트가 소정값보다 작은 경우에는(단계 S36; NO), 인접하는 화상 프레임과의 사이에 시간 간격으로 인해 상관이 낮게 되므로, 평활화 처리를 행하지 않고, 단계 S36에서 산출된 깜박임 평가값을 최종 평가값으로 한다.

이로써, 깜박임 검출 처리를 종료한다.

도 3에 나타낸 바와 같이, CPU(17)는, 웃는 얼굴 검출부(8)에, 사람의 얼굴의 좌우 양 눈의 좌표 정보에 기초하여, 축소 휘도 화상 내에서 입의 위치를 탐색하여 구각(입아귀)이 올라간 정도에 따라 웃는 얼굴값을 산출시킨다(단계 S13).

이어서, CPU(17)는, 깜박임 검출부(9)의 깜박임 보정부(9b)에, 웃는 얼굴 검출부(8)에 의해 검출된 웃는 얼굴값이 소정의 임계값 이상인지의 여부를 판정하고, 전술한 판정의 결과, 웃는 얼굴값이 소정의 임계값 이상으로 판정된 경우, 깜박임 평가값을 하기 식에 따라 가점함으로써 상기 깜박임 평가값을 보정시킨다(단계 S14).

깜박임 평가값 + = k*(웃는 얼굴값 - 임계값)

여기서, k는 소정의 정수이다.

다음으로, CPU(17)는, 깜박임 검출부(9)의 임계값 산출부(9c)에, 각 사람마다 상위로부터 일정 비율에 위치하는 깜박임 평가값을 가임계값 Th1으로서 설정시킨다(단계 S15). 구체적으로는, 임계값 산출부(9c)는, 촬영 인원수에 따라 임계값을 변화시키도록, 예를 들면 눈 검출된 화상 프레임 중, 소정의 비율(예를 들면, 비율 N)의 화상 프레임이 남도록 각 사람마다 N^(1/인원수)의 비율에 위치하는 상위 평가값을 가임계값 Th1으로서 설정한다.

이어서, 임계값 산출부(9c)는, 깜박임 평가값의 최대값을 기준으로 하여, 소정의 지정값에 의해 가임계값 Th1의 상한값 및 하한값의 클립 처리를 하기 식에 따라 행함으로써 깜박임 판정용의 본임계값 Th2를 산출한다(단계 S16).

If(Th1 >Bmax - Ofst1) Th2 = Bmax - Ofst1;

else if(Th1< Bmax + Ofst2) Th2 = Bmax + Ofst2;

else Th2 = Th1;

여기서, Bmax는, 각 사람마다의 깜박임 평가값의 최대값이며, Ofst1는, 상한 클립 오프셋이며, Ofst2는, 하한 클립 오프셋이며, Th1은, 깜박임 판정용의 가임계값이며, Th2는, 깜박임 판정용의 본임계값이다.

다음으로, CPU(17)는, 깜박임 검출부(9)의 깜박임 판정부(9d)에, 임계값 산출부(9c)에 의해 산출된 깜박임 판정용의 본 임계값 Th2와 각 화상 프레임의 각 사람의 깜박임 평가값을 비교하여, 상기 깜박임 평가값이 본 임계값 Th2 이상인지의 여부를 판정한다(단계 S17). 이 판정에 의해, 깜박임 평가값이 본 임계값 Th2 이상으로 판정된 경우, 깜박임 판정 OK(눈이 뜨여져 있다)로 판단하고, 한편, 깜박임 평가값이 본 임계값 Th2보다 작다고 판정된 경우, 깜박임 판정 NG(눈이 감겨 있다)로 판단한다.

이어서, CPU(17)는, 화상 특정부(11)에, 연사 촬영에 의해 생성된 복수의 화상 프레임의 축소 휘도 화상 데이터 중 눈을 감고 있는 얼굴 수가 최소인 화상 프레임을 특정시킨다(단계 S18).

다음으로, CPU(17)는, 화상 특정부(11)의 화상 판정부(11a)에, 눈을 감고 있는 얼굴 수가 최소인 화상 프레임이 복수개 있는지의 여부를 판정시킨다(단계 S19). 여기서, 눈을 감고 있는 얼굴 수가 최소인 화상 프레임이 복수가 아니라고 판정되면(단계 S19; NO), CPU(17)는, 상기 화상 프레임에 관한 RAW 화상 데이터를 기록 매체(13)에 기록되는 하나의 촬상 화상으로서 화상 특정부(11)에 특정한다(단계 S20).

그 후, CPU(17)는, 처리를 단계 S11(도 2 참조)로 이행시켜, 화상 특정부(11)에 의해 특정된 눈을 감고 있는 얼굴 수가 최소인 화상 프레임에 관한 RAW 화상 데이터의 현상 처리를 현상부(12)에 행하게 하여, 상기 화상 데이터를 JPEG 형식으로 부호화하여 기록 매체(13)에 보존시킨다(단계 S11).

한편, 단계 S19에서, 눈을 감고 있는 얼굴 수가 최소인 화상 프레임이 복수개 있다고 판정되면(단계 S19; YES), CPU(17)는, 화상 판정부(11a)에, 상기 눈을 감고 있는 얼굴 수가 0인지의 여부를 판정시킨다(단계 S21).

여기서, 눈을 감고 있는 얼굴 수가 0인 것으로 판정되면(단계 S21; YES), CPU(17)는, 복수개 있는 눈을 감고 있는 얼굴 수가 최소인 화상 프레임 중, 깜박임 검출부(9)에 의해 검출된 각 사람마다의 깜박임 평가값에 기초하여 상기 깜박임 평가값이 가장 높은 하나의 화상 프레임을 특정시켜, 상기 화상 프레임에 관한 RAW 화상 데이터를 기록 매체(13)에 기록되는 하나의 촬상 화상으로서 화상 특정부(11)에 특정시킨다(단계 S22).

그 후, CPU(17)는, 처리를 단계 S11(도 2 참조)로 이행시켜, 화상 특정부(11)에 의해 특정된 깜박임 평가값이 가장 높은 RAW 화상 데이터의 현상 처리를 현상부(12)에 행하게 하여, 상기 화상 데이터를 JPEG 형식으로 부호화하여 기록 매체(13)에 보존시킨다(단계 S11).

또한, 단계 S21에서, 눈을 감고 있는 얼굴 수가 0이 아니라고 판정되면(단계 S21; NO), CPU(17)는, 복수개 있는 눈을 감고 있는 얼굴 수가 최소인 화상 프레임 중, 웃는 얼굴 검출부(8)에 의해 검출된 웃는 얼굴값에 기초하여 상기 웃는 얼굴값이 가장 높은 하나의 화상 프레임을 화상 특정부(11)에 특정시켜, 상기 화상 프레임에 관한 RAW 화상 데이터를 기록 매체(13)에 기록되는 하나의 촬상 화상으로서 화상 특정부(11)에 특정시킨다(단계 S23).

그 후, CPU(17)는, 처리를 단계 S11(도 2 참조)로 이행시켜, 화상 특정부(11)에 의해 특정된 웃는 얼굴값이 가장 높은 RAW 화상 데이터의 현상 처리를 현상부(12)에 행하게 하여, 상기 화상 데이터를 JPEG 형식으로 부호화하여 기록 매체(13)에 보존시킨다(단계 S11).

이상과 같이, 본 실시예의 촬상 장치(100)에 의하면, 얼굴 검출부(6)가 연사 촬영에 의해 생성된 복수의 화상 프레임으로부터 사람의 얼굴을 검출하여, 눈 검출부(7)가 검출된 사람의 얼굴로부터 눈을 검출하여, 깜박임 검출부(9)가 검출된 눈의 깜박임 평가값을 산출하고, 화상 특정부(11)가, 깜박임 평가값에 기초하여 사람의 얼굴 상태를 평가하고, 상기 사람의 얼굴 상태의 평가에 기초하여, 복수의 화상 프레임 중에서 기록 매체(13)에 기록되는 하나의 촬상 화상을 특정한다.

구체적으로는, 얼굴 검출부(6)에 의해 생성된 얼굴 프레임 정보에 기초하여 눈 검출부(7)에 의해 사람의 얼굴의 눈을 각 사람마다 검출하여, 화상 특정부(11)는, 눈의 검출 신뢰도가 소정의 임계값보다 크며 눈이 검출된 얼굴이 유효한 것으로 판정된 사람의 얼굴 상태를 각 사람마다 판단한다. 또한, 눈의 깜박임 평가값을 각 사람마다 깜박임 검출부(9)에 의해 검출하여, 화상 특정부(11)는, 눈의 위치 정보에 기초하여 검출된 상기 얼굴의 웃는 얼굴값에 따라 보정된 깜박임 평가값에 따라 각 사람마다의 얼굴 상태를 판단한다.

이로써, 깜박임 정도나 웃는 얼굴 정도 등의 사람의 얼굴 상태를 각 사람마다 종합적으로 판단하여 기록 매체(13)에 기록되는 화상의 선택을 적정하게 행할 수 있고, 연사 가능 장수가 증가해도 하나의 화상의 선택을 간편하게 행할 수 있다.

또한, 깜박임 검출 처리에 있어서는, 각 사람마다의 깜박임 평가값에 기초하여, 상기 사람의 눈이 뜨여져 있는지의 여부의 판정에 관한 본 임계값 Th2를 산출하여, 상기 깜박임 판정용의 본임계값 Th2에 기초하여, 복수의 화상 프레임에 대하여 각 사람의 눈이 뜨여있는지의 여부를 판정하므로, 각 사람마다 상이한 눈의 크기(size)나 가늠(thinness)이나 눈이 뜨는 경향 등을 고려하여 검출한 깜박임 평가값으로부터 깜박임 판정용의 본임계값 Th2를 설정하여, 상기 본 임계값 Th2에 기초하여 복수의 화상 프레임에 대하여 각 사람의 눈이 뜨여져 있는지의 여부를 적정하게 판정할 수 있다.

또한, 복수의 화상 프레임 중 눈을 감고 있는 얼굴 수가 최소인 화상 프레임이 복수개 있는지의 여부를 판정하여, 눈을 감고 있는 얼굴 수가 최소인 화상 프레임이 복수개가 아닌, 즉 한 장인 것으로 판정된 경우에, 화상 특정부(11)는, 상기 화상 프레임에 관한 RAW 화상 데이터를 기록 매체(13)에 기록되는 하나의 촬상 화상으로서 특정하므로, 모든 사람이 눈을 감고 있지 않은 화상을 확실하게 선택할 수 있다.

또한, 눈을 감고 있는 얼굴 수가 최소인 화상 프레임이 복수개 있다고 판정된 경우에는, 상기 눈을 감고 있는 얼굴 수가 0인지의 여부를 판정하고, 눈을 감고 있는 얼굴 수가 0인 것으로 판정된 경우에, 화상 특정부(11)는, 복수개 있는 눈을 감고 있는 얼굴 수가 최소인 화상 프레임 중, 깜박임 검출부(9)에 의해 검출된 각 사람마다의 깜박임 평가값에 기초하여 상기 깜박임 평가값이 가장 높은 하나의 화상 프레임을 특정하여, 상기 화상 프레임에 관한 RAW 화상 데이터를 기록 매체(13)에 기록되는 하나의 촬상 화상으로서 특정하므로, 깜박임 평가값이 가장 높은 화상을 확실하게 선택할 수 있다. 한편, 눈을 감고 있는 얼굴 수가 0가 아니라고 판정된 경우에, 화상 특정부(11)는, 복수개 있는 눈을 감고 있는 얼굴 수가 최소인 화상 프레임 중, 웃는 얼굴 검출부(8)에 의해 검출된 웃는 얼굴값에 기초하여 상기 웃는 얼굴값이 가장 높은 하나의 화상 프레임을 특정하여, 상기 화상 프레임에 관한 RAW 화상 데이터를 기록 매체(13)에 기록되는 하나의 촬상 화상으로서 특정하므로, 눈을 감고 있는 사람이 있는 경우에도 웃는 얼굴값이 가장 높은 화상을 확실하게 선택할 수 있다.

또한, 모든 화상 프레임으로부터 얼굴 검출부(6)에 의해 사람의 얼굴이 검출되지 않은 경우나 어느 하나의 화상 프레임으로부터 사람의 얼굴이 검출되었지만 눈 검출이 유효한 얼굴 수가 0인 경우에, 화상 특정부(11)는, 떨림 검출부(10)에 의해 검출된 떨림 평가값이 최소인 화상 프레임에 관한 RAW 화상 데이터를 기록 매체(13)에 기록되는 하나의 촬상 화상으로서 특정하므로, 가장 떨림량의 작은 화상을 확실하게 선택할 수 있다.

이로써, 깜박임 정도나 웃는 얼굴 정도 등의 사람의 얼굴 상태뿐만 아니라, 피사체의 떨림이나 손떨림 화상의 떨림 등도 종합적으로 판단하여 기록 매체(13)에 기록되는 화상의 선택을 적정하게, 또한 간편하게 행할 수 있다.

이하에서, 촬상 장치(100)의 변형예에 대하여 설명한다.

<변형예>

본 변형예의 촬상 장치(100)는, 눈 검출이 유효한 화상 프레임 각각에 대하여 인접하는 화상에 대한 떨림량을 검출하여, 각 화상 프레임의 떨림량이 소정값보다 작은 촬상 화상의 수가 복수개인지의 여부에 따라, 깜박임 검출 처리를 행하거나, 또는 떨림량이 최소인 화상 프레임을 기록 매체(13)에 기록되는 하나의 촬상 화상으로서 특정한다.

도 6은, 변형예의 촬상 장치(100)의 개략적인 구성을 나타낸 블록도이다.

도 6에 나타낸 바와 같이, 본 변형예의 촬상 장치(100)의 떨림 검출부(10)는, 검출된 각 화상 프레임의 떨림량을 얼굴의 위치에 대한 떨림의 위치에 따라 보정하는 떨림 보정부(10a)를 구비하고 있다.

구체적으로는, 떨림 검출부(10)는, 어느 하나의 화상 프레임으로부터 사람의 얼굴이 검출되었지만 눈 검출이 유효한 얼굴 수가 0가 아닌 경우에, 각 화상 프레임에 대하여 인접하는 화상 프레임과의 동일 위치의 블록 사이에서 차분값을 산출하고, 이 차분값이 전체 블록 중 최대의 것을 상기 화상 프레임의 떨림 평가값(떨림량)으로 하지만, 이 때, 떨림 보정부(10a)는, 상기 차분값이 최대의 블록의 위치가 얼굴이 존재하는 블록에 대한 위치로부터 이격됨에 따라 떨림 평가값이 낮아지도록 보정한다.

여기서, 떨림 보정부(10a)는, 떨림 검출부(10)에 의해 검출된 각 화상 프레임의 떨림 평가값(떨림량)을 얼굴의 위치에 대한 떨림의 위치에 따라 보정하는 떨림 보정 수단을 구성하고 있다.

또한, 화상 특정부(11)의 화상 판정부(11a)는, 제3 화상 판정 수단으로서, 어느 하나의 화상 프레임으로부터 사람의 얼굴이 검출되었지만 눈 검출이 유효한 얼굴 수가 0가 아닌 경우에, 각 화상 프레임의 떨림 평가값이 소정의 떨림 검출 임계값보다 작은 화상 프레임이 복수개 있는지의 여부를 판정한다.

그리고, 화상 특정부(11)는, 떨림 평가값이 소정의 떨림 검출 임계값보다 작은 화상 프레임이 복수개가 아닌 것으로 판정된 경우에, 떨림 검출부(10)에 의해 검출된 떨림 평가값이 최소인 화상 프레임에 관한 RAW 화상 데이터를 기록 매체(13)에 기록되는 하나의 촬상 화상으로서 특정한다.

다음으로, 변형예의 촬상 장치(100)에 의한 화상 선택 처리에 대하여, 도 7을 참조하여 설명한다.

도 7은, 화상 선택 처리에 관한 동작의 일례를 나타낸 흐름도이다. 그리고, 도 7의 깜박임 검출 처리(단계 S12) 이후의 처리는, 도 3에 나타낸 화상 선택 처리의 계속을 나타내는 흐름도에 나타낸 처리와 동일하며, 그 상세한 설명은 생략한다.

도 7에 나타낸 바와 같이, CPU(17)는, 상기 실시예와 마찬가지로, 사용자에 의한 조작 입력부(16)의 셔터 버튼(16a)의 소정 조작에 기초하여 연사 촬상 지시가 입력되면, 촬상 제어부(3)에 소정의 촬상 조건을 조정시켜, 피사체의 광학상을 전자 촬상부(2)에 의해 소정의 촬상 프레임레이트로 연속적으로 소정 장수 촬상시키는 연사 촬영을 행하게 한다(단계 S1). 그리고, CPU(17)는, 상기 실시예와 마찬가지로, 화상 데이터 생성부(4)에, 전자 촬상부(2)로부터 전송된 피사체의 각 화상 프레임의 RAW 화상 데이터 및 축소 휘도 화상 데이터를 생성시켜, 이들 화상 데이터를 화상 메모리(5)에 일시적으로 기억시킨다(단계 S2).

그리고, CPU(17)는, 상기 실시예와 마찬가지로, 얼굴 검출부(6)에, 각 화상 프레임의 축소 휘도 화상 데이터로부터 사람의 얼굴을 검출시켜, 검출된 얼굴 화상 영역 내의 화상 정보를 얼굴 프레임 정보로서 생성시킨다(단계 S3).

이어서, CPU(17)는, 상기 실시예와 마찬가지로, 얼굴 검출 처리에 의해 검출된 얼굴 검출 수가 0(제로)인지의 여부를 판정한다(단계 S4). 여기서, 얼굴 검출수가 0가 아니라고 판정되면(단계 S4; NO), CPU(17)는, 상기 실시예와 마찬가지로, 각 화상 프레임으로부터 검출된 얼굴 프레임 정보에 기초하여, 사람의 얼굴 각각에 대하여 사람 ID를 할당한 후(단계 S5), 눈 검출부(7)에, 얼굴 검출부(6)에 의해 생성된 각 화상 프레임의 얼굴 프레임 정보에 기초하여, 사람의 좌우 양 눈을 검출시키고, 그 좌표를 산출시킨다(단계 S6).

이어서, CPU(17)는, 상기 실시예와 마찬가지로, 눈 검출부(7)의 유효성 판정부(7b)에, 눈이 검출된 얼굴의 유효성을 판정시킨 후(단계 S7), 유효성 판정부(7b)의 판정 결과에 기초하여, 눈 검출이 유효한 얼굴 수(눈 검출 유효 얼굴 수)가 0(제로)인지의 여부를 판정한다(단계 S8).

단계 S8에서, 눈 검출 유효 얼굴 수가 0가 아니라고 판정되면(단계 S8; NO), CPU(17)는, 떨림 검출부(10)에, 눈 검출이 유효한 얼굴에 관한 화상 프레임 각각을 소정의 영역으로 블록 분할하여, 각 블록마다 인접하는 화상 프레임의 동일 위치의 블록과의 사이에 차분값을 산출하고, 이 차분값이 전체 블록 중 최대의 것을 상기 화상 프레임의 평가값으로 하는 떨림 검출 처리를 행하게 한다(단계 S41). 이 때, 떨림 검출부(10)의 떨림 보정부(10a)는, 차분값이 최대의 블록의 위치가 얼굴이 존재하는 블록에 대한 위치로부터 이격됨에 따라 떨림 평가값이 낮아지도록 보정한다.

이어서, CPU(17)는, 화상 특정부(11)에, 소정의 떨림 검출 임계값에 기초하여 각 화상 프레임의 떨림 평가값이 떨림 검출 임계값보다 작은 화상 프레임을 판별시킨 후(단계 S42), 상기 소정의 떨림 검출 임계값보다 작은 화상 프레임이 복수개 있는지의 여부를 판정시킨다(단계 S43).

여기서, 소정의 떨림 검출 임계값보다 작은 화상 프레임이 복수개가 아니라고 판정되면(단계 S43; NO), CPU(17)는, 상기 실시예와 마찬가지로, 처리를 단계 S10로 이행시켜, 떨림 검출부(10)에 의해 검출된 떨림 평가값이 최소인 화상 프레임에 관한 RAW 화상 데이터를 화상 특정부(11)에 특정시킨다(단계 S10). 그 후, CPU(17)는, 상기 실시예와 마찬가지로, 화상 특정부(11)에 의해 특정된 RAW 화상 데이터의 현상 처리를 현상부(12)에 행하게 하여, 상기 화상 데이터를 JPEG 형식으로 부호화하여 기록 매체(13)에 보존시킨다(단계 S11).

한편, 떨림 평가값이 소정의 떨림 검출 임계값보다 작은 화상 프레임이 복수개 있다고 판정되면(단계 S43; YES), CPU(17)는, 상기 실시예와 마찬가지로, 깜박임 검출부(9)에 깜박임 검출 처리를 실행시킨다(단계 S12).

그리고, 깜박임 검출 처리 이후의 처리는, 상기 실시예와 마찬가지이며, 그 상세한 설명은 생략한다.

따라서, 본 변형예의 촬상 장치(100)에 의하면, 각 화상 프레임의 떨림 평가값이 소정의 떨림 검출 임계값보다 작은 화상 프레임이 복수개 있는지의 여부를 판정하고, 떨림 평가값이 소정의 떨림 검출 임계값보다 작은 화상 프레임이 복수개 있다고 판정된 경우에, 깜박임 검출 처리를 행하므로, 피사체 떨림이나 손떨림이 작은 화상 프레임에 대하여 깜박임 정도나 웃는 얼굴 정도 등의 사람의 얼굴 상태를 각 사람마다 종합적으로 판단할 수 있어, 기록 매체(13)에 기록되는 화상의 선택을 적정하게 행할 수 있다.

또한, 떨림 평가값이 소정의 떨림 검출 임계값보다 작은 화상 프레임이 복수개가 아니라고 판정된 경우에, 떨림 검출부(10)에 의해 검출된 떨림 평가값이 최소인 화상 프레임에 관한 RAW 화상 데이터를 기록 매체(13)에 기록되는 하나의 촬상 화상으로서 특정하므로, 가장 떨림량의 작은 화상을 확실하게 선택할 수 있다.

또한, 떨림 검출 처리에 의해, 차분값이 최대의 블록의 위치가 얼굴이 존재하는 블록에 대한 위치로부터 이격됨에 따라 떨림 평가값이 낮아지도록 보정하므로, 얼굴의 위치에 대한 떨림이 생긴 위치의 거리를 고려하여, 그 후의 떨림 평가값이 소정의 떨림 검출 임계값보다 작은 화상 프레임이 복수개 있는지의 여부를 판정할 수 있다.

즉, 다소 떨림이 생긴 화상 프레임이라도 상기 떨림이 생긴 위치가 얼굴로부터 먼 경우에는, 어느 정도 무시하여 깜박임 판정 처리 등을 행할 수 있고, 보다 많은 화상 프레임 중에서 기록 매체(13)에 기록되는 화상의 선택을 적정하게 행할 수 있다.

또한, 상기 실시예에서는, 화상 선택 처리에 의해 어느 하나의 화상 데이터를 특정하도록 했지만, 이에 한정되지 않고, 예를 들면, 연사 촬영에 관한 화상 프레임을 깜박임 정도, 웃는 얼굴 정도, 떨림 정도 등에 따라 평가한 후, 평가가 높은 순으로 정렬하여, 원하는 화상 프레임을 사용자에게 지정시켜 특정하도록 해도 된다.

또한, 평가가 높은 순위에 모든 화상 프레임에 관한 화상 데이터를 배열하여 기록 매체(13)에 기억하도록 해도 된다.

또한, 상기 화상 선택 처리를 화상 재생 시에 행해도 된다. 즉, 기록 매체(13)에 기록되어 있는 연사 촬영에 관한 화상 프레임을 깜박임 정도, 웃는 얼굴 정도, 떨림 정도 등에 따라 평가한 후, 기록 매체(13)에 다시 기록해도 된다. 또한, 화상 프레임을 평가가 높은 순으로 정렬하여 소정 간격을 두고 재생 표시하도록 해도 된다.

또한, 라이브뷰 화상으로부터 얼굴 검출 처리를 행하여, 상기 얼굴의 상태에 따라 연사 장수를 조정해도 된다. 구체적으로는, 피사체의 연사 촬영 시에, 셔터 버튼(16a)의 반누름 상태로, 얼굴 검출 처리를 행하여, 얼굴이 검출된 인원수에 따라 연사 장수를 증가시키도록 설정해도 된다. 즉, 피사체로서 표시되는 인원수가 많을수록, 전원이 눈이 뜨여져 있을 확률이 낮아지므로, 연사 장수를 증가시킴으로써, 전원이 눈을 뜨고 있는 화상의 특정을 확실하게 행할 수 있게 된다.

또한, 피사체의 연사 촬영 시에, 셔터 버튼(16a)의 반누름 상태로, 얼굴 검출 처리를 행하여, 얼굴 검출된 얼굴의 움직임을 추적하여 얼굴의 움직임의 크기에 따라 연사 장수를 증가시키도록 설정해도 된다. 즉, 얼굴의 움직임이 커지게 될수록, 얼굴의 피사체 떨림이나 얼굴이 정면을 향하고 있을 확률이 낮아지므로, 연사 장수를 증가시킴으로써, 피사체 떨림의 방지나 얼굴이 정면을 향한 화상의 특정을 확실하게 행할 수 있도록 된다.

또한, 화상 메모리(5)가, 취득 수단으로서, 소정수의 화상 프레임을 일시적으로 기억할 수 있는 링 버퍼(도시 생략)를 구비하여, 전자 촬상부(2)에 의해 생성된 복수의 화상 프레임을 일시적으로 기억하여, 깜박임 검출 처리에 의해 전원의 눈이 뜨여져 있다고 판정된 경우에, 자동적으로 셔터를 누르도록 해도 된다. 이로써, 전원이 눈을 뜨고 있는 화상의 취득을 확실하게 행할 수 있게 된다.

또한, 상기 실시예에서의 웃는 얼굴 검출 처리에 있어서는, 사람의 얼굴의 웃는 얼굴 정도의 평가와 함께, 화상 전체에 차지하는 얼굴의 크기나 얼굴의 위치(예를 들면, 화상 전체의 중앙부에 있는가 구석 쪽에 있는지 등) 등도 평가 항목에 추가하여, 상기 항목에 따라 웃는 얼굴값을 보정하도록 해도 된다.

또한, 기록 매체(13)가, 인물 등록 수단으로서, 인물 등록 데이터베이스(도시 생략)를 구비하고, 상기 데이터베이스를 이용하여 얼굴 검출 처리나 사람 ID의 할당을 행해도 된다. 또한, 인물 등록 데이터베이스에 등록되어 있는 인물이 얼굴 검출 처리에 의해 검출된 경우에는, 상기 인물의 얼굴 상태를 다른 사람보다 고려하여 화상 선택 처리를 행해도 된다. 즉, 얼굴 검출부(6)가 검출한 얼굴이 인물 등록 데이터베이스에 등록된 인물인 경우에는, 화상 특정부(11)는, 상기 얼굴에 관한 평가값을 보정하도록 해도 된다. 예를 들면, 상기 인물의 깜박임 검출 처리나 웃는 얼굴 검출 처리의 판정용 임계값을 각각 더욱 엄격하게 하고 다른 사람의 임계값을 관대하게 함으로써, 적어도 상기 인물의 눈이 뜨여져 있거나 웃는 얼굴인 화상을 특정할 수 있다.

또한, 사람 ID의 할당 시에, 어느 하나의 화상 프레임으로부터 얼굴이 검출된 경우에는, 검출된 얼굴 프레임 정보를 템플레이트로 하여 다른 화상 프레임으로부터 얼굴 검출 처리를 행하도록 해도 된다. 이로써, 모든 화상 프레임으로부터 사람의 얼굴을 확실하게 검출할 수 있고, 그 후의 눈 검출 처리나 웃는 얼굴 검출 처리나 깜박임 검출 처리 등의 정밀도를 더욱 향상시킬 수 있다.

또한, 얼굴 검출 처리 및 눈 검출 처리를 행할 때, 어느 하나의 화상 프레임으로부터 사람 얼굴의 좌우 양 눈을 검출하고, 상기 눈 주변부의 영역을 템플레이트로 하여 인접 화상 사이에서 템플레이트 매칭을 행하여 성공한 경우에, 얼굴 검출 처리와 눈 검출 처리의 동작을 스킵해도 된다.

또한, 화상 선택 처리에서, 전원의 눈이 뜨여져 있는 화상이 발견되지 않았던 경우에는, 가장 평가가 높은 화상을 특정하여, 상기 화상의 눈을 감고 있는 사람에 대해서는, 눈을 뜨고 있는 다른 화상 프레임으로부터 눈주변부를 잘라내어, 상기 눈주변부를 가장 평가가 높은 화상에 합성해도 된다.

또한, 촬상 장치(100)의 구성은, 상기 실시예에 예시한 것은 일례이며, 이에 한정되는 것은 아니다. 즉, 화상 선택 장치로서, 촬상 장치(100)를 예시했지만, 이에 한정되지 않는다. 예를 들면, 연사 촬영은 상기 촬상 장치(100)와는 상이한 촬상 장치로 행하고, 이 촬상 장치로부터 전송된 화상 데이터만을 기록하여, 화상 선택 처리만을 실행하는 화상 선택 장치라도 된다.

여기에 더하여, 상기 실시예에 있어서는, 취득 수단, 얼굴 검출 수단, 눈 검출 수단, 깜박임 검출 수단, 평가 수단, 및 특정 수단으로서의 기능을, CPU(17)의 제어하에서, 전자 촬상부(2), 촬상 제어부(3), 얼굴 검출부(6), 눈 검출부(7), 깜박임 검출부(9), 및 화상 특정부(11)가 구동함으로써 실현되는 구성으로 하였으나, 이에 한정되지 않고, CPU(17)에 의해 소정의 프로그램 등이 실행되는 것에 의해 실현되는 구성으로 해도 된다.

즉, 프로그램을 기억하는 프로그램 메모리(도시 생략)에, 취득 처리 루틴, 얼굴 검출 처리 루틴, 눈 검출 처리 루틴, 깜박임 검출 처리 루틴, 평가 처리 루틴, 특정 처리 루틴을 포함하는 프로그램을 기억해 둔다. 그리고, 취득 처리 루틴에 의해 CPU(17)에, 피사체를 연속적으로 촬상함으로써 생성된 복수의 촬상 화상을 취득 시키도록 해도 된다. 또한, 얼굴 검출 처리 루틴에 의해 CPU(17)에, 연사 촬영에 의해 생성된 복수의 촬상 화상으로부터 사람의 얼굴을 검출시키도록 해도 된다. 또한, 눈 검출 처리 루틴에 의해 CPU(17)에, 얼굴 검출 처리에 의해 검출된 사람의 얼굴로부터 눈을 검출시키도록 해도 된다. 또한, 깜박임 검출 처리 루틴에 의해 CPU(17)에, 눈 검출 처리에 의해 검출된 눈의 깜박임 정도를 검출시키도록 해도 된다. 또한, 평가 처리 루틴에 의해 CPU(17)에, 깜박임 검출 처리에 의해 검출된 깜박임 정도에 기초하여, 사람의 얼굴 상태를 평가시키도록 해도 된다. 또한, 특정 처리 루틴에 의해 CPU(17)에, 사람의 얼굴의 상태의 평가에 기초하여, 이미 취득한 복수의 촬상 화상 중에서 기록 매체(13)에 기록되는 적어도 하나의 촬상 화상을 특정시키도록 해도 된다.

Claims (18)

1인 이상의 사람을 피사체로서 연속적으로 촬상함으로써 생성된 복수의 촬상 화상을 취득하는 취득 수단;
상기 취득 수단에 의해 취득된 상기 복수의 촬상 화상에 포함되는 사람의 얼굴(human faces)을 검출하는 얼굴 검출 수단;
상기 얼굴 검출 수단에 의해 검출된 상기 사람의 얼굴로부터 눈을 검출하는 눈 검출 수단;
상기 눈 검출 수단에 의해 검출된 상기 눈 각각의 깜박임 정도(blink degrees)를 검출하는 깜박임 검출 수단;
상기 복수의 촬상 화상 중에서 상기 깜박임 검출수단에 의해 검출된 상기 깜박임 정도가 다른 촬영 화상의 깜빡임 정도보다 높은 촬상 화상을 적어도 하나 특정하는 특정 수단
을 포함하는 화상 선택 장치.

제1항에 있어서,
상기 깜박임 검출 수단에 의해 검출된 상기 복수의 촬상 화상에 포함되는 각 사람마다의 복수의 상기 깜박임 정도에 대응하는 각 촬상 화상에서의 각 사람의 깜박임 정도에 기초하여 얼굴 상태(status)를 평가하는 평가 수단을 포함하고,
상기 특정 수단은,
상기 평가 수단에 의해 평가된 상기 얼굴 상태(status)에 기초하여 상기 복수의 촬상 화상 중에서 상기 깜박임 검출 수단에 의해 검출된 상기 깜박임 정도가 다른 촬영 화상의 깜빡임 정도보다 높은 촬상 화상을 적어도 하나 특정(select)하는,
화상 선택 장치.

제1항에 있어서,
상기 깜박임 검출 수단에 의해 검출된 각 사람마다의 상기 깜박임 정도에 기초하여, 각 사람의 상기 눈이 뜨여져 있는지의 여부의 판정에 관한 임계값을 산출하는 임계값 산출 수단; 및
상기 임계값 산출 수단에 의해 산출된 상기 임계값에 기초하여, 상기 취득 수단에 의해 취득된 상기 복수의 촬상 화상에 대하여 각 사람의 상기 눈이 뜨여져 있는지의 여부를 판정하는 깜박임 판정 수단
을 더 포함하는 화상 선택 장치.

제3항에 있어서,
상기 깜박임 판정 수단에 의한 판정 결과에 기초하여, 상기 취득 수단에 의해 취득된 복수의 촬상 화상 중 눈을 감고 있는 얼굴 수가 최소인 촬상 화상이 복수개 있는지의 여부를 판정하는 제1 화상 판정 수단을 더 포함하고,
상기 특정 수단은, 상기 제1 화상 판정 수단에 의해 눈을 감고 있는 얼굴 수가 최소인 촬상 화상이 복수개가 아닌 것으로 판정된 경우에, 상기 촬상 화상을 기록 매체에 기록되는 하나의 촬상 화상으로서 특정하는, 화상 선택 장치.

제4항에 있어서,
상기 제1 화상 판정 수단에 의해 눈을 감고 있는 얼굴 수가 최소인 촬상 화상이 복수개 있는 것으로 판정된 경우에, 상기 눈을 감고 있는 얼굴 수가 0(제로)인지의 여부를 판정하는 제2 화상 판정 수단을 더 포함하고,
상기 특정 수단은, 상기 제2 화상 판정 수단에 의해 눈을 감고 있는 얼굴 수가 0인 것으로 판정된 경우에, 상기 깜박임 검출 수단에 의해 검출된 각 사람마다의 깜박임 정도에 기초하여, 상기 기록 매체에 기록되는 촬상 화상을 특정하는, 화상 선택 장치.

제1항에 있어서,
상기 눈 검출 수단에 의해 검출된 눈의 위치 정보에 기초하여, 상기 눈이 검출된 얼굴의 웃는 얼굴 정도를 검출하는 웃는 얼굴 검출 수단; 및
상기 웃는 얼굴 검출 수단에 의해 검출된 웃는 얼굴 정도에 따라, 상기 깜박임 검출 수단에 의해 검출된 깜박임 정도를 보정하는 깜박임 보정 수단
을 더 포함하고,
상기 특정 수단은, 상기 깜박임 보정 수단에 의해 보정된 깜박임 정도에 따라, 사람의 얼굴 상태를 판단하는, 화상 선택 장치.

제4항에 있어서,
상기 눈 검출 수단에 의해 검출된 눈의 위치 정보에 기초하여, 상기 눈이 검출된 얼굴의 웃는 얼굴 정도를 검출하는 웃는 얼굴 검출 수단; 및
상기 제1 화상 판정 수단에 의해 눈을 감고 있는 얼굴 수가 최소인 촬상 화상이 복수개 있는 것으로 판정 경우에, 상기 눈을 감고 있는 얼굴 수가 0인지의 여부를 판정하는 제2 화상 판정 수단
을 더 포함하고,
상기 특정 수단은, 상기 제2 화상 판정 수단에 의해 눈을 감고 있는 얼굴 수가 0가 아니라고 판정된 경우에, 상기 웃는 얼굴 검출 수단에 의해 검출된 웃는 얼굴 정도에 기초하여, 상기 기록 매체에 기록되는 촬상 화상을 특정하는, 화상 선택 장치.

제1항에 있어서,
상기 눈 검출 수단에 의한 눈의 검출의 신뢰도를 산출하는 신뢰도 산출 수단; 및
상기 신뢰도 산출 수단에 의해 산출된 신뢰도가 소정의 임계값 이하인지의 여부에 따라 상기 신뢰도에 관련된 눈이 검출된 얼굴의 유효성을 판정하는 유효성 판정 수단
을 더 포함하고,
상기 특정 수단은, 상기 유효성 판정 수단에 의해 유효한 것으로 판정된 사람의 얼굴 상태를 판단하는, 화상 선택 장치.

제1항에 있어서,
촬상 프레임레이트가 소정값 이상인 경우에, 상기 깜박임 검출 수단에 의해 검출된 깜박임 정도를 인접 화상 사이에서 평활화하는 평활화 수단을 더 포함하고,
상기 특정 수단은, 상기 평활화 수단에 의해 평활화된 깜박임 정도에 따라, 사람의 얼굴 상태를 판단하는, 화상 선택 장치.

제8항에 있어서,
상기 취득 수단에 의해 취득된 복수의 촬상 화상 중, 상기 유효성 판정 수단에 의해 얼굴이 유효한 것으로 판정된 촬상 화상 각각에 대하여 인접하는 화상에 대한 떨림량을 검출하는 떨림 검출 수단; 및
상기 떨림 검출 수단에 의해 검출된 각 촬상 화상의 떨림량이 소정값보다 작은 촬상 화상의 수가 복수개 있는지의 여부를 판정하는 제3 화상 판정 수단
을 더 포함하고,
상기 깜박임 검출 수단은, 상기 제3 화상 판정 수단에 의해 떨림량이 소정값보다 작은 촬상 화상의 수가 복수개 있는 것으로 판정된 경우에, 상기 눈 검출 수단에 의해 검출된 눈의 깜박임 정도를 검출하는, 화상 선택 장치.

제10항에 있어서,
상기 떨림 검출 수단에 의해 검출된 각 촬상 화상의 떨림량을 얼굴의 위치에 대한 떨림의 위치에 따라 보정하는 떨림 보정 수단을 더 포함하고,
상기 특정 수단은, 상기 떨림 보정 수단에 의해 보정된 각 촬상 화상의 떨림량에 따라 떨림량이 소정값보다 작은 촬상 화상을 특정하는, 화상 선택 장치.

제10항에 있어서,
상기 특정 수단은, 상기 제3 화상 판정 수단에 의해 떨림량이 소정값보다 작은 촬상 화상의 수가 복수개가 아닌 것으로 판정된 경우에, 떨림량이 최소인 촬상 화상을 기록 매체에 기록되는 촬상 화상으로서 특정하는, 화상 선택 장치.

제2항에 있어서,
상기 평가 수단에 의한 평가에 기초하여 상기 취득 수단에 의해 취득된 복수의 촬상 화상을 평가가 높은 순으로 재배열하는, 화상 선택 장치.

제1항에 있어서,
상기 취득 수단은, 소정수의 화상 프레임을 일시적으로 기억할 수 있는 링 버퍼를 포함하는, 화상 선택 장치.

제2항에 있어서,
사용자에게 인물을 등록시키는 인물 등록 수단을 더 포함하고,
상기 얼굴 검출 수단이 검출한 얼굴이 상기 인물 등록 수단에 등록된 인물이었던 경우에는, 상기 평가 수단은, 상기 얼굴에 관한 평가값을 보정하는, 화상 선택 장치.

제1항에 있어서,
상기 촬상 화상을 촬상하는 촬상 수단을 더 포함하고,
상기 얼굴 검출 수단이 검출한 얼굴에 따라 상기 촬상 수단이 연속적으로 촬상하는 화상의 개수를 설정하는, 화상 선택 장치.

제1항에 있어서,
상기 얼굴 검출 수단에 의해 사람의 얼굴이 검출되지 않은 경우에, 상기 취득 수단에 의해 취득된 복수의 촬상 화상 각각에 대하여 인접하는 화상에 대한 떨림량을 검출하는 떨림 검출 수단을 더 포함하고,
상기 특정 수단은, 상기 떨림 검출 수단에 의해 검출된 떨림량이 최소인 촬상 화상을 기록 매체에 기록되는 촬상 화상으로서 특정하는, 화상 선택 장치.

1인 이상의 인간을 피사체로서 연속적으로 촬상함으로써 생성된 복수의 촬상 화상을 취득하는 단계;
상기 복수의 촬상 화상에 포함되는 사람의 얼굴(human faces)을 검출하는 얼굴 검출 처리를 행하는 단계;
상기 얼굴 검출 처리에 의해 검출된 상기 사람의 얼굴로부터 눈을 검출하는 눈 검출 처리를 행하는 단계;
상기 눈 검출 처리에 의해 검출된 상기 눈 각각의 깜박임 정도(blink degrees)를 검출하는 깜박임 검출 처리를 행하는 단계; 및
상기 복수의 촬상 화상 중에서 상기 깜박임 검출 처리를 행하는 단계에서 검출된 상기 깜박임 정도가 다른 촬영 화상의 깜빡임 정도보다 높은 촬상 화상을 적어도 하나 특정하는 단계;
를 포함하는 화상 선택 방법.

Images