KR20070014058A

KR20070014058A - 촬상 장치 및 촬상 방법

Info

Publication number: KR20070014058A
Application number: KR1020060070101A
Authority: KR
Inventors: 마사카주 마쓰구; 가쓰히코 모리; 유지 카네다; 타다시 하야시
Original assignee: 캐논 가부시끼가이샤
Priority date: 2005-07-26
Filing date: 2006-07-26
Publication date: 2007-01-31
Also published as: US7889886B2; EP1748378A1; US8180106B2; DE602006009191D1; EP1748378B1; US20100118163A1; US20070025722A1; KR100911695B1

Abstract

촬상 장치에 있어서, 영상 입력부(2)는 물체를 촬상하고, 촬상에 관련되는 화상 데이터를 순차 획득하고, 모델 데이터 메모리(6)는 모델 화상에서의 물체의 특징점에서 산출된 제1특징량에 관련되는 모델 데이터를 기억하고, 주 피사체 검출부(3)는 획득한 화상 데이터에 물체의 특징점으로부터 제2특징량을 산출하고, 상태 변화 추정부(4)는, 제2특징량과 모델 데이터에 근거해서, 물체가 소정의 조건을 만족할 때의 타이밍을 추정하고, 화상 입력 처리 제어부(7)는 추정된 타이밍에 대응하는 화상 데이터를 화상 기록부(5)에 기억시킨다. 이 구성에 의하면, 대용량 메모리 없이, 보다 적절한 상태의 화상 획득을 가능하게 하는 촬상 장치가 제공된다.

표정, 베스트 촬영, 메모리, 카메라.

Description

촬상 장치 및 촬상 방법{IMAGE CAPTURING APPARATUS AND IMAGE CAPTURING METHOD}

도 1은 제1실시형태에 따른 촬상 장치의 주요부 구성도,

도 2는 제2실시형태에 따른 촬상 장치의 주요부 구성을 나타낸 블록도,

도 3은 제1실시형태에 따른 전체 처리의 흐름을 나타낸 흐름도,

도 4는 촬상 조건 제어부에 있어서의 처리의 흐름을 나타낸 흐름도,

도 5는 타이밍 제어 처리의 흐름을 나타낸 흐름도,

도 6은 제3실시형태에 따른 촬상 장치의 주요부 구성도,

도 7은 최적 촬영 상태의 예측에 관한 처리의 흐름을 나타낸 흐름도,

도 8은 주 피사체 검출부의 기능 구성을 나타낸 도면,

도 9는 촬영 모드 설정부에 있어서의 촬영 모드 설정의 순서를 나타내는 흐름도,

도 10은 집합 사진 모드가 선택되었을 경우의 상태 변화 추정부에서의 처리의 흐름을 나타낸 흐름도,

도 11은 동작 검출부가 실행하는 처리의 흐름을 나타낸 흐름도,

도 12는 본 발명에 따른 제4실시형태의 촬상 장치의 구성을 예시하는 블록 도,

도 13은 본 발명에 따른 제4실시형태의 동작을 나타내는 흐름도,

도 14는 본 발명에 따른 제4실시형태의 동작을 나타내는 타임차트,

도 15는 본 발명에 따른 제4실시형태의 동작의 다른 예를 게시하는 타임차트,

도 16a, 16b, 16c, 16d는 얼굴 검지 방법을 설명하는 도면,

도 17은 본 발명에 따른 제5실시형태의 동작을 나타내는 흐름도,

도 18a, 18b, 18c, 18d는 본 발명에 따른 제5실시형태의 유저로의 통지 방법을 도시한 도면,

도 19a, 19b, 19c, 19d는 본 발명에 따른 제5실시형태의 유저로의 통지 방법의 다른 예를 게시하는 도면,

도 20은 본 발명에 따른 제6실시형태의 동작을 나타내는 흐름도,

도 21a 및 도 21b는 본 발명에 따른 제6실시형태의 효과를 설명하는 도면,

도 22는 종래의 촬상 장치에 의한 동화상과 고화소 기록 동작을 나타내는 흐름도,

도 23은 종래의 동화상과 고화소 기록 동작의 다른 예를 게시하는 블록도,

도 24는 종래의 동화상과 고화소 기록 동작을 설명하는 도면,

도 25는 피사체의 상태를 자동 판별해서 화상을 촬상하는 종래의 촬상 장치를 나타내는 블록도다.

본 발명은 촬상 장치에 관한 것으로, 특히 촬상 조건에 따라 자동으로 촬상을 행하는 촬상 장치에 관한 것이다. 또한, 본 발명은 동화상과 정지 화상을 동시에 촬상하는 촬상 기술에 관한 것이다.

종래로부터, 촬상 조건에 따라 자동으로 촬상을 행하는 촬상 장치에 관한 기술이 알려져 있다.

일본국 공개특허공보 특개2000-259833호에는, 복수의 연속적인 화상으로부터 인물의 얼굴의 상태를 판정하고, 최적의 얼굴 상태를 나타내는 화상을 선택하는 기술이 개시되어 있다.

일본국 특허3240339호 공보에는, 유저가 희망하는 타이밍에 화상이 없을 경우에, 기록된 동화상 데이터에 대하여, 다른 화상 간에서 화소 대응을 사용한 보간 처리를 행하고, 유저가 희망하는 타이밍에서의 화상을 생성하는 기술이 개시되어 있다.

한편, 종래부터 피사체의 동작을 추적해서 촬상하는 기술이 알려져 있다.

일본국 특허3200950호에는, 화상으로부터 부분 템플릿을 추출하고, 템플릿과 입력 화상의 상관에 근거해서 물체를 추적하는 기술이 개시되어 있다. 추적에 있어서는, 추적 이력이나 물체에 관한 지식에 근거해서 템플릿의 분리, 통합, 갱신을 행한다. 또한, 물체의 행동 패턴을 학습해서, 장래의 행동 예측에 근거해서 상관 연산 범위를 결정한다.

또한, 입력 화상과 참조 화상 데이터 간의 최소 잔여 차이 량에 근거해서 목표 물체 위치를 검출할 때, 시계열적으로 검출된 목표 물체의 2개의 위치에 근거하는 동작(속도) 또는 3개의 위치에 근거하는 가속도를 검출하고, 예측 위치를 더 산출하는 기술이 알려져 있다. 또한, 형상이 변화되는 대상의 복수의 템플릿을 사용해서 가장 일치도가 큰 템플릿을 찾아서, 해당 템플릿의 위치로의 동작 벡터를 축차 산출해서 대상물을 추적하는 수단을 구비한 상관 추적 시스템의 기술이 알려져 있다.

상기에 설명한 기술로는 화상 입력 후에 메모리에 기억된 화상 스트링으로부터 최적인 얼굴 상태의 화상을 판정해서 선택할 수 있다.

그러나, 최적인 상태의 화상을 입력하는 타이밍은 설정이나 예측할 수 없다. 이 때문에, 화상을 선택하기 위해서, 불필요한 화상 데이터를 기록할 필요가 있고, 따라서 대용량 메모리가 필요하게 된다. 또한, 일반적인 기록 레이트에서, 고속으로 변화하는 피사체의 상태를 충분히 추적해서 고화질의 화상을 얻는 것은 곤란하다. 또한, 보간은 반드시 희망하는 타이밍에서의 화상을 제공하지는 않는다.

또한, 이동 물체의 추적에 있어서는, 조명 조건의 변화나 촬상 장치 자체가 움직이는 경우, 추적이 곤란하다는 문제가 있었다.

또한, 일본국 특허3200950호에 개시된 구성에 있어서는, 입력 화상으로부터 추출된 부분과 템플릿의 상관에 근거해서 물체의 추적을 행했다. 하지만, 입력 화상으로부터 추출하는 부분 영역을 적절히 설정하는 것은 일반적으로 곤란하다. 또 한, 촬상 조건이나 조명 조건의 변동에 의해 추적 물체의 아웃오브포커스가 생길 경우에는, 고속으로 이동, 변화되는 물체의 추적 성능을 유지할 수 없게 된다. 또한, 배경에, 추적 중의 물체와 유사한 동작 벡터의 패턴이 있을 경우에, 배경 물체를 오류 인식해서 추적할 수 있다.

한편, 종래부터, 동화상과 동화상보다도 고화소, 고화질의 정지 화상을 바꾸어서 촬상가능한 하이브리드 카메라가 알려져 있다.

동화상 등을 저화소로 기록하는 중에 고화소의 정지 화상을 기록하는 것을 가능하게 한 것으로서, 예를 들면 일본국 공개특허공보 특개2003-125344호에 기재된 것 같이 모드 버튼을 누름으로써 고화소 정지 화상의 기록을 행하는 것이 있다(도 22).

또한, 일본국 공개특허공보 특개평11-069222호 공보에 기재된 바와 같이, 무선통신에 의해 외부에서 촬영 모드를 고화질 모드로 바꾸는 것이 알려져 있다(도 23). 도 22에서는 스텝 S61010에서 셔터 버튼을 누름으로써, 도 24의 일반적인 동화상 프레임(도 24에서는 320x240화소)으로 기록을 행한다. 스텝 S61014에서 고화질 모드 버튼이 눌려짐으로써 고화소 기록한 프레임(도 24에서 1280x960화소)을 동화상 프레임 중에 삽입한다. 또한, 도 23에서는, 수신부(6103), 안테나(6106, 6111), 송신부(6110)로 이루어지는 무선 통신부를 거쳐서, 외부 콘트롤러(6107)가 촬상 장치(6101)의 기록 모드 제어부(6104) 및 촬상 제어부(6105)를 제어해서 고속 촬상과 고화질 촬상을 바꾼다.

더욱 바람직한 촬상을 행하기 위한 촬영 기회를 판별하는 것으로서, 일본국 공개특허공보 특개2004-294498 공보에 기재된 것 같이, 피사체가 바람직한 표정이나 포즈가 되었을 때에 카메라가 자동으로 촬영 기회를 판별해서 촬상을 행하는 방법이 제안되고 있다(도 25). 도 25의 예에서는 화상을 촬상부(6202)가 반복해서 획득한다. 제어부(6209)가, 미리 설정된 조건을 만족했다고 판정할 경우, 촬상부(6202)의 포커스나 조리개를 제어해서 촬상을 행한다. 또한, 촬영 기회의 판별은, 인물의 표정 등을 의미하는 형상을 화상으로부터 추출하고, 이 추출된 형상과 소정의 형상의 일치도를 산출하고, 일치도가 소정 값을 초과했을 때의 현재의 타이밍을 피사체를 촬상하기 위한 촬영 기회로서 판별한다.

동화상 촬영 중에 출현하는 순간의 표정 등의 촬영 기회를, 동화상의 기록에 영향을 주지 않고 고화질로 기록하고 싶은 요구가 있다. 이 목적을 위해서, 상기 일본국 공개특허공보 특개2003-125344호 공보, 일본국 공개특허공보 특개평11-069222호에서는, 동화상 촬영이 고화소의 정지 화상 촬상으로 바뀔 수 있다. 유저는, 동화상 촬영을 행하면서 촬영 기회를 기다려서, 바람직한 정지 화상을 촬영할 수 있다.

그렇지만, 동화상 촬영 모드로부터 정지 화상 촬영 모드로 바뀔 때, 타임 래그가 생성됨으로써, 유저가 셔터 버튼을 누를 때에 촬영 기회를 놓칠 수 있다. 그 결과, 순간의 깜박임에 의한 눈감은 화상을 막거나, 웃는 얼굴 등의 좋은 표정의 순간을 포착하기 위해서는, 미리 변화를 예측해서 셔터를 누르는 등의 고도의 테크닉이 필요하기 때문에, 실패한 촬상이 되어버릴 가능성이 크다. 또한, 상기 일본국 공개특허공보 특개평11-069222호에서는, 고화질 촬상에 의해 동화상 촬영이 중 단되므로, 동화상의 기록이 장시간 도중에 끊어져 버린다.

상기 일본국 공개특허공보 특개2004-294498호 공보에서는, 카메라가 촬영 기회를 자동으로 판별하기 위해서, 유저 자신이 촬영 기회의 트리거를 누를 필요는 없어진다. 카메라는, 과거에 촬상한 화상으로부터 다음 촬영 기회를 판별해서, 촬상 동작으로 옮겨간다. 따라서, AF나 조리개 등의 동작에서의 타임 래그나, 프레임 간의 시간 차이 등의 타임 래그가 생성되어, 순간의 촬영 기회를 놓쳐버릴 우려가 있다. 또한, 촬상부(6202)가 정지 화상의 촬상을 위해 점유되기 때문에, 동화상을 동시에 촬상하는 것도 불가능하다.

또한, 동화상 촬영계와, 표정 등의 얼굴 검출계를 포함하는 고화질 촬상계를 다른 광학계로 해서 하나의 하우징에 탑재한 2렌즈 구성도 생각된다. 그러나, 장치가 대규모로 되고, 2개의 광학계를 동기해서 제어하는 어려움이 있다. 더욱이, 화각, 포커스 상황, F-넘버 등이 2개의 광학계에서 반드시 일치하지 않으므로, 의도한 화상을 획득할 수 없는 가능성이 크게 된다.

본 발명은 상기 문제를 감안하여 이루어진 것으로서, 대용량 메모리가 불필요하므로, 보다 적절한 상태의 화상 획득을 가능하게 하는 촬상 장치에 관한 기술을 제공하는 것을 목적으로 한다. 또한, 연속해서 촬영되는 동화상과 고화질의 정지 화상을 동시에 촬영할 수 있고, 동화상 촬영에 영향을 미치게 하지 않고 또한 촬영 기회를 놓치지 않고 고화질의 정지 화상을 촬영하는 것이 가능한 기술을 제공 하는 것을 목적으로 한다.

상기 목적을 달성하기 위하여, 본 발명에 의한 촬상 장치는 이하의 구성을 구비한다. 즉, 촬상 장치는, 물체를 촬상해서, 촬상에 관련되는 화상 데이터를 순차 획득하는 촬상 수단과, 모델 화상에 있어서의 물체의 특징점에서 산출된 제1특징량에 관련되는 모델 데이터를 기억하는 기억 수단과, 획득한 화상 데이터에 있어서의 물체의 특징점에서 제2특징량을 산출하는 산출 수단과, 제2특징량과 모델 데이터에 근거해서 물체가 소정의 조건을 만족할 때의 타이밍을 추정하는 제1추정 수단과, 추정된 타이밍에 대응하는 상기 화상 데이터를 화상 데이터 기억 수단에 기억시키는 제어 수단을 구비한다.

또한, 상기 과제를 해결하고, 목적을 달성하기 위해서, 본 발명의 촬상 장치는, 피사체를 촬상해서 화상 데이터를 획득하는 촬상 수단과, 촬상 수단에서 제1화상 데이터 및 제2화상 데이터를 동시에 획득하고, 제1화상 데이터를 일시적으로 유지하는 제1데이터 유지 수단 및 제2화상 데이터를 일시적으로 유지하는 제2데이터 유지 수단을 갖는 유지 제어 수단과, 제2화상 데이터를 사용해서 피사체의 상태를 분석하는 분석 수단과, 제2화상 데이터를 연속적으로 기록 매체에 기록하는 동시에 분석 수단에 의한 분석 결과에 근거해서 제1화상 데이터의 기록 매체로의 기록의 가부를 제어하는 기록 제어 수단을 구비한다.

또한, 본 발명의 촬상 방법은, 피사체를 촬상해서 화상 데이터를 획득하는 촬상 공정과, 촬상 공정에 의해 제1화상 데이터 및 제2화상 데이터를 동시에 획득하고, 제1화상 데이터를 제1데이터 유지 수단에 일시적으로 유지하는 동시에, 제2화상 데이터를 제2데이터 유지 수단에 일시적으로 유지하는 데이터 유지 공정과, 제2화상 데이터를 사용해서 피사체의 상태를 분석하는 분석 공정과, 제2화상 데이터를 연속적으로 기록 매체에 기록하는 동시에 분석 공정에 의한 분석 결과에 근거해서 제1화상 데이터의 기록 매체로의 기록의 가부를 제어하는 기록 제어 공정을 구비한다.

본 발명의 그 밖의 형태 및 장점은, 동일 또는 유사 부분에는 동일 참조부호를 붙여서 설명한 첨부 도면과 연관된 수반되는 상세한 설명으로부터 명백해 진다.

(바람직한 실시형태의 상세한 설명)

이하, 첨부된 도면을 참조해서 본 발명에 따른 실시형태를 상세하게 설명한다. 단, 이 실시형태에 기재되어 있는 구성요소는 어디까지나 예시이며, 본 발명의 범위를 이에만 한정하는 취지의 것은 아니다.

<<제1실시형태>>

[촬상 장치의 구성]

우선, 본 실시형태에 따른 촬상 장치의 구성에 대해서 도 1을 참조해서 설명한다. 도 1은 본 실시형태에 따른 촬상 장치의 주요부 구성도다.

도 1과 같이, 본 실시형태에 따른 촬상 장치는 결상 광학계(1), 영상 입력부(2), 주 피사체 검출부(3), 상태 변화 추정부(4), 모델 데이터 메모리(6), 화상 입력 처리 제어부(7), 촬영 모드 설정부(8) 및 화상 기록부(5) 등으로 구성된다. 각 구성부의 기능의 개요는 이하와 같다.

결상 광학계(1)는 렌즈 등을 구비하고, 피사체로부터 입력된 빛에 근거해서 결상한다.

영상 입력부(2)는, 결상 광학계(1)에서 결상된 화상을 광전변환하고, 화상 데이터로서 출력한다. 영상 입력부(2)는 CCD(전하 결합 소자) 등의 영상(광학) 센서나, 센서 신호 처리 회로, 센서 구동 회로 등으로 구성된다. 영상 입력부(2)는, 전형적으로는 CMOS 이미지 센서 등을 사용해서 형성된다. 영상 입력부(2)는, 센서 구동 회로(도시 생략)로부터의 판독 제어 신호에 의해 소정의 영상 신호(화상 데이터)를 출력한다. 한편, 제1실시형태에 있어서는, 입력되는 화상 데이터는 복수 프레임으로 이루어지는 동작 화상이다.

주 피사체 검출부(3)는, 영상 입력부(2)의 센서 신호 구동(처리)회로로 입력된 화상 데이터를 처리하고, 촬영 모드 설정부(8)에서 유저에 의해 설정된 촬영 모드에 대응하는 소정 카테고리의 피사체를 검출하는 회로다. 즉, 입력된 화상 데이터에서, 미리 등록된 특정 카테고리의 대상에 대응하는 화상을 피사체로서 검출한다.

주 피사체 검출부(3)에서 검출되는 피사체 카테고리의 크기는 가변적이며, 유저에 의한 지시 입력이나 미리 설정된 조건 등에 근거해서 적절히 변경할 수 있다. 카테고리의 종류로서는, 예를 들면 인물, 자동차 등과 같은 대분류로부터, 인물의 연령과 성별 등의 중간 사이즈 분류 및, 각 개인의 세분화 분류까지 있다.

여기에서는, 특정 카테고리를 인물의 얼굴(특정 개인의 얼굴 또는 일반적인 인간의 얼굴)로 설정해서, 얼굴에 관한 모델 데이터가 주 피사체 검출부(3) 내의 모델 데이터 기억부(31: 후술된다)에 기억된다. 얼굴에 관한 모델 데이터로서는, 예를 들면 얼굴 화상 데이터, 주 성분 분석이나 독립 성분 분석에 의해 획득할 수 있는 얼굴 전체에 관한 소정의 특징 벡터 데이터 또는, (얼굴의 눈, 입 등의) 개개의 얼굴에 특징적인 영역에 관한 국소적 특징 데이터를 이용할 수 있다.

주 피사체의 상태 변화 추정부(4)는, 주 피사체의 상태 변화를 추정하고, 특정한 상태 카테고리에 도달할 때까지의 시간을 예측한다. 본 실시형태에 있어서의 상태 카테고리는 표정이다. 상태 변화 추정부(4)는 얼굴의 표정 변화의 예측·추정을 행하고, (나중에 설명한 바와 같이) 미리 등록된 표정 카테고리(예를 들면, 가장 좋은 웃는 얼굴)에 도달하는 타이밍을 추정한다. 그리고, 상태 변화 추정부(4)는 추정한 타이밍을 화상 입력 처리 제어부(7)에 입력한다.

모델 데이터 메모리(6)는, 촬영 모드에 대응하는 대표적인 화상을 모델 데이터로서 기억하는 메모리다. 도 1과 같이, 모델 데이터 메모리(6)는 상태 변화 추정부(4)로부터 액세스 가능하게 구성된다.

화상 입력 처리 제어부(7)는, 상태 변화 추정부(4)로부터의 입력에 근거해서, 영상 입력부(2)의 화상 입력의 최적 타이밍 제어를 행한다. 구체적으로는, 상태 변화 추정부(4)에 의해 추정된 타이밍에서 제어 신호를 발생하고, 영상 입력부(2)의 광학 센서로부터 입력된 화상 데이터를, 화상 기록부(5)에 기록하도록 제어한다. 이 제어에 따라, 소정 상태에서 피사체가 자동 촬영되도록, 소위 셔터 타 이밍의 설정을 자율적으로 행한다.

화상 기록부(5)는 화상 데이터를 기록하는 것이며, 예를 들면 플렉서블 디스크(FD), CD-ROM, CD-R, CD-RW, PC카드, DVD, IC메모리 카드, MO, 메모리 스틱 등의 미디어로 구성된다. 물론, 화상 기록부(5)는 하드 디스크 장치나 RAM 등으로 구성해도 좋다.

촬영 모드 설정부(8)는 유저로부터의 촬영 모드의 설정을 접수하는 것이며, 디스플레이나 버튼, 터치 패널 등으로 구성된다.

[전체 처리]

다음에, 상기 구성에 의한 전체 처리의 흐름에 대해서 도 3을 참조해서 설명한다. 도 3은 본 실시형태에 따른 전체 처리의 흐름을 나타낸 흐름도다.

우선, 스텝 S0에 있어서, 촬영 모드의 설정 처리와, 베스트 촬상 상태에 대응하는 화상의 유저에 의한 등록 또는 선택의 처리를 행한다. 본 실시형태에서는 유저에 의해, 메뉴 윈도우에서 촬영 모드로서 입을 열어 웃고 있는 "웃는" 표정이 선택된 경우를 설명한다.

다음에, 스텝 S1에서, 제1실시형태에 따른 촬상 장치가 피사체를 향하면, 촬상 장치는 영상 입력부(2)를 거쳐서 화상을 입력한다.

다음에, 스텝 S2에서, 주 피사체 검출부(3)는, 입력 화상에서 주 피사체(인간의 얼굴)의 검출 처리를 행한다.

다음에, 스텝 S3에서, 상태 변화 추정부(4)는, 검출된 주 피사체의 상태, 즉 표정을 판정하고, 표정을 추출한다.

다음에, 스텝 S4에, 상태 변화 추정부(4)는, 검출된 주 피사체의 표정이 촬영 모드에 대응하는 소정의 것(예를 들면, 웃는 얼굴)으로 변화될 때의 시간(베스트 프레임 타이밍)을 예측한다.

다음에, 스텝 S5에서, 화상 입력 제어 처리부(7)는, 스텝 S4에서 예측된 타이밍에서 촬상을 제어한다. 그리고 처리를 종료한다.

이하, 각 스텝에서의 처리를 상세히 설명한다.

[촬영 모드의 설정 처리]

스텝 S0에서 실행하는 촬영 모드의 설정 처리에 대해서 도 9를 참조해서 설명한다. 도 9는 촬영 모드 설정부(8)에서의 촬영 모드 설정 순서를 나타내는 흐름도다.

우선, 스텝 S91에 있어서, 디스플레이 프레임(도시 생략)에 촬영 모드 설정용 메뉴를 표시하고, 유저에 의한 촬영 모드의 선택을 접수한다.

다음에, 스텝 S92에서 유저에 의해 선택된 촬영 모드를 판정한다. 선택가능한 촬영 모드는, 예를 들면 베스트 웃는 얼굴 촬영, 옆 얼굴 포트레잇 촬영, 침입자·수상한 사람 촬영 등을 포함하도록 구성할 수 있다.

여기에서, 베스트 웃는 얼굴 촬영으로는, 피사체로서의 인간의 얼굴이 베스트의 웃는 얼굴을 나타낼 때의 타이밍에서 자율적으로 촬상을 행하는 것을 의미한다. 옆 얼굴 포트레잇 촬영은, 피사체로서의 인간의 얼굴이 이상적인 자세나 앵글의 옆 얼굴이 된 타이밍에서 자율적으로 촬상을 행하는 것을 의미한다. 침입자·수상한 사람 촬영은, 예를 들면 본 실시형태에 따른 촬상 장치를 감시 카메라로서 소정의 위치에 설치했을 경우에 있어서, 침입자가 보석이나 금고에 손을 뻗치고 있는 상태 등, 범행을 행할 때의 타이밍에서 자율적으로 촬상을 행하는 것을 의미한다. 이하, 주로 베스트 웃는 얼굴 촬영이 선택되었을 경우에 대해서 각 스텝(스텝 S0 내지 S5)의 설명을 행한다. 다른 모드(예를 들면, 옆 얼굴 포트레잇, 침입자·수상한 사람 촬영 등)가 선택되었을 경우에도 동일한 처리가 적용된다.

다음에, 스텝 S93에 있어서는, 선택된 촬영 모드에 대응하는 모델 화상 데이터의 선택 또는 등록을 행하고, 촬영 모드의 설정을 종료한다.

여기에서, 모델 화상 데이터의 선택은, 이미 등록되어 있는 각 모드에 대응한 씬의 화상 중에서 유저의 주관으로 베스트로 간주하는 화상(데이터)을 모델 데이터로서 선택하는 것이다. 제1실시형태에 따른 촬상 장치는, 선택된 화상 데이터를 촬영 모드와 대응시켜서 모델 데이터 메모리(6)에 기억한다. 모델 화상 데이터의 등록은, 신규로 베스트 씬의 촬상을 행해서 모델 데이터 메모리(6)에 모델 데이터로서 기억하는 것이다.

또한, 모델 화상 데이터는, 모델이 되는 화상이거나, 모델이 되는 화상으로부터 추출된 상기된 모델 데이터일 수 있다. 모델이 되는 화상으로는, 예를 들면 베스트 웃는 얼굴 촬영 모드에 대해서 설정을 행하는 경우에는, 모델 인물의 웃는 얼굴의 화상이다. 마찬가지로, 예를 들면 옆 얼굴 포트레잇 촬영 모드에 대해서 설정을 행하는 경우는, 모델이 되는 화상은 이상적인 옆 얼굴의 화상이 된다. 침입자·수상한 사람 촬영 모드에 대해서 설정을 행하는 경우는, 모델이 되는 화상은 수상한 사람의 인물 모델이 금고에 손을 뻗치고 있는 화상을 포함한다. 이러한 화 상은, 조명의 조건이나 구도, 앵글 등에 대해서 이상적이다.

모델 데이터는, 모델이 되는 화상으로부터 추출된, 주 성분 분석이나 독립 성분 분석에 의해 획득할 수 있는 화상 전체에 관한 소정의 특징 벡터 데이터와, 개개의 피사체에 특징적인 영역에 관한 국소적 특징 데이터를 포함한다.

예를 들면, 원하는 웃는 얼굴(베스트 촬상 상태)에 이르는 표정 변화 예측을 행할 경우에는, 동작(변위) 벡터 분포 모델로서 무표정한 얼굴과 원하는 웃는 얼굴과의 사이에서 주요한 특징점(복수 개소)에서의 변위 벡터를 미리 추출해서, 모델 데이터 메모리(6)에 기억한다. 또한, 소정의 카테고리(예를 들면, 웃는 얼굴)에 대응하는 특정 부분(예를 들면, 눈의 끝점, 입의 끝점 등)에서의 소정 간격 프레임 간에서의 동작 벡터 분포 모델을 기억할 수 있다.

또한, 모델 데이터(모델이 되는 데이터를 포함하는)는, 용도나 목적에 따라서, 피사체가 되는 인간마다 개별적으로 등록하도록 구성하거나, 일반적인 인간에게 잘 맞는 평균적인 데이터를 등록하도록 구성할 수 있다.

[주 피사체의 검출 처리]

다음에, 스텝 S2에서, 주 피사체 검출부(3)가 행하는 검출 처리에 대해서 도 8을 참조해서 상세하게 설명한다. 도 8은 주 피사체 검출부(3)의 기능 구성을 나타낸 도면이다.

주 피사체 검출부(3)는, 입력 화상 데이터 중의 각 지점(샘플링 점)에서, 기하학적 특징 또는 기타의 특징(예를 들면, 색, 동작 벡터 정보 등)을 추출한다. 그리고, 특징량 베이스에서 모델 데이터와의 매칭이나 템플릿 매칭 등을 행하고, 설정된 카테고리의 피사체 검출을 행한다. 주 피사체 검출부(3)는 검출된 대상의 입력 화상 중의 위치를 출력한다.

도 8에 나타낸 바와 같이, 주 피사체 검출부(3)의 중심 구성 요소는, 모델 데이터 기억부(31), 특징 추출부(32), 매칭 처리부(33) 등이다. 모델 데이터 기억부(31)는 검출해야 할 피사체를 포함하는 카테고리에 대응하는 화상 정보를 카테고리마다 모델 데이터로서 미리 기억한다. 특징 추출부(32)는 소정 샘플링 점 위치에서 전술한 특징량의 추출을 행한다. 매칭 처리부(33)는, 추출된 특징량에 근거해서 입력 화상 데이터와 모델 데이터 사이의 매칭 처리(유사도 산출)를 행한다.

매칭 처리부(33)에서 행하는 처리로서는, 예를 들면 일본국 공개특허공보 특개평9-130714호에 기재된 화상 정보 추출 장치와 같은 처리를 행한다. 즉, 피사체 거리에 따른 사이즈의 템플릿 모델 화상을 생성하고, 이것을 사용해서 프레임 내를 주사하면서, 각 지점에서 정규화 상관 계수 등을 계산한다. 그리고, 입력 화상의 국소 부분과 모델 데이터 사이의 유사도 분포를 산출한다. 일반적으로는, 그 유사도 분포의 최대값이 소정의 문턱값을 넘으면, 그 카테고리에 속하는 패턴이 검출된다.

여기에서, 미리 전처리로서 시계열 입력 화상 데이터로 공지의 수법에 의해 1차 특징량(동작 벡터, 색 정보 등의 낮은 차원 특징량)을 추출해 둔다. 주 피사체가 존재할 가능성이 높은 후보 영역을 추출해서 탐색 범위를 좁게 해도 된다. 이에 따라, 주 피사체 검출 시간을 단축할 수 있다. 예를 들면, 미리 등록된 모델 화상 데이터의 주요부의 색채(예를 들면, 인물의 피부색 등)에 가까운 색채를 가지 는 화상 영역을 문턱값 처리에 의해 추출해 둔다. 한편, (이들 화상 영역 중에서), 일정 사이즈 이상의 주어진 동작 벡터량을 갖는 영역을 피사체 후보 영역으로서 추출해 둔다. 그 후, 후보 영역 내의 각 샘플링 점에서만 상기의 유사도 산출을 행한다.

또한, 여기에서는 촬상 장치(의 결상 광학계(1))는 소정 위치에 고정해서 설치되어 있는 것으로 상정한다. 손으로 촬상 장치를 유지해서 촬영을 행할 경우, 촬상 장치 자체의 움직임에 따르는 글로벌 동작 벡터량(Ego-motion vector)을 추출하고, 그것을 전체의 동작 벡터 분포로부터 상쇄한 후에, 동작 벡터량에 근거하는 영역 분할을 행한다. 이에 따라, 인물 등 움직임이 있는 피사체의 후보 영역을 구할 수 있다.

전처리용으로 추출하는 1차 특징량으로는, 이러한 색채정보나 동작 벡터 정보로부터 획득할 수 있는 특징량에 한정될 필요는 없고, 다른 저차원인 특징량을 사용할 수도 있다. 이러한 저차원인 특징량으로서는, 예를 들면 특정 범위의 방향 성분과 특정 범위의 공간주파수를 갖는 기하학적 특징이나, 특허 제3078166호에 개시된 국소적 특징요소 등을 들 수 있다. 또한, 여기에서는, 산출된 최대 유사도에 대한 문턱값의 비를 신뢰도로서 사용하지만, 다른 지표(예를 들면, 소정 시간 폭으로 산출한 최대 유사도의 분산 값 등)를 신뢰도로서 사용해도 된다.

또한, 매칭 처리부(33)는 상기한 바와 같은 구성에 한정되지 않는다. 예를 들면, 계층적 뉴럴 네트워크 회로(특원2000-181487, 특원2000-181488, 특원2000-181480)나 그 밖의 구성에 의해 실현해도 좋다. 소정의 경우, 주 피사체로서 검출 된 피사체의 검출 신뢰도(또는 확신도)와 프레임 내에서의 위치 정보를 매칭 처리부(33)가 출력한다. 주 피사체가 프레임 내에서 검출되지 않을 경우에는, 매칭 처리부(33)는 주 피사체의 미검출 신호를 출력할 수 있다.

[상태 변화 추정부(4)의 처리]

다음에, 스텝 S3, S4에서, 상태 변화 추정부(4)가 실행하는 처리 내용에 관하여 설명한다. 여기서는, 이미 주 피사체의 얼굴이 검출되어, 얼굴의 눈초리, 입가 등 표정 검출에 유효한 부위의 특징점 또는 특징량(예를 들면, 위치, 상대 위치 벡터 또는 거리, 대상부 근방의 엣지 밀도 등)이 검출된 것으로 상정한다.

상태 변화 추정부(4)는, 시공간 패턴 계열로서, 이것들 특징점의 과거 수 프레임 분의 변화량 혹은 특징량 벡터 계열과 현 프레임에서의 얼굴 화상에서 추출되는 특징량 분포에 근거해서, 최적 촬영 상태의 예측에 관한 처리를 행한다. 도 7은 이 최적 촬영 상태의 예측에 관한 처리의 흐름을 나타낸 흐름도다. 또한, 이 처리는 검출된 얼굴 화상을 소정 사이즈에 정규화한 다음, 실행한다.

상태 변화 추정부(4)는, 도 7의 흐름도로 나타내는 바와 같은 최적 촬영 상태의 예측에 관한 처리를 행하고, 미리 모델 데이터 메모리(6)에 기억된 소정의 표정에 관한 등록 데이터(모델 데이터)에 가장 근접한 시간을 추정한다.

스텝 S71에 있어서, 상태 변화 추정부(4)는, 우선 표정 검출의 특징량으로서 유효 부위의 m개의 특징량(동작 벡터나 변위 벡터의 분포, 눈초리와 입술 끝점 거리 등 특징점 간의 거리, 엣지 밀도의 변화 등을 포함하는)을 추출한다. 상태 변화 추정부(4)는, 과거부터 현재까지의 수 프레임 분 각각에 있어서 m개의 특징량의 시계열 데이터와, 모델 데이터로서 등록된 표정의 대응하는 특징량의 시계열 데이터 사이의 오차를 요소로 하는 시계열 벡터(오차 벡터)를 추출한다. 여기에서, 각 특징점 위치는, 코의 정점 위치 또는 양쪽 눈의 중심을 잇는 선분의 중점 위치(이하, 얼굴의 기준점이라고 한다)를 기준으로서 사용하는 위치 벡터로 나타내는 것으로 상정한다. 물론 이외의 기법에 의해 표현해도 좋다. 표정 인식에 사용하는 주요한 특징점으로서는, 예를 들면 피부의 검은 점(mole), 눈초리, 눈시울, 입가, 눈섭의 끝점 또는 눈섭의 윤곽선의 변곡점, 코의 구멍, 주름의 윤곽선의 변곡점, 분기점, 끝점 등이다.

다음에, 스텝 S72에서는, 인물의 안면 내에 설정된 특징점에서의 소정 프레임 화상(예를 들면, 무표정한 얼굴)으로부터의 대응점에서의 동작(변위) 벡터 분포의 시계열 데이터에 근거해서, 특정의 표정(예를 들면, 웃는 얼굴)에 도달할 때까지의 시간을 예측한다. 구체적으로는, 상태 변화 추정부(4)는, 이 오차 벡터 열이 제로 벡터 혹은 오차 벡터의 놈(norm)이 소정의 크기에 집속하는 시간을 추정한다(스텝 S72). 또한, 오차 벡터로서는 관련되는 특징량의 전부의 요소에 대해서가 아니고, 유용한 특정한 일부의 요소에 대해서 모델 데이터와의 차분에 근거해서 생성해도 좋다.

시간의 추정은, 일정 시간 전부터 현재까지의, 오차 벡터의 값의 추이에 근거해서 행한다. 예를 들면, 2단위 시간 전의 오차 벡터의 놈의 값이 5, 1단위 시간 앞의 놈 값이 4, 현재의 놈 값이 3의 경우에는, 1단위 시간 경과할 때마다 놈의 값이 1감소하는 것을 예측할 수 있다. 따라서, 2단위 시간 후에 놈 값이 0, 다시 말해 표정이 특정한 표정이 되는 것을 예측한다. 후술하는 바와 같이, 예측의 알고리즘은 공지의 알고리즘을 사용한다.

오차 벡터를 관련되는 특징량의 일부의 요소에 근거해서 생성할 경우, 오차 벡터의 크기를 산출하는 때는, 벡터의 각 요소에 소정의 가중을 해서 소정의 척도로 놈(예를 들면, 유클리드 놈, 민코위스키 놈 등)을 요구한다. 균일한 가중에서, 유클리드 놈을 사용할 경우가 가장 일반적이다. 하지만, 검출 예정의 카테고리에 따라서는 특정한 요소가 검출에 중요할 경우(예를 들면, 웃는 얼굴 검출의 경우의 눈초리와 입가의 끝점 거리 차 등)에는, 그 중요도에 의하여 가중 값을 크게 한다.

전술한 바와 같이, 예를 들면 바람직한 웃는 얼굴을 검출하는 경우, 제1실시형태에 따른 촬상 장치는, 미리 스텝 S0에서, 유저의 지시 입력에 근거해 바람직한 웃는 얼굴의 화상을 등록하거나, 미리 설정된 웃는 얼굴의 화상을 선택한다. 제1실시형태에 따른 촬상 장치는, 그 화상을 해석해서 특징점을 추출하고, 추출된 특징점에 근거해서 모델 데이터를 산출해서, 모델 데이터 메모리(6)에 기억해 둔다.

처리 스텝 S71에서는, 이 모델 데이터 산출에 사용한 특징점에 대응하는 특징점을 선택한다. 예를 들면, 그 웃는 얼굴의 좌우 입가의 위치, 좌우 눈초리의 위치를 특징점으로서 선택한다. 그리고, 이것들 각 특징점 위치의 변위(모델 데이터)와 입력 화상 상의 대응하는 특징점 위치(얼굴의 기준점에 대한 상대 위치)의 변위 등에 근거해서 생성하는 오차 벡터(상기 정의에 근거한다)를, 각 프레임마다, 즉, 시간 t=n, n-1, n-2 ,...의 프레임마다 요구한다.

구체적으로는, 검출 카테고리에 따라 각 특징점(혹은 특징점 근방)에 대하여 변위 벡터(동작 벡터)의 모델 데이터를, 상태 변화 추정부(4)에 의해 참조되는 모델 데이터 메모리(6)에 미리 기억한다. 그리고, 그 모델 데이터 메모리(6)로부터 판독된 변위 벡터과 입력 화상으로부터 추출되는 대응하는 변위 벡터와의 차분 벡터의 각 요소에 소정의 가중을 해서 오차 벡터를 생성한다. 각 가중의 값은 균등하지만, 특정한 부위의 변위 또는 부위 간의 변위를 중시할 경우에는 상대적으로 높은 값을 설정하면 좋다.

획득할 수 있는 오차 벡터가 제로 벡터 혹은 그 크기가 소정 값 이하가 될 때의 프레임 시간(이하, 베스트 표정 시간이라고 한다)의 예측을 처리 스텝 S72에서 행한다. 예를 들면, 각 입력 화상 프레임에 대해서 구한 오차 벡터의 크기의 시계열 데이터로부터 값이 제로 또는 기준값 이하가 되는 시간을 선형 예측(소위, AR(Auto-Regressive), ARMA(Auto-Regressive Moving Average), ARX(Auto-Regressive eXogenous) 등)이나, 모델화에 의한 비선형 예측의 수법 등을 사용해서 구한다. 모델화에 의한 비선형 예측의 수법에는, 예를 들면 관측데이터 열에 대하여 모델 운동방정식을 세우고, 그 모델 운동방정식을 기초로 예측을 행하는 수법이나 뉴럴 네트워크를 사용하는 수법 등이 포함된다.

또한, 오차 벡터 이외에 소정의 국소 특징량으로서, 검출 예정의 표정에 특유한 변화를 보이는 특징점, 예를 들면 눈이나 입 주변의 국소적인 영역에서의 엣지 밀도나 파워스펙트럼 및, 눈초리, 눈시울 등의 특징점 위치의 변위 벡터 등을 시계열 데이터화해도 된다. 이 경우, 각 시간에서의 특징량 데이터와 무표정한 얼굴의 대응하는 특징량 데이터 사이의 편차 분포로부터 원하는 표정에 도달 또는 집 속할 때까지의 시간을 예측한다.

구체적으로는, 웃는 얼굴을 검출할 경우에, 특정한 특징점 위치의 변화 경향(예를 들면, 입술의 끝점 위치가 횡으로 움직이는 등)이 그 웃는 얼굴에 특유한 데이터로서 유지되어 있을 경우에는, 다음과 같은 처리를 행한다. 이 경우, 각 특징점의 무표정 상태로부터의 그 표정에 특유한 변화 방향을 향하는(소정의 표정 카테고리에 근접하는 방향으로) 변위 벡터의 변화율의 분포가, 입력 화상 데이터마다 구해진다. 그리고, 값이 문턱값 이하(특정 표정으로 집속)가 되는 시간을 베스트 표정 시간으로서 예측된다.

인물의 안면의 많은 점에서의 변위 벡터의 분포를 구하는 대신, 한정된 특정 부위에서 변위 벡터의 대표적인 크기(예를 들면, 눈초리와 입가의 끝점 간의 거리)에 근거해서, 베스트 표정 시간(화상 입력 타이밍)을 설정해도 좋다. 이에 따라, 추정 정밀도를 현저하게 감소시키지 않고, 연산량을 삭감하고, 고속 응답성을 높일 수 있다.

변위 벡터의 시간적 변화율이 문턱값 이하가 될 때의 시간은, 대상의 표정이 웃는 얼굴이면, 표정이 웃는 얼굴로부터 입을 열어서 웃는 동안의 과정이 아니고, 표정이 대상이 입을 열어서 웃을 때의 베스트인 표정에 집속하는 시간을 예측하기 위해서, 예측된다. 그러나, 어떤 특정한 표정으로 이동하는 과정에서의 특정한 중간적인 표정에 대응하는 모델 화상을 베스트 표정으로 할 수도 있다. 이 경우, 전술한 바와 같이 추출되는 각 특징점 위치의 모델 데이터와의 위치 편차를 참조해도 좋다. 또한, 이 편차를 사용할 경우에는, 미리 얼굴의 사이즈 등을 정규화해 둔 다.

유저에 의해 선택되는 촬영 모드로서는, 다른 집합 사진이나 기념 사진 모드가 더 포함될 수 있다. 이 모드에서는, 특히 복수의 피사체가 그들의 눈을 열고(그들의 눈을 감지 않는), 그들의 입을 닫으며(또는 웃고 있다), 정면을 향하고 있는 등의 몇 개의 표정에 관한 요건이 만족하도록 촬영 시간(화상 입력 타이밍)을 제어할 필요가 있다.

다음에, 집합 사진 모드가 선택되었을 경우의 상태 변화 추정부(4)에서의 처리에 대해서 도 10을 참조해서 설명한다. 도 10은 집합 사진 모드가 선택될 경우의 상태 변화 추정부(4)에서의 처리의 흐름을 나타낸 흐름도다.

스텝 S10A에서, 각 피사체(인물)의 표정 파라미터의 추출을 행한다. 구체적으로는, 눈초리, 눈시울, 입술의 끝점 등의 위치(또는 특징점 간의 거리) 또는 각 점에서의 동작 벡터 등을 추출한다.

다음에, 스텝 S10B에서, 표정 변화 특징의 추출을 행하고, 표정 파라미터의 변화 경향에 관한 특징량의 추출을 행한다. 구체적으로는, 눈의 개도 변화, 입의 개도 변화, 얼굴 방향의 변화 등을 검출한다.

스텝 S10C 및 S10D에서는, 도 7에 나타내는 처리와 같은 방법으로 촬영 모드(집합 사진 모드)에 대응하는 베스트 표정에 각 피사체가 전체로서 가장 근접할 때의 시간 예측을 행한다. 이때, 모든 피사체가 베스트 상태로 변하는 시간을 예측하는 것은 어렵다. 이 때문에, 다음과 같은 처리를 행해도 된다. 즉, 스텝 S10C에서, 각 피사체로부터 추출한 표정 변화 특징량의 변화를 근사적으로 예측한 다. 그리고, 스텝 S10D에서 도 7에 나타낸 바와 같은 처리에 의해 베스트 표정 시간의 추정을 행한다. 여기에서, 베스트 표정은, 예를 들면 눈이 열리고, 웃고 있으며, 정면을 향해 있는 등의 조건에 근거해서 미리 정의된다.

예측은 집합 사진 모드에 제한하지 않고, 상태 변화 추정부(4)는, 베스트 표정 전후의 수 프레임 분의 시간 주기 동안 깜박임(피사체가 그의 눈을 감은 상태)의 예측도 행하고, 피사체가 눈을 감지 않을 때의 타이밍(이하, 비깜박임 시간 주기라 한다)의 예측도 행한다. 이 경우, 베스트 표정이 비깜박임 시간 주기 내에 있으면 예측된 타이밍에서 화상 입력을 행한다. 한편, 베스트 표정의 시간에 눈을 감고 있는 것으로 예측될 경우에는, 비깜박임 시간 주기 내에 있고, 검출 예정의 표정 카테고리에 속하는 화상이 입력되어, 베스트 표정 시간에 가장 가까운 것으로 예측되는 시간을 베스트 촬영 상태 시간으로서 얻는다.

[타이밍 제어]

다음에, 스텝 S5에서 실행하는 영상 입력부(2)의 영상 센서로부터의 데이터 판독 타이밍의 제어에 대해서 도 5를 참조해서 설명한다. 도 5는 타이밍 제어의 처리의 흐름을 나타낸 흐름도다.

프레임간의 시간 간격이 Tmsec라고 하면, 상태 변화 추정부(4)는 Tmsec마다의 이산적인 화상 입력 시간(이하, 프레임 시간이라고 한다)에 구한 오차 벡터 데이터로부터 최적의 표정을 획득할 수 있는 시간(베스트 표정 시간)을 추정한다. 이때, 획득할 수 있는 베스트 표정 시간은, 프레임 시간과 항상 일치하지 않고, 많은 경우, 이산적인 프레임 시간 사이의 중간적인 아날로그 값이 된다. 이 때문에, 화상 입력 제어 처리부(7)는 이하의 처리를 행한다.

즉, 우선 스텝 S51에서, 화상 입력 제어 처리부(7)는 예측된 베스트 촬영 상태 시간을 상태 변화 추정부(4)로부터 수신한다.

스텝 S52에서, 화상 입력 제어 처리부(7)는 예측된 시간의 1프레임 전에, 한번 판독 타이밍을 리셋트하기 위한 신호를 영상 입력부(2)의 영상 센서에 보낸다.

다음에, 스텝 S53에서, 화상 입력 제어 처리부(7)는 영상 입력부(2)의 영상 센서에 대하여 판독 타이밍 펄스 신호를 출력하고, 예측된 시간에 대응하는 화상이 기록되도록 CMOS 이미지 센서의 광검출기로부터의 판독 타이밍을 제어한다. 이 제어에 따라, 추정된 시간에 화상 데이터의 판독이 행해지도록 한다. 또한, 추정 시간에 가장 가까운 프레임 시간에서의 화상을 입력해도 좋다.

또한, 전술한 센서로부터의 판독 타이밍 제어를 행하지 않고, 일정한 레이트로 화상 입력을 행하고, 최적인 표정에 가장 가까운 프레임을 예측해서, 소기의 효과를 얻을 수 있다.

한편, 상기의 구성에 더해서, 노광량 제어 파라미터, 화이트 밸런스 제어 파라미터, 그 밖의 촬상 파라미터 제어용 신호 처리 회로(도시 생략)를 포함하고, 촬상 조건을 제어하는 기능 요소를 포함할 수도 있다. 또한, 이 기능 요소는, 동작 벡터 분포 모델과 입력 화상으로부터 추출되는 동작 벡터 분포에 근거해서, 대상이 대상 카테고리에 가장 근접하게 변할 때의 타이밍을 예측하고, 화상 입력 타이밍을 설정할 수도 있다.

이상에서 설명한 바와 같이, 본 실시형태에 의하면 주 피사체의 용모나 행 동, 촬상 조건 등의 변화를 예측한다. 그 예측 결과에 근거해서 미리 설정한 조건에 적합한 최적의 타이밍 및 노출이나 포커스 등의 촬상 조건을 설정한다. 이에 따라, 촬영 기회를 놓치지 않고 자율적으로 촬상을 행할 수 있다.

<<제2실시형태>>

제1실시형태에 있어서는, 촬상 대상이 소정의 조건을 만족시킬 때의 타이밍을 추정하고, 추정된 타이밍에 대응하는 화상 데이터를 기억 및 제어하는 구성에 대해서 서술했다. 하지만, 추정의 대상은 촬상 타이밍에 한정하지 않는다. 제2실시형태에서는, 촬상하기 적합한 타이밍에서의 노출과 포커스 등의 촬상 조건을 추정하고, 이 촬상 조건을 따라서 촬상을 행하는 구성에 대해서 서술한다.

도 2는 제2실시형태에 따른 촬상 장치의 주요부 구성을 나타낸 블록도다. 제2실시형태에 따른 구성은 제1실시형태의 구성에 더해서, 노출, 포커스 등의 촬상 조건을 제어하는 촬상 조건 제어부(10) 및 피사체와 촬상 장치와의 거리를 측정하는 거리 측정부(29)를 구비하고 있다. 다른 중심 구성부로, 예를 들면 결상 광학계(21), 영상 입력부(22), 주 피사체 검출부(23), 상태 변화 추정부(24), 화상 기록부(25), 모델 데이터 메모리(26), 화상 입력 처리 제어부(27), 촬영 모드 설정부(28)는, 제1실시형태의 도 1의 구성요소 1 내지 8에 대응한다. 또한, 제1실시형태와 마찬가지로, 영상 입력부(22)는 영상 센서, 센서 신호 처리 회로, 센서 구동 회로를 포함한다.

촬상 조건 제어부(10)는 상태 변화 추정부(24)로부터 입력되는 예측 신호에 근거해서, 노출이나 포커스 등의 촬상 조건을 제어한다. 예를 들면, 피사체가 촬 상 장치로부터 급속하게 멀어지는 운동을 하고 있을 경우, 일반적인 AF(Automatic Focus) 장치로는 적정한 인포커스 상태의 추적 제어를 할 수 없다. 이를 해결하기 위해서, 제2실시형태에 따른 (자율)촬상 장치는, 피사체와 촬상 장치와의 거리를 측정하는 소정의 거리 측정부(29)를 내장한다. 그리고, 상태 변화 추정부(24)는, 거리 측정부(29)가 출력하는 피사체와의 거리에 관한 신호에 근거해서 피사체 거리에 관한 예측 신호를 발생한다. 촬상 조건 제어부(10)는, 그 예측 신호로부터 포커스 제어용의 렌즈 모터 위치 결정 제어를 행한다. 이 경우, 상태 변화 추정부(24)는 검출된 피사체 영역의 포커스 상태를 주로 측량한 결과를 중점적으로 사용한다.

다음에, 촬상 조건 제어부(10)에서의 처리의 흐름에 대해서 도 4를 참조해서 설명한다. 도 4는 촬상 조건 제어부(10)에서의 처리의 흐름을 나타낸 흐름도다.

우선, 스텝 S40A에서, 주 피사체 검출부(23)로부터 주 피사체의 존재 정보를 입력하고, 주 피사체로서의 인물이 프레임 내에 존재할 것인가 아닌가를 판정한다. 주 피사체가 존재할 경우(스텝 S40A에서 YES)는 스텝 S40B으로 진행하고, 존재하지 않을 경우(스텝 S40A에서 NO)는 일정 시간 경과 후, 다시 스텝 S40A의 처리를 행한다.

스텝 S40B에서는, 피사체가 프레임의 중앙에 위치하고 있을 것인가 아닌가를 판정한다. 피사체가 중앙에 위치하지 않을 경우에는, 광축을 제어해서 주 피사체가 프레임의 중앙에 위치하도록 설정한다. 한편, 제2실시형태에 따른 촬상 장치는, 촬상 방향을 자유롭게 설정가능한 (도면에 나타내지 않는) 구동기구를 구비한 다. 스텝 S40B의 처리는 구동기구의 동작에 근거해서 실행된다.

다음에, 스텝 S40C에서, 촬영 모드(예를 들면, 포트레잇 모드)에 대응한 최적 촬상 조건(예를 들면, 피부색 성분 영역이 소정의 색성분 값이 되도록 노출 조건, 화이트 밸런스, 포커스 및, 얼굴 사이즈 등)을 모델 데이터 메모리(26)로부터 판독한다.

이 처리에 대해서는, 포커스의 제어(포커스 예측 제어)를 행할 경우를 예시적으로 설명한다. 포커스 예측 제어를 행하기 위해서, 미리 모델 데이터 메모리(26)에, 피사체 거리와 대응하는 포커스 제어용 렌즈 위치의 데이터를 룩업테이블로서 기억한다. 포커스 예측 제어의 처리에 있어서, 우선 상태 변화 추정부(24)는 모델 데이터 메모리(26)를 참조하고, 피사체 거리에 관한 시계열 데이터로부터, 다음 프레임에서의 피사체 거리 및, 대응하는 최적 렌즈 위치를 선형 예측한다. 그리고, 촬상 조건 제어부(10)는 대응하는 포커스 제어용의 렌즈 모터 구동 제어 신호를 생성한다. 이렇게, 거리 측정부(29)로부터의 신호에 근거해서 주 피사체에 관한 거리 정보를 사용해서 포커스의 상태 변화(대응하는 최적 포커스 제어용 렌즈 위치)를 룩업테이블상에서 예측한다. 이에 따라, 포커스 제어를 고속으로 추적해서 행할 수 있다.

이는 다른 촬상 조건의 파라미터에 관해서도 적용된다. 예를 들면, 노출의 예측 제어에 관해서는, 주 피사체가 특정한 인물이면, 그 인물에 적합한 산출량 및 색 보정 처리 파라미터를 촬상 제어 파라미터 기억부에서 판독한다.

스텝 S40D에서, 그 인물 영역에 관한 측광량의 변화 데이터를 시계열적으로 검출한다.

다음에, 스텝 S40E에서, 대응한 최적 촬상 조건(예를 들면, 노출량, 주밍, 포커스 등)의 제어를 행한다. 특정 인물에 적합한 노출량은, 예를 들면 주어진 조명 조건하에서 그 인물에 적합한 소정의 피부색을 획득할 수 있도록 화이트 밸런스 조정을 한 다음 설정되는 노출량을 말한다.

구체적으로는, 상태 변화 추정부(24)는, 주 피사체 영역의 평균 측광량의 시계열 데이터에 근거해서 다음 프레임 또는 소정 시간 후의 측광량을 화상 입력 타이밍의 예측과 마찬가지로, 선형 예측 또는 비선형 예측한다. 촬상 조건 제어부(10)는, 예측된 측광량에서 노출 제어 파라미터(예를 들면, 센서에서의 축적 시간 및 판독 타이밍 등)를 미리 소정의 메모리에 기억된 룩업테이블의 데이터를 참조해서, 결정한다. 그리고, 촬상 조건 제어부(10)는, 다음 프레임 또는 소정 시간 후에 노출 제어를 행한다. 룩업테이블의 데이터는, 측광량 데이터와 대응하는 제어 파라미터 값(예를 들면, 센서에서의 축적 시간, 센서로부터의 판독 간격에 관한 파라미터 값)을 기록한 테이블 형식을 취한다.

또, 스텝 S40E에서, 주 피사체의 프레임 내 사이즈가 일정 범위가 되도록 예측 제어하기 위해서, 그 범위의 사이즈에서 피사체가 촬상되도록 주밍량의 제어를 행한다. 인물의 얼굴이 주 피사체일 경우, 그 사이즈는 개인차가 작다. 이 때문에, 인물로부터 촬상부까지의 거리를 d, 초점 거리를 f, 얼굴(주 피사체)의 사이즈를 S, 프레임 내에서 찍히는 얼굴(주 피사체)의 사이즈를 s라고 하면,

s=(f/d-f)·S의 관계가 성립한다(d>f).

따라서, 주 피사체의 사이즈가 일정하게 유지되도록 하기 위해서 다음 처리를 행한다. 즉, 화상 입력 처리 제어부(27)의 내부에 있는 AF 제어 회로(도시 생략) 내의 거리 검출부에서 획득할 수 있는 거리 신호(소정의 거리 측정 영역 내에 있는 주 피사체까지의 거리에 해당하는 신호)로부터 d를 추정한다. 그리고, 프레임 상의 주 피사체 사이즈 s가 일정 범위에 유지되도록 초점 거리 f를 제어한다. 한편, 거리 측정 영역이 프레임 내의 복수 장소에 있을 경우에는, 주 피사체가 검출된 위치에 있는 거리 측정 영역에서만 거리 신호를 구할 수 있다.

또한, 주밍의 예측 제어는, 다음과 같이 행할 수 있다. 구체적으로는, 주 피사체의 프레임 내 사이즈 s가 프레임 사이즈보다 클 경우, 일정 사이즈 이하가 되는 시간을 예측한다. 다음에, 그 예측된 시간에 도달하기 전에, 전자(사이즈가 프레임 사이즈보다 클 때)에서는 배율을 하강시키고, 후자(사이즈 s가 일정 사이즈 이하가 될 때)에서는 배율을 증가시키도록 제어를 행한다. 이때, 예측된 시간까지의 도달 시간 T₁과 주 피사체의 프레임 내 사이즈의 변화율 R에 근거해서 배율의 제어량 P를 얻을 수 있다. 예를 들면, P=C₁/((1+C₂T₁)R)이 구해진다(C₁과 C₂는 정(＋)의 정수).

주 피사체 영역의 간단한 추정으로서, 예를 들면 인물의 얼굴 영역의 중심 위치만이 주 피사체 검출부(23)에 의해 검출되고, 영역은 상기 식에 근거해서 산출되는 사이즈 s로부터 추정될 수 있다. 영역의 측광 정보를 주지의 수법(예를 들면, 일본국 공개특허공보 특개평08-278528호에 개시된 수법 등)으로 얻어서, 그 결 과에 근거해 노출 제어 등을 행해도 된다.

제2실시형태에서는, 상태 변화 추정부(24)는, 현재 화상 입력 시점부터 소정 시간 경과 후 혹은 소정 프레임 후의 화상 입력 타이밍에서의 주 피사체의 적어도 하나의 파라미터를 예측한다. 이러한 파라미터에는, 예를 들면 주 피사체의 프레임 내 위치, 형상 또는 사이즈, 대표 휘도값, 대표 콘트라스트, 색상 및 명도 분포가 포함된다. 그리고, 촬상 조건 제어부(10)는, 예측된 적어도 하나의 파라미터 값에 근거해서 결상 광학계(21)의 광축 방향, 배율, 초점 위치, 산출량의 적어도 하나의 조건을 제어한다.

각 파라미터에 대하여 미리 정해지는 제어 룰로서, 예를 들면 광축 방향(촬상 방향)이, 주 피사체가 항상 프레임의 중심 부근에 있도록 제어한다. 다른 파라미터는, 예를 들면 배율에 관해서는 주 피사체 사이즈가 소정의 범위(화상의 전체 사이즈비 기준으로)에 있도록 제어한다. 예를 들면, 포커스에 대해서는 항상 주 피사체의 합초도(focusing degree)가 최대 부근(혹은 극대)이 되도록 제어한다. 예를 들면, 노출량에 관해서는 주 피사체의 주요부의 평균 휘도값이 소정 범위 내에 있도록 제어한다.

예측이 이루어지는 파라미터의 선택은, 그 변화율, 변동량(또는 시계열 데이터로서의 분산 값)이 각각의 파라미터 마다에 정해진 기준값보다 큰 파라미터다. 구체적으로는, 제어해야 할 촬상 조건은 예측되는 파라미터마다 정해지는 것으로 상정한다. 예를 들면, 주 피사체의 위치를 예측했을 경우는, 광축 방향 및 사이즈에 대해서는 초점 위치(배율도 제어될 수 있다)가 제어되고, 대표 휘도값 또는 대 표 콘트라스트에 대해서는 노출량을 제어한다.

제2실시형태에 따른 상태 변화 추정부(24)에 의한 예측에 근거해서 촬상 조건을 제어함으로써, 주 피사체 위치(거리)만 아니라, 조명 조건이 급격하게 변화하는 경우에도 피사체의 상태 변화에 대한 추적 성능이 높은 촬상 동작이 가능해 진다.

이상에서 설명한 바와 같이, 제2실시형태에 따른 구성은 제1실시형태의 구성에 더해서 촬상 조건 제어부(10)와 거리 측정부(29)를 구비한다. 그리고, 피사체의 촬상 화상에 관련되는 파라미터를 예측하고, 예측된 파라미터에 근거해서 촬상 조건을 제어한다. 제2실시형태에 따른 구성에 따르면, 복잡한 환경 변화에 대응해서 적절한 촬상 동작을 행할 수 있다.

<<제3실시형태>>

제3실시형태에서는, 상기의 구성에 더해서 주 피사체(인물)의 동작 패턴을 검출한 결과(동작 패턴의 내용)에 근거해서 촬상 조건을 자동 제어(변경)한다.

도 6은 제3실시형태에 따른 촬상 장치의 주요부 구성도다. 도 6에 나타낸 바와 같이, 제3실시형태에 따른 촬상 장치는, 결상 광학계(31), 영상 입력부(32), 주 피사체 검출부(33), 상태 변화 추정부(34), 화상 기록부(35), 모델 데이터 메모리(36), 화상 입력 처리 제어부(37), 촬영 모드 설정부(38), 촬상 조건 제어부(300)를 구비한다. 이들 부분은, 도 1에 있어서의 구성요소 1 내지 8과 동일하고, 도 2에 있어서의 구성요소 10과 같아서, 상세한 설명은 생략한다.

제3실시형태에 따른 촬상 장치는, 이들의 구성에 더해서, 주 피사체의 동작 검출부(39)를 더 구비한다. 동작 검출부(39)가 주 피사체에 의한 소정의 동작을 검출했을 때에, 화상 입력 처리 제어부(37) 및 촬상 조건 제어부(300)는 화상 입력의 레이트의 변경, 주 피사체로의 줌, 주 피사체를 중심으로 하는 노출, 포커스 조건의 설정 등을 실행한다. 다만, 화상 입력 레이트의 변경은, 동작 검출부(39)가 동작을 검출하지 않을 때 사용된 통상의 화상 레이트로부터 화상 레이트를 높거나 낮게 변경하는 것이다. 주밍, 포커스, 노출 조건의 복합 제어는, 제2실시형태에서의 처리와 같으므로 설명을 생략한다.

화상 입력 레이트 변경의 목적은, 특정한 의미가 있는 (중요한) 동작 내용을 상세하게 촬상 기록하는 것이다. 화상 입력 레이트를 높게(낮게) 설정할 경우, 센서로부터의 광전변환 신호의 판독 레이트를 높게(낮게) 설정한다. 보통, 판독 레이트를 높게 설정했을 경우, 센서로부터 출력되어 증폭기에 의해 증폭된 신호를 위한 증폭률은 증가 제어한다.

동작 검출부(39)가 검출하는 동작은, 주 피사체가 인물이나 동물일 때에는 그 신체 동작을 가리킨다. 신체 동작은, 예를 들면 소정 스포츠에 있어서의 특정한 동작 패턴(골프, 테니스, 야구에서 스윙하고 있을 때의 동작 등), 댄스에서의 특정한 모습, 특정한 의미를 가진 제스처나 손짓 또는, 달리고 있는 인물의 전체 신체 혹은 머리 부분 전체의 움직임 등이다. 또, 주 피사체가 자동차, 이륜차, 열차 등의 차량일 경우, 검출하는 것은 차량의 흐름에서의 이상 상태이며, 예를 들면 충돌, 추돌, 전복, 회전 등의 사고에 해당한다. 후자와 같이 주 피사체가 차량일 경우, 사고 상태를 검출했을 경우, 화상 입력 레이트를 높게 하거나 혹은 보통(사 고 상태를 검출하지 않을 경우)은 입력 화상을 매체에 기록하지 않는 동작 모드로 설정한다. 이에 따라, 사고 상태 검출시에 그 전후의 소정 시간 범위에서 동작 화상을 기록한다.

인물의 유형화된 동작의 검출을 위한 인식 처리는, 공지의 기술을 사용한다. 예를 들면, 라켓이나 배트 등의 도구를 사용한 스윙 동작의 검출은 다음과 같이 행하면 좋다. 구체적으로는, 인체의 얼굴 방향과 손목(또는 손바닥이나 손가락)의 위치 및 도구의 위치와 자세를 검출한다. 이들 특징점이 소정의 시점 위치부터 본 화상에서 미리 정해진 상대 위치 관계를 유지하면서 소정 범위 내의 트랙을 따르는 것을 검지한다.

예를 들면, 테니스의 스윙 동작 검출은, 라켓 면의 중심 위치와 그립의 위치, 손목의 위치, 머리 부분의 위치 및, 신체 각 부의 무릎과 발목의 위치 등을 동작 검출의 특징점으로 설정한다. 손목의 위치가 라켓의 그립 가까이에 있고, 손목이 수평면 내에서 넓게 움직이는 상황을 스윙 동작으로 검출한다.

이 목적을 위해서, 동작 검출부(39)는, 머리 검출부(도시 생략), 얼굴의 위치·방향 검출부(도시 생략), 손목(또는 손바닥이나 손가락)의 위치·방향 검출부(도시 생략) 및 도구의 위치·방향 검출부 (도시 생략) 및, 동작 카테고리 판정부(도시 생략)를 가진다. 이것들 대신에, 머리, 얼굴, 손, 도구의 검출 기능을 갖춘 멀티 카테고리 대응의 물체 검출 인식부를 주요한 구성요소로 해도 된다.

이상의 처리의 흐름을 도 11을 참조해서 설명한다. 도 11은 제3실시형태에 따른 동작 검출부(39)가 실행하는 처리의 흐름을 나타낸 흐름도다.

도 11의 처리는 도 3의 스텝 S3 이후(예를 들면, 스텝 S3과 S4의 사이)에 실행한다. 우선, 스텝 S1101에서, 스텝 S3에서 추출된 주 피사체의 상태 등에 근거해서 주 피사체의 동작이 검출될 것인가 아닌가를 판정한다. 동작이 검출되었을 경우(스텝 S1101에서 YES)는 스텝 S1102로 진행하고, 검출되지 않았을 경우(스텝 S1101에서 NO)는 스텝 S1103으로 진행된다.

스텝 S1102에서는, 촬상 레이트를 피사체의 동작에 맞춰서 증가시키는 처리를 행한다. 그리고, 도 11의 플로우를 종료한다.

스텝 S1103에서는, 일반적인 촬상 제어를 행한다. 그리고, 도 11의 플로우를 종료한다.

이상과 같이, 본 실시형태에 따른 구성은, 인물이나 차량의 검출·인식만 아니라 특정한 동작이나 상태를 검출하는 처리 회로(동작 검출부(39))를 내장하고, 그 특정한 동작이나 상태를 검출했을 때에 화상의 입력 레이트가 증가하도록 제어한다. 이에 따라, 중요한 씬의 촬상 기회를 놓치지 않는 촬상이 가능하게 된다.

<<제4실시형태>>

도 12는 본 발명에 따른 제4실시형태의 촬상 장치의 구성을 나타내는 블록도다. 도 13은 도 12의 촬상 장치에 의한 동작 흐름도를 나타낸다.

도 12에 있어서, 참조부호 61은 유저 인터페이스다. 유저 인터페이스(61)는 카메라의 화각이나 오토 포커스 등의 광학계(63) 및 줌(64)의 조정 지시, 조리개(65)의 조정 지시, 녹화(연속 촬상) 시작·종료 지시, 촬상 조건이나 화상 조건의 지정(예를 들면, 웃는 얼굴이나 깜박임 방지 등) 등을 행할 수 있다. 참조부호 62는 카메라 제어 회로에서 광학계(63)나 줌(64)으로 이루어지는 줌 제어나 오토 포커스 제어, 조리개(65)의 구동, CCD 등의 촬상 소자(66)로부터 버퍼 메모리(67, 68)로의 전하 신호의 전송 구동, 연속 화상의 기록 제어 회로(610, 611)의 제어 등을 행한다.

참조부호 67, 68은 버퍼 메모리다. 버퍼 메모리(68)는 카메라 제어 회로(62)의 녹화 시작 지시에 의해 화상을 소정의 레이트(예를 들면, 30msec/frame)에서 연속적으로 입력하는 소정의 해상도에서 화상을 입력하는 버퍼 메모리다. 버퍼 메모리(67)는 버퍼 메모리(68)보다 고해상도 및/또는 다계조이다. 버퍼 메모리(67)는 카메라 제어 회로(62)로부터 출력된 소정의 트리거 신호에 따라 1 프레임 분의 화상을 기억한다.

화상 분석 회로(69)는 버퍼 메모리(68)의 내용을 해석하고, 소정의 촬상 조건이나 화상 조건(예를 들면, 웃는 얼굴이나 깜박임 방지 등)을 만족할 때, 기록 신호를 기록 제어 회로(610)에 출력한다. 참조부호 610, 611은 기록 제어 회로다. 기록 제어 회로(611)는 카메라 제어 회로(62)의 녹화 시작 지시에 의해 소정의 레이트(예를 들면, 3msec/frame)로 버퍼 메모리(68)에 축적되는 화상 데이터를 기록 매체(613)에 기록한다.

기록 제어 회로(610)는 화상 분석 회로(69)로의 기록 신호가 입력되었을 때만 버퍼 메모리(67)에 기억되어 있는 1프레임의 화상 데이터를 기록 매체(612)에 기록한다. 기록 매체(612, 613)는 화상 데이터를 장기 보존하기 위한 기억 매체로서, 자기테이프나, 광디스크, 반도체 메모리(플래쉬 ROM 등)가 해당한다. 도 12는 2개의 기록 매체를 나타내지만, 랜덤 액세스 가능하고 2부분에 독립해서 별도의 데이터를 기록할 수 있는 메모리인 경우에는 하나의 기록 매체로 충분하다. 또한, 랜덤 액세스 가능하고 충분히 고속일 경우도, 기록 매체의 수는 시분할기록을 행함으로써, 하나로 감소할 수 있다.

다음에, 도 12의 촬상 장치의 동작에 대해서 도 13의 흐름도를 사용하여 설명한다.

촬상 장치의 전원이 ON되면, 원하는 조건(웃는 얼굴이나 깜박임 방지 등)이 유저 조작 등에 의해 설정된다(스텝 S6101). 이와 동시에, 원하는 화상의 획득 매수도 설정된다. 또한, 원하는 조건이 설정되어 화상 매수가 설정되지 않을 때나, 기록 매체(612)에 기억가능한 매수보다도 많을 때는, 기록 매체(612)에 기억가능한 최대의 매수를 지정 매수로 해도 된다. 이때, 확인을 재촉하는 경고를 유저 인터페이스(61)에 출력하는 것도 가능하다.

그 후, 영상 녹화할 것인가 아닌가가 판정된다(스텝 S6102). 이 경우, 통상은 유저에 의해 녹화 버튼을 눌려졌는지, 외부 기기로부터 녹화 신호가 입력되었는지를 판단한다. 영상 녹화 시작이 검출되면, 카메라 제어 회로(62)는 촬상 소자(66)에서 촬상한 화상 데이터를 소정의 해상도 및 갱신 레이트로 버퍼 메모리(68)에 기억하고(스텝 S6103), 화상 데이터를 기록 매체(613)에 순차 기록한다(스텝 S6107).

또한, 스텝 S6103에서 프레임을 기억할 때 동시에, 고화질(고화소 및/또는 다계조)의 화상 데이터를 버퍼 메모리(67)에 기억해서 유지한다(스텝 S6104). 화 상 데이터가 일단 유지되면, 기록 신호 또는 파기 신호가 입력될 때까지 버퍼 메모리(68)가 갱신되어도, 버퍼 메모리(67)의 내용은 유지된다. 버퍼 메모리(67)의 기억 시간과 동시에, 버퍼 메모리(68)의 내용은 화상 분석 회로(69)에 전송되고, 유저가 지정한 조건(웃는 얼굴 등)에 따른 조건 해석·검출 처리가 이루어진다(스텝 S6105). 또한, 스텝 S6105에서의 검출 결과와 지정 조건이 만족되는지를 판정한다(스텝 S6106). 이 경우, 카운터(614)에 기록된 매수에 근거해서, 기록 매수는 지정 매수 이하인가를 판정한다. 스텝 S6105의 검출 결과가 지정된 조건을 만족하고 있을 때는, 기록 신호가 기록 제어 회로(610)에 출력되어, 버퍼 메모리(67)의 내용이 기록 매체(612)에 기록되고, 카운터(614)가 증분된다. 또한, 스텝 S6105의 검출 결과가 지정된 조건을 만족하지 않을 때는, 파기 신호가 카메라 제어 회로(62)에 출력되어, 다음 버퍼 메모리(68)의 기억 타이밍에서 버퍼 메모리(67)를 갱신한다.

도 14는 이상의 동작을 나타내는 타임차트이다. 도 14에서 Vrate는 비디오 레이트로, 비디오 레이트 Vrate의 이 주파수에서 연속 화상의 갱신이 행해진다. 도 14에서는 tO, t1, t2에서 연속 화상 데이터와 고화질 화상 데이터가 동시에 버퍼 메모리(67, 68)에 기억되어, 연속 화상 데이터를 사용해서 분석이 행해진다. 일반적으로는, 고화질 화상이 데이터량이 많으므로, 처리 시간이 걸린다. 이 예에서는, 고화질 화상 데이터가 기록 매체에 기록될 때까지 연속 화상 데이터의 2프레임 분이 사용된다.

또한, 버퍼 메모리(67)에 기억한 고화질 화상 데이터는 항상 기록 매체에 기 록되지는 않는다. 기록용의 버퍼 메모리를 준비해서 화상 데이터를 일시 기억해 두고, 화상 데이터를 보존하지 않을 때 등에 버퍼 메모리에 화상 데이터를 기록함으로써, 단위 시간 당의 기록 빈도가 늘어날 수 있다. 또한, 고화질 화상 데이터 기억용의 복수의 버퍼 메모리를 준비하고, 이와 동수의 조건 해석 검출용 버퍼 메모리를 준비할 수도 있다. 이 경우, 연속 화상 상에서 연속해서 지정의 조건이 만족되는 화상 데이터가 있었을 때라도, 화상 데이터의 수가 버퍼 메모리의 프레임 수를 초과하지 않으면, 연속해서 기록 매체에 기록할 수 있다.

도 15의 예에서는, 버퍼 메모리가 각각 2프레임 분 준비되고, 연속 화상 데이터와 동일한 프레임 수에 의해, 시간 tO, t1, t2, t3,...에서 고화질 화상 데이터를 2개의 버퍼에 교대로 입력한다. 또, 분석 버퍼(62)에 분석 데이터를 일시적으로 보존하고, 모든 프레임을 분석한 후, 프레임을 기록할 것인가 아닌가를 판단해서, 기록 매체에 프레임을 기록할 수 있다.

또한, 피사체의 상태를 분석하는 수단으로서는, 인물 검지, 개인 식별, 표정 인식, 형상 식별 등이 가능하다. 예를 들면, 인물 검지를 행할 경우의 일례를 설명한다. 인물 검지를 행하기 위해서는, 인물의 특징이 가장 잘 나타나는 얼굴을 사용하는 것이 바람직하다. 도 16a∼16d는 상기 일본국 특허 공개2004-294498호에 기재된 촬영한 화상 데이터로 얼굴 영역을 특정하기 위한 일련의 처리를 설명하는 도다.

화상으로부터 단순한 선분 도형인 1차 특징량 621∼624을 추출한다(추출법은 웨이브릿 변환법이나 뉴럴 네트워크법 등이 공지되어 있다). 1차 특징량 621~624 는 조합되어, 2차 특징량 625~628을 추출하고, 2차 특징량 625∼628이 조합되어 3차 특징량 629 및 630을 추출한다. 여기에서 특징량 629는 눈, 특징량 630은 입을 의미하는 특징량이다. 또한, 3차 특징량 629, 630을 조합함으로써, 4차 특징량 631(얼굴 특징량)을 추출한다. 4차 특징량 631로부터, 프레임이 얼굴을 포함하는 지를 판별할 수 있게 되고, 인물 검지를 행할 수 있다. 또, 3차 특징량의 추출에 의해, 얼굴의 파트(눈, 입 등)의 화상에서의 위치와 엣지가 구해질 수 있으므로, 화상 내의 파트 사이의 상대 위치 관계와 파트에 의해 점유된 면적에 근거해서, 표정(예를 들면, 웃는 얼굴)이나 깜박임 등을 검지할 수 있다. 또한, 도 16a∼16d는 화상으로부터의 인물 검지의 일례를 게시한 것이다. 그 밖에도 인물 검지, 개인 식별, 표정 인식, 형상 식별하기 위해서는, 색 정보를 사용하거나 템플릿 매칭을 행하거나 할 수 있다.

이렇게 제4실시형태에 의하면, 동일한 광학계(화각, 포커스, 조리개 조건이 동일)에서 동시간에 연속 화상과 고화질 화상을 획득해서 일시 유지한다. 보다 데이터 용량이 적은 연속 화상의 프레임을 동일 타이밍에 사용해서, 고화질 화상의 취사 선택을 행한다. 이 때문에, 크고 고속인 고화질 화상용의 기록 매체를 준비하지 않아도, 사후 해석에 의해 고화질 화상의 촬영 기회를 얻기 때문에, 촬영 실패의 가능성이 없어진다. 또한, 기록 매수를 지정함으로써 자동으로 지정 매수를 획득하기 위해서, 촬영자는 동화상 촬영에 집중할 수 있고, 동화상 촬영 중에 만나는 순간 표정 등의 촬영 기회를, 동화상의 기록에 영향을 주지 않고 고화질로 기록할 수 있다.

<<제5실시형태>>

도 17에 본 발명에 따른 제5실시형태의 흐름도를 나타낸다.

제5실시형태에서는 제4실시형태와는 다르고, 원하는 조건(예를 들면, 웃는 얼굴이나 깜박임 방지 등)만이 유저 등에 의해 설정된다(스텝 S6201). 스텝 S6202∼S6205는 제4실시형태와 같으므로 설명을 생략한다. 스텝 S6205에서 보존 후보의 고화질 화상과 동시에 획득한 동작 화상의 1프레임이 조건을 만족하고 있다고 판정되면, 카메라 제어 회로(62)는, 유저 인터페이스(61)를 거쳐서, 후보 화상을 획득할 수 있는 것을 유저에 통지한다(스텝 S6206). 스텝 S6206에 의해 유저는 베스트 샷 후보가 버퍼 메모리(67)에 획득되어 있는 것을 알 수 있다. 유저는, 그 화상 데이터를 보존할 것인가 아닌가를 선택한다(스텝 S6207). 유저의 선택을 바탕으로, 화상 데이터의 기록 매체로의 기록(스텝 S6209)이나, 파기(스텝 S6210: 실제로는 중첩 기재를 허가)가 행해진다.

스텝 S6206에서의 통지는 다양한 방법으로 실행될 수 있다.

도 18a∼18d는 유저 인터페이스(61)가 액정표시기 등의 화상 표시부(632)에 의해 실현될 경우의 스텝 S6206에서의 통지 동작의 일례를 게시한다. 조건을 만족하는 화상(이 경우에는, 웃는 얼굴)이 미검출인 경우, 도 18a와 18b에는, 화상표시부(632)에 일정한 프레임 레이트로 연속 화상, 즉 동화상을 표시한다. 도 18c에서 웃는 얼굴의 화상이 촬상되어 화상 분석 회로(69)가 검출할 때, 도 18c 이후의 도 18d에서 분석에 사용한 화상(634)을 그 시점에서의 동화상 위에 표시하고, 목적하는 화상을 획득할 수 있은 것을 문자 정보(633) 등으로 유저에 통지한다. 이때, 화상(634)을 일정한 간격에서 깜박이거나, 굵은 테나 색이 붙은 범위로 둘러싸거나 하면 유저의 주의를 환기할 수 있으므로 유용하다. 또한, 같은 이유로 음성 통지(언어 통지, 음악곡, 경보 소리, 동물의 울음 소리 등)를 동시에 행할 수도 있다. 또한, 도 18a∼18d에서 문자 정보(633)는 텍스트만으로 표시하고 있지만, 아이콘 표시나 아이콘과 텍스트의 병용도 가능하다. 또한, 동화상과 검출 화상의 겹침은, 유저 등에 의해 보존 또는 파기가 지시(스텝 S6207)될 때까지 계속된다. 또, 명시적인 파기 지시 대신에, 스텝 S6206의 통지가 실행되고나서 일정 기간 보존 지시가 없을 때에는 유저가 파기를 선택하는 것으로 해석하는 구성도 가능하다. 이 방법에서는, 동화상이 크게 표시되므로, 동화상을 보다 중시할 경우에 유효하다.

도 19a∼19d는 스텝 S6206에서의 통지를 실행하기 위한 다른 예를 게시한다. 도 19a∼19c는 도 18a∼18c와 같으므로 설명은 생략한다. 도 19c에서 웃는 얼굴 화상이 기억되어, 화상 분석 회로(69)에서 이것이 검출되면, 도 19c 이후의 도 19d에서 웃는 얼굴 화상이 주된 부분에 재표시된다. 그 시점에서의 동화상은 화상의 일부(635: 도 19d에서는 도트로 표시, 실제로는 도트는 표시되지 않는다)에 덮어쓰기 표시된다. 이때, 영역(635)은, 화상 분석 회로(69)가 검출한 영역(636: 도 19d에서는 사선에서 표시, 실제로는 사선은 표시되지 않는다)과 그 시점에서의 동화상을 덮어쓰는 영역(635)이 겹치는 부분을 가능한 작게 하는 위치에 배치된다. 또, 이때 목적하는 화상을 획득한 것을 문자 정보(633) 등으로 유저에 통지한다. 도 18d의 경우와 마찬가지로, 화상을 일정한 간격에서 깜박거리거나, 굵은 테나 색이 붙은 범위로 둘러싸거나, 음성 통지하거나 아이콘 표시함으로써, 유저의 주의를 환 기할 수 있다. 이 방법에서는 화상 검출 시에 검출 화상이 크게 표시되므로, 고화질 화상을 보다 중시할 경우에 유효하다.

제5실시형태에서는 유저가 검출 화상을 기호에 따라 선택할 수 있는 장점이 있다. 이 때문에, 제5실시형태는, 고화질 화상 보존용의 기록 매체의 용량이 작을 때에, 불필요한 촬상을 하는데 있어서, 필요할 때에, 기억 장소가 부족하게 되는 미스를 막을 수 있다.

<<제6실시형태>>

도 20은 본 발명에 따른 제6실시형태의 흐름도를 나타낸다.

스텝 S6301∼S6303 및 스텝 S6308의 처리는 제4실시형태의 스텝 S6101∼S6103 및 스텝 S6107과 같다. 즉, 스텝 S6302에서 영상 녹화가 선택되면, 일정한 간격으로 촬상해서(스텝 S6303), 기록 매체에 기록한다(스텝 S6308). 이러한 연속 화상의 기록 상태에서, 스텝 S6304에서 유저에 의해 검출 시작 지시가 입력되면, 제4실시형태와 같은 처리가 행해진다. 구체적으로는, 스텝 S6304 후, 고화질 화상이 버퍼 메모리에 유지되고(스텝 S6305), 연속 화상의 동시간 프레임에 대한 조건 해석 검출 처리(스텝 S6306), 화상 보존 가부 판단(스텝 S6307), 기록 매체로의 화상 데이터 기록(스텝 S6309) 및, 고화질 화상 데이터의 파기(스텝 S6310)를 행한다.

스텝 S6304의 검출 시작 지시의 입력부는 도 12의 유저 인터페이스(61)에 제공되고, 푸쉬 스위치나 조이스틱, 시선이나 뇌파 등에 의한 입력이 생각된다. 제6실시형태에서는, 예를 들면 운동회 등에서 달리고 있는 아이의 모습을 녹화하면서 목적지에 도달하는 순간을 녹화할 경우나, 새의 날갯짓을 녹화해서 나무에 머문 순간을 촬영할 경우 등에서 활용할 수 있다. 이들 씬에서는, 녹화 개시 시점에서는 대상물이 작아서 자동으로 판별하는 것이 곤란할 수 있다. 촬영하고 싶은 대상 이외의 다른 아이나 새가 가까이 있을 경우, 불필요한 화상을 입력할 수도 있다.

예를 들면, 도 21a, 21b와 같은 경우가 이에 해당한다. 도 21a, 21b는 녹화 개시 시점과 아이(도면에서는 인물A)가 목적지에 도달하는 씬을 나타낸 것이다. 도 21a의 씬에서는, 목적하는 대상(인물A)보다도, 불필요한 물체(인물B)가 크다. 스텝 S6307에서 인물B로 합치 판정을 해서, 불필요한 화상을 입력해버릴 가능성이 높다. 그 결과, 기억 매체의 용량이 소모되어, 정말로 필요한 도 21b의 씬에서는 고화질 화상을 기록할 수 없게 된다. 이러한 문제를 방지하기 위해서, 유저가 대략의 목적하는 대상의 상태를 판단해서 검출 개시 시점을 지정하는 것(도 21a, 21b의 경우에는 인물A가 목적지에 근접할 때 검출을 개시한다)에 의해서, 불필요한 화상의 획득 가능성을 대폭 절감할 수 있다. 이때, 종래의 하이브리드 카메라와 같이 동화상의 프레임을 누락하거나, 수동으로 셔터를 누를 경우와 달리, 결정적 기회를 놓쳐버릴 걱정이 없다.

또한, 스텝 S6304에서 검출 시작 지시가 입력되지 않을 때, 카메라 제어 회로(62)의 부하가 작아진다. 이 때문에, 녹화시에 항상 고화질 화상을 버퍼링해서 분석 처리를 행하는 제4실시형태와 비교해서, 소비 전력을 저하하고, 다른 제어(오토 포커스나 조리개 조정 등)의 빈도를 증가시킬 수 있는 장점이 있다.

상기한 바와 같이, 본 실시형태에 의하면, 연속해서 촬영되는 동화상과 고화 질의 정지 화상을 동시에 촬영할 수 있고, 동화상 촬영에 영향을 미치지 않고 또한 촬영 기회를 놓치지 않고 고화질의 정지 화상을 촬영할 수 있다.

<<그 밖의 실시형태>>

이상, 본 발명의 실시형태에 대해서 상세히 설명했다. 본 발명은, 예를 들면 시스템, 장치, 방법, 프로그램 혹은 기억 매체 등으로 실시형태를 잡을 수 있다. 구체적으로는, 복수의 기기로 구성된 시스템에 적용해도 좋고, 하나의 기기로 이루어지는 장치에 적용해도 좋다.

또한, 본 발명은, 전술한 실시형태의 기능을 실현하는 프로그램을, 시스템 혹은 장치에 직접 혹은 원격으로부터 공급하고, 그 시스템 혹은 장치의 컴퓨터가 공급된 프로그램 코드를 판독해서 실행함으로써 달성된다.

따라서, 본 발명의 기능 처리를 컴퓨터로 실현하기 위해서, 컴퓨터에 인스톨되는 프로그램 코드 자체도 본 발명의 기술적 범위에 포함된다. 즉, 본 발명은, 본 발명의 기능 처리를 실현하기 위한 컴퓨터 프로그램 자체도 포함한다.

이 경우, 프로그램의 기능을 가지고 있으면, 오브젝트 코드, 인터프리터에 의해 실행되는 프로그램, OS에 공급하는 스크립트 데이터 등의 형태도 된다.

프로그램을 공급하기 위한 기록 매체로서는, 예를 들면 플로피(등록상표) 디스크, 하드 디스크, 광디스크, 광자기디스크, MO, CD-ROM, CD-R, CD-RW, 자기테이프, 비휘발성의 메모리 카드, ROM, DVD(DVD-ROM, DVD-R) 등이 포함된다.

그 밖에, 프로그램의 공급 형태로서는, 클라이언트 컴퓨터의 브라우저를 사용해서 인터넷의 웹 페이지에 접속하고, 인터넷 홈 페이지로부터 본 발명에 따른 컴퓨터 프로그램 또는, 압축되어 자동 인스톨 기능을 포함하는 파일을 HD 등의 기록 매체에 다운로드하는 형태도 생각된다. 또한, 본 발명의 프로그램을 구성하는 프로그램 코드를 복수의 파일로 분할하고, 각각의 파일을 다른 홈 페이지로부터 다운로드함으로써도 실현가능하다. 즉, 본 발명의 기능 처리를 컴퓨터로 실현하기 위한 프로그램 파일을 복수의 유저에 대하여 다운로드시키는 WWW서버도, 본 발명에 포함되는 것이다.

또한, 다음과 같은 공급 형태도 생각된다. 즉, 우선 본 발명에 따른 프로그램을 암호화해서 CD-ROM 등의 기억 매체에 기억해서 유저에 배포한다. 그리고, 소정의 조건을 만족하는 유저에 대하여, 인터넷을 거쳐서 홈 페이지로부터 암호화를 푸는 열쇠정보를 다운로드한다. 유저는, 그 열쇠정보를 사용해서 암호화된 프로그램을 실행해서 컴퓨터에 인스톨시켜서 본 발명에 따른 구성을 실현한다. 이러한 공급 형태도 가능하다.

컴퓨터가, 판독한 프로그램을 실행할 때, 전술한 실시형태의 기능이 실현된다. 다음의 실시형태도 상정된다. 즉, 그 프로그램의 지시에 근거해서, 컴퓨터상에서 가동하고 있는 OS 등이, 실제의 처리의 일부 또는 전부를 행한다. 이 처리에 의해서도 전술한 실시형태의 기능이 실현될 수 있다.

또한, 기록 매체로부터 판독된 프로그램이, 컴퓨터에 삽입된 기능 확장 보드나 컴퓨터에 접속된 기능 확장 유닛에 갖추어지는 메모리에 기록된 후, 그 프로그램의 지시에 근거해서 전술한 실시형태의 기능이 실현된다. 즉, 그 기능 확장 보드나 기능 확장 유닛의 CPU가 실제의 처리의 일부 또는 전부를 행한다. 또한, 이 처리는 전술한 실시형태의 기능을 실현한다.

이상에서 설명한 바와 같이, 본 발명에 의하면, 대용량 메모리가 불필요하므로, 보다 적절한 상태의 화상 획득을 가능하게 하는 촬상 장치에 관한 기술을 제공할 수 있다.

본 발명의 다양한 실시형태는, 그 정신 및 범위를 벗어남이 없이 만들어질 수 있고, 본 발명은 특정 실시형태에 한정되는 것이 아니고, 청구항에서 정의된 바에 의해 이해되어야 한다.

Claims

물체를 촬상해서, 촬상에 관련되는 화상 데이터를 순차 획득하는 촬상 수단과,

모델 화상에 있어서의 물체의 특징점에서 산출된 제1특징량에 관련되는 모델 데이터를 기억하는 기억 수단과,

획득한 화상 데이터에 있어서의 물체의 특징점에서 제2특징량을 산출하는 산출 수단과,

제2특징량과 모델 데이터에 근거해서, 물체가 소정의 조건을 만족할 때의 타이밍을 추정하는 제1추정 수단과,

추정된 타이밍에 대응하는 화상 데이터를 화상 데이터 기억 수단에 기억하는 제어 수단을 구비하는 것을 특징으로 하는 촬상 장치.
제1항에 있어서,

상기 제어 수단은, 추정된 타이밍에 근거해서, 상기 촬상 수단이 화상 데이터를 획득할 때의 타이밍을 제어하는 것을 특징으로 하는 촬상 장치.
제1항에 있어서,

상기 제1추정 수단은, 순차 획득되는 화상 데이터에 근거해서 각각 산출된 제2특징량과 모델 데이터 사이의 차분의 변화에 근거해서 추정을 행하는 것을 특징으로 하는 촬상 장치.
제1항에 있어서,

물체가 촬상된 환경에 관한 파라미터를 획득하는 획득 수단과,

획득된 파라미터에 근거해서, 추정된 타이밍에서의 상기 촬상 수단의 촬상 조건을 결정하는 결정 수단을 더 구비하고,

상기 촬상 수단은, 추정된 타이밍에서, 결정된 촬상 조건을 따라서, 촬상을 행하는 것을 특징으로 하는 촬상 장치.
제4항에 있어서,

촬상 조건은, 포커스 조절, 노출량, 화이트 밸런스, 줌 배율, 촬상 방향 중 적어도 하나에 관한 제어 조건을 포함하는 것을 특징으로 하는 촬상 장치.
제4항에 있어서,

화상 데이터에서 물체가 차지하는 영역을 검출하는 검출 수단과,

상기 산출 수단에서 산출된 제2특징량과 모델 데이터에 근거해서, 검출된 영역의 화상 데이터에 있어서의 위치, 사이즈, 대표 휘도값, 대표 콘트라스트, 속도 벡터 중 적어도 하나의 파라미터를 추정하는 제2추정 수단을 더 구비하고,

상기 결정 수단은, 추정된 파라미터에 근거해서 촬상 조건을 결정하는 것을 특징으로 하는 촬상 장치.
제6항에 있어서,

상기 결정 수단은, 상기 적어도 하나의 파라미터와 대응하는 기준값의 차분이 소정 범위 내에 있도록 촬상 조건을 결정하는 것을 특징으로 하는 촬상 장치.
제1항에 있어서,

소정의 조건은, 물체가 소정의 동작을 수행하는 것인 것을 특징으로 하는 촬상 장치.
제8항에 있어서,

상기 촬상 수단은, 상기 제1추정 수단에 의해 추정된, 물체가 소정의 동작을 수행할 때의 타이밍에서, 화상의 촬상 레이트를 증가시키는 것을 특징으로 하는 촬 상 장치.
제1항에 있어서,

물체는 인간의 얼굴이며,

소정의 조건은 얼굴이 소정의 표정을 나타내는 것인 것을 특징으로 하는 촬상 장치.
물체를 촬상해서, 촬상에 관련되는 화상 데이터를 순차 획득하는 촬상 공정과,

모델 화상에서의 물체의 특징점에서 산출된 제1특징량에 관련되는 모델 데이터를 기억 수단에 기억하는 기억 공정과,

획득한 화상 데이터에서의 물체의 특징점에서 제2특징량을 산출하는 산출 공정과,

제2특징량과 모델 데이터에 근거해서, 물체가 소정의 조건을 만족할 때의 타이밍을 추정하는 제1추정 공정과,

추정된 타이밍에 대응하는 화상 데이터를 화상 데이터 기억 수단에 기억시키는 제어 공정을 구비하는 것을 특징으로 하는 촬상 장치의 제어 방법.
청구항 제1항에 기재된 촬상 장치로서 컴퓨터를 기능시키기 위한 컴퓨터 프로그램을 기억하는 것을 특징으로 하는 컴퓨터 판독가능한 기억 매체.
피사체를 촬상해서, 화상 데이터를 획득하는 촬상 수단과,

상기 촬상 수단에서 제1화상 데이터 및 제2화상 데이터를 동시에 획득하고, 상기 제1화상 데이터를 일시적으로 유지시키는 제1데이터 유지 수단, 상기 제2화상 데이터를 일시적으로 유지시키는 제2데이터 유지 수단을 갖는 유지 제어 수단과,

제2화상 데이터를 사용해서 피사체의 상태를 분석하는 분석 수단과,

제2화상 데이터를 연속적으로 기록 매체에 기록하는 동시에, 상기 분석 수단에 의한 분석 결과에 근거해서 제1화상 데이터의 기록 매체로의 기록의 가부를 제어하는 기록 제어 수단을 구비하는 것을 특징으로 하는 촬상 장치.
제13항에 있어서,

제1화상 데이터는 제2화상 데이터와 비교해서 고해상도 및 다계조 중 적어도 하나를 갖는 것을 특징으로 하는 촬상 장치.
제13항에 있어서,

유지 제어 수단은, 상기 분석 수단에 의한 분석을 행하고 기록 매체로의 기록을 행할 때까지, 분석 처리를 행하는 제2화상 데이터와 동시에 획득한 상기 분석 수단에 의한 분석 처리에 사용하지 않는 제1화상 데이터를 유지하는 제1데이터 유지 수단을 갖고,

기록 제어 수단은, 기록 매체로의 기록이 지정되면, 제1화상 데이터를 기록 매체에 기록하고, 기록 매체에 기록하지 않는 것이 지정되면, 유지 제어 수단은 제1화상 데이터를 파기하는 것을 특징으로 촬상 장치.
제13항에 있어서,

상기 제1 및 제2데이터 유지 수단이 복수 구비되고,

제1화상 데이터 및 제2화상 데이터의 조합을 복수 유지하는 것을 특징으로 하는 촬상 장치.
제13항에 있어서,

기록 매체를 복수 구비하고,

제1화상 데이터를 제1기록 매체에, 제2화상 데이터를 제2기록 매체에 기록하는 것을 특징으로 하는 촬상 장치.
제13항에 있어서,

상기 분석 수단은, 상기 제2화상 데이터에 대하여 인물 검지, 개인 식별, 표정 인식, 형상 식별 중 적어도 하나를 실행하는 것을 특징으로 하는 촬상 장치.
제13항에 있어서,

상기 분석 수단에 의한 분석을 실행하기 위한 조건을 설정하는 설정 수단과,

기록 매체에 기록하는 화상 매수를 지정하는 지정 수단을 더 구비하고,

조건을 만족시키는 제1화상 데이터를 기록 매체에 순차 기록하고, 제1화상 데이터가 상기 지정 수단에 의해 지정한 화상 매수에 도달하면, 제1화상 데이터의 기록을 종료하는 것을 특징으로 하는 촬상 장치.
제19항에 있어서,

제1 및 제2화상 데이터의 획득 시작을 지시하는 지시 수단을 더 구비하고,

기록 제어 수단은, 획득 시작이 지시되지 않을 경우, 기록 매체에 제1화상 데이터를 기록하지 않고 제2화상 데이터를 기록하고,

기록 제어 수단은, 획득 시작이 지시될 경우, 조건을 만족시키는 제1화상 데 이터를 기록 매체에 순차 기록하고, 상기 제1화상 데이터가 지정 수단에 의해 지정한 화상 매수에 도달하면, 제1화상 데이터의 기록을 종료하도록 제어하는 것을 특징으로 하는 촬상 장치.
제19항에 있어서,

조건을 만족시키는 제1화상 데이터가 있는 것을 통지하는 통지 수단과,

상기 통지 수단에 의한 통지 후, 제1화상 데이터를 상기 기록 매체에 기록할 것인가 아닌가를 결정하는 결정 수단을 더 구비하고,

상기 결정 수단이 제1화상 데이터의 기록을 지시할 때, 제1화상 데이터를 기록 매체에 기록하고, 상기 결정 수단이 제1화상 데이터의 파기를 지시할 때, 제1화상 데이터를 파기하는 것을 특징으로 하는 촬상 장치.
제21항에 있어서,

조건을 만족시키는 제1화상 데이터를 표시하기 위한 표시 수단을 더 구비하고,

조건을 만족시키는 제1화상 데이터가 검출되지 않을 경우, 상기 표시 수단은 제2화상 데이터를 표시하고, 조건을 만족시키는 제1화상 데이터가 검출될 경우, 상기 표시 수단이 제1 및 제2화상 데이터를 구별 가능하게 표시하는 것을 특징으로 하는 촬상 장치.
제22항에 있어서,

상기 표시 수단은, 제1 및 제2화상 데이터가 겹쳐서 표시될 경우, 제1화상 데이터와 제2화상 데이터가 겹치는 영역이 최소가 되도록 제1 및 제2화상 데이터를 배치하는 것을 특징으로 하는 촬상 장치.
제21항에 있어서,

상기 결정 수단은, 소정 시간 내에 기록 지시가 행해지지 않은 경우, 파기 지시로 판단하는 것을 특징으로 하는 촬상 장치.
피사체를 촬상해서 화상 데이터를 획득하는 촬상 공정과,

상기 촬상 공정에 의해 제1화상 데이터 및 제2화상 데이터를 동시에 획득하고, 제1화상 데이터를 제1데이터 유지 수단에 일시적으로 유지하고, 제2화상 데이터를 제2데이터 유지 수단에 일시적으로 유지하는 데이터 유지 공정과,

제2화상 데이터를 사용해서 피사체의 상태를 분석하는 분석 공정과,

상기 제2화상 데이터를 연속적으로 기록 매체에 기록하고, 분석 공정에 의한 분석 결과에 근거해서 제1화상 데이터의 기록 매체로의 기록의 가부를 제어하는 기록 제어 공정을 구비하는 것을 특징으로 하는 촬상 방법.
청구항 제13항에 기재된 촬상 장치로서 컴퓨터를 기능시키기 위한 컴퓨터 프로그램을 기억하는 것을 특징으로 하는 컴퓨터 판독가능한 기억 매체.