JP4466770B2 - 撮像装置、撮像方法および撮像プログラム - Google Patents

Description

本発明は、画像を撮像する撮像装置、撮像方法および撮像プログラムに関する。

撮像された画像から人物の顔を検出して顔の数をカウントし、顔の数が予め設定された撮像予定人数と一致している場合に、その画像をメモリカード等の記録媒体に記録するカメラが提案されている（例えば、特許文献１参照）。

また、複数の顔を顔登録メモリに登録して、撮像された画像に含まれる顔の中から登録されている顔であると認識された顔の数をカウントし、認識された顔の数が予め設定された撮像予定人数と一致している場合に、その画像をメモリカード等の記録媒体に記録するカメラが提案されている（例えば、特許文献１参照）。

特開２００７−３２９６０２号公報

特許文献１に記載のカメラを用いると、セルフタイマーを使用して集合写真を撮像する場合に、カメラの操作者が撮像範囲に入り、撮像範囲に含まれる被撮像者の数が撮像予定人数になったことを契機としてカウントダウンを開始するようにセルフタイマーを設定することができる。セルフタイマーがこのように設定されていると、操作者は急いで撮像範囲に入らなくても良く、操作者がポーズを決める時間的余裕が生じる。

しかし、特許文献１に記載のカメラは、操作者が被撮像者の数をカウントし、撮像予定人数を予め設定しなければならない。

本発明は、撮像予定人数の設定を不要とし、撮像範囲に含まれる被撮像者の数が変化したことを契機として撮像された画像を記録する撮像装置、撮像方法および撮像プログラムを提供することを目的とする。

本願の請求項１記載の発明は、連続的に画像を撮像する撮像手段と、この撮像手段によって撮像される画像から顔を検出する顔検出手段と、この顔検出手段に対し第１の検出条件を設定することにより、前記撮像手段によって連続的に撮像される画像から多方向の顔を検出するよう制御する第１の顔検出制御手段と、この第１の顔検出制御手段による制御により顔が検出されると、この顔に合わせて撮影条件を決定する撮影条件決定手段と、この撮影条件決定手段による決定の後、記録指示を検出する記録指示検出手段と、この記録指示検出手段による記録指示の検出の後、前記顔検出手段に対し前記第１の検出条件よりも厳しい第２の検出条件を設定することにより、前記連続的に撮像される画像から正面方向のみの顔を検出するよう制御する第２の顔検出制御手段と、前記連続的に撮像される画像毎に、前記第２の顔検出制御手段による制御により検出された正面方向のみの顔の数を求める顔数取得手段と、前記連続的に撮像される画像において前記顔数取得手段が求めた前記正面方向のみの顔の数が、その前に撮像された画像において求めた前記正面方向のみの顔の数から変化したか否かを判定する変化判定手段と、前記記録指示検出手段による記録指示の検出に応答し、且つ、前記変化判定手段によって前記正面方向のみの顔の数が変化したと判定されると、この変化の判定の後に撮像される正面方向のみの顔を含む画像を記録媒体に記録する記録手段と、を備えることを特徴とする。

また、本願の請求項２記載の発明は、上記請求項１記載の発明に加え、前記変化判定手段は、前記撮像された画像において前記顔数取得手段が求めた前記正面方向のみの顔の数が、その前に撮像された画像において求めた前記正面方向のみの顔の数より増加することにより変化したか否かを判定し、前記記録手段は、前記記録指示検出手段による記録指示の検出に応答し、且つ、前記変化判定手段によって前記正面方向のみの顔の数が増加することにより変化したと判定されるのを待って、この変化の判定の後に撮像される正面方向のみの顔を含む画像を前記記録媒体に記録する、ことを特徴とする。

また、本願の請求項３記載の発明は、上記請求項１記載の発明に加え、前記記録指示検出手段による記録指示の検出に応答して、前記顔数取得手段によって求められた前記正面方向のみの顔の数を記憶する顔数記憶手段を更に備え、前記変化判定手段は、前記撮像された画像において前記顔数取得手段が求めた前記正面方向のみの顔の数が前記顔数記憶手段に記憶されている前記正面方向のみの顔の数より多くなることにより変化したか否かを判定し、前記記録手段は、前記変化判定手段によって前記正面方向のみの顔の数が多くなることにより変化したと判定されるのを待って、この変化の判定の後に撮像される正面方向のみの顔を含む画像を前記記録媒体に記録する、ことを特徴とする。

また、本願の請求項４記載の発明は、上記請求項１乃至３のいずれか１項に記載の発明に加え、予め設定された所定時間を計時する計時手段を更に備え、前記記録手段は更に、前記計時手段によって前記所定時間が計時されたことに応答して、前記変化の判定の後に撮像される正面方向のみの顔を含む画像を記録する、ことを特徴とする。

本願の請求項５記載の発明は、撮像部に対し連続的に画像を撮像させる撮像ステップと、顔検出部に対し第１の検出条件を設定することにより、前記撮像ステップにて連続的に撮像される画像から多方向の顔を検出するよう制御する第１の顔検出制御ステップと、この第１の顔検出制御ステップでの制御により顔が検出されると、この顔に合わせて撮影条件を決定する撮影条件決定ステップと、この撮影条件決定ステップでの決定の後、記録指示を検出する記録指示検出ステップと、この記録指示検出ステップでの記録指示の検出の後、前記顔検出部に対し前記第１の検出条件よりも厳しい第２の検出条件を設定することにより、前記連続的に撮像される画像から正面方向のみの顔を検出するよう制御する第２の顔検出制御ステップと、前記連続的に撮像される画像毎に、前記第２の顔検出制御ステップでの制御により検出された正面方向のみの顔の数を求める顔数取得ステップと、前記連続的に撮像される画像において前記顔数取得ステップが求めた前記正面方向のみの顔の数が、その前に撮像された画像において求めた前記正面方向のみの顔の数から変化したか否かを判定する変化判定ステップと、前記記録指示検出ステップでの記録指示の検出に応答し、且つ、前記変化判定ステップにて前記正面方向のみの顔の数が変化したと判定されると、この変化の判定の後に撮像される正面方向のみの顔を含む画像を記録媒体に記録させる記録ステップと、を含むことを特徴とする。

本願の請求項６記載の発明は、顔検出部を有する撮像装置が具備するコンピュータを、連続的に画像を撮像させる撮像手段、前記顔検出部に対し第１の検出条件を設定することにより、前記撮像手段によって連続的に撮像される画像から多方向の顔を検出するよう制御する第１の顔検出制御手段、この第１の顔検出制御手段による制御により顔が検出されると、この顔に合わせて撮影条件を決定する撮影条件決定手段、この撮影条件決定手段による決定の後、記録指示を検出する記録指示検出手段、この記録指示検出手段による記録指示の検出の後、前記顔検出部に対し前記第１の検出条件よりも厳しい第２の検出条件を設定することにより、前記連続的に撮像される画像から正面方向のみの顔を検出するよう制御する第２の顔検出制御手段、前記連続的に撮像される画像毎に、前記第２の顔検出制御手段による制御により検出された正面方向のみの顔の数を求める顔数取得手段、前記連続的に撮像される画像において前記顔数取得手段が求めた前記正面方向のみの顔の数が、その前に撮像された画像において求めた前記正面方向のみの顔の数から変化したか否かを判定する変化判定手段、前記記録指示検出手段による記録指示の検出に応答し、且つ、前記変化判定手段によって前記正面方向のみの顔の数が変化したと判定されると、この変化の判定の後に撮像される正面方向のみの顔を含む画像を記録媒体に記録させる記録手段、として機能させることを特徴とする。

本発明によれば、撮像予定人数の設定が不要であり、撮像範囲に含まれる被撮像者の数が変化したことを契機として撮像された画像を記録する撮像装置、撮像方法および撮像プログラムを提供することができる。

（第１の実施形態）
本発明の実施形態に係るカメラ１０は、図１に示すように、撮像部１と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２と、メモリ部３と、記録メディア制御部４と、記録メディア５と、操作部６と、表示部７と、タイマー８とを有している。

撮像部１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの撮像素子を含む。撮像部１は、連続して画像を撮像する。撮像部１は、撮像された画像をＡ／Ｄ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ）変換し、デジタル信号である画像データをＣＰＵ２に出力する。

ＣＰＵ２は、プログラマブルなプロセサである。ＣＰＵ２は、カメラ１０全体を制御する。ＣＰＵ２は、撮像部１によって出力された画像データを受け取り、表示部７で表示可能な形式に変換して、スルー画像として表示部７に出力する。また、ＣＰＵ２は、画像データの記録時には、この画像データに各種の画像処理や圧縮等を施し、記録メディア制御部４に出力する。ＣＰＵ２は、画像データを記録メディア５へ記録するように記録メディア制御部４に指示する。

メモリ部３は、ＲＡＭ（Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ等のメモリを含む。メモリ部３は、ＣＰＵ２のプログラムや各種の設定等を記憶する。また、メモリ部３は、撮像された画像データを一時的に記憶する。

記録メディア制御部４は、ＣＰＵ２の指示に従って、画像データを記録メディア５に記録する。
記録メディア５は、撮像された画像データを記録する。記録メディア５は、例えば、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ハードディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）である。

操作部６は、シャッターボタンや上下左右カーソルキーのような各種の操作キーやスイッチを含む。
ＣＰＵ２は、例えば、シャッターボタンの半押し操作が検出されたとき、オートフォーカス処理と自動露出処理を行う。
ＣＰＵ２は、シャッターボタンの全押し操作が検出されると、直ちに画像データを記録メディア５へ記録するように記録メディア制御部４に指示する。また、ＣＰＵ２は、シャッターボタンの全押し操作が検出されると、後述するように、撮像された画像ごとに人物の顔（詳細には顔の画像領域）を検出し、検出された顔の数を求める。ＣＰＵ２は、顔の数が増加すると、所定時間経過の後、画像データを記録メディア５へ記録するように記録メディア制御部４に指示する。

表示部７は、ディスプレイを含む。ＣＰＵ２は、ディスプレイに各種のメッセージや撮像部１で撮像された画像が縮小されたスルー画像を表示する。スルー画像のサイズは、例えば３２０画素×２４０画素（ＱＶＧＡ）である。ユーザは、ディスプレイのスルー画像を見ながらシャッターボタンを押下する等の操作を行う。

タイマー８は、例えばダウンカウンタである。タイマー８は、予め設定された所定時間の経過をカウントダウンすることにより計時し、０になると、ＣＰＵ２に割り込みをかけて値が０になったことを通知する。

なお、撮像部１は本発明の撮像手段の一例であり、タイマー８は本発明の計時手段の一例である。

次に第１の実施形態の処理の概要を説明する。先ず、スタートの状態においてＣＰＵ２は、シャッターボタンの全押し操作が検出された後、連続的に撮像される画像に含まれる人物の顔が増加すると、その後、所定時間が経過した後に撮像された画像に基づく画像データを記録メディア５へ記録する。

ＣＰＵ２は、シャッターボタンが半押し操作されたことを検出すると、撮像された画像に含まれる人物の顔を検出し、検出された顔の数を求める。ＣＰＵ２は、図２に示すように、表示部７のディスプレイに表示されているスルー画像に重畳させて顔枠７１（７１Ａ〜７１Ｃ）を表示する。
そして、ＣＰＵ２は、シャッターボタンが全押しされると、連続的に撮像される画像毎に人物の顔を再度検出し、更に検出された顔の数を求める。図３に示すように、例えば顔の数が３人分から４人分に増え、顔枠７１が７１Ａ〜７１Ｃの３つから７１Ａ〜７１Ｄの４つに増えると、所定時間を計時すべくタイマー８がカウントダウンを開始する。ＣＰＵ２は、タイマー８の値が０になった時点に撮像された画像データを記録メディア５へ記録する。

具体的な処理について図４のメインフローチャートを用いて詳述する。先ず、ＣＰＵ２は、タイマー８に所定時間を設定する等の初期設定を行い（ステップＳ１０１）、シャッターボタンの半押し操作が検出されるまで待つ（ステップＳ１０２；Ｎｏ）。

ＣＰＵ２は、シャッターボタンの半押し操作を検出すると（ステップＳ１０２；Ｙｅｓ）、後述する顔検出処理を行い、検出された顔の数をカウントする（ステップＳ１０３）。そして、検出された顔に合わせてオートフォーカス処理と自動露出処理を行う（ステップＳ１０４）。
このとき、ＣＰＵ２は、図２に示すように、表示部７のディスプレイに表示されているスルー画像に重ねて、検出された顔に重畳させて顔枠７１（７１Ａ〜７１Ｃ）を表示する。この状態でＣＰＵ２は、シャッターボタンの全押し操作が検出されるまで待つ（ステップＳ１０５；Ｎｏ）。

ＣＰＵ２は、シャッターボタンの全押し操作を検出すると（ステップＳ１０５；Ｙｅｓ）、再度顔検出処理を行い、検出された顔の数をカウントする（ステップＳ１０６）。そして、ＣＰＵ２は、顔検出処理によってカウントした顔の数をメモリ部３の所定の領域に記憶する（ステップＳ１０７）。なお、ステップＳ１０６を省略し、ステップＳ１０７では、ＣＰＵ２は、ステップＳ１０３でカウントした顔の数をメモリ部３の所定の領域に記憶することとしても良い。

その後、ＣＰＵ２は、連続的に撮像されることにより新しい画像が入力される毎にその画像について顔検出処理を行ってその検出された顔の数をカウントする（ステップＳ１０８）。
ＣＰＵ２は、ステップＳ１０８でカウントした顔の数がステップＳ１０７で記憶された顔の数以下である場合には（ステップＳ１０９；Ｎｏ）、ステップＳ１０７に戻ってステップＳ１０８でカウントした顔の数を記憶し、再度ステップＳ１０８を実行して顔検出処理を行い、検出された顔の数をカウントする。

ＣＰＵ２は、ステップＳ１０８でカウントした顔の数がステップＳ１０７で記憶された顔の数と比較して増加したと判断すると（ステップＳ１０９；Ｙｅｓ）、タイマー８に所定時間のカウントダウンを開始させる。すなわち、ＣＰＵ２は、連続的に撮像される画像において、直前に撮像された画像に含まれる顔の数と今回撮像された画像に含まれる顔の数とを比較し、顔の数が増加したことに応答して、タイマー８にカウントダウンを開始させる。
タイマー８は、その値が０になると、所定時間が経過したことを割り込みによってＣＰＵ２に通知する（ステップＳ１１０；Ｙｅｓ）。
所定時間が経過すると（ステップＳ１１０；Ｙｅｓ）、ＣＰＵ２は、その時点で撮像された画像を記録メディア５へ記録するように記録メディア制御部４に指示する（ステップＳ１１１）。記録メディア制御部４は、撮像された画像を記録メディア５へ記録する。

尚、ステップＳ１０３、Ｓ１０６およびＳ１０８における顔検出処理は、詳細には顔の画像領域と顔ではない画像領域とを識別する機能を備える顔検出器を用いることにより顔を検出する。
この顔検出器は、例えば３２０画素×２４０画素（ＱＶＧＡ）程度の解像度でも、本実施形態における顔検出のために十分な精度で顔を検出することができる。そこで、本実施形態では、ＣＰＵ２は、スルー画像を対象として顔検出処理を行う。

図５は、上記顔検出処理のサブフローチャートの一例を示す図である。ＣＰＵ２は、図５に示すように、スルー画像から小領域を切出し（ステップＳ２０１）、顔検出器によりこの小領域が顔を含むか否かを判定する（ステップＳ２０２）。ＣＰＵ２は、大きく写っている顔や小さく写っている顔を検出するためにスルー画像から異なる大きさの小領域を切り出し、小領域の縮小や拡大を行って顔検出器に入力する。
顔検出器は、例えば、スルー画像から切り出された小領域から求められた特徴量とＲＯＭ等に格納されている顔識別データベースから読み出された特徴量とに基づいて顔らしさを表すポイントを計算する。顔検出器は、このポイントが予め設定された閾値より大きい場合は、スルー画像から切り出された小領域は顔を含むと判定する。
なお、本実施形態では、顔検出器はＣＰＵ２で実行されるソフトウエアとして実現される。

ＣＰＵ２は、顔検出器により小領域が顔を含むと判定しなかった場合（ステップＳ２０２；Ｎｏ）、ステップＳ２０１に戻り、次の小領域を切り出す。一方、ＣＰＵ２は、顔検出器により小領域が顔を含むと判定した場合（ステップＳ２０２；Ｙｅｓ）、検出された顔の数をカウントする（ステップＳ２０３）。

ＣＰＵ２は、カウントした顔の数が１枚の画像内で検出できる顔の最大数を超えたと判断した場合は（ステップＳ２０４；Ｙｅｓ）、例えば、「人数が多すぎます。」というメッセージを表示部７のディスプレイに表示して（ステップＳ２０５）、図４のステップＳ１１１の後にジャンプし、本処理を終了する。

一方、ＣＰＵ２は、カウントした顔の数が１枚の画像内で検出できる顔の最大数を超えていないと判断した場合（ステップＳ２０４；Ｎｏ）、その画像中の最後の小領域であるか否かを判定する（ステップＳ２０６）。その画像中の最後の小領域でないと判定した場合には（ステップＳ２０６；Ｎｏ）、ステップＳ２０１に戻り、次の小領域を切り出す。ＣＰＵ２は、その画像中の最後の小領域の顔検出器による判定を終了すると（ステップＳ２０６；Ｙｅｓ）、メインフローチャートに戻る。

なお、ＣＰＵ２におけるステップＳ１０５は本発明の記録指示検出手段と記録指示検出ステップの一例であり、ＣＰＵ２におけるステップＳ２０１とＳ２０２は本発明の特徴領域検出手段と特徴領域検出ステップの一例であり、ＣＰＵ２におけるステップＳ２０３は本発明の特徴領域数取得手段と特徴領域数取得ステップの一例であり、ＣＰＵ２におけるステップＳ１０７〜Ｓ１０９は本発明の特徴領域数変化判定手段と特徴領域数変化判定ステップの一例であり、ＣＰＵ２におけるステップＳ１０９〜Ｓ１１１は本発明の記録手段、記録ステップ、記録制御手段の一例である。

（第１の実施形態の変形例）
図６は、図４のメインフローチャートの変形例を示す図である。ステップＳ１０１〜Ｓ１０６およびステップＳ１１０とＳ１１１は図４と図６で同一である。

ＣＰＵ２は、シャッターボタンの全押し操作を検出すると（ステップＳ１０５；Ｙｅｓ）、顔検出処理を行い、検出された顔の数をカウントする（ステップＳ１０６）。ＣＰＵ２は、顔検出処理によってカウントした顔の数をメモリ部３の所定の領域に記憶する（ステップＳ３０７）。その後ＣＰＵ２は、画像ごとに顔検出処理を再度行い、カウントした顔の数を求める（ステップＳ３０８）。ＣＰＵ２は、ステップＳ３０８でカウントした顔の数がステップＳ３０７で記憶された顔の数以下である場合には（ステップＳ３０９；Ｎｏ）、ステップＳ３０８に戻って再度顔検出処理を行い、検出された顔の数をカウントする。

ＣＰＵ２は、ステップＳ３０８でカウントした顔の数がステップＳ３０７で記憶された顔の数より多いことに応答して（ステップＳ３０９；Ｙｅｓ）、所定時間が経過するのを待って（ステップＳ１１０）、その時点で撮像された画像データを記録メディア５に記録する（ステップＳ１１１）。

すなわち、図４においてＣＰＵ２は、連続的に撮像される画像において、直前に撮像された画像に含まれる顔の数と今回撮像された画像に含まれる顔の数とを比較し、顔の数が増加したことに応答して、画像データを記録メディア５に記録したのに対し、図６では、ＣＰＵ２は、連続的に撮像される画像において、シャッターボタンの全押し操作が検出された時点で撮像された画像に含まれる顔の数と、シャッターボタンの全押し操作検出後に撮像された画像に含まれる顔の数とを比較し、顔の数が増加したことに応答して、画像データを記録メディア５に記録する。

なお、ＣＰＵ２におけるステップＳ３０７は本発明の特徴領域数記憶手段の一例であり、ＣＰＵ２におけるステップＳ３０７〜Ｓ３０９は本発明の特徴領域数変化判定手段と特徴領域数変化判定ステップの一例である。

（第２の実施形態）
集合写真を撮像する場合、被撮像者は正面を向いている場合が多い。第３の実施形態では、セルフタイマーをセットして集合写真を撮像する場合、正面を向いている正面方向の顔を他の方向を向いている顔と識別する正面顔検出器を用いて正面顔を検出する。

第２の実施形態も、第１の実施形態と同様にカメラ１０を用いる。
図７は、本発明の第２の実施形態に係るメインフローチャートの一例を示す図である。図７は、顔検出処理（ステップＳ４０３、Ｓ４０６、Ｓ４０８）のみが図４と異なる。ステップＳ４０３、Ｓ４０６およびＳ４０８以外のステップは図４と同一である。

ＣＰＵ２は、シャッターボタンの半押し操作を検出したことに応答して（ステップＳ１０２；Ｙｅｓ）、顔検出処理を行い（ステップＳ４０３）、続いてオートフォーカス処理と自動露出処理を行う（ステップＳ１０４）。その際、顔検出処理によって検出された顔に合わせてピントや露出・露光等の撮像条件を決定する。

このとき、被撮像者は正面を向いているとは限らず、横を向いたり、斜めを向いたり、顔を傾けたりしている場合が多い。そこで、ステップＳ４０３では、後述する第１の顔検出器を用いて多方向の顔検出処理を行う。第１の顔検出器は、正面顔だけでなく、横を向いている顔や、斜めを向いている顔、及び、傾いた顔等も検出する。

一方、集合写真を撮像する場合には、被撮像者は正面を向いている場合が多い。そこで、ＣＰＵ２は、シャッターボタンの全押し操作を検出すると（ステップＳ１０５；Ｙｅｓ）、上記の第１の顔検出器を用いることなく、正面を向いた顔を識別するための第２の顔検出器を用いて正面方向の顔検出処理を行い、検出された顔の数をカウントする（ステップＳ４０６）。なお、第２の顔検出器については後述する。
ＣＰＵ２は、正面方向の顔検出処理によってカウントした顔の数をメモリ部３の所定の領域に記憶する（ステップＳ１０７）。

更にＣＰＵ２は、連続的に撮像されることにより、新しい画像が入力される毎にその画像について正面方向の顔検出処理を行い、検出された顔の数をカウントする（ステップＳ４０８）。
その後、ＣＰＵ２は、ステップＳ４０８でカウントされた顔の数がステップＳ１０７で記憶された顔の数以下であると判断した場合には（ステップＳ１０９；Ｎｏ）、カウントした顔の数をメモリ部３の所定の領域に記憶し（ステップＳ１０７）。再度ステップＳ４０８を実行して正面方向の顔検出処理を行い、検出された顔の数をカウントする。

一方、ＣＰＵ２は、ステップＳ４０８でカウントされた顔の数がステップＳ１０７で記憶された顔の数より増加していると判断すると（ステップＳ１０９；Ｙｅｓ）、所定時間が経過するのを待って（ステップＳ１１０）、その時点で撮像された画像データを記録メディア５に記録する（ステップＳ１１１）。すなわち、ＣＰＵ２は、連続的に撮像される画像において、連続的に撮像される画像において、直前に撮像された画像に含まれる正面方向の顔の数と今回撮像された画像に含まれる正面方向の顔の数とを比較し、正面方向の顔の数が増加したことに応答して、画像データを記録メディア５に記録する。

次に、第１の顔検出器と第２の顔検出器について説明する。

上述の図５のステップＳ２０２で用いられる顔検出器は、スルー画像から切り出された小領域から求められた特徴量とＲＯＭ等に格納されている顔識別データベースから読み出された特徴量に基づいて顔らしさを表すポイントを計算する。顔検出器は、このポイントが予め設定された閾値より大きい場合に、スルー画像から切り出された小領域は顔であると判定する。

この閾値を高く設定することは、顔検出の条件を厳しくすることを意味する。このため、この閾値を高く設定することによって、顔らしい対象が選択されやすくなり、正面方向の顔が検出される確率を高めることができる。従って、この閾値を高く設定することによって、図５のステップＳ２０２で用いられる顔検出器を第２の顔検出器とすることができる。一方、この閾値を低く設定することによって、図５のステップＳ２０２で用いられる顔検出器を第１の顔検出器とすることができる。

また、第１の顔検出器と第２の顔検出器を下記の技術を用いて別々に作成することもできる。

この技術について詳述すると、例えば、人物の顔を検出する方法の一つに、統計的パターン認識による方法が存在する。この方法では、多数の顔の画像と、多数の顔ではない画像を用いて顔検出器に顔の識別ルールを学習させる。例えば、アダブースト（Ａｄａｂｏｏｓｔ）学習により識別能力の比較的低い検出器を組み合わせることで識別能力の高い顔検出器が構成される。

そこで、多数の正面方向の顔の画像と、多数の多方向の顔の画像（横を向いた横顔の画像、斜めを向いた斜め顔の画像、傾いた顔の画像、顔ではない画像等）を用いて識別ルールを学習させることによって、正面方向の顔の検出に向いた第２の顔検出器を作成することができる。また、多方向の顔からなる多数の画像と、この多数の顔以外の多数の画像とを用いて識別ルールを学習させることによって、多方向の顔の検出に向いた第１の顔検出器を作成することができる。

また、図５のステップＳ２０２で用いられる顔検出器として第１の顔検出器を用いることでステップＳ４０３の他方向の顔検出処理を行うことができる。一方、図５のステップＳ２０２で用いられる顔検出器として第２の顔検出器を用いることでステップＳ４０６とＳ４０８の正面方向の顔検出処理を行うことができる。

なお、ＣＰＵ２におけるステップＳ１０７とＳ４０８とＳ１０９は本発明の特徴領域数変化判定手段と特徴領域数変化判定ステップの一例である。

（第２の実施形態の変形例）
図８は、上記第２の実施の形態の変形例を示す図である。
図８は、顔検出処理（ステップＳ４０３、Ｓ５０６、Ｓ５０８）が図６と異なる。ステップＳ４０３、Ｓ５０６およびＳ５０８以外のステップは図６と同一である。

ＣＰＵ２は、図７と同様に、シャッターボタンの半押し操作を検出したことに応答して（ステップＳ１０２；Ｙｅｓ）、多方向の顔検出処理を行い（ステップＳ４０３）、検出された顔に合わせてオートフォーカス処理と自動露出処理を行う（ステップＳ１０４）。

しかしながら、シャッターボタンの全押し操作を検出した後も、被撮像者は横を向いたり、上を向いたり、下を向いたりしている場合がある。そこで、ＣＰＵ２は、図７と異なり、シャッターボタンの全押し操作を検出すると（ステップＳ１０５；Ｙｅｓ）、多方向の顔検出処理を行い、検出された顔の数をカウントする（ステップＳ５０６）。そして、ＣＰＵ２は、多方向の顔検出処理によってカウントした顔の数をメモリ部３の所定の領域に記憶する（ステップＳ３０７）。なお、ステップＳ５０６を省略し、ステップＳ３０７では、ＣＰＵ２は、ステップＳ４０３でカウントした顔の数をメモリ部３の所定の領域に記憶することとしても良い。

ＣＰＵ２は、連続的に撮像される画像毎に正面方向の顔検出処理を行い、検出された正面方向の顔の数をカウントする（ステップＳ５０８）。ＣＰＵ２は、ステップＳ５０８で求められた正面方向の顔の数がステップＳ３０７で記憶された顔の数以下であると判断した場合には（ステップＳ３０９；Ｎｏ）、ステップＳ５０８に戻って再度正面方向の顔検出処理を行い、検出された正面顔の数をカウントする。

ＣＰＵ２は、ステップＳ５０８でカウントされた正面方向の顔の数がステップＳ３０７で記憶された顔の数より多いことに応答して（ステップＳ３０９；Ｙｅｓ）、所定時間が経過するのを待って（ステップＳ１１０）、その時点で撮像された画像データを記録メディア５に記録する（ステップＳ１１１）。
すなわち、図８では、ＣＰＵ２は、シャッターボタンの全押し操作を検出した時に多方向の顔を検出し、それらの数をカウントしてメモリ部３の所定の領域に記憶する。そして、記憶されている顔の数よりも今回撮像された画像に含まれる正面方向の顔の数が多いことに応答して、撮像された画像データを記録メディア５に記録する。

第１の顔検出器は正面方向の顔だけではなく、横顔や斜め顔等も顔として検出するのに対し、第２の顔検出器は正面方向の顔のみを検出する。このため、第１の顔検出器を用いて顔の数を検出した後、第２の顔検出器に切り換えて正面方向顔の数を検出すると、検出される顔の数が減少する場合がある。
ＣＰＵ２は、シャッターボタンの全押し操作を検出した時に撮像された画像に含まれる顔の数と、その後連続的に撮像される画像ごとに求められた正面方向の顔の数とを比較する。このため、例えば、シャッターボタンの全押し操作を検出した時（ステップＳ１０５）に撮像された画像では横を向いていた人物が正面を向いたことに応答して、画像データが記録される（ステップＳ１１１）ことを防ぐことができる。

尚、ピントや露出・露光等の撮像条件を決定する際には、顔の向きや表情の変化に影響されずに顔検出できることが必要とされる。一方、撮像条件を決定した後、集合写真を撮像する際には、正面を向いている被撮像者を撮像することが望まれる。
第２の実施形態によれば、撮像条件を決定する場合には顔が正面方向に向いているか否かに関わらず顔検出を行う一方、撮像する場合には顔が正面方向を向いているか否かを判断することにより相反する要求を満足させることができる。

なお、ＣＰＵ２におけるステップＳ１０４は本発明の撮像条件決定手段の一例であり、ＣＰＵ２におけるステップＳ３０７とＳ５０８とＳ３０９は本発明の特徴領域数変化判定手段と特徴領域数変化判定ステップの一例である。

（第３の実施形態）
第３の実施形態では、顔検出に変えて、特定の人物の顔を認識する顔認識を用いる。ＣＰＵ２は、撮像された画像に含まれる特定の人物の顔の数が増加した場合に、撮像された画像を記録する。

第３の実施形態も、第１の実施形態と同様にカメラ１０を用いる。
ＣＰＵ２は、予め、認識対象の人物の顔を撮像してその顔の特徴を抽出する。ＣＰＵ２は、抽出された認識対象の人物の顔の特徴をメモリ部３の所定の登録領域に登録する。なお、登録領域には複数の人物の顔の特徴を登録することができる。

ＣＰＵ２は、図９のメインフローチャートに示すように、シャッターボタンの半押し操作を検出することに応答して（ステップＳ１０２；Ｙｅｓ）、連続的に撮像される画像に含まれる認識対象の人物の顔を認識し、認識された顔の数をカウントする（ステップＳ６０３）。そして、認識された顔に合わせてオートフォーカス処理と自動露出処理を行う（ステップＳ１０４）。

次に、ＣＰＵ２は、シャッターボタンの全押し操作を検出したことに応答して（ステップＳ１０５；Ｙｅｓ）、連続的に撮像される画像に含まれる認識対象の人物の顔を認識し、認識された顔の数をカウントし（ステップＳ６０６）、メモリ部３の所定の領域にカウントした顔の数を記憶する（ステップＳ６０７）。なお、ステップＳ６０６を省略し、ステップＳ６０７では、ＣＰＵ２は、ステップＳ６０３でカウントした顔の数をメモリ部３の所定の領域に記憶することとしても良い。
そして、連続的に撮像される画像毎に更に認識対象の人物の顔を認識し、認識された顔の数をカウントする（ステップＳ６０８）。ＣＰＵ２は、カウントした顔の数がステップＳ６０７で記憶された顔の数以下である場合（ステップＳ６０９；Ｎｏ）、ステップＳ６０７に戻り、メモリ部３の所定の領域にカウントした顔の数を記憶し、再度連続的に撮像される画像について認識対象の人物の顔を認識し、認識された顔の数をカウントする（ステップＳ６０８）。

ＣＰＵ２は、ステップＳ６０７で記憶された顔の数と比較して今回カウントされた顔の数が増加したことに応答して（ステップＳ６０９；Ｙｅｓ）、タイマー８に所定時間のカウントダウンを開始させる（ステップＳ１１０）。

なお、ステップＳ６０３とＳ６０６とＳ６０８の顔認識処理は、図５において、ステップＳ２０２を、小領域がメモリ部３に登録されている認識対象の人物の顔を含むか否かを判定する処理に置き換えることによって実現することができる。

図９の処理は、認識対象の人物の顔を認識し、認識された顔の数をカウントする点（ステップＳ６０３、Ｓ６０６、Ｓ６０８）以外、図４の処理と同一である。
また、認識対象の人物の顔を認識し、認識された顔の数を求める点以外、図６の処理の変形例と同一であっても良いことは言うまでもない。

第３の実施形態では、ＣＰＵ２は、顔の特徴が登録されている人物が撮像範囲内に入ってきた場合に撮像された画像を記録する。このため、例えば、観光地や遊園地等の人ごみの中で撮像する場合であっても、顔の特徴が登録されていない不特定の人物が撮像範囲内に入ったことにより画像が記録されることを防止することができる。

なお、ＣＰＵ２におけるステップＳ６０７〜Ｓ６０９は本発明の特徴領域数変化判定手段と特徴領域数変化判定ステップの一例である。

上記第１の実施形態では、撮像された画像ごとに人物の顔を検出し、顔の数が増えたことを契機として画像を記録したが、顔が無くなったことを契機として画像を記録することもできる。
この場合、ＣＰＵ２は、人物の顔が含まれていない画像を記録メディア５に記録する。このため、例えば、風景や建造物を撮像する場合に偶然第三者が撮像されることを防ぐことができる。

以上説明したように、本発明によれば、撮像予定人数の設定が不要であり、撮像範囲に含まれる被撮像者の数が変化したことを契機として撮像された画像を記録することができる。
すなわち、本発明によれば、カメラの操作者を含む集合写真を撮像する場合に、撮像予定人数を予め設定しなくても、カメラの操作者が撮像範囲に入ったことを契機として記録する。このため、撮像に際し、時間を気にすることなく、余裕を持ってカメラ操作者を含む集合写真を撮像することができる。

また、第２の実施形態では正面方向の顔の検出に適した第２の顔検出器を用いて正面方向の顔を検出するので、横顔や斜め顔等も検出する第２の顔検出器を用いた場合よりも確実に被撮像者全員が正面を向いた集合写真を撮影することができる。

以上、本発明の実施形態について説明したが、設計上の都合やその他の要因によって必要となる様々な修正や組み合わせは、請求項に記載されている発明や発明の実施形態に記載されている具体例に対応する発明の範囲に含まれると理解されるべきである。

本発明の実施の形態に係るカメラのブロック図である。 表示部のディスプレイに表示されている画像の一例を示す図である。 図２の画像に較べて顔の数が１人分増えた画像の一例を示す図である。 本発明の第１の実施形態に係るメインフローチャートの一例を示す図である。 本発明の第１の実施形態に係るサブフローチャートの一例を示す図である。 本発明の第１の実施形態の変形例に係るメインフローチャートを示す図である。 本発明の第２の実施形態に係るメインフローチャートの一例を示す図である。 本発明の第２の実施形態の変形例に係るメインフローチャートの一例を示す図である。 本発明の第３の実施形態に係るメインフローチャートの一例を示す図である。

符号の説明

１…撮像部、２…ＣＰＵ、３…メモリ部、４…記録メディア制御部、５…記録メディア、６…操作部、８…タイマー、１０…カメラ

Claims (6)

1. 連続的に画像を撮像する撮像手段と、
   この撮像手段によって撮像される画像から顔を検出する顔検出手段と、
   この顔検出手段に対し第１の検出条件を設定することにより、前記撮像手段によって連続的に撮像される画像から多方向の顔を検出するよう制御する第１の顔検出制御手段と、
   この第１の顔検出制御手段による制御により顔が検出されると、この顔に合わせて撮影条件を決定する撮影条件決定手段と、
   この撮影条件決定手段による決定の後、記録指示を検出する記録指示検出手段と、
   この記録指示検出手段による記録指示の検出の後、前記顔検出手段に対し前記第１の検出条件よりも厳しい第２の検出条件を設定することにより、前記連続的に撮像される画像から正面方向のみの顔を検出するよう制御する第２の顔検出制御手段と、
   前記連続的に撮像される画像毎に、前記第２の顔検出制御手段による制御により検出された正面方向のみの顔の数を求める顔数取得手段と、
   前記連続的に撮像される画像において前記顔数取得手段が求めた前記正面方向のみの顔の数が、その前に撮像された画像において求めた前記正面方向のみの顔の数から変化したか否かを判定する変化判定手段と、
   前記記録指示検出手段による記録指示の検出に応答し、且つ、前記変化判定手段によって前記正面方向のみの顔の数が変化したと判定されると、この変化の判定の後に撮像される正面方向のみの顔を含む画像を記録媒体に記録する記録手段と、
   を備えることを特徴とする撮像装置。
2. 前記変化判定手段は、前記撮像された画像において前記顔数取得手段が求めた前記正面方向のみの顔の数が、その前に撮像された画像において求めた前記正面方向のみの顔の数より増加することにより変化したか否かを判定し、
   前記記録手段は、前記記録指示検出手段による記録指示の検出に応答し、且つ、前記変化判定手段によって前記正面方向のみの顔の数が増加することにより変化したと判定されるのを待って、この変化の判定の後に撮像される正面方向のみの顔を含む画像を前記記録媒体に記録する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記記録指示検出手段による記録指示の検出に応答して、前記顔数取得手段によって求められた前記正面方向のみの顔の数を記憶する顔数記憶手段を更に備え、
   前記変化判定手段は、前記撮像された画像において前記顔数取得手段が求めた前記正面方向のみの顔の数が前記顔数記憶手段に記憶されている前記正面方向のみの顔の数より多くなることにより変化したか否かを判定し、
   前記記録手段は、前記変化判定手段によって前記正面方向のみの顔の数が多くなることにより変化したと判定されるのを待って、この変化の判定の後に撮像される正面方向のみの顔を含む画像を前記記録媒体に記録する、
   ことを特徴とする請求項１に記載の撮像装置。
4. 予め設定された所定時間を計時する計時手段を更に備え、
   前記記録手段は更に、前記計時手段によって前記所定時間が計時されたことに応答して、前記変化の判定の後に撮像される正面方向のみの顔を含む画像を記録する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 撮像部に対し連続的に画像を撮像させる撮像ステップと、
   顔検出部に対し第１の検出条件を設定することにより、前記撮像ステップにて連続的に撮像される画像から多方向の顔を検出するよう制御する第１の顔検出制御ステップと、
   この第１の顔検出制御ステップでの制御により顔が検出されると、この顔に合わせて撮影条件を決定する撮影条件決定ステップと、
   この撮影条件決定ステップでの決定の後、記録指示を検出する記録指示検出ステップと、
   この記録指示検出ステップでの記録指示の検出の後、前記顔検出部に対し前記第１の検出条件よりも厳しい第２の検出条件を設定することにより、前記連続的に撮像される画像から正面方向のみの顔を検出するよう制御する第２の顔検出制御ステップと、
   前記連続的に撮像される画像毎に、前記第２の顔検出制御ステップでの制御により検出された正面方向のみの顔の数を求める顔数取得ステップと、
   前記連続的に撮像される画像において前記顔数取得ステップが求めた前記正面方向のみの顔の数が、その前に撮像された画像において求めた前記正面方向のみの顔の数から変化したか否かを判定する変化判定ステップと、
   前記記録指示検出ステップでの記録指示の検出に応答し、且つ、前記変化判定ステップにて前記正面方向のみの顔の数が変化したと判定されると、この変化の判定の後に撮像される正面方向のみの顔を含む画像を記録媒体に記録させる記録ステップと、
   を含むことを特徴とする撮像方法。
6. 顔検出部を有する撮像装置が具備するコンピュータを、
   連続的に画像を撮像させる撮像手段、
   前記顔検出部に対し第１の検出条件を設定することにより、前記撮像手段によって連続的に撮像される画像から多方向の顔を検出するよう制御する第１の顔検出制御手段、
   この第１の顔検出制御手段による制御により顔が検出されると、この顔に合わせて撮影条件を決定する撮影条件決定手段、
   この撮影条件決定手段による決定の後、記録指示を検出する記録指示検出手段、
   この記録指示検出手段による記録指示の検出の後、前記顔検出部に対し前記第１の検出条件よりも厳しい第２の検出条件を設定することにより、前記連続的に撮像される画像から正面方向のみの顔を検出するよう制御する第２の顔検出制御手段、
   前記連続的に撮像される画像毎に、前記第２の顔検出制御手段による制御により検出された正面方向のみの顔の数を求める顔数取得手段、
   前記連続的に撮像される画像において前記顔数取得手段が求めた前記正面方向のみの顔の数が、その前に撮像された画像において求めた前記正面方向のみの顔の数から変化したか否かを判定する変化判定手段、
   前記記録指示検出手段による記録指示の検出に応答し、且つ、前記変化判定手段によって前記正面方向のみの顔の数が変化したと判定されると、この変化の判定の後に撮像される正面方向のみの顔を含む画像を記録媒体に記録させる記録手段、
   として機能させることを特徴とする撮像プログラム。

Images