JP4639869B2 - 撮像装置およびタイマー撮影方法 - Google Patents

Description

本発明はタイマー撮影が可能な撮像装置に関する。

従来、タイマー撮影機能を有するカメラ（撮像装置）が知られている。一般的なタイマー撮影機能では、シャッターボタンを押してから一定時間後に撮影が実行される。しかしながら、撮影を行うまでの時間が一定であると、被写体（撮影者自身を含む）が撮影姿勢を取る前に撮影が行われてしまったり、逆に被写体が撮影姿勢を取ってからも長時間撮影が行われなかったりするという問題が生じていた。

このような問題を解決する技術として、測距センサでカメラと撮影対象物の距離を測り、測距情報がある程度以上変化した場合はタイマーの時間を延長する手法（特許文献１）や、逆に、測距情報の変化は撮影者が画像平面内に入ったことに起因するとみなし、測距情報に変化があった後にタイマーを始動する手法（特許文献２）が提案されている。また、輝度や色に基づいてフレームごとの相関を取って動きベクトルを求め、動きベクトルが収束した後に撮影を行う手法（特許文献３）も提案されている。
特開平０７−２０９６９６号公報 特開平０８−１８４８８１号公報 特開平０８−２７９９５４号公報

しかしながら、上記のような従来技術の場合には、下記のような問題が生じていた。即ち、測距情報や輝度、色に基づいて撮影タイミングを決定しているため、被写体（人物）がすべて静止しているにも関わらず、被写体以外の物（例えば犬や風にはためく旗）などが動いている場合にも被写体が動いていると誤認識してしまう。また、輝度や色に基づいて撮影タイミングを決定する場合は、環境の明るさが変化することによっても誤認識が生じる。つまり、被写体以外の物の状態変化を、被写体の状態変化と誤認識してしまう。そして、これら誤認識の結果、適切な撮影タイミングを得られない問題があった。

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、被写体以外の物の状態変化の影響を受けることなく、被写体のみの状態変化に基づいて撮影タイミングを決定することのできる撮像装置を提供することにある。

上記問題を解決するため、本発明は以下のような構成をとる。本発明にかかる第１の撮像装置は、タイマー撮影が可能な撮像装置であって、撮像部と、前記撮像部により撮像された画像から、顔を検出する顔検出部と、あらかじめ登録した顔が画像内にいることを検出する登録者検出部と、タイマー撮影の際、順次撮像された２以上の画像の顔検出結果に基づいて、本撮影の撮影タイミングを決定するタイマー制御部と、を有し、前記タイマー制御部は、２以上の画像の顔検出結果を比較することにより、画像中の顔が静止しているか否かを判定する人物静止判定部を有し、タイマー撮影が開始されると所定の時間間隔で撮像、顔検出及び人物静止判定を繰り返し、前記登録者検出部によりあらかじめ登録した顔が画像内にいることが検出され、かつ、前記人物静止判定部により画像中の顔が静止していると判定された後に本撮影を実行する。
本発明に係る第２の撮像装置は、タイマー撮影が可能な撮像装置であって、撮像部と、前記撮像部により撮像された画像から、顔を検出する顔検出部と、前記撮像部により撮像された画像の一部の領域であって、前記顔検出部で検出された顔の密度が所定の値以上である領域、前記顔検出部で検出された顔のうち所定の大きさ以上の顔がある領域、または、ユーザによって指定された領域を、人物静止判定の対象となる領域（以下「人物静止判定領域」という）として設定する判定領域設定部と、タイマー撮影の際、順次撮像された２以上の画像の顔検出結果に基づいて、本撮影の撮影タイミングを決定するタイマー制御部と、を有し、前記タイマー制御部は、２以上の画像の前記判定領域設定部で設定された領域内にある顔の顔検出結果のみを比較することにより、画像中の顔が静止しているか否かを判定する人物静止判定部を有し、タイマー撮影が開始されると所定の時間間隔で撮像、顔検出及び人物静止判定を繰り返し、画像中の顔が静止していると判定された後に本撮影を実行する。

顔検出結果には、少なくとも、画像内の顔の数、及び、画像中の顔の位置が含まれる。またタイマー制御の内容に応じて、顔の画像の大きさ（以下「顔サイズ」という）、顔の向きが含まれることも好ましい。本発明では、２以上の画像の顔検出結果を用いることで、画像中の顔の数や位置や大きさ等の時間変化を求めることができ、これに基づいて本撮影の撮影タイミングを決定する。本撮影とは、撮像部により撮像された画像を画像記録部に記録する処理をいう。
また、第１の撮像装置において、あらかじめ登録した顔が画像内にいるか否かは、顔認証技術により判定可能である。登録者検出は、人物静止判定の前に実行しても後に実行しても良く、また並行して実行しても良い。また、登録した顔が画面内にいることが一度検
出されたら、その後は登録者検出を省略しても良い。一般に顔認証は処理に時間がかかるためである。このように、撮影タイミングの決定に、あらかじめ登録した顔が画像中にいることを条件とすることで、登録者が画像中に現れる前に他の被写体が静止した場合であっても撮影を行わず、登録者が画像中に現れてから撮影を行うことが可能となる。
また、第２の撮像装置によれば、顔検出結果のうち、人物静止判定領域内にある顔検出結果のみに基づいて人物静止判定が行われる。そのため、人物静止判定領域外で、画像中の顔の位置に変化が生じても、人物静止判定に影響を与えない。なお、顔検出を行う画像の領域を上記人物静止判定領域に限定してもよい。この人物静止判定領域は、ユーザが指定しても良く、判定領域設定部が顔検出結果に基づいて決定しても良い。被写体のいる領域を人物静止判定領域とすることで、画像中に被写体以外の動く人物がいる場合にも、被写体以外の人物の動きに関わらず、被写体が静止している時点での撮影が可能となる。

このように、撮影タイミングを顔検出結果に基づいて決定することで、被写体以外の物の影響を受けることなく、被写体のみの状態変化に基づいて撮影タイミングを決定することができ、良好な本撮影を実行することが可能となる。

なお、本明細書中で被写体の語は、撮影の対象となる人物を意味し、人物以外の物は含まれない。また、撮影者自身が撮影の対象となる場合は、撮影者も被写体に含まれる。

本発明における人物静止判定部は、以下のように画像中の顔の静止を判定するように構成されても良い。即ち、２以上の画像の間の顔の位置の差が所定距離内である場合に、画像中の顔が静止していると判定することができる。

顔検出結果から画像中の顔の位置を求めることができる。画像中の顔の位置は、特定の１点で定められても良いし、顔の輪郭の位置や、顔に外接する矩形領域の各頂点の位置などで定められても良い。また、顔の位置は、目や鼻などの顔の器官の位置として定められても良い。２以上の画像の顔検出結果から各顔について顔の位置の差を求めることができる。そして、その差が所定距離内であれば画像中の顔が静止していると判定する。なお、画像中に複数の顔がある場合には、顔の位置の差が最小になるように複数画像間で顔を対応付けて各顔の位置の差を求めて、静止判定を行うこともできる。また、顔認証技術を用いて、同一人物と判定された顔同士を対応付けることもできる。また、顔の対応付けを行うことなく、複数の顔の重心の位置の差が所定距離内であるか否かによって、静止判定を行うこともできる。

このように、画像中の顔の位置の差が所定距離内であれば静止と判定することで、実用的な時間内で静止判定を行うことが可能となる。すなわち、人間は完全に静止することは困難なので、顔の位置が完全に一致することを条件とすると、静止しているとなかなか判定されないという問題が起きる。この問題を解消することが可能となる。

また、人物静止判定部が、画像中の顔が静止しているか否かの閾値となる上記所定距離
を画像中の顔サイズに応じて変化させることも好ましい。具体的には、画像中の顔ごとにその顔サイズに応じて大きくする。顔サイズが大きい顔と小さい顔とを比較した場合、一般に顔サイズが大きい顔の方がカメラからの距離が近い。そして、画面上で同じ距離だけ動いた場合、被写体の実際の位置の変化は、顔サイズが大きい顔の方が顔サイズの小さい顔よりも小さい。したがって、閾値となる上記所定距離は、顔サイズが大きくなると大きく、顔サイズが小さくなると小さくすることで、静止判定の判定条件は被写体の実際の位置の変化に基づくものとなる。

このように、画像中の顔の位置の差が所定距離内であれば静止と判定し、その所定距離は顔サイズに応じて変化させることで、静止判定の精度を保ったまま、実用的な時間内に静止判定を行うことができる。つまり、閾値を顔サイズに応じて変化させることで、静止判定の精度の低下を抑えることができる。

また、本発明における人物静止判定部は、以下のように画像中の顔の静止を判定するように構成されても良い。即ち、顔検出結果が画像中の顔の大きさを含み、２以上の画像の間の顔の大きさの差が所定値以内である場合に、画像中の顔が静止していると判定される。画像中に複数の顔がある場合には、上述したように複数画像間で顔の対応付けを行うことで、静止判定を行うことができる。

画像中における顔サイズの変化は、主に被写体とカメラとの距離が変化することにより生じる。したがって、このように顔サイズの変化を静止判定の条件に用いることで、被写体とカメラとの距離が変化しないことを静止判定の条件とすることができる。

また、本発明における人物静止判定部は、以下のように画像中の顔の静止を判定するように構成されても良い。即ち、顔検出結果が画像中の顔の向きを含み、顔検出結果において顔が正面を向いている場合に、画像中の顔が静止していると判定される。

これにより、被写体が静止しただけではなく、正面を向いた時点で撮影を行うことが可能となる。なお、被写体が複数いる場合には、必ずしも全員の顔が正面を向くことを条件とする必要はなく、一定割合以上の顔が正面を向いていることを条件とすることもできる。

また、本発明における人物静止判定部は、以下のように画像中の顔の静止を判定するように構成されても良い。即ち、撮影対象の人数を設定する手段を有し、画像中の顔の数が、設定した人数と一致する場合に、画像中の顔が静止していると判定される。

これにより、被写体が静止しただけではなく、撮影すべき被写体全員が画像上にいる時に撮影を行うことが可能となる。

本発明にかかる第１のタイマー撮影方法においては、撮像装置が、タイマー撮影時に、画像を順次撮像し、撮像されたそれぞれの画像から顔を検出し、あらかじめ登録した顔が画像内にいることを検出し、２以上の画像の顔検出結果を比較することにより、画像中の顔が静止しているか否かを判定し、あらかじめ登録した顔が画像内にいることが検出され、かつ、画像中の顔が静止していると判定された後に本撮影を実行する。
本発明にかかる第２のタイマー撮影方法においては、撮像装置が、タイマー撮影時に、画像を順次撮像し、撮像されたそれぞれの画像から顔を検出し、撮像された画像の一部の領域であって、検出された顔の密度が所定の値以上である領域、検出された顔のうち所定の大きさ以上の顔がある領域、または、ユーザによって指定された領域を、人物静止判定の対象となる領域として設定し、２以上の画像の前記設定された領域内にある顔の顔検出結果のみを比較することにより、画像中の顔が静止しているか否かを判定し、画像中の顔が静止していると判定された後に本撮影を実行する。

本発明にかかる第１のプログラムは、タイマー撮影が可能な撮像装置に対して、画像を順次撮像させ、撮像されたそれぞれの画像から顔を検出させ、あらかじめ登録した顔が画像内にいることを検出させ、２以上の画像の顔検出結果を比較することにより、画像中の顔が静止しているか否かを判定させ、あらかじめ登録した顔が画像内にいることが検出され、かつ、画像中の顔が静止していると判定された後に本撮影を実行させる。
本発明にかかる第２のプログラムは、タイマー撮影が可能な撮像装置に対して、画像を順次撮像させ、撮像されたそれぞれの画像から顔を検出させ、撮像された画像の一部の領域であって、検出された顔の密度が所定の値以上である領域、検出された顔のうち所定の大きさ以上の顔がある領域、または、ユーザによって指定された領域を、人物静止判定の対象となる領域として設定させ、２以上の画像の前記設定された領域内にある顔の顔検出結果のみを比較することにより、画像中の顔が静止しているか否かを判定させ、画像中の顔が静止していると判定された後に本撮影を実行させる。

また、本発明は、そのようなプログラムをコンピュータ等が読み取り可能な記録媒体に記録したものでもよい。

本発明によれば、被写体以外の物の動きに関わらず、被写体の状態に基づいて適切な撮影タイミングでタイマー撮影を実行することができる。

次に、本発明の実施形態を、添付図面に基づいて説明する。

［第１の実施形態］
図１は、本発明の第１実施形態にかかる撮像装置１の機能ブロックを示す図である。

撮像装置１は、撮像部２、画像記録部３、顔検出部４、人物静止判定部５、入力部６、および、制御部７から構成される。

撮像装置１は、撮像部２で撮像された画像をデジタルデータとして画像記録部３に記録する。すなわち、本実施形態にかかる撮像装置１は、いわゆるデジタルカメラである。デジタルカメラには、デジタルスチルカメラのほかに、静止画撮影機能を含むデジタルビデオカメラや、携帯電話機やＰＤＡ（Personal Digital Assistance）やパーソナルコンピュータに付属（内蔵）されたカメラも含まれる。

撮像装置１は、通常撮影モード、連写撮影モード、タイマー撮影モード等の撮影モードを有する。撮影モードは、図示しない補助記憶装置に記憶される。通常撮影モード時は、撮影ボタンが押された時点で、即座に撮像の記録（本撮影）が実行される。連写撮影モー
ド時は、撮影ボタンが押されている間、撮像の記録が繰り返し実行される。タイマー撮影モード時は、撮影ボタンが押されると、所定の条件を満たした撮影タイミングに撮像の記録が実行される。

以下、各機能部について説明する。

＜撮像部＞
撮像部２は、撮像レンズ、撮像素子、フレームメモリ、メカ機構、モータ等から構成され、オートフォーカス機能を有する。撮像レンズは、例えばズーム機能を実現するためのズームレンズや、任意の被写体に対して焦点を合わせるためのフォーカスレンズ等を含む。モータは、ズームレンズモータやフォーカスモータやシャッターモータ等を含む。撮像素子としては、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの光電変換素子が用いられる。

撮像部２では、フォーカスレンズを含む撮像レンズを通して結像された画像が、撮像素子により電気信号に変換され、デジタル画像としてフレームメモリに格納される。

＜画像記録部＞
画像記録部３は、フラッシュメモリ、ＦｅＲＡＭ（Ferroelectric Random Access Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）などの不揮発性メモリや、ハードディスクなどの磁気ディスクを用いて構成される。画像記録部３は、撮像装置１に対して着脱可能な記録媒体を用いて構成されてもよい。本撮影実行時には、撮像部２により撮像されてフレームメモリに格納された画像が、画像記録部３に記録される。

＜顔検出部＞
顔検出部４は、入力された画像から人の顔を検出し、検出された顔の数や位置や大きさ等を示す情報（顔検出結果）を出力する。

顔検出部４は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部４は、顔の構成要素（目、鼻、耳など）に基づいてテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部４は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成されても良い。また、顔検出部４は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されて良い。また、顔検出部４は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されて良い。また、顔検出部４による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。

＜人物静止判定部＞
人物静止判定部５は、少なくとも２つの画像の顔検出結果を入力情報として取得する。そして、人物静止判定部５は、その顔検出結果に基づいて画像中の被写体が静止しているか否かの判定を行う。人物静止判定処理の詳細については後述する。

＜入力部＞
入力部６は、シャッターレリーズボタンや操作ボタン等を用いて構成される。ユーザは、入力部６を操作することによって、撮影モードの切り替え、撮影の実行等を撮像装置１に対して指示することができる。入力部６により検知されたユーザの入力は、制御部７に通知される。

＜制御部＞
制御部７は、上述した撮像装置１の各構成要素の制御を行う。

例えば、通常撮影モード時にシャッターレリーズボタンが押されると、制御部７は、直ちに撮像部２に撮像命令を通知し画像記録部３に画像記録命令を通知する。

また、タイマー撮影モード時にシャッターレリーズボタンが押されると、制御部７は、所定のタイミングに、撮像部２に撮像命令を通知し画像記録部３に画像記録命令を通知する。すなわち、制御部７は、本撮影のタイミングを決定し、そのタイミングに本撮影を行う。なお、本実施形態では、タイマー制御部は人物静止判定部５と制御部７から構成される。

＜本撮影タイミング決定処理＞
次に、図２を用いて、タイマー撮影時に行われる、制御部７における本撮影タイミングの決定処理について説明する。

ステップＳ１０１において、撮像部２は画像を取得しフレームメモリに格納する。この画像は本撮影のタイミングを決定するために用いられる（以下では、この目的のために行う撮像処理のことを「プレ撮影」と呼ぶ）。プレ撮影で取得する画像の解像度は、本撮影で取得する画像の解像度と同じである必要はない。なぜならば、顔検出処理を行うのに十分な解像度があればよく、解像度が低い方が顔検出処理を高速に行えるからである。もっとも、プレ撮影の際の解像度は、本撮影での解像度と同じ解像度であっても良い。

ステップＳ１０２において、顔検出部４は、ステップＳ１０１で撮像された画像を対象に顔検出処理を行い、顔検出結果を得る。前述したように、顔検出結果には画像中の顔の数、顔の位置、顔の大きさが含まれる。

ステップＳ１０３で、制御部７は、静止時間カウンタｔを０にリセットする。静止時間カウンタｔは、時間の経過とともに自動的に増加する。

ステップＳ１０４において、撮像部２は再びプレ撮影を行う。

ステップＳ１０５で、顔検出部４は、ステップＳ１０４で取得した画像を対象に顔検出処理を行い、顔検出結果を得る。

ステップＳ１０６において、人物静止判定部５は、プレ撮影で取得した２つの画像（以下、「第一画像」「第二画像」という）中の顔が静止しているか否かを判定する。この判定は、上述したように顔検出部４によって得られる、第一画像および第二画像それぞれの顔検出結果（以下、それぞれ「第一顔検出結果」「第二顔検出結果」という）に基づいて行われる。この人物静止判定処理の詳細については、後述する。

ステップＳ１０７において、第一画像と第二画像間で顔が静止していないと判定されたときは、ステップＳ１０３に戻り、静止時間カウンタｔを０にリセットして、新たに取得した画像（顔）を用いて人物静止判定処理を行う。この際、それまでの第二画像を第一画像として扱い、新たに取得した画像を第二画像として扱う。ステップＳ１０７で顔が静止していると判定されるまで、ステップＳ１０３からステップＳ１０６の処理が繰り返される。静止していると判定された場合は、静止時間カウンタｔをそのままの状態で、処理はステップＳ１０８に進む。したがって、静止時間カウンタｔは画像中の顔が静止している時間の長さを表すことになる。

ステップＳ１０８において、静止時間カウンタｔと所定時間Ｔとが比較される。静止時
間カウンタｔが所定時間Ｔ以下であれば、ステップＳ１０４に戻り、新たに取得した画像（顔）を用いて人物静止判定処理を行う。ステップＳ１０８で、静止時間カウンタｔが所定時間Ｔを越えるまで、この処理が繰り返される。静止時間カウンタｔが所定時間Ｔを超えた場合は、処理はステップＳ１０９に進む。したがって、画像中の顔の静止時間が所定時間Ｔを超える場合にステップＳ１０９に進むことになる。

ステップＳ１０９において、本撮影が実行される。すなわち、撮像部２により取得された画像が、画像記録部３に記録される。

以上述べた処理により、本撮影のタイミングを決定し、本撮影の画像を取得することができる。

＜人物静止判定処理＞
以下、図３を用いて、図２のステップＳ１０６における、人物静止判定部５が行う人物静止判定処理について詳細に説明する。

まず、ステップＳ２０１で、第一顔検出結果および第二顔検出結果の顔の数が比較される。顔の数が一致し、かつ、顔の数が１以上であれば、ステップＳ２０２に進み処理が続行される。顔の数が一致しないか、一致しても顔の数が０であれば、ステップＳ２０５に進み、画像中の顔が静止していないと判定して、処理を終わる。

ステップＳ２０２で、第一顔検出結果および第二顔検出結果の顔の位置が比較される。顔の位置は画像上の座標で表されているものとする。なお、顔の位置は、顔の外接する矩形の各頂点や顔に外接する矩形の中心や顔の輪郭などにより特定される。また、顔の位置は、目や鼻などの顔の器官の位置により特定されても良い。両顔検出結果の顔の位置の差が所定距離以内であれば、ステップＳ２０３に進み処理が続行される。顔の位置の差が所定距離より大きければ、ステップＳ２０５に進み、画像中の顔が静止していないと判定して、処理を終わる。

被写体が完全に静止することは期待できないので、顔の位置が完全一致することを静止の条件とすると、なかなか静止と判定されないという問題が起きる。このように、顔の位置の差が所定距離以内であれば静止していると判断することにより、この問題点を解消して、被写体がほぼ静止した状態で本撮影を行うことが可能となる。

ここで、画像中に複数の顔が含まれる場合には、第一画像中の顔と第二画像中の顔を対応付けて、すべての顔について顔の位置の差が所定距離内であるときに、画像中の顔が静止していると判定することができる。第一画像と第二画像間における顔の対応付け方法は、例えば、以下のように行うことができる。図４を用いて説明する。図４の左上図（第一画像）には３人の被写体２０，３０，４０が写っている。まず、被写体２０の顔の位置は次のように決定される。被写体２０の顔の領域を、顔に外接する顔矩形２１で表す。そして、被写体２０の顔の位置は顔矩形２１の中心２２で決定される。被写体３０，４０についても同様に、顔矩形３１，４１の中心３２，４２が顔の位置となる。また、図４の右上図（第二画像）の被写体５０，６０，７０についても同様である。そして、第一画像に含まれる顔矩形２１，３１，４１と、第二画像に含まれる顔矩形５１，６１，７１を任意に対応付けし、顔の位置の差の総和を求める。図４の下図では、顔矩形２１と顔矩形５１、顔矩形３１と顔矩形６１、顔矩形４１と顔矩形７１がそれぞれ対応付けられている。顔の位置の差の総和は、中心２２と中心５２の距離、中心３２と中心６２の距離、中心４２と中心７２の距離の和で求められる。そして、すべての顔の組み合わせについて顔の位置の差の総和を求め、この和が最小となる顔の組み合わせを人物静止判定処理で使用する。

第一画像の顔と第二画像の顔との対応付けは、また、顔認証技術を用いて行っても良い。すなわち、顔検出処理から得られた顔矩形の内部領域または内部領域とその周辺領域から特徴量を抽出し、それに基づいて、第一画像と第二画像から同一人物を決定し、その同一人物の顔を対応付けても良い。

また、第一画像の顔と第二画像の顔との対応付けを行わないで画像中の顔が静止しているか判定することもできる。すなわち、第一画像、第二画像それぞれについて、顔の位置の重心を求め、第一画像と第二画像における重心の位置の差が、所定距離以内であるか否かによって画像中の顔が静止しているか否かを判定することができる。図４を例に説明すると、第一画像の顔の中心２２，３２，４２の重心と、第二画像における顔の中心５２，６２，７２の重心の距離が所定距離以内か否かによって判定が行われる。

さらに、人物静止判定部５が、顔が静止しているか否かの判定の閾値となる上記所定距離を、判定の対象となる顔ごとに変化させることも好ましい。具体的には、所定距離を、判定対象の顔の大きさ（顔サイズ）に応じて大きくする。一般に、顔サイズが大きいほど、その顔は撮像装置１から近い距離にある。そして、顔がある距離を動いたときに、撮像装置１から近いほど、画像上での移動距離は大きい。撮像装置１からの距離に関わらずすべての顔に対して同一の閾値を用いた場合、閾値が小さければ撮像装置１から近い顔がなかなか静止と判定されず、逆に閾値が大きければ撮像装置１から遠い顔が大きく動いても静止と判定されてしまうという問題が生じる。そこで、顔サイズに応じて上記所定距離を大きくすることで、この問題を解消することができる。より具体的には、人物静止判定部５が、各顔に対応する上記所定距離を、その顔の幅又は長さに比例させることによって、上記処理を実現可能である。

図３のフローチャートの説明に戻る。ステップＳ２０３で、第一顔検出結果及び第二顔検出結果の顔の大きさが比較される。顔の大きさは画像上に占める画素数などで表すことができる。顔の大きさの変化は、主に被写体と撮像装置１の距離が変化したことにより生じる。つまり、顔の大きさを人物静止判定の基準として用いることで、被写体と撮像装置１との距離が変化しないことを静止の条件とすることが可能となる。両顔検出結果の顔の大きさの差が所定値以内であれば、ステップＳ２０４に進み、画像中の顔が静止していると判定され、処理を終わる。両顔検出結果の顔の大きさの差が所定値よりも大きければ、ステップＳ２０５に進み、画像中の顔が静止していないと判定して、処理を終わる。

ここで、画像中に複数の顔が含まれる場合には、ステップＳ２０２で述べた方法により、第一画像と第二画像中の顔の対応付けを行うことで、顔の大きさの比較が可能である。

なお、本実施形態においてはステップＳ２０１〜Ｓ２０３からの処理をこの順序で行っているが、必ずしもその必要はなく、処理の順序を入れ替えても良い。また、顔の位置変化の判定（Ｓ２０２）のみ行っても良い。

また、この人物静止判定処理において、顔サイズが小さい顔については、判定の対象としないことも可能である。例えば、あらかじめ定められた閾値よりも小さい顔を除外したり、画像中の最も大きい顔に対するサイズ比があらかじめ定められた閾値よりも小さい顔を除外したりすればよい。画像上で顔サイズが小さい顔は、通行人など、撮影者が撮影を意図した対象ではないことが多い。したがって、顔サイズが小さい顔を人物静止判定の対象から除くことで、より良好な本撮影のタイミングを実行することが可能となる。

以上述べたように、本実施形態では、タイマー撮影を行う際に画像中の顔の数や位置や大きさの時間的な状態変化に基づいて本撮影タイミングを決定することにより、被写体が全員静止した状態で本撮影を実行することが可能となる。

また、本実施形態では、被写体の顔を利用して本撮影タイミングを決定しているので、撮影領域内で被写体以外の物体が移動しても、それを被写体の移動と誤認識することがなくなる。例えば、被写体の背景に動く車両などがある場合でも、良好な本撮影の実行が可能となる。

［第２の実施形態］
本発明の第２の実施形態では、図２のフローチャート中のステップＳ１０６における人物静止判定処理において、顔検出結果に含まれる顔の向きにも注目して人物静止判定処理を行う。

顔の向きを検出するには、以下の文献に記載の方法がある。すなわち、顔検出部４は、まず、６種類の顔要素（両目、両眉、鼻孔、口）の候補を抽出し、それぞれについて顔要素らしさを算出する。次に、顔検出部４は、一般化ハフ変換を用いて顔の候補領域を特定し、弛緩法を用いて顔の幾何学的関係を満たす顔特徴の組み合わせを顔として検出する。例えば、左向きの顔モデルに当てはまればその顔の向きを左向きと特定し、右向きの顔モデルに当てはまればその顔の向きを右向きと特定する。また、正面向きの顔モデルに当てはまる場合には、顔の輪郭に対する両目の位置から顔の方向を特定する。

荒木祐一、島田伸敬、白井良明、“背景と顔の方向に依存しない顔の検出と顔方向の推定”、信学技報、PRMU2001-217、pp.87-94(2002-01)、インターネット＜URL : http://www-cv.mech.eng.osaka-u.ac.jp/~araki/research2/PRMU2002Jan.pdf＞

以下、図５のフローチャートを用いて人物静止判定処理について説明する。ステップＳ３０１〜Ｓ３０３は、図３のステップＳ２０１〜Ｓ２０３と同様である。

ステップＳ３０４で、人物静止判定部５は、第二顔検出結果の顔が正面を向いているか否かの判定を行う。ここで、顔が完全に正面を向いていることを条件とする必要はなく、所定の範囲内であれば正面を向いていると判定する。顔が正面を向いている場合は、ステップＳ３０５に進み、画像中の顔が静止していると判定されて処理を終わる。顔が正面を向いていない場合は、ステップＳ３０６に進み、画像中の顔が静止していないと判定して処理を終わる。

画像中に複数の顔が含まれる場合には、すべての顔が正面を向くことを静止の条件とする必要はなく、所定の割合の顔が正面を向いていれば静止と判定することもできる。また、その際に画像中央の顔ほど重み付けをして、判定することも可能である。

本実施形態によると、被写体が静止しただけではなく、さらに被写体が正面を向いた状態で本撮影を行うことができる。

［第３の実施形態］
本発明の第３の実施形態では、図２のフローチャート中のステップＳ１０６における人物静止判定処理において、画像中の顔の数があらかじめ設定した人数（以下、「設定人数」という）と等しいことをさらに条件として加えて人物静止判定処理を行う。

人物静止判定部５は、撮影対象の人数を設定する手段を有する。具体的には、入力部６を通じてユーザから撮影対象の人数を設定する命令を検知したときに、人物静止判定部５は、その人数を図示しない補助記憶装置に記憶する。

以下、図６のフローチャートを用いて、図２のステップＳ１０６における人物静止判定処理について説明する。

ステップＳ４０１で、人物静止判定部５は、第二顔検出結果における顔の数が、補助記憶装置に設定された登録人数と等しいか判定する。顔の数が設定人数と一致する場合には、ステップＳ４０２に進み、処理を続行する。顔の数が設定人数と一致しない場合には、ステップＳ４０６に進み、画像中の顔は静止していないと判定して処理を終わる。

ステップＳ４０２〜Ｓ４０４の処理は、図３におけるステップＳ２０１〜Ｓ２０３の処理とそれぞれ同様である。

本実施形態によると、被写体が静止しただけではなく、さらに指定した設定人数が画像内にいるときに本撮影を行うことができるという効果がある。例えば、被写体が５人いて、そのうちの１人が撮影者になる場合、設定人数を５人にセットしておく。撮影者がタイマー撮影を開始する際に、構図内には４人の被写体しかいない。この間は設定人数の５人と一致しないので、たとえその４人が静止しても本撮影は実行されない。そして、撮影者が構図内に移動すると、構図内の人数が設定人数の５人と等しくなるので、５人が静止した時点で本撮影が実行される。このように、撮影者が構図内に移動する前に残りの被写体が静止しても本撮影は実行されず、撮影者が構図内に移動しかつ全員が静止した後に本撮影が実行される。

［第４の実施形態］
図７は、本発明の第４の実施形態にかかる撮像装置１の機能ブロックを示す図である。撮像部２、画像記録部３、顔検出部４、人物静止判定部５、入力部６は、第１実施形態の各部と同様である。

登録者検出部８は、入力された画像中にあらかじめ登録した顔が存在するか否かを検出する。具体的には、まず、あらかじめ登録する顔の特徴量を登録者記憶部９に記憶する。これは、ユーザからの顔登録命令を入力部６が検出したとき、撮像部２により撮像した画像の顔の特徴量を記憶する事により行われる。顔の特徴量とは、顔画像から個人を特定するための情報で、目や鼻などの特徴点の位置関係や、特徴点近辺での濃淡値の周期性と方向性などが用いられる。なお、複数の顔が登録者記憶部９に記憶されても良い。登録者検出処理では、入力された画像中に存在する顔の特徴量を抽出し、あらかじめ登録された顔の特徴量と比較する。そして、登録した顔と一致する特徴量を持つ顔が画像中にあるか否かによって、登録した顔が画像中に存在するか否かが判定される。登録者検出部８は、画像中に存在する顔の領域を高速に特定できるように、顔検出部４から顔の領域を情報として含む顔検出結果を受け取るよう構成されても良い。

制御部７は、タイマー撮影モード時に撮影命令を入力部６から受けると、本撮影タイミングを決定する。本撮影タイミング決定処理について、図８のフローチャートを用いて説明する。

ステップＳ５０１〜Ｓ５０７までの処理は、図２におけるステップＳ１０１〜Ｓ１０７の処理とそれぞれ同様である。

ステップＳ５０８で、登録者検出部８は第二画像中に存在する顔の特徴量を抽出する。この際、登録者検出部８は、第二顔検出結果に含まれる画像中の顔の領域を利用して、その領域内から特徴量の抽出を行う。

ステップＳ５０９で、第二画像中の顔の特徴量と、登録者記憶部９に記憶されたあらかじめ登録された顔の特徴量を比較して、第二画像中にあらかじめ登録された顔が存在するか判定を行う。

ステップＳ５１０で、画像中にあらかじめ登録した顔が存在した場合は、ステップＳ５０８に進む。画像中にあらかじめ登録した顔が存在しない場合は、ステップＳ５０３に戻る。

ステップＳ５１１及びステップＳ５１２は、図２におけるステップＳ１０８及びステップＳ１０９とそれぞれ同様である。

本実施形態によると、被写体が静止しただけではなく、さらに指定した人物が画像内にいるときに本撮影を行うことができるという効果がある。これは、例えば、撮影者自身が被写体となる場合に、撮影者が撮影領域に入った状態で本撮影を行うことができるという効果がある。

なお、登録者検出処理は、人物静止判定処理の後に行う必要はない。ただし、一般に登録者検出処理は処理に時間がかかるため、なるべく処理を行わないように構成されることが好ましい。また、登録者検出処理であらかじめ登録した顔が存在すると判定された後は、その後は登録者検出処理を省略することも可能である。

［第５の実施形態］
本発明の第５の実施形態では、人物静止判定部５は、人物静止判定の対象となる画像の領域（以下「人物静止判定領域」という）を設定する設定手段を有する。具体的には、撮像装置１が表示部を持ち、ユーザが表示部に表示された画像を見て、表示部上で人物静止判定領域を設定するよう構成されても良い。また、人物静止判定部５が、タイマー撮影起動時に撮像した画像の顔検出結果を顔検出部４から取得し、その顔検出結果の顔の密度や、顔の大きさの情報に基づいて人物静止判定領域を設定しても良い。具体的には、人物静止判定部５が、顔の密度が所定の値以上である領域や、所定の大きさ以上の大きさの顔がある領域を人物静止判定領域として設定する。

図３のフローチャートの人物静止判定処理内の各処理において、人物静止判定部５は、人物静止判定領域内にある顔のみを判定の対象とする。すなわち、人物静止判定部５は、人物静止判定領域外で人物が移動していたとしても、人物静止判定領域内の人物が静止していれば、画像中の顔が静止していると判定する。

図９を用いて説明する。表示部に画像８０が表示されていて、その中に人物静止判定領域８１が存在する。この人物静止判定領域８１は上述したように、ユーザがあらかじめ指定しても良いし、所定の大きさの顔を持つ人物８２〜８４の顔の領域に外接する矩形として人物静止判定部５が選択しても良い。人物静止判定処理においては、人物静止判定領域８１内の人物８２〜８４を対象に判定を行う。すなわち、人物静止判定領域８１外の人物８５〜８７が静止していなくても、画像中の顔が静止していると判定され、本撮影が実行される。

本実施形態によると、人物静止判定領域外での人物の動きに関わらず、人物静止判定領域内の人物が静止した状態で本撮影を行うことが可能となる。これは、被写体の背後に通行人などがいる場合などに特に有効である。

なお、図２のフローチャート中のステップＳ１０２およびＳ１０５における顔検出処理において、顔検出の対象となる画像の領域を上記人物静止判定領域としても良い。なぜならば、人物静止判定が人物静止判定領域内の人物だけにより決定されることに変わりはないからである。顔検出の対象となる画像の領域を限定することで、高速に顔検出処理を行うことが可能となる。

撮像装置の機能ブロックを示す図である。 タイマー撮影時の本撮影タイミング決定処理を示すフローチャートである。 人物静止判定部の人物静止判定処理の例を示すフローチャートである。 画像中に複数の顔がある場合の顔の対応付けの例を示す図である。 人物静止判定部の人物静止判定処理の例を示すフローチャートである。 人物静止判定部の人物静止判定処理の例を示すフローチャートである。 撮像装置の機能ブロックを示す図である。 タイマー撮影時の本撮影タイミング決定処理を示すフローチャートである。 人物静止判定領域の例を示す図である。

符号の説明

１ 撮像装置
２ 撮像部
３ 画像記録部
４ 顔検出部
５ 人物静止判定部
６ 入力部
７ 制御部
８ 登録者検出部
９ 登録者記憶部
２０，３０，４０，５０，６０，７０ 被写体
２１，３１，４１，５１，６１，７１ 顔矩形
２２，３２，４２，５２，６２，７２ 顔の中心
８０ 画像の領域
８１ 人物静止判定領域
８２，８３，８４，８５，８６，８７ 人物

Claims (12)

1. タイマー撮影が可能な撮像装置において、
   撮像部と、
   前記撮像部により撮像された画像から、顔を検出する顔検出部と、
   あらかじめ登録した顔が画像内にいることを検出する登録者検出部と、
   タイマー撮影の際、順次撮像された２以上の画像の顔検出結果に基づいて、本撮影の撮影タイミングを決定するタイマー制御部と、を有し、
   前記タイマー制御部は、
   ２以上の画像の顔検出結果を比較することにより、画像中の顔が静止しているか否かを判定する人物静止判定部を有し、
   タイマー撮影が開始されると所定の時間間隔で撮像、顔検出及び人物静止判定を繰り返し、前記登録者検出部によりあらかじめ登録した顔が画像内にいることが検出され、かつ、前記人物静止判定部により画像中の顔が静止していると判定された後に本撮影を実行することを特徴とする撮像装置。
2. タイマー撮影が可能な撮像装置において、
   撮像部と、
   前記撮像部により撮像された画像から、顔を検出する顔検出部と、
   前記撮像部により撮像された画像の一部の領域であって、前記顔検出部で検出された顔の密度が所定の値以上である領域、前記顔検出部で検出された顔のうち所定の大きさ以上の顔がある領域、または、ユーザによって指定された領域を、人物静止判定の対象となる領域として設定する判定領域設定部と、
   タイマー撮影の際、順次撮像された２以上の画像の顔検出結果に基づいて、本撮影の撮影タイミングを決定するタイマー制御部と、を有し、
   前記タイマー制御部は、
   ２以上の画像の前記判定領域設定部で設定された領域内にある顔の顔検出結果のみを比較することにより、画像中の顔が静止しているか否かを判定する人物静止判定部を有し、
   タイマー撮影が開始されると所定の時間間隔で撮像、顔検出及び人物静止判定を繰り返し、画像中の顔が静止していると判定された後に本撮影を実行する
   ことを特徴とする撮像装置。
3. 前記撮像部により撮像された画像の一部の領域を、人物静止判定の対象となる領域として設定する判定領域設定部をさらに有し、
   前記人物静止判定部は、２以上の画像の前記判定領域設定部で設定された領域内にある顔の顔検出結果のみを比較することにより、画像中の顔が静止しているか否かを判定することを特徴とする請求項１に記載の撮像装置。
4. 前記顔検出結果は、画像中の顔の位置を含み、
   前記人物静止判定部は、２以上の画像の間の顔の位置の差が所定距離内である場合に、画像中の顔が静止していると判定することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記顔検出結果は、画像中の顔の大きさを含み、
   前記人物静止判定部は、顔の画像中における大きさに応じて前記所定距離を変化させることを特徴とする請求項４に記載の撮像装置。
6. 前記顔検出結果は、画像中の顔の大きさを含み、
   前記人物静止判定部は、２以上の画像の間の顔の大きさの差が所定値内である場合に、画像中の顔が静止していると判定することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
7. 前記顔検出結果は、画像中の顔の向きを含み、
   前記人物静止判定部は、顔が正面を向いている場合に、画像中の顔が静止していると判定することを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
8. 前記人物静止判定部は、撮像対象の人数を設定する手段を有し、画像中の顔の数が前記設定人数と等しい場合に、画像中の顔が静止していると判定することを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
9. 撮像装置が、タイマー撮影時に、
   画像を順次撮像し、
   撮像されたそれぞれの画像から顔を検出し、
   あらかじめ登録した顔が画像内にいることを検出し、
   ２以上の画像の顔検出結果を比較することにより、画像中の顔が静止しているか否かを判定し、
   あらかじめ登録した顔が画像内にいることが検出され、かつ、画像中の顔が静止していると判定された後に本撮影を実行する、タイマー撮影方法。
10. 撮像装置が、タイマー撮影時に、
    画像を順次撮像し、
    撮像されたそれぞれの画像から顔を検出し、
    撮像された画像の一部の領域であって、検出された顔の密度が所定の値以上である領域、検出された顔のうち所定の大きさ以上の顔がある領域、または、ユーザによって指定された領域を、人物静止判定の対象となる領域として設定し、
    ２以上の画像の前記設定された領域内にある顔の顔検出結果のみを比較することにより、画像中の顔が静止しているか否かを判定し、
    画像中の顔が静止していると判定された後に本撮影を実行する、タイマー撮影方法。
11. タイマー撮影が可能な撮像装置に対して、
    画像を順次撮像させ、
    撮像されたそれぞれの画像から顔を検出させ、
    あらかじめ登録した顔が画像内にいることを検出させ、
    ２以上の画像の顔検出結果を比較することにより、画像中の顔が静止しているか否かを判定させ、
    あらかじめ登録した顔が画像内にいることが検出され、かつ、画像中の顔が静止していると判定された後に本撮影を実行させる、ためのプログラム。
12. タイマー撮影が可能な撮像装置に対して、
    画像を順次撮像させ、
    撮像されたそれぞれの画像から顔を検出させ、
    撮像された画像の一部の領域であって、検出された顔の密度が所定の値以上である領域、検出された顔のうち所定の大きさ以上の顔がある領域、または、ユーザによって指定された領域を、人物静止判定の対象となる領域として設定させ、
    ２以上の画像の前記設定された領域内にある顔の顔検出結果のみを比較することにより、画像中の顔が静止しているか否かを判定させ、
    画像中の顔が静止していると判定された後に本撮影を実行させる、ためのプログラム。

Images