JP2010021943A

JP2010021943A - 撮像装置

Info

Publication number: JP2010021943A
Application number: JP2008182824A
Authority: JP
Inventors: Masahiro Yokohata; 正大横畠
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2008-07-14
Filing date: 2008-07-14
Publication date: 2010-01-28
Also published as: US20100007763A1; CN101631198A; US8063947B2

Abstract

【課題】注目顔を優先顔として選択し続けるための制御方法を提供する。
【解決手段】撮像装置は、所定のフレーム周期の撮影によってフレーム画像列を取得する。時刻ｔ₂のフレーム画像３１０から２つの顔ＦＣ₁及びＦＣ₂が検出され、顔ＦＣ₁が優先顔として選択される。その後、被写体の移動によって、時刻ｔ_nのフレーム画像３３０から顔ＦＣ₁が検出されなくなったとき、直前のフレーム画像（時刻ｔ_n-1のフレーム画像３２０）上の優先顔の位置情報を保持し、その位置を中心とする、比較的大きな再探索範囲３３５を設定する。時刻ｔ_n以降、再探索範囲３３５内で、新たに顔が検出された場合、その新たに検出された顔（顔領域３４１に対応）を優先顔として再設定する。再探索範囲３３５内に位置する顔であっても、時刻ｔ_n以前から検出されている顔（ＦＣ₂）は優先顔として再設定されない。
【選択図】図１２

Description

本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に関し、特に、画像上の複数の顔の中から優先顔を設定して優先顔の追尾を実行する技術に関する。

デジタルスチルカメラ又はデジタルビデオカメラにおいて、撮影画像から人物の顔を検出する処理が実用化されており、検出された顔に注目してカメラ制御や様々なアプリケーションを実行する方法が提案されている。撮影画像から複数の顔が検出されることもあるが、そのような場合は、複数の顔の中から注目すべき顔が設定されて、その注目すべき顔についてカメラ制御や各種アプリケーションが実行される。この注目すべき顔を、優先顔と呼ぶ。

例えば、顔検出機能を備えた従来のデジタルカメラでは、１枚の撮影画像（静止画像）から複数の顔が検出された場合、撮影画像の中心位置と撮影画像上における顔の位置との距離や撮影画像上の顔の大きさに基づいて優先顔を設定し、その優先顔にピントが合うようにオートフォーカス制御を実行している（例えば、下記特許文献１参照）。

動画像で考えた場合、或るタイミングにおいて、一旦、或る顔が優先顔として設定された後は、その顔が検出されている限り、その顔が優先顔として認識され続けることが求められる。従って、動画像上の優先顔に注目したカメラ制御等を行うデジタルカメラでは、顔の同定処理を行うことにより優先顔を追尾し続ける。この同定処理として、画像上の顔の位置情報に基づく同定処理が一般に利用される。位置情報に基づく同定処理は、画像上の顔の時間方向における位置変化が連続性を有している、という原理に基づいて行われる。

図１９（ａ）及び（ｂ）を参照して、位置情報に基づく同定処理を簡単に説明する。第１時刻における撮影によって、図１９（ａ）に示す画像９０１が得られた後、第２時刻における撮影によって、図１９（ｂ）に示す画像９０２が得られた場合を考える。第１及び第２時刻間の時間長さは、例えば、動画像撮影時のフレーム周期と合致する。画像９０１及び９０２に対する顔検出処理によって、画像９０１から顔領域９１１及び９１２が抽出される一方で画像９０２から顔領域９１２及び９２２が抽出される。この場合、位置情報に基づく同定処理では、画像９０１及び９０２間で顔領域の位置を比較し、位置が近似している顔領域の顔は同一の顔であると判断することにより、顔の同定を行う。図１９（ａ）及び（ｂ）に示す例では、顔領域９１１及び９１２に含まれる顔は同一の顔であり、且つ、顔領域９２１及び９２２に含まれる顔は同一の顔であると判断される。

顔認識技術を利用して特定の顔を追尾する技術も存在するが、顔認識技術では、顔の画像から個人の特徴を抽出して特定の顔を追尾するという複雑な処理が必要となる。それに対して、上述の位置情報にのみ基づく同定処理は、簡素な処理にて特定の顔を追尾することが可能であるため、有益である。

特開２００３−１０７３３５号公報

上述のようにして優先顔の追尾を行うことができるのであるが、何らかの原因によって優先顔として捉えられるべき注目顔が一時的に検出できなくなることもある。例えば、他の被写体の後ろに注目顔が位置することによってカメラから注目顔が見えなくなった場合、即ち、注目顔の遮蔽が生じた場合、その遮蔽が生じている期間中は、注目顔を検出することができなくなる。このような場合に実行されうる従来の同定処理を、図２０（ａ）〜（ｃ）を参照して説明する。

図２０（ａ）、（ｂ）及び（ｃ）の画像９５０、９６０及び９７０は、夫々、第１、第２及び第３時刻の撮影によって得られた画像である。第１時刻の次に第２時刻が訪れ、第２時刻の次に第３時刻が訪れるものとする。第１、第２及び第３時刻において、デジタルカメラの撮影領域内に２つの顔ＦＣ₁及びＦＣ₂が存在している。画像９５０から顔ＦＣ₁及びＦＣ₂についての顔領域９５１及び９５２が抽出され、第１時刻において顔ＦＣ₁が優先顔として設定されたとする。図２０（ａ）〜（ｃ）（及び後述する図２１（ａ）〜（ｃ））において、太い実線枠で囲まれた顔が優先顔を表している。

第２時刻において、被写体の移動によって顔ＦＣ₁が顔ＦＣ₂の後ろに隠れて、第２時刻の画像９６０からは顔ＦＣ₁が検出されなかったものとする。符号９６２は、画像９６０から抽出された顔ＦＣ₂の顔領域である。顔領域９６２の位置は、画像９６０の直前に得られた撮影画像上における優先顔の顔領域の位置（例えば、顔領域９５１の位置）に近い。加えて、画像９６０からは１つの顔領域しか検出されていない。このため、第２時刻では、顔ＦＣ₁に代わり、顔領域９６２に対応する顔ＦＣ₂が優先顔として認識される。

この後の被写体の移動によって、第３時刻の画像９７０から顔ＦＣ₁及びＦＣ₂が検出されて、顔ＦＣ₁及びＦＣ₂の顔領域９７１及び９７２が画像９７０から抽出される。但し、ユーザが注目している顔は顔ＦＣ₁であるものの、第２時刻において優先顔が顔ＦＣ₁から顔ＦＣ₂へと遷移したため、第２及び第３時刻間の同定処理によって画像９７０の優先顔は顔ＦＣ₂のままとなる。

図２０（ａ）〜（ｃ）に対応する例では、顔ＦＣ₁が顔ＦＣ₂の後ろに隠れることによって優先顔となるべき顔ＦＣ₁が一時的に検出不可能となっているが、顔ＦＣ₁が一時的にカメラの撮影領域外（視野外）に出てしまうような状況においても、同様の現象が生じうる。このような状況に対応する従来の優先顔の設定方法を、図２１（ａ）〜（ｃ）を参照して説明する。

図２１（ａ）、（ｂ）及び（ｃ）の画像９５０ａ、９６０ａ及び９７０ａは、夫々、第１、第２及び第３時刻の撮影によって得られた画像である。画像９５０ａから顔ＦＣ₁及びＦＣ₂についての顔領域９５１ａ及び９５２ａが抽出され、第１時刻において顔ＦＣ₁が優先顔として設定されたとする。第１及び第２時刻間における顔ＦＣ₁の移動などにより、顔ＦＣ₁が検出できなくなる程度に顔ＦＣ₁の全部又は一部がカメラの撮影領域外に出ると、画像９６０ａからは顔ＦＣ₁が検出されなくなる。この時、画像９６０ａから顔ＦＣ₂が検出されて顔ＦＣ₂の顔領域９６２ａが抽出されると、カメラは、顔ＦＣ₁の代わりに顔ＦＣ₂を優先顔として再設定する。この後の顔ＦＣ₁の移動やカメラのパンニングなどにより、第３時刻において、画像９７０ａから顔ＦＣ₁及びＦＣ₂が検出されて、それらの顔領域９７１ａ及び９７２ａが抽出されたとしても、第２及び第３時刻間の同定処理によって画像９７０ａの優先顔は顔ＦＣ₂のままとされる。

このように、優先顔として捉えられるべき注目顔が一時的に検出できなった時において、単純に、注目顔が検出されている期間と同じ条件で同定処理を実行すると、注目顔と異なる顔が優先顔に設定されることもある。この場合、注目顔に対してカメラ制御等を行い続けることができなくなる。

そこで本発明は、注目すべき顔の安定的な認識に寄与する撮像装置を提供することを目的とする。

本発明に係る撮像装置は、繰り返し撮影によって時系列方向に複数の入力画像が並んで形成される入力画像列を取得する撮像手段と、前記入力画像列の画像データに基づき、各入力画像から人物の顔を検出して、画像上の検出顔の位置を表す位置情報を出力する顔検出手段と、前記顔検出手段によって検出される１以上の顔の中から優先顔を設定する優先顔設定手段と、前記顔検出手段によって検出される顔の位置情報に基づき、各入力画像内において前記優先顔を探索して前記優先顔を他の顔と区別して検出する同定手段と、前記優先顔の設定後に得られる第１入力画像から前記同定手段によって前記優先顔が検出される一方で、前記第１入力画像よりも後に得られる第２入力画像から前記同定手段によって前記優先顔を検出できなかったとき、前記第１入力画像上の前記優先顔の位置情報を含む保持情報を保持し、前記保持情報を用いて前記優先顔の再設定処理を実行する再設定手段と、を備えた撮像装置であって、前記再設定手段は、前記再設定処理において、前記保持情報と前記第２入力画像よりも後に得られる第３入力画像上の顔の位置情報とに基づき、前記同定手段による前記優先顔の探索条件と異なる探索条件にて、新たに優先顔として再設定されるべき再設定顔を前記第３入力画像内で探索することを特徴とする。

このように、一旦設定した優先顔が検出できなくなった時、優先顔の探索条件を変更して、注目されていない顔が新たに優先顔として再設定されることの回避を図る。これにより、真に注目すべき顔が検出可能になった際、その顔を優先顔として再設定することが可能となる。

具体的には例えば、前記同定手段によって前記優先顔が検出された時間的に連続する２枚の入力画像が第４及び第５入力画像から成り、前記第４入力画像の取得後に前記第５入力画像が取得されるとした場合、前記同定手段は、前記第４入力画像上における前記優先顔の位置を基準とする第１探索範囲を前記第５入力画像に対して設定し、前記第１探索範囲内で前記第５入力画像上の前記優先顔の探索を行う一方、前記再設定手段は、前記第１入力画像上における前記優先顔の位置を基準とする第２探索範囲を前記第３入力画像に対して設定し、前記第２探索範囲内で前記第３入力画像上の前記再設定顔の探索を行い、前記第２探索範囲の大きさは前記第１探索範囲の大きさよりも大きい。

そして例えば、前記再設定手段は、前記第１入力画像から検出された前記優先顔以外の顔が、前記再設定顔として探索されることを禁止する。

これにより、注目されていない顔が新たに優先顔として再設定されることが回避される。

より具体的には例えば、前記同定手段は、注目入力画像を含む時間的に連続する入力画像についての前記位置情報に基づき、前記顔検出手段によって検出される顔の同定を顔ごとに行い、この同定によって、前記注目入力画像から検出された顔が前記注目入力画像において新たに検出された顔であるのか或いは前記注目入力画像よりも前の入力画像においても検出されていた顔であるのかが判定され、前記再設定手段は、前記顔検出手段によって前記第３入力画像の前記第２探索範囲内から検出される顔の内、前記第２入力画像から検出されなかった顔であって且つ前記前記第３入力画像において新たに検出された顔が前記再設定顔として探索されるように、前記判定の結果に基づいて前記再設定処理を行う。

また例えば、異なる入力画像間における優先顔の動きを検出する動き検出手段を更に備え、前記再設定手段は、前記同定手段によって前記優先顔が検出されていた期間中における前記優先顔の動きに応じて、前記第２探索範囲の形状を可変させる。

また例えば、前記第１入力画像上の前記優先顔の特徴を表す付加情報が前記保持情報に含められ、前記再設定手段は、前記優先顔の位置情報だけでなく前記付加情報にも基づいて前記再設定処理を実行する。

本発明によれば、注目すべき顔の安定的な認識に寄与する撮像装置を提供することが可能である。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルビデオカメラである。撮像装置１は、動画像及び静止画像を撮影可能となっていると共に、動画像撮影中に静止画像を同時に撮影することも可能となっている。

［基本的な構成の説明］
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などの内部メモリ１７と、ＳＤ（Secure Digital）カードや磁気ディスクなどの外部メモリ１８と、伸張処理部１９と、映像出力回路２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。

ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）を内部メモリ１７に記録する。

図２は、図１の撮像部１１の内部構成図である。撮像部１１にカラーフィルタなどを用いることにより、撮像装置１は、撮影によってカラー画像を生成可能なように構成されている。

撮像部１１は、光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。

ドライバ３４は、ＣＰＵ２３からの制御信号に基づいて、ズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量を制御する。被写体からの入射光は、光学系３５を構成する各レンズ及び絞り３２を介して、撮像素子３３に入射する。光学系３５を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。

撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる固体撮像素子である。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。光学系３５に入射する光学像が同じであり且つ絞り３２の開度が同じである場合、撮像素子３３からの電気信号の大きさ（強度）は上記露光時間に比例して増大する。

ＡＦＥ１２は、撮像素子３３から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して各種画像処理を施し、画像処理後の画像についての映像信号を生成する。映像信号は、画像の輝度を表す輝度信号Ｙと、画像の色を表す色差信号Ｕ及びＶと、から構成される。

マイク１４は撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。

圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画像または静止画像の撮影及び記録時において、圧縮された映像信号は外部メモリ１８に記録される。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画像の撮影及び記録時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらは外部メモリ１８に記録される。

録画ボタン２６ａは、動画像の撮影及び記録の開始／終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、静止画像の撮影及び記録を指示するための押しボタンスイッチである。

撮像装置１の動作モードには、動画像及び静止画像の撮影が可能な撮影モードと、外部メモリ１８に格納された動画像及び静止画像を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。撮影モードでは、所定のフレーム周期にて順次撮影が行われ、撮像素子３３から時系列で並ぶ画像列が取得される。この画像列を形成する各画像を「フレーム画像」と呼ぶ。

撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後に得られる各フレーム画像の映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介して外部メモリ１８に記録される。動画像撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、映像信号及び音声信号の外部メモリ１８への記録は終了し、１つの動画像の撮影は完了する。また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画像の撮影及び記録が行われる。

再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、外部メモリ１８に記録された動画像又は静止画像を表す圧縮された映像信号は、伸張処理部１９にて伸張されてから映像出力回路２０に送られる。尚、撮影モードにおいては、通常、録画ボタン２６ａ及びシャッタボタン２６ｂに対する操作内容に関係なく、映像信号処理部１３による映像信号の生成が逐次行われており、その映像信号は映像出力回路２０に送られる。

映像出力回路２０は、与えられたデジタルの映像信号を表示部２７で表示可能な形式の映像信号（例えば、アナログの映像信号）に変換して出力する。表示部２７は、液晶ディスプレイパネル及びそれを駆動する集積回路などを含む表示装置であり、映像出力回路２０から出力された映像信号に応じた画像を表示する。

また、再生モードにおいて動画像を再生する際、外部メモリ１８に記録された動画像に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音として外部に出力する。

尚、映像出力回路２０からの映像信号及び音声出力回路２１からの音声信号を、撮像装置１に設けられた外部出力端子（不図示）を介して外部機器（外部の表示装置など）に供給することも可能である。

特に記述しない限り、以下の説明は、撮影モードにおける撮像装置１の動作の説明である。

［顔処理ブロックの構成］
撮像装置１は、顔検出機能を備え、顔検出機能を利用してカメラ制御を行ったり、様々なアプリケーションを実行したりすることができる。図３に、顔検出機能に特に注目した、撮像装置１の一部ブロック図を示す。符号５１〜５４によって参照される各部位から成る顔処理ブロック５０は、主として、映像信号処理部１３、ＣＰＵ２３及び内部メモリ１７によって実現される。例えば、顔検出部５１は、映像信号処理部１３に設けられ、顔追尾部５２及び優先顔設定部５４は、映像信号処理部１３によって或いはＣＰＵ２３と映像信号処理部１３によって実現される。顔情報管理テーブル５３は、内部メモリ１７内に設けられる。尚、図１に示される他の部位も、必要に応じて、図３に示される各部位の機能の実現に関与する。

図３に示される各部位の機能を説明する。尚、時間の進行と共に、時刻ｔ₁、ｔ₂、・・・、ｔ_n-1、ｔ_n、ｔ_n+1・・・がこの順番で訪れるものとする（ｎは整数）。以下の説明では、隣接する時刻ｔ_n-1及びｔ_n間の時間長さがフレーム周期と一致していることを想定する。従って、時刻ｔ_n-1の撮影によって得られたフレーム画像と時刻ｔ_nの撮影によって得られたフレーム画像は、時間的に連続して得られた２枚のフレーム画像である。但し、時刻ｔ_n-1及びｔ_n間の時間長さを、フレーム周期の整数倍（例えば、２倍や３倍）にすることも可能である。以下、時刻ｔ_nの撮影によって得られたフレーム画像を、単に、時刻ｔ_nのフレーム画像とも呼ぶ（時刻ｔ_n-1などについても同様）。

また、或る画像に関し、その画像の情報を表すデータを画像データと呼ぶ。或る画像に関し、該画像の画像データも該画像の映像信号も、その画像を表す情報である。従って、画像データと映像信号を等価なものと捉えることができる。

フレーム画像の画像データは、顔検出部５１に対する入力画像の画像データとして顔検出部５１に与えられる。顔検出部５１は、自身に与えられた入力画像の画像データに基づき、入力画像中から人物の顔を検出し、検出された顔を含む顔領域を抽出する。画像中に含まれる顔を検出する手法として様々な手法が知られており、顔検出部５１は何れの手法をも採用可能である。

典型的には例えば、入力画像内に設定された着目領域の画像と所定の画像サイズを有する基準顔画像とを対比して両画像の類似度を判定し、その類似度に基づいて着目領域に顔が含まれているか否か（着目領域が顔領域であるか否か）を検出する。入力画像において着目領域は一画素ずつ左右方向又は上下方向にずらされる。そして、ずらされた後の着目領域の画像と基準顔画像とが対比されて、再度、両画像の類似度が判定され、同様の検出が行われる。このように、着目領域は、例えば入力画像の左上から右下方向に向けて１画素ずつずらされながら、更新設定される。また、入力画像を一定割合で縮小し、縮小後の画像に対して、同様の顔検出処理を行う。このような処理を繰り返すことにより、入力画像中から任意の大きさの顔を検出することができる。

顔検出部５１によってフレーム画像から抽出される顔領域の形状は矩形である（ただし、その形状を矩形以外にすることも可能である）。顔検出部５１によって、着目したフレーム画像から１又は複数の顔領域が抽出され、各顔領域の位置及び大きさを特定する情報を含む顔検出情報が出力される。顔検出部５１による、フレーム画像内の顔領域の位置及び大きさを導出する処理を顔検出処理という。顔検出処理をフレーム画像ごとに行うことができる。

顔追尾部５２は、フレーム画像ごとに行われた顔検出処理の結果（即ち、顔検出情報）に基づき、時間的に隣接するフレーム画像間で顔ごとに顔の同定処理を行い、顔検出処理及び同定処理の結果に基づいて顔情報管理テーブル５３内のデータを順次更新していく。顔の同定処理によって、或るフレーム画像に現れる顔と他のフレーム画像に現れる顔とが同一の顔（同一の人物の顔）であるのか否かが判別される。

同定処理は、画像上の顔の時間方向における位置変化がフレーム画像列内において連続性を有している、という原理に基づいて行われる。これを、図４（ａ）〜（ｃ）を参照してより具体的に説明する。図４（ａ）及び（ｂ）において、画像２０１及び２０２は、夫々、時刻ｔ_n-1及びｔ_nのフレーム画像の例を表している。矩形領域２１１及び２２１は画像２０１から抽出された顔領域であり、矩形領域２１２及び２２２は画像２０２から抽出された顔領域である。図４（ｃ）では、顔領域２１１、２１２、２２１及び２２２が、共通の座標面上に示されている。点２１１ｃ、２１２ｃ、２２１ｃ及び２２２ｃは、夫々、顔領域２１１、２１２、２２１及び２２２の中心を表している。

時刻ｔ_n-1及びｔ_n間の時間長さは、例えば、１／６０秒又は１／３０秒である。そうすると、顔領域２１１及び２１２が同一の顔についての顔領域であるならば、通常、顔領域２１１及び２１２の位置は近似している。同定処理は、その位置の近似度に基づいて実行される。顔領域２２１及び２２２についても同様である。

具体的には、点２１１ｃを中心とする半径ＴＨ₁の円の内側領域を探索範囲２１３として定義し、その探索範囲２１３内に中心が存在する顔領域が画像２０２上にあるか否かを判定する。そして、そのような顔領域が画像２０２上に存在する場合は、その顔領域に含まれる顔と、顔領域２１１に含まれる顔とが、同一の顔であると判断する。図４（ａ）〜（ｃ）に示す例では、顔領域２１２の中心２１２ｃが探索範囲２１３内に存在するため、顔領域２１２に含まれる顔と、顔領域２１１に含まれる顔とは、同一の顔であると判断される。一方、顔領域２２２の中心２２２ｃは、探索範囲２１３内に存在しないため、顔領域２２２に含まれる顔と顔領域２１１に含まれる顔とは、異なる顔であると判断される。

同様に、点２２１ｃを中心とする半径ＴＨ₁の円の内側領域を探索範囲２２３として定義し、その探索範囲２２３内に中心が存在する顔領域が画像２０２上にあるか否かを判定する。そして、そのような顔領域が画像２０２上に存在する場合は、その顔領域に含まれる顔と、顔領域２２１に含まれる顔とが、同一の顔であると判断する。図４（ａ）〜（ｃ）に示す例では、顔領域２２２の中心２２２ｃが探索範囲２２３内に存在するため、顔領域２２２に含まれる顔と、顔領域２２１に含まれる顔とは、同一の顔であると判断される。一方、顔領域２１２の中心２１２ｃは、探索範囲２２３内に存在しないため、顔領域２１２に含まれる顔と顔領域２２１に含まれる顔とは、異なる顔であると判断される。

仮に、探索範囲２１３内に中心が存在する顔領域が画像２０２上に複数個存在する場合は、その複数の顔領域の夫々の中心と中心２１１ｃとの距離を比較して、より短い距離に対応する、画像２０２上の顔領域を特定し、特定した顔領域に含まれる顔と顔領域２１１に含まれる顔とが、同一の顔であると判断すればよい。探索範囲２２３についても同様である。

ＴＨ₁は、時刻ｔ_n-1のフレーム画像上における着目した顔領域と、時刻ｔ_nのフレーム画像上における着目した顔領域とが同一の人物の顔であるか否かを区別するために設定された基準距離（画像上の基準距離）である。ＴＨ₁の値を予め設定しておくことができる。ＴＨ₁の値を、顔領域の大きさに応じて変化させてもよい。

尚、時刻ｔ_n-1のフレーム画像上における着目した顔領域と、時刻ｔ_nのフレーム画像上における着目した顔領域との間における重なり領域の面積を求め、その面積に基づいて同定処理を行うようにしてもよい。この場合は、例えば、図５に示されるような、顔領域２１１及び２１２が互いに重なり合う重なり領域２１４を特定し、その重なり領域２１４の、画像上の面積を求める。その後、その求めた面積を、顔領域２１１又は２１２の面積にて割った値を導出する。そして、導出した値が所定の基準値以上なら、顔領域２１１及び２１２に含まれる顔は、同一の顔であると判断する一方、そうでないなら、顔領域２１１及び２１２に含まれる顔は、異なる顔であると判断する。顔領域２２１及び２２２に含まれる顔についても、顔領域２２１及び２２２の重なり領域２２４の面積に基づいて、同様に処理される。重なり領域２１４の面積は、中心２１１ｃ及び２１２ｃ間の距離に依存するため、重なり領域２１４の面積に基づく同定処理も、結局、上述した中心間距離に基づく同定処理と等価であると言える。

このような同定処理によって、顔追尾部５２は、過去のフレーム画像（例えば、時刻ｔ_n-1のフレーム画像）から検出された顔と、現在のフレーム画像（例えば、時刻ｔ_nのフレーム画像）から検出された顔との同定を行う。

顔検出処理及び同定処理の結果は、顔情報管理テーブル５３（以下、単にテーブル５３ともいう）内のデータに反映される。図６に、テーブル５３のデータ構造を示す。図６では、互いに異なる３人の人物についての３つの顔が検出された場合におけるテーブル５３のデータ構造を示す。この３つの顔に対して顔番号１、２及び３が割り当てられ、顔ごとに、顔の位置、履歴フラグ及び優先顔フラグを表すデータと、付加情報と、がテーブル５３に格納される。顔番号ｉの位置は（ｘｉ_１，ｙｉ_１）及び（ｘｉ_２，ｙｉ_２）によって表される。ｉは、自然数であり、顔番号１〜３についてのみ考える場合、１、２又は３である。

図７に示す如く、（ｘｉ_１，ｙｉ_１）及び（ｘｉ_２，ｙｉ_２）は、顔番号ｉについての顔領域の左上隅及び右下隅の座標値（画像空間上の座標値）を表している。ｘｉ_１，ｙｉ_１は、その左上隅の水平方向座標値及び垂直方向座標値を表し、ｘｉ_２，ｙｉ_２は、その右下隅の水平方向座標値及び垂直方向座標値を表している。

顔番号ｉについての履歴フラグは、その顔番号ｉについての顔が過去のフレーム画像から連続して検出されている顔であるのかを示している。各履歴フラグには、“ｐａｓｔ”又は“ｎｅｗ”が代入される。顔番号ｉについての履歴フラグが“ｐａｓｔ”であることは、顔番号ｉについての顔が過去のフレーム画像から連続して検出されている顔であることを示しており、顔番号ｉについての履歴フラグが“ｎｅｗ”であることは、顔番号ｉについての顔が最新のフレーム画像において新たに検出された顔であることを示している。

例えば、時刻ｔ₁〜時刻ｔ_n-2のフレーム画像からは人物Ｐ_Aの顔が検出されず、時刻ｔ_n-1及びｔ_nのフレーム画像から人物Ｐ_Aの顔が検出された場合を考える。また、人物Ｐ_Aの顔に対して顔番号１が割り当てられたとする。この場合、顔番号１の履歴フラグは、時刻ｔ_n-1のフレーム画像に対する顔検出処理及び同定処理後であって且つ時刻ｔ_nのフレーム画像に対する顔検出処理及び同定処理前においては、“ｎｅｗ”となり、時刻ｔ_nのフレーム画像に対する顔検出処理及び同定処理後においては、“ｐａｓｔ”となる。

そして更に、時刻ｔ_n+1〜ｔ_n+4のフレーム画像から人物Ｐ_Aの顔が検出されず且つ時刻ｔ_n+5のフレーム画像から人物Ｐ_Aの顔が検出された場合を想定する。この場合、時刻ｔ_n+1〜ｔ_n+4のフレーム画像に対する顔検出処理及び同定処理によって人物Ｐ_Aの顔がフレーム画像から検出されないため、一旦、顔番号１の履歴フラグはリセットされる（リセットされた履歴フラグは何ら意味を有さない）。その後、時刻ｔ_n+5のフレーム画像に対する顔検出処理及び同定処理によって、時刻ｔ_n+5のフレーム画像から人物Ｐ_Aの顔が検出されると、人物Ｐ_Aの顔に対して新たに顔番号１が割り当てられて、顔番号１の履歴フラグは“ｎｅｗ”となる。

ところで、撮像装置１では、顔検出機能を利用してカメラ制御を行ったり、様々なアプリケーションを実行したりすることができる。フレーム画像から複数の顔が検出されることもあるが、そのような場合は、複数の顔の中から注目すべき顔が設定されて、その注目すべき顔についてカメラ制御や各種アプリケーションが実行される。この注目すべき顔を、優先顔と呼ぶ。

テーブル５３内の優先顔フラグによって何れの顔が優先顔であるかが規定される。優先顔フラグに「１」が代入されている顔番号の顔が優先顔であり、優先顔フラグに「０」が代入されている顔番号の顔は優先顔ではない。図６に示す例では、顔番号２の優先顔フラグにのみ「１」が代入されており、顔番号２に対応する顔が優先顔として取り扱われる。

優先顔の初期設定は、図３の優先顔設定部５４によって行われる。優先顔設定部５４は、画像データに基づいて自動的に或いはユーザによる手動操作に従って、優先顔を設定する。優先顔設定部５４にて利用可能な優先顔の設定方法を、図８〜図１０を参照して以下に例示する。図８〜図１０において、太い実線枠で囲まれた顔が優先顔を表している。

例えば、図８に示す如く、時刻ｔ₁のフレーム画像から順番に各フレーム画像に対して顔検出処理を実行してゆき、最初に検出された顔を優先顔として設定するようにしてもよい。
或いは例えば、トリガ条件の成立時に得られたフレーム画像より検出された顔を、優先顔として設定するようにしてもよい。トリガ条件は、例えば、図１の操作部２６に対して所定操作が施された時に成立する。
トリガ条件の成立時に得られたフレーム画像から複数の顔領域が抽出された場合は、顔の大きさに比例する顔領域の大きさを基準にして優先顔を設定するようにしてもよい。即ち例えば、図９に示す如く、その複数の顔領域の内、最大の大きさを有する顔領域についての顔を優先顔として設定するようにしてもよい。
トリガ条件の成立時に得られたフレーム画像から複数の顔領域が抽出された場合は、顔領域の位置を基準にして優先顔を設定するようにしてもよい。即ち例えば、図１０に示す如く、その複数の顔領域の内、顔領域の中心がフレーム画像の中心に対して最も近い顔領域を特定し、その顔領域についての顔を優先顔として設定するようにしてもよい。
或いは例えば、ユーザによる優先顔を指定する操作を受け付け、その操作に従って、優先顔を設定するようにしてもよい。

テーブル５３内の付加情報には、顔についての様々な情報を格納しておくことができる。図６では、付加情報の具体的な内容の図示を省略している。付加情報の利用方法については後述される。

一旦、或る顔が優先顔として設定された後は、その顔が顔検出処理によって検出されている限り、その顔が優先顔として認識され続けることが求められる。このため、撮像装置１では、優先顔設定部５４による優先顔の設定後、上述の顔検出処理及び同定処理を繰り返し実行し、優先顔と優先顔以外の顔を含む各顔を画像上で追尾する。撮像装置１では、この追尾を、顔認識技術のような複雑な処理を用いることなく、顔領域の位置情報に基づいて実行している。つまり、顔認識技術のように、顔の画像から個人の特徴を抽出して特定の顔を追尾するような複雑な処理を必要としない。

しかしながら、他の被写体による、一時的な優先顔の遮蔽などが生じると、優先顔を現フレーム画像から検出することができず、結果、一時的に追尾が困難になる。優先顔の遮蔽によって顔検出ができなくなることは避けがたいが、遮蔽が解消された際、優先顔の追尾を正しく再開する能力が求められる。撮像装置は、優先顔の追尾を正しく再開することができる特徴的な機能を備える。

［優先顔追尾の動作手順］
この機能を実現する動作手順を、図１１を参照して説明する。図１１は、優先顔の追尾に注目した撮像装置１の動作フローチャートである。ステップＳ１〜Ｓ１０の各処理は、顔処理ブロック５０によって実行される。

まず、ステップＳ１において、顔検出部５１による顔検出処理が行われる。この顔検出処理は現在のフレーム画像に対して行われる。現在のフレーム画像とは、顔検出処理等の処理を行う時点において得られている最新のフレーム画像を指す。ステップＳ１の顔検出処理は、周期的に行われ、その顔検出処理の実行周期は時刻ｔ_n-1及びｔ_n間の時間長さと同じである。また、上述したように、本実施形態では、時刻ｔ_n-1及びｔ_n間の時間長さがフレーム周期と一致していることを想定している。従って、ステップＳ１の顔検出処理は、フレーム画像ごとに実行される。但し、ステップＳ１の顔検出処理の実行周期を、フレーム周期の整数倍（例えば、２倍又は３倍）にすることも可能である。

ステップＳ１にて顔検出処理がなされると、ステップＳ２に移行する。ステップＳ２において、顔処理ブロック５０は、ステップＳ１の顔検出処理の結果に基づき、現在のフレーム画像から１以上の顔が検出されたか否かを判断する。現在のフレーム画像から１以上の顔が検出された場合は、ステップＳ４に移行する。現在のフレーム画像から顔が１つも検出されなかった場合は、ステップＳ３のリセット処理が実行され、その後、ステップＳ１に戻る。リセット処理では、テーブル５３内のデータが全て消去される。

ステップＳ４では、優先顔設定部５４により、既に優先顔が設定されているか否かが判定される。優先顔設定部５４により既に優先顔が設定されている場合はステップＳ６に移行するが、優先顔が未だ設定されていない場合はステップＳ５に移行する。ステップＳ５において、優先顔設定部５４による優先顔の設定が行われた後、ステップＳ１に戻る。優先顔の設定結果は、テーブル５３内の優先顔フラグに反映される。尚、ステップＳ５において常に優先顔の設定を行う必要はない。優先顔設定部５４による優先顔の設定が未だなされていない期間においては、ステップＳ４からステップＳ５への移行が繰り返し生じるため、必要なタイミングにおいて、優先顔の設定を行えばよい。

ステップＳ６では、顔追尾部５２によって上述の同定処理が行われる。具体的には、前回及び今回の顔検出処理の結果に基づいて、即ち、前回及び今回のフレーム画像に対して生成された顔検出情報に基づいて、前回のフレーム画像から検出された顔と、今回のフレーム画像から検出された顔との同定を行う。今回のフレーム画像と、上述の現在のフレーム画像とは同義である。前回のフレーム画像が時刻ｔ_n-1のフレーム画像であるなら、今回のフレーム画像は時刻ｔ_nのフレーム画像である。ステップＳ１の顔検出処理の結果と共にステップＳ６の同定処理の結果は、テーブル５３内のデータに反映される。

その後、ステップＳ７において、今回のフレーム画像から優先顔が検出されたか否かが判断される。前回及び今回のフレーム画像上に優先顔として設定されている顔が存在しており且つその顔の検出及び同定が成功した場合は、今回のフレーム画像から優先顔が検出されたと判断され、ステップＳ７からステップＳ１に戻って、上述のステップＳ１以降の各処理が繰り返し実行される。一方、今回のフレーム画像から優先顔が検出されなかった時、優先顔が消失したと判断してステップＳ８に移行する。ステップＳ８〜Ｓ１０では、優先顔の再設定処理が実行される。ステップＳ８〜Ｓ１０における再設定処理は、顔追尾部５２によって実行される。

再設定処理では、まず、優先顔が検出されていた直近のフレーム画像上における優先顔の情報がテーブル５３内に保持される。ここで保持される情報を、以下、優先顔保持情報と呼ぶ。優先顔保持情報には、優先顔が検出されていた直近のフレーム画像上における優先顔の位置情報が含まれ、優先顔の付加情報も含まれうる。ステップＳ８において、顔追尾部５２は、優先顔保持情報に含まれる優先顔の位置情報に基づき、優先顔の再探索範囲を設定する。その後、ステップＳ９において、その再探索範囲を今回のフレーム画像に適用し、今回のフレーム画像上における再探索範囲内に新たに検出された顔が存在しているか否かを判定する。そして、今回のフレーム画像上における再探索範囲内に新たに検出された顔が存在している場合、ステップＳ１０にて、その新たに検出された顔を優先顔として再設定してからステップＳ１に戻る。一方、今回のフレーム画像上における再探索範囲内に新たに検出された顔が存在していない場合は、優先顔を再設定することなくステップＳ１に戻る。

図１１の動作フローチャートに従う具体的動作例を、具体的な事例αに沿って説明する。図１２（ａ）〜（ｅ）の画像３００、３１０、３２０、３３０及び３４０は、夫々、この具体的な事例αに沿った、時刻ｔ₁、ｔ₂、ｔ_n-1、ｔ_n及びｔ_n+5のフレーム画像を表している（この具体的な事例αにおいては、ｎ≧４）。また、図１３（ａ）〜（ｅ）は、時刻ｔ₁、ｔ₂、ｔ_n-1、ｔ_n及びｔ_n+5におけるテーブル５３のデータを表している。図１３（ａ）〜（ｅ）では、顔領域の位置を表す座標値の図示及び付加情報の具体的な内容の図示が省略されているが、それらの座標値及び付加情報は、顔検出処理や同定処理の結果に従って順次更新される。

事例αでは、まず、時刻ｔ₁のフレーム画像３００から、２人の人物についての顔ＦＣ₁及びＦＣ₂が検出される。顔領域３０１及び３０２は、夫々、フレーム画像３００から抽出された顔ＦＣ₁及びＦＣ₂についての顔領域である。顔ＦＣ₁及びＦＣ₂に対して、夫々、顔番号１及び２が割り当てられたことを想定する。また、この時点では、優先化設定部５４による優先顔の設定が行われていないものとする。結果、この時点では、図１３（ａ）に示す如く、顔番号１及び２の履歴フラグは共に“ｎｅｗ”であり且つ顔番号１及び２の優先顔フラグは共に“０”である。

その後、時刻ｔ₂のフレーム画像３１０からも、顔ＦＣ₁及びＦＣ₂が検出されたとする。このため、図１３（ｂ）に示す如く、顔番号１及び２の履歴フラグは共に“ｐａｓｔ”とされる。顔領域３１１及び３１２は、夫々、フレーム画像３１０から抽出された顔ＦＣ₁及びＦＣ₂についての顔領域である。また、時刻ｔ₂において、顔ＦＣ₁が優先顔に設定されたものとする。この結果、顔番号１の優先顔フラグのみに“１”が代入される。

以後、時刻ｔ₃〜時刻ｔ_n-1の各フレーム画像から顔ＦＣ₁及びＦＣ₂が検出されたとする。この場合、時刻ｔ₃〜時刻ｔ_n-1の各フレーム画像に対して、ステップＳ１、Ｓ２、Ｓ４、Ｓ６及びＳ７の処理が実行される。時刻ｔ₃〜時刻ｔ_n-1の各フレーム画像から優先顔としての顔ＦＣ₁が検出されているため、時刻ｔ₃〜時刻ｔ_n-1の各フレーム画像に対して、ステップＳ８〜Ｓ１０から成る優先顔の再設定処理は実行されない。図１２（ｃ）の顔領域３２１及び３２２は、夫々、時刻ｔ_n-1のフレーム画像３２０から抽出された顔ＦＣ₁及びＦＣ₂についての顔領域である。

実空間上における被写体の移動により、時刻ｔ_n-1において顔ＦＣ₁の一部が顔ＦＣ₂の後ろに隠れている。時刻ｔ_nにおいて、顔ＦＣ₁の遮蔽量が大きくなり、顔ＦＣ₁の検出ができなくなったとする。即ち、時刻ｔ_nのフレーム画像３３０に対する顔検出処理によって、フレーム画像３３０から顔ＦＣ₂だけが検出され、優先顔としての顔ＦＣ₁が検出されなかったとする。そうすると、ステップＳ６及びＳ７を介してステップＳ８に至り、優先顔の再設定処理が実行される。図１２（ｄ）の顔領域３３２は、時刻ｔ_nのフレーム画像３３０から抽出された顔ＦＣ₂についての顔領域である。

上述したように、再設定処理では、優先顔が検出されていた直近のフレーム画像上における優先顔の情報、即ち、優先顔保持情報がテーブル５３内に保持される。事例αの再設定処理の開始時点から見て、優先顔が検出されていた直近のフレーム画像は、時刻ｔ_n-1のフレーム画像３２０である。従って、フレーム画像３２０上における優先顔の情報が、優先顔保持情報としてテーブル５３内に保持される。図１３（ｄ）に示す、時刻ｔ_nにおけるテーブル５３では、この保持の様子が省略され、顔番号１についての各情報が空白となっているが、顔番号１についての各情報を格納すべきメモリ領域に、優先顔保持情報を記憶しておいてもよい。

顔追尾部５２は、優先顔を再度探索すべく、ステップＳ８において、優先顔の再探索範囲を設定する。図１２（ｄ）及び（ｅ）に示される、符号３３５が付された円の内側が再探索範囲である。顔追尾部５２は、優先顔保持情報に含まれる優先顔の位置情報に基づき、再探索範囲３３５を設定する。より具体的には、時刻ｔ_n-1のフレーム画像３２０上における顔領域３２１の中心を中心として有する、半径ＴＨ₂の円の内側領域を再探索範囲３３５として設定する。ここで、ＴＨ₂は、図４（ｃ）に示される探索範囲２１３（及び２２３）の半径を規定する、上述のＴＨ₁よりも大きな値を有する。従って、再探索範囲３３５は、図４（ｃ）に示される探索範囲２１３よりも大きい。

ステップＳ９において、顔追尾部５２は、新たに検出された顔が再探索範囲３３５内に存在しているか否かを判定する。そして、その存在が確認された場合にのみ、優先顔の再設定を行う。より具体的には、再探索範囲３３５内に中心を有する顔領域であって且つ“ｎｅｗ”の履歴フラグが代入された顔領域を、優先顔が再設定されるべきフレーム画像（事例αにおいて、時刻ｔ_n〜ｔ_n+5のフレーム画像）から探索し、そのような顔領域が探索された場合にのみ、探索された顔領域についての顔を優先顔として再設定する。

時刻ｔ_n+1〜ｔ_n+4の各フレーム画像は、時刻ｔ_nのフレーム画像３３０と同じ画像であり、時刻ｔ_n+1〜ｔ_n+4の各フレーム画像からは顔ＦＣ₂のみが検出されたとする。時刻ｔ_n〜ｔ_n+4の各フレーム画像から抽出された、顔ＦＣ₂の顔領域の中心は再探索範囲３３５内に位置している。しかし、顔ＦＣ₂は、時刻ｔ_n-1〜ｔ_n+3の各フレーム画像においても検出されているが故に、顔ＦＣ₂の顔領域に対応する履歴フラグは“ｐｓｓｔ”である。この結果、顔ＦＣ₂は優先顔として設定されない。

その後、時刻ｔ_n+5のフレーム画像３４０から顔ＦＣ₁及びＦＣ₂が検出されたとする。図１２（ｅ）の顔領域３４１及び３４２は、夫々、時刻ｔ_n+5のフレーム画像３４０から抽出された顔ＦＣ₁及びＦＣ₂についての顔領域である。顔領域３４１についての顔は、過去のフレーム画像から連続して検出されている顔ではなく、最新のフレーム画像（即ち、フレーム画像３４０）において新たに検出された顔である。故に、顔領域３４１に対応する履歴フラグには“ｎｅｗ”が代入される。更に、顔領域３４１の中心が再探索範囲３３５内に位置しているものとする。そうすると、顔追尾部５２は、ステップＳ１０において、顔領域３４１に対応する顔を優先顔として再設定する。図１３（ｅ）は、顔領域３４１に対して顔番号１が割り当てられた時の、時刻ｔ_n+5におけるテーブル５３の内容を示している。優先顔の再設定の結果は、テーブル５３に反映される。従って、図１３（ｅ）において、顔番号１に対応する優先顔フラグに“１”が代入される。

このように、顔検出処理、同定処理及び優先顔の再設定処理を含むループ処理が繰り返される過程において、過去に検出した顔と一致しない新規の顔が再探索範囲内に現れたとき、その新規の顔を優先顔として再設定する。これにより、優先顔となるべき注目顔（ＦＣ₁）が一時的に検出不可能となっても、その後、正しく注目顔（ＦＣ₁）を優先顔として再設定することが可能となる（優先顔の追尾を正しく再開することができる）。

また、時間的に隣接するフレーム画像間における顔の位置変化量と比べて、時刻ｔ_n-1及びｔ_n+5間における顔の位置変化量は大きい可能性が高い。前者の位置変化量に対応する時間長さと比べて、後者の位置変化量に対応する時間長さが長いからである。これを考慮し、再探索範囲３３５の大きさを、同定処理における探索範囲（図４（ｃ）に示される探索範囲２１３及び２２３）よりも大きくする。これにより、優先顔の再設定の確実性が増す。

上述の如くして設定された優先顔に注目したカメラ制御やアプリケーションを実行可能である。例えば、動画像の撮影時において、優先顔に常にピントが合うようにオートフォーカス制御を実行したり、優先顔の輝度レベルが適正レベルになるように露光制御を行ったりすることができる。このオートフォーカス制御は、例えば、優先顔の顔領域のコントラストに基づいてフォーカスレンズ３１の位置を制御することにより実現され、この露光制御は、例えば、優先顔の顔領域の平均輝度レベルが適正レベルになるように絞り３２の開度などを制御することにより実現される。この他、優先顔のホワイトバランスが所望のホワイトバランスとなるようにオートホワイトバランス制御を行うことも可能である。また、優先顔の注目してズームレンズ３０の位置を制御したりすることも可能である。

上述してきた処理を基本とした応用処理例又は変形処理列を、第１応用例〜第４応用例として説明する。上述してきた内容（事例αを含む）は、矛盾なき限り、各応用例に適用される。矛盾なき限り、或る応用例に述べた事項を他の応用例に適用することもできる。

［第１応用例］
第１応用例を説明する。上述の事例αでは、実空間上で被写体が移動し、顔ＦＣ₁が顔ＦＣ₂の後ろに隠れることによって、優先顔としての顔ＦＣ₁が一時的に検出不可能となっている。この後、事例αの如く、優先顔の再探索範囲内において顔ＦＣ₁が新規の顔として再び検出されたならば、意図通りに優先顔が再設定される。しかしながら、図１４に示す如く、顔ＦＣ₁が顔ＦＣ₂の後ろを横切って再探索範囲の外へ出るような経路をたどると、再探索範囲を拡大しない限り、意図通りに優先顔が再設定されない可能性も高まる。一方において、再探索範囲を拡大すると、顔ＦＣ₁及びＦＣ₂と異なる顔ＦＣ₃が優先顔として再設定される可能性も高まる。故に、単純に再探索範囲を拡大することは好ましくない。

これらの事情を考慮し、第１応用例では、優先顔としての顔ＦＣ₁の、画像上の移動方向及び移動速度を計測し、その計測結果を利用して再探索範囲の形状及び大きさを決定する。

事例αにて想定した具体例を参照して、第１応用例をより具体的に説明する。第１応用例では、映像信号処理部１３（又は図３の顔処理ブロック５０）内に、動き検出部（不図示）が設けられる。動き検出部は、優先顔としての顔ＦＣ₁が顔検出処理によって検出されている期間中、常に、顔ＦＣ₁の移動方向及び移動速度を検出する。その検出した移動方向及び移動速度を表す情報をテーブル５３内の付加情報に含めておくことができる。そして、優先顔としての顔ＦＣ₁が顔検出処理によって検出されなくなった時、優先顔が検出されていた直近のフレーム画像上における移動方向及び移動速度に基づいて、再探索範囲を設定する。

例えば、事例αのように、時刻ｔ_n-1のフレーム画像から顔ＦＣ₁及びＦＣ₂が検出される一方で時刻ｔ_nのフレーム画像から顔ＦＣ₂のみが検出された場合を考える。この場合、顔追尾部５２は、時刻ｔ_n-2及びｔ_n-1のフレーム画像間における、顔ＦＣ₁の移動方向及び移動速度を基準移動方向及び基準移動速度として取り扱い、基準移動方向及び基準移動速度に基づいて優先顔の再探索範囲を設定する。第１応用例において、時刻ｔ_nのフレーム画像を含む時刻ｔ_n以降のフレーム画像に対して設定される再探索範囲を符号３３５ａにて表す。図１５に、再探索範囲３３５ａと共に、再探索範囲３３５ａが設定されたフレーム画像を示す。図１５において、矢印３７０は、基準移動方向を表している。今、この基準移動方向は、画像の右下に向かう方向と一致するものとする。

図１２（ｄ）に示される再探索範囲３３５の外形が真円であるのに対して、再探索範囲３３５ａの外形は楕円になっている。つまり、再探索範囲３３５ａは指向性のある形状を有している。この楕円の中心は、時刻ｔ_n-1のフレーム画像３２０上における顔領域３２１の中心と一致する。或いは、時刻ｔ_n-1のフレーム画像３２０上における顔領域３２１の中心よりも、右下側に位置する点を、この楕円の中心に設定してもよい。また、この楕円の長軸の方向は、基準移動方向と一致している。この楕円の長軸及び短軸の内、少なくとも長軸の長さは、図４（ｃ）に示される探索範囲２１３の外形円の直径よりも長い。短軸の長さも、探索範囲２１３の外形円の直径よりも長くしてもよい。また、基準移動速度の増大に伴って、この楕円の長軸の長さを増大させてもよい。

また、再探索範囲の外形形状を楕円以外とすることも可能である。例えば、再探索範囲の外形形状を、長方形やひし形とすることも可能である。

時刻ｔ_n-2及びｔ_n-1のフレーム画像間において、画像上の顔ＦＣ₁が右下方向に移動していたならば、その後も、顔ＦＣ₁が右下方向に移動する可能性が高い。そこで、上述のように基準移動方向に基づいて再探索範囲の形状を決定する。これにより、より的確に優先顔の再設定が行われるようになる。

上述の動き検出部は、例えば、時間的に隣接するフレーム画像の画像データに基づき、その隣接するフレーム画像間におけるオプティカルフローを求める。オプティカルフローの導出方法として、ブロックマッチング法、代表点マッチング法、勾配法などを利用可能である。求めたオプティカルフローは、その隣接するフレーム画像間における、物体の動きを表す動きベクトル（移動ベクトル）によって表現される。動きベクトルは、画像上の物体の移動方向及び移動速度を示す二次元量である。注目した顔に対して検出された動きベクトルによって、その注目した顔の移動方向及び移動速度が表現される。

［第２応用例］
第２応用例を説明する。上述の手法では、或る注目した顔領域が、再探索範囲３３５内に中心を有する顔領域であって且つ“ｎｅｗ”の履歴フラグが代入された顔領域であることを基礎条件とし、その基礎条件を満たす顔領域についての顔を優先顔として再設定している。優先顔として再設定されるべき顔領域に対して、更に所定の付加条件を課してもよい。つまり、基礎条件及び付加条件を満たす顔領域を、優先顔が再設定されるべきフレーム画像から探索し、基礎条件及び付加条件を満たす顔領域が探索された場合にのみ、探索された顔領域についての顔を優先顔として再設定するようにしてもよい。

付加条件の充足／不充足は、当初の優先顔の特徴と、新たに優先顔として設定されるべき顔の特徴とが一致又は類似しているか否かに基づいて判断される。以下、具体例を説明する。事例αにて想定した内容が、第２応用例にも適用される。

付加条件の充足／不充足を判定するに当たり、画像上の顔（特に優先顔）の大きさ、傾き、向き、輝度レベル、色相を表す顔大きさ情報、顔傾き情報、顔向き情報、顔輝度情報、顔色情報を、テーブル５３の付加情報内に格納しておく。更に、顔検出処理において用いられる基準顔画像と顔領域内の画像との類似度を表す類似度情報も、テーブル５３の付加情報内に格納しておく。更に、顔検出処理において複数の基準顔画像が用いられる場合は、顔領域内の画像が、どの基準顔画像との間において最も高い類似度を有しているかを表す顔種類情報も、テーブル５３の付加情報内に格納しておく。付加情報内に格納されるこれらの情報は、顔検出処理が行われる度に、最新の情報に更新される。優先顔の付加情報内に格納されるこれらの情報は、優先顔の特徴を表している。

優先顔の再設定処理が実行される際、優先顔が検出されていた直近のフレーム画像に対する付加情報を含んだ優先顔保持情報がテーブル５３内に保持される。事例αの場合、時刻ｔ_n-1のフレーム画像上における優先顔ＦＣ₁についての付加情報（顔大きさ情報、顔傾き情報、顔向き情報、顔輝度情報、顔色情報、類似度情報及び顔種類情報を含む）がテーブル５３内に保持されることになる。

上記の基礎条件を満たす顔領域内の顔は、更に付加条件を満たす場合に優先顔として再設定される。従って、上記の基礎条件を満たす顔領域内の顔を、優先顔の候補と捉え、候補優先顔と呼ぶ。また、候補優先顔を含む顔領域が抽出されたフレーム画像を、便宜上、候補抽出元フレーム画像と呼ぶ。第２応用例では、候補優先顔が以下の１以上の付加条件を満たすときに限って、候補優先顔を優先顔として再設定する。

第１の付加条件は、優先顔保持情報にて規定される優先顔ＦＣ₁の大きさと、候補抽出元フレーム画像上における候補優先顔の大きさとの差が、所定の大きさ閾値以下であるという条件である。
前者の大きさは、顔領域３２１の大きさであり、後者の大きさは、候補優先顔を含む顔領域の大きさである。

第２の付加条件は、優先顔保持情報にて規定される優先顔ＦＣ₁の傾きと、候補抽出元フレーム画像上における候補優先顔の傾きとの差が、所定の傾き差以下であるという条件である。
顔検出部５１は、顔検出処理の実行時において、入力画像（フレーム画像）内における顔の傾きをも検出することができるように形成されている。例えば、入力画像を回転させ、回転後の画像に対して上述した顔検出処理を行うことにより、傾いた顔を検出可能であると共に顔の傾き（傾き角度）を検出することができる。ここにおける顔の傾きとは、図１６に示す如く、入力画像の垂直方向に対する顔の傾きを意味し、例えば、入力画像の垂直方向に平行な直線に対する顔の口中央と眉間を結ぶ直線の傾きである。

第３の付加条件は、優先顔保持情報にて規定される優先顔ＦＣ₁の向きと、候補抽出元フレーム画像上における候補優先顔の向きが、一致或いは略一致しているという条件である。
顔検出部５１は、顔検出処理の実行時において、入力画像（フレーム画像）における顔の向きも検出することができるように形成されている。即ち例えば、顔検出部５１は、入力画像から検出された顔が、図１７（ａ）に示すような正面顔（正面から見た顔）であるのか、或いは、図１７（ｂ）に示すような斜め顔（斜め方向から見た顔）であるのか、或るいは、図１７（ｃ）に示すような横顔（横から見た顔）であるのかを、複数段階に区別して検出可能である。顔の向きを検出する手法として様々な手法が提案されており、顔検出部５１は何れの手法をも採用可能である。例えば、特開平１０−３０７９２３号公報に記載の手法のように、入力画像の中から、目、鼻、口等の顔部品を順番に見つけていって画像中の顔の位置を検出し、顔部品の投影データに基づいて顔の向きを検出する。或いは例えば、特開２００６−７２７７０号公報に記載の手法を用いてもよい。

第４の付加条件は、優先顔保持情報にて規定される優先顔ＦＣ₁の輝度レベルと、候補抽出元フレーム画像上における候補優先顔の輝度レベルとの差が、所定の輝度レベル差以下であるという条件である。
優先顔保持情報にて規定される優先顔ＦＣ₁の輝度レベルは、時刻ｔ_n-1のフレーム画像３２０上における顔領域３２１の平均輝度を指す（図１２（ｃ）参照）。優先顔ＦＣ₁の輝度レベルと対比されるべき候補優先顔の輝度レベルとは、候補抽出元フレーム画像上における候補優先顔の顔領域の平均輝度を指す。

第５の付加条件は、優先顔保持情報にて規定される優先顔ＦＣ₁の色相と、候補抽出元フレーム画像上における候補優先顔の色相との差が、所定の色相差以下であるいう条件である。
優先顔保持情報にて規定される優先顔ＦＣ₁の色相として、時刻ｔ_n-1のフレーム画像３２０上における顔領域３２１の平均的な色相を用いることができる（図１２（ｃ）参照）。優先顔ＦＣ₁の色相と対比されるべき候補優先顔の色相として、候補抽出元フレーム画像上における候補優先顔の顔領域の平均的な色相を用いることができる。

第６の付加条件は、優先顔保持情報内の類似度情報に示されている、優先顔ＦＣ₁の画像と基準顔画像との類似度と、候補優先顔の画像と基準顔画像との類似度との差が、所定の類似度差以下であるいう条件である。
前者の類似度は、時刻ｔ_n-1のフレーム画像３２０上における顔領域３２１内の画像と顔検出処理時に用いられる基準顔画像との類似度を指し、後者の類似度は、候補抽出元フレーム画像上における候補優先顔の顔領域内の画像と顔検出処理時に用いられる基準顔画像との類似度を指す。類似度は、対比画像間の類似の度合いを表し、対比画像が類似しているほど、大きな値を有する。

第７の付加条件は、優先顔保持情報内の顔種類情報の内容と、候補優先顔についての顔種類情報の内容が、一致しているという条件である。
第７の付加条件の充足／不充足について、具体例を挙げて説明する。上述したように、顔検出処理においては、入力画像（フレーム画像）内に設定された着目領域の画像と所定の画像サイズを有する基準顔画像とを対比して両画像の類似度を判定し、その類似度に基づいて着目領域に顔が含まれているか否か（着目領域が顔領域であるか否か）を検出する。この基準顔画像として、互いに異なる複数の基準顔画像を用いることができる。説明の具体化のため、複数の基準顔画像が、第１、第２及び第３の基準顔画像から成る場合を考える。この場合、着目領域の画像と第１〜第３の基準顔画像との類似度が、夫々、第１〜第３の類似度として求められる。

そして今、顔領域３２１に対して求められた第１〜第３の類似度の内、第１の類似度が最も大きかったとする。この内容は、優先顔保持情報内の顔種類情報に反映される。この場合において、候補抽出元フレーム画像上における候補優先顔の顔領域に対して求められた第１〜第３の類似度の内、第１の類似度が最も大きかったならば、第７の付加条件は満たされる一方で、第２又は第３の類似度が最も大きかったならば、第７の付加条件は満たされない。

このように、当初の優先顔の特徴と新たに優先顔として設定されるべき顔の特徴とが一致又は類似していることを付加条件として定めることにより、当初の優先顔の消失後、真に注目している顔を再び優先顔として再設定できる可能性が高まる。

［第３応用例］
第３応用例を説明する。図１２（ｄ）に示される再探索範囲３３５の大きさは、図４（ｃ）に示される探索範囲２１３よりも大きくされるが、その再探索範囲３３５の大きさを、様々な指標に基づいて可変してもよい。

例えば、優先顔が検出されていた直近のフレーム画像上における優先顔の大きさに基づいて、再探索範囲３３５の大きさを可変設定してもよい。これを実現するために、上記の優先顔保持情報を利用してもよい。事例αについて考えた場合、優先顔が検出されていた直近のフレーム画像上における優先顔の大きさは、顔領域３２１の大きさに相当する。従って例えば、顔領域３２１の大きさが大きくなるにつれて、再探索範囲３３５の大きさを大きくすればよい。

また例えば、優先顔が検出されていた直近のフレーム画像上における優先顔の輝度レベル（即ち、顔領域３２１の平均輝度）を参照し、その輝度レベルが小さいほど再探索範囲３３５の大きさを大きくしてもよい。これと類似するが、優先顔が検出されていた直近のフレーム画像上における優先顔のコントラスト（即ち、顔領域３２１のコントラスト）を参照し、そのコントラストが小さいほど再探索範囲３３５の大きさを大きくしてもよい。通常、顔領域となるべき領域の輝度レベル及び／又はコントラストが小さいと、顔検出が難しくなって、画像上に顔が現れていたとしても顔検出に失敗することが多くなる。これを考慮して、輝度レベル及び／又はコントラストに応じて再探索範囲３３５の大きさを変化させる。顔領域３２１のコントラストは、顔領域３２１内の画像の空間周波数に含まれる、所定の高周波成分の量を求めることによって導出される。

また例えば、第１応用例で述べた基準移動速度を参照し、その基準移動速度が大きいほど再探索範囲３３５の大きさを大きくしてもよい。基準移動速度が大きいなら、より短時間の内に、優先顔となるべき顔（ＦＣ₁）が再探索範囲外に出てしまう可能性が高まるからである。

［第４応用例］
第４応用例を説明する。上述の事例αでは、顔ＦＣ₁が顔ＦＣ₂の後ろに隠れることによって優先顔となるべき顔ＦＣ₁が一時的に検出不可能となっているが、顔ＦＣ₁が一時的に撮像装置１の撮影領域外（視野外）に出てしまうような事例（以下、事例βという）においても、本発明に係る優先顔の再設定方法は有効に機能する。事例βにおける撮像装置１の動作を、第４応用例として説明する。

図１８（ａ）〜（ｅ）の画像４００、４１０、４２０、４３０及び４４０は、夫々、事例βに沿った、時刻ｔ₁、ｔ₂、ｔ_n-1、ｔ_n及びｔ_n+5のフレーム画像を表している（事例βにおいては、ｎ≧４）

事例αと同様、事例βにおいても、時刻ｔ₁及びｔ₂のフレーム画像４００及び４１０から２人の人物についての顔ＦＣ₁及びＦＣ₂が検出され、時刻ｔ₂において、優先顔設定部５４により顔ＦＣ₁が優先顔に設定されたものとする。また、顔ＦＣ₁及びＦＣ₂に対して、夫々、顔番号１及び２が割り当てられたことを想定する。従って、時刻ｔ₂において、顔番号１及び２の履歴フラグは共に“ｐａｓｔ”とされ、且つ、顔番号１の優先顔フラグのみに“１”が代入される。

そして、時刻ｔ₃〜時刻ｔ_n-1の各フレーム画像から顔ＦＣ₁及びＦＣ₂が検出され、時刻ｔ₃〜時刻ｔ_n-1の各フレーム画像に対して、ステップＳ１、Ｓ２、Ｓ４、Ｓ６及びＳ７の処理が実行される。時刻ｔ₃〜時刻ｔ_n-1の各フレーム画像から優先顔としての顔ＦＣ₁が検出されているため、時刻ｔ₃〜時刻ｔ_n-1の各フレーム画像に対して、ステップＳ８〜Ｓ１０から成る優先顔の再設定処理は実行されない。矩形領域４０１、４１１及び４２１は、夫々、フレーム画像４００、４１０及び４２０から抽出された顔ＦＣ₁についての顔領域であり、矩形領域４０２、４１２及び４２２は、夫々、フレーム画像４００、４１０及び４２０から抽出された顔ＦＣ₂についての顔領域である。

実空間上における顔ＦＣ₁の移動などに起因して、時刻ｔ_n-1において顔ＦＣ₁が撮像装置１の撮影領域の外延近傍に位置し、時刻ｔ_nにおいて、顔検出処理によって顔ＦＣ₁が検出できなくなる程度に顔ＦＣ₁の一部又は全部が撮影領域外に出たとする。そうすると、時刻ｔ_nのフレーム画像４３０に対する顔検出処理によって、フレーム画像４３０から顔ＦＣ₂だけが検出され、優先顔としての顔ＦＣ₁が検出されない。この結果、ステップＳ６及びＳ７を介してステップＳ８に至り、優先顔の再設定処理が実行される。図１８（ｄ）の顔領域４３２は、時刻ｔ_nのフレーム画像４３０から抽出された顔ＦＣ₂についての顔領域である。

優先顔の再設定処理は、上述してきたものと同様である。再設定処理では、優先顔が検出されていた直近のフレーム画像上における優先顔の情報、即ち、優先顔保持情報がテーブル５３内に保持される。事例βの再設定処理の開始時点から見て、優先顔が検出されていた直近のフレーム画像は、時刻ｔ_n-1のフレーム画像４２０である。従って、フレーム画像４２０上における優先顔の情報が、優先顔保持情報としてテーブル５３内に保持される。

顔追尾部５２は、優先顔を再度探索すべく、ステップＳ８において、優先顔の再探索範囲を設定する。図１８（ｄ）及び（ｅ）に示される、符号４３５が付された円の内側が再探索範囲である。再探索範囲の設定方法は、事例αにおけるそれと同様である。つまり、顔追尾部５２は、優先顔保持情報に含まれる優先顔の位置情報に基づき、顔領域４２１の中心を中心として有する、半径ＴＨ₂の円の内側領域を再探索範囲４３５として設定する。但し、事例αの場合と異なり、事例βでは、再探索範囲４３５の外周円の一部が撮影領域外に位置している。

その後、顔追尾部５２は、再探索範囲４３５内に中心を有する顔領域であって且つ“ｎｅｗ”の履歴フラグが代入された顔領域を、優先顔が再設定されるべきフレーム画像（事例βにおいて、時刻ｔ_n〜ｔ_n+5のフレーム画像）から探索し、そのような顔領域が探索された場合にのみ、探索された顔領域についての顔を優先顔として再設定する。

時刻ｔ_n+1〜ｔ_n+4の各フレーム画像は、時刻ｔ_nのフレーム画像４３０と同じ画像であり、時刻ｔ_n+1〜ｔ_n+4の各フレーム画像からは顔ＦＣ₂のみが検出されたとする。時刻ｔ_n〜ｔ_n+4の各フレーム画像から抽出された、顔ＦＣ₂の顔領域の中心は再探索範囲４３５内に位置していないが、仮に、それが再探索範囲４３５内に位置していたとしても、顔ＦＣ₂が時刻ｔ_n-1〜ｔ_n+3の各フレーム画像においても検出されているが故に、顔ＦＣ₂の顔領域に対応する履歴フラグは“ｐｓｓｔ”である。この結果、顔ＦＣ₂は優先顔として再設定されない。

その後、実空間上における顔ＦＣ₁の移動やパンニングなどによって、時刻ｔ_n+5のフレーム画像４４０から顔ＦＣ₁及びＦＣ₂が検出されたとする。図１８（ｅ）の顔領域４４１及び４４２は、夫々、時刻ｔ_n+5のフレーム画像４４０から抽出された顔ＦＣ₁及びＦＣ₂についての顔領域である。顔領域４４１についての顔は、過去のフレーム画像から連続して検出されている顔ではなく、最新のフレーム画像（即ち、フレーム画像４４０）において新たに検出された顔である。故に、顔領域４４１に対応する履歴フラグには“ｎｅｗ”が代入される。更に、顔領域４４１の中心が再探索範囲４３５内に位置しているものとする。そうすると、顔追尾部５２は、ステップＳ１０において、顔領域４４１に対応する顔を優先顔として再設定する。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述の実施形態では、フレームを単位として考え、フレーム画像列に対して、顔検出処理を含む各種の処理を行っているが、フィールドを単位として考え、フィールド画像列に対して、それらの処理を行うようにしてもよい。

［注釈２］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図３に示される各部位が実行する演算処理は、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。演算処理の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その演算処理の全部または一部を実現するようにしてもよい。

［注釈３］
例えば、以下のように考えることができる。顔追尾部５２は、上述の同定処理を行う同定手段と上述の再設定処理を行う再設定手段とを包含する。

本発明の実施形態に係る撮像装置の全体ブロック図である。図１の撮像部の内部構成図である。図１の撮像装置に内在する顔処理ブロックの内部ブロック図である。図３の顔追尾部にて実行される同定処理の内容を説明するための図である。図３の顔追尾部にて実行される同定処理の内容を説明するための図である。図３の顔情報管理テーブルのデータ構造を示す図である。顔領域の座標値を示す図である。図３の優先顔設定部による優先顔の設定方法を説明するための図である。図３の優先顔設定部による、他の優先顔の設定方法を説明するための図である。図３の優先顔設定部による、更に他の優先顔の設定方法を説明するための図である。優先顔の追尾に注目した、図１の撮像装置の動作フローチャートである。本発明の実施形態に係り、２つの顔の位置の時間変化と優先顔の設定の様子を示した図である。図１２に対応する、各時刻における顔情報管理テーブルのデータ内容を示す図である。注目している顔が再探索範囲外に出てしまう様子を示した図である。本発明の実施形態の第１応用例に係る、優先顔の再探索範囲を示す図である。顔の傾きの意義を示す図である。正面顔、斜め顔及び横顔の意義を示す図である。本発明の実施形態に係り、２つの顔の位置の時間変化と優先顔の設定の様子を示した図である。従来技術に係り、同定処理の内容を説明するための図である。従来の同定処理の実行時に観測される、優先顔の遷移の様子を示す図である。従来の同定処理の実行時に観測される、優先顔の遷移の、他の様子を示す図である。

符号の説明

１撮像装置
５０顔処理ブロック
５１顔検出部
５２顔追尾部
５３顔情報管理テーブル
５４優先顔設定部

Claims

繰り返し撮影によって時系列方向に複数の入力画像が並んで形成される入力画像列を取得する撮像手段と、
前記入力画像列の画像データに基づき、各入力画像から人物の顔を検出して、画像上の検出顔の位置を表す位置情報を出力する顔検出手段と、
前記顔検出手段によって検出される１以上の顔の中から優先顔を設定する優先顔設定手段と、
前記顔検出手段によって検出される顔の位置情報に基づき、各入力画像内において前記優先顔を探索して前記優先顔を他の顔と区別して検出する同定手段と、
前記優先顔の設定後に得られる第１入力画像から前記同定手段によって前記優先顔が検出される一方で、前記第１入力画像よりも後に得られる第２入力画像から前記同定手段によって前記優先顔を検出できなかったとき、前記第１入力画像上の前記優先顔の位置情報を含む保持情報を保持し、前記保持情報を用いて前記優先顔の再設定処理を実行する再設定手段と、を備えた撮像装置であって、
前記再設定手段は、前記再設定処理において、前記保持情報と前記第２入力画像よりも後に得られる第３入力画像上の顔の位置情報とに基づき、前記同定手段による前記優先顔の探索条件と異なる探索条件にて、新たに優先顔として再設定されるべき再設定顔を前記第３入力画像内で探索する
ことを特徴とする撮像装置。
前記同定手段によって前記優先顔が検出された時間的に連続する２枚の入力画像が第４及び第５入力画像から成り、前記第４入力画像の取得後に前記第５入力画像が取得されるとした場合、
前記同定手段は、前記第４入力画像上における前記優先顔の位置を基準とする第１探索範囲を前記第５入力画像に対して設定し、前記第１探索範囲内で前記第５入力画像上の前記優先顔の探索を行う一方、
前記再設定手段は、前記第１入力画像上における前記優先顔の位置を基準とする第２探索範囲を前記第３入力画像に対して設定し、前記第２探索範囲内で前記第３入力画像上の前記再設定顔の探索を行い、
前記第２探索範囲の大きさは前記第１探索範囲の大きさよりも大きい
ことを特徴とする請求項１に記載の撮像装置。
前記再設定手段は、前記第１入力画像から検出された前記優先顔以外の顔が、前記再設定顔として探索されることを禁止する
ことを特徴とする請求項２に記載の撮像装置。
前記同定手段は、注目入力画像を含む時間的に連続する入力画像についての前記位置情報に基づき、前記顔検出手段によって検出される顔の同定を顔ごとに行い、
この同定によって、前記注目入力画像から検出された顔が前記注目入力画像において新たに検出された顔であるのか或いは前記注目入力画像よりも前の入力画像においても検出されていた顔であるのかが判定され、
前記再設定手段は、前記顔検出手段によって前記第３入力画像の前記第２探索範囲内から検出される顔の内、前記第２入力画像から検出されなかった顔であって且つ前記前記第３入力画像において新たに検出された顔が前記再設定顔として探索されるように、前記判定の結果に基づいて前記再設定処理を行う
ことを特徴とする請求項３に記載の撮像装置。
異なる入力画像間における優先顔の動きを検出する動き検出手段を更に備え、
前記再設定手段は、前記同定手段によって前記優先顔が検出されていた期間中における前記優先顔の動きに応じて、前記第２探索範囲の形状を可変させる
ことを特徴とする請求項２〜請求項４の何れかに記載の撮像装置。
前記第１入力画像上の前記優先顔の特徴を表す付加情報が前記保持情報に含められ、
前記再設定手段は、前記優先顔の位置情報だけでなく前記付加情報にも基づいて前記再設定処理を実行する
ことを特徴とする請求項１〜請求項５の何れかに記載の撮像装置。