JP2017011451A - 検出装置、検出方法及びプログラム - Google Patents

Abstract

【課題】被写体像をより高い精度で検出すること。
【解決手段】撮像装置１は、第１撮像部１６と、第２撮像部１７と、ＡＦ処理部５２と、を備える。第１撮像部１６は、可視光画像を取得する。第２撮像部１７は、第１撮像部１６が取得する撮像範囲が含まれる範囲であって、当該第１撮像部１６とは異なる波長域の光を撮像することにより熱画像を取得する。ＡＦ処理部５２は、可視光画像から所定の被写体像を含みうる第１の領域である顔検出領域を検出する。また、ＡＦ処理部５２は、熱画像から所定の被写体像を含みうる第２の領域である顔検出相当領域を検出する。また、ＡＦ処理部５２は、第１の領域である顔検出領域と第２の領域である顔検出相当領域Ｒ２とから所定の被写体像の領域を特定する。
【選択図】図４

Description

本発明は、検出装置、検出方法及びプログラムに関する。

従来、顔検出機能を搭載したデジタルカメラでは、顔検出機能が検出した領域にＡＦを行うことにより、顔にフォーカスのあった画像を取得することを可能としている。一般的に利用されているテンプレートを用いた顔検出機能では、顔を含む領域を検出するため、顔でない領域（背景など）が含まれる場合があり、特に横向きの顔を検出した際は、この領域の割合が多くなる傾向が強く、顔検出した領域をコントラスト方式によるＡＦの評価領域に設定すると顔でない領域のコントラストに影響され、顔からフォーカスがずれてしまう問題があった。特許文献１では、顔検出した領域に対して、顔の向き情報を利用して、ＡＦの評価領域の置き方や評価優先順位を工夫することで、この問題を解決しようとしている。

特開２０１３−１９５５７７号公報

しかしながら、特許文献１に記載の技術では、顔の向き情報を取得する必要があったり、顔の向きが正面である場合には効果がなかったりして、必ずしも有効な解決手段といえるものではない。また、この問題は、ＡＦに限らず、ＡＥやＡＷＢ等でも同様に起こり得るものである。

本発明は、このような状況に鑑みてなされたものであり、被写体像をより高い精度で検出することを目的とする。

上記目的を達成するため、本発明の一態様の検出装置は、
第１の撮像画像を取得する第１の取得手段と、
前記第１の取得手段が取得する撮像範囲が含まれる範囲であって、当該第１の取得手段とは異なる波長域の光を撮像することにより第２の撮像画像を取得する第２の取得手段と、
前記第１の撮像画像から所定の被写体像を含みうる第１の領域を検出する第１の検出手段と、
前記第２の撮像画像から前記所定の被写体像を含みうる第２の領域を検出する第２の検出手段と、
前記第１の領域と前記第２の領域とから前記所定の被写体像の領域を特定する特定手段と、
を備えることを特徴とする。

本発明によれば、被写体像をより高い精度で検出することができる。

本発明の検出装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 本実施形態におけるＡＦ評価領域の生成を説明するための模式図である。 本実施形態におけるＡＦ評価領域の生成を説明するための模式図である。 図１の撮像装置の機能的構成のうち、撮影処理を実行するための機能的構成を示す機能ブロック図である。 図４の機能的構成を有する図１の撮像装置が実行する撮影処理の流れを説明するフローチャートである。 撮影処理のうち、ＡＦ処理の流れを説明するフローチャートである。 複数の顔が検出された場合のＡＦ評価領域の特定例を説明するための模式図である。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の検出装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えば、デジタルカメラとして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、第１撮像部１６と、第２撮像部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、第１撮像部１６、第２撮像部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

第１撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体像を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、第１撮像部１６の出力信号として出力される。
第１撮像部１６は可視光を撮像対象とし、このような第１撮像部１６の出力信号を、以下、「可視光画像」と呼ぶ。可視光画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。

第２撮像部１７は、第１撮像部１６が可視光を撮像対象としているのに対して、遠赤外光を撮像対象として、遠赤外光を撮像した熱画像（サーマルイメージ）を取得可能な赤外線イメージセンサとして構成される。また、第２撮像部１７は、第１撮像部１６の近傍に配置されており、少なくとも第１撮像部１６の画角の一部を撮像可能に構成される。
なお、第１撮像部１６又は第２撮像部１７で撮像可能な光は、可視光或いは遠赤外光には限定されないが、少なくとも電磁波であって、可視光を中心に、赤外線、紫外線までは含み、それより波長の短いＸ線、ガンマ線等、或いは波長の長いマイクロ波等は、含まない。

入力部１８は、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。

出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。

記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。

通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

このように構成される撮像装置１では、コントラスト方式のＡＦ（ＡｕｔｏＦｏｃｕｓ）を行うにあたって、ＡＦの対象領域として、顔検出機能により検出される顔を含む領域（本実施形態においては、矩形の顔検出枠）において、可視光画像以外の画像（本実施形態においては、熱画像）から顔と顔以外の部分を特定して、顔以外の部分をＡＦの評価対象から除外して当該領域内におけるＡＦの評価を行い、人の顔の被写体像をより高い精度で検出することができる機能を有する。なお、顔検出機能は公知の技術により実施可能であるため、詳細な説明は省略する。

顔検出においては、顔を含む領域を矩形の顔検出枠で検出するために、顔検出領域には顔の部分と顔以外の部分（背景等）が含まれることになる。このまま顔検出領域をＡＦ評価領域としてしまうと、顔検出領域のうち、顔でない領域にある木、ビル、点光源等のコントラストの高いものや逆光の状況に影響されて、ＡＦの評価における評価値が下がってしまい、顔の部分がフォーカスの対象とならない場合がある。特に、横顔の場合、顔以外の部分が多くなるために、顔でない部分のコントラストの影響が大きくなってしまう。
しかしながら、本実施形態においては、顔と、顔以外では異なる温度となることから、温度の側から特定した顔以外の部分を評価対象から除外する。即ち、顔検出枠に相当する熱画像の領域内を温度で切り分けて、人体の温度とは異なる温度の部分を顔以外の部分として、マスクすることで評価対象とはせず、顔検出領域において顔がある部分のみを評価対象とする。これにより、被写体像である顔をより精度高く検出することができるようになる。

図２及び図３は、本実施形態におけるＡＦの評価を行う対象領域（以下、「ＡＦ評価領域」という。）の生成を説明するための模式図である。なお、図２は、被写体像である人の顔が正面を向いている場合の例を示しており、図３は、被写体像である人の顔が横を向いている場合の例を示している。

ＡＦ評価領域の生成は、図２及び図３に示すように、まず、第１撮像部１６から出力された可視光画像ＩＭＧ１と、第２撮像部１７から出力された熱画像ＩＭＧ２と、を取得する。

取得した可視光画像ＩＭＧ１において、顔検出を行って、可視光画像ＩＭＧ１において顔検出領域Ｒ１を設定する。本実施形態においては、顔検出機能の顔検出枠によって、顔検出領域Ｒ１が設定される。被写体像である人の顔が正面を向いている場合には、図２に示すように、眉から顎までで、顔の輪郭よりも少し幅広く顔検出領域Ｒ１が設定され、被写体像である人の顔が横を向いている場合には、図３に示すように、眉から顎までで、耳のやや側方から鼻の先の多くが顔検出領域Ｒ１として顔検出枠が設定される仕様となっている。

これに対して、熱画像ＩＭＧ２では、可視光画像ＩＭＧ１で設定された顔検出領域Ｒ１に相当する位置（同じ位置）に顔検出相当領域Ｒ２を設定する。

そして、可視光画像ＩＭＧ１及び熱画像ＩＭＧ２のそれぞれの画像から、設定された顔検出領域Ｒ１及び顔検出相当領域Ｒ２を切り出す。

また、切り出した顔検出領域Ｒ１と、顔検出相当領域Ｒ２とを比較して、顔検出領域Ｒ１の顔以外の部分（以下、「非顔相当部分」という。）ｒ１２を特定する。
顔検出領域Ｒ１における非顔相当部分ｒ１２の特定は、本実施形態においては、例えば、顔検出相当領域Ｒ２における温度差のある境界で分割される領域のうち、人体に近い温度の範囲である部分（以下、「顔部分」という。）ｒ２１を判別し、ｒ２１以外の領域を、顔検出相当領域Ｒ２における顔以外の部分（以下、「非顔部分」という。）ｒ２２として判別する。そして、非顔部分ｒ２２の顔検出領域Ｒ１に相当する部分を非顔相当部分ｒ１２として特定する。

その後、特定した顔検出領域Ｒ１における非顔相当部分ｒ１２をマスクして、ＡＦ評価領域を生成する。なお、マスクした非顔相当部分ｒ１２以外の部分は、顔がある部分（以下、「顔相当部分」という。）ｒ１１ということになる。
生成されたＡＦ評価領域において、顔でないとされた非顔相当部分ｒ１２についてはマスクがされるために、本来的に非顔相当部分ｒ１２にあったコントラストの高い被写体像等に影響を受けずに、ＡＦの評価を行うことができるために、人の顔である被写体像をより高い精度で検出することができる。また、本実施形態の手法を用いることで、顔の向きの情報等を用いずに、高い精度でＡＦ評価を行うことができる。

なお、本実施形態においては、可視光画像を主として、従となる熱画像からの情報で判断して顔検出領域Ｒ１の非顔相当部分ｒ１２を決定するように構成するがこれに限られない。
例えば、可視光画像のみで決定する場合や、熱画像を用いて決定する場合を所定の条件（例えば、撮像条件や温度等）に基づいて決定するように構成してもよい。
この場合、例えば、通常は可視光を主（可視光画像のみを用いてもよい）とするが、撮像条件で判別し、逆光、輝度が低く可視光による顔の検出精度が落ちる可能性がある場合は、赤外光を主（熱画像を用いる）とし、従となる可視光画像からの情報で判断して顔検出領域Ｒ１の非顔相当部分ｒ１２を決定するように構成することができる。
また、通常は赤外光を主（熱画像を用いる）とするが、温度で判別し、温度が高く体温と近いため赤外光による場合は検出精度が落ちる可能性がある場合は、可視光を主（可視光画像のみを用いてもよい）とするように構成することができる。

図４は、このような撮像装置１の機能的構成のうち、撮影処理を実行するための機能的構成を示す機能ブロック図である。
撮影処理とは、取得した可視光画像と熱画像を用いて、精度の高いＡＦ評価を行って、ＡＦでフォーカス位置を設定して撮影を行う一連の処理をいう。

撮影処理を実行する場合には、図４に示すように、ＣＰＵ１１において、撮像制御部５１と、ＡＦ処理部５２と、撮影処理部５３とが機能する。

また、記憶部２０の一領域には、画像データ記憶部７１が設定される。
画像データ記憶部７１には、可視光画像のデータが記憶される。

撮像制御部５１は、撮像を実行するように第１撮像部１６及び第２撮像部１７を制御する。その結果、第１撮像部１６から可視光画像が出力され、第２撮像部１７から熱画像が出力される。
また、撮像制御部５１は、入力部１８における撮影モード設定操作により、撮影モードを設定する。
また、撮像制御部５１は、入力部１８におけるシャッタボタンの半押し／全押し操作を判定する。
また、撮像制御部５１は、第１撮像部１６のフォーカスレンズをＡＦ処理部５２によって検出されたフォーカス位置に移動する制御を行う。

ＡＦ処理部５２は、ＡＦ処理を実行する。ＡＦ処理部５２によるＡＦ処理が実行されると、ＡＦ評価領域が設定され、当該ＡＦ評価領域におけるコントラスト値がピークになるフォーカス位置を検出する。

具体的には、ＡＦ処理部５２は、第１撮像部１６から取得した可視光画像に対して、顔検出処理を実行する。顔検出処理の結果、顔検出がされた場合には、図２及び図３に示すように、可視光画像に顔検出領域Ｒ１を設定する。また、ＡＦ処理部５２は、顔が検出されていない場合には、あらかじめ指定されたＡＦ評価領域を設定する。

また、ＡＦ処理部５２は、条件判別を行う。条件判別は、可視光画像等からの撮像条件や熱画像からの温度条件で行う。この際、逆光や輝度が低い場合や温度が体温と近くない場合には、熱画像を用いてＡＦ評価領域を設定する。また、温度が体温と近い場合には、可視光画像のみを用いてＡＦ評価領域を設定する。なお、本実施形態においては、基本的に可視光画像を熱画像からの情報で判断して顔検出領域Ｒ１の非顔相当部分ｒ１２を決定するように構成する。なお、例えば、通常は可視光を主（可視光画像のみを用いてもよい）とするが、撮像条件で判別し、逆光、輝度が低く可視光による検出精度が落ちる可能性がある場合は、赤外光を主（熱画像を用いる）とするように構成することができる。また、通常は赤外光を主（熱画像を用いる）とするが、温度で判別し、温度が高く体温と近いため赤外光による場合は検出精度が落ちる可能性がある場合は、可視光を主（可視光画像のみを用いてもよい）とするように構成することができる。

また、ＡＦ処理部５２は、図２又は図３に示すように、可視光画像ＩＭＧ１の顔検出領域Ｒ１に、熱画像ＩＭＧ２における顔検出相当領域Ｒ２の非顔部分ｒ２２を合成し、可視光画像ＩＭＧ１の顔検出領域Ｒ１において顔以外の部分である非顔相当部分ｒ１２を、ＡＦの評価対象とならないようにマスクする。そして、ＡＦ処理部５２は、マスクした顔検出領域Ｒ１をＡＦ評価領域に設定する。

また、ＡＦ処理部５２は、設定したＡＦ評価領域のコントラスト値をサーチして、設定したＡＦ評価領域のコントラスト値がピークになるフォーカス位置を検出する。

撮影処理部５３は、例えば、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）やＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）等の設定を行う撮影前処理と、例えば、美顔処理等の画像補正等を行う撮影後処理を実行する。

図５は、図４の機能的構成を有する図１の撮像装置１が実行する撮影処理の流れを説明するフローチャートである。
撮影処理は、ユーザによる入力部１８への撮影処理開始の操作により開始される。

ステップＳ１１において、撮像制御部５１は、ユーザからの入力部１８を介した撮影モード設定操作により、撮影モードを設定する。

ステップＳ１２において、撮像制御部５１は、入力部１８においてシャッタボタンが半押しされたか否かを判定する。シャッタボタンの半押し操作によって、撮像制御部５１は、ＡＦ用の画像を撮像するように第１撮像部１６を制御する。
シャッタボタンが半押しされた場合には、ステップＳ１２においてＹＥＳと判定されて、処理はステップＳ１３に進む。
これに対して、シャッタボタンが半押しされない場合には、ステップＳ１２においてＮＯと判定されて、処理はステップＳ１１に戻る。

ステップＳ１３において、撮像制御部５１及びＡＦ処理部５２は、ＡＦ処理を実行する。ＡＦ処理の結果、ＡＦにおけるフォーカス位置が設定される。なお、ＡＦ処理の流れについては後述する。

ステップＳ１４において、撮影処理部５３は、例えば、ＡＥやＡＷＢ等の設定を行う撮影前処理を実行する。

ステップＳ１５において、撮像制御部５１は、入力部１８においてシャッタボタンが全押しされたか否かを判定する。
シャッタボタンが全押しされた場合には、ステップＳ１５においてＹＥＳと判定されて、処理はステップＳ１６に進む。
これに対して、シャッタボタンが全押されない場合には、ステップＳ１５においてＮＯと判定されて、処理はステップＳ１１に戻る。

ステップＳ１６において、撮像制御部５１は、撮影処理を実行する。撮影処理の結果、設定したＡＦ等で撮影が行われて、第１撮像部１６から可視光画像が出力される。

ステップＳ１７において、撮影処理部５３は、例えば、美顔処理等の画像補正を行う撮影後処理を実行する。撮影後処理の結果、撮影後の処理が施された可視光画像が画像データ記憶部７１に記憶される。その後、処理は、ステップＳ１１に戻る。

図６は、撮影処理のうち、ＡＦ処理の流れを説明するフローチャートである。

ステップＳ３１において、ＡＦ処理部５２は、第１撮像部１６から取得した可視光画像に対して、顔検出処理を実行する。顔検出処理の結果、顔検出がされた場合には、可視光画像に顔検出領域Ｒ１が設定される。

ステップＳ３２において、ＡＦ処理部５２は、第１撮像部１６から取得した可視光画像から顔が検出されたか否かを判定する。
顔が検出されない場合には、ステップＳ３２においてＮＯと判定されて、処理はステップＳ３３に進む。
これに対して、顔が検出された場合には、ステップＳ３２においてＹＥＳと判定されて、処理はステップＳ３４に進む。

ステップＳ３３において、ＡＦ処理部５２は、顔が検出されていないために、あらかじめ指定されたＡＦ評価領域を設定する。その後、処理はステップＳ４０に進む。

ステップＳ３４において、撮像制御部５１は、第２撮像部１７を撮像制御し、熱画像を取得する。

ステップＳ３５において、ＡＦ処理部５２は、条件判別を行う。可視光画像からの撮像条件や熱画像からの温度条件の判別を行って、逆光や輝度が低い場合や温度が体温と近くない場合には、ステップＳ３５において［熱画像を併用］と判定されて、処理はステップＳ３７に進む。ステップＳ３７以降の処理は後述する。
これに対して、温度が体温と近い場合には、ステップＳ３５において［可視光画像のみ使用］と判定されて、処理はステップＳ３６に進む。

ステップＳ３６において、ＡＦ処理部５２は、可視光画像の顔検出領域Ｒ１をＡＦ評価領域に設定する。

ステップＳ３７において、ＡＦ処理部５２は、図２及び図３に示すように、可視光画像の顔検出領域Ｒ１に、熱画像ＩＭＧ２における顔検出相当領域Ｒ２の非顔部分ｒ２２を合成する。

ステップＳ３８において、ＡＦ処理部５２は、図２及び図３に示すように、可視光画像ＩＭＧ１において顔以外の非顔相当部分ｒ１２を、ＡＦの評価対象とならないようにマスクする。

ステップＳ３９において、ＡＦ処理部５２は、図２及び図３に示すように、マスクした顔検出領域Ｒ１の顔相当部分ｒ１１をＡＦ評価領域に設定する。

ステップＳ４０において、ＡＦ処理部５２は、設定したＡＦ評価領域のコントラスト値をサーチする。

ステップＳ４１において、ＡＦ処理部５２は、設定したＡＦ評価領域のコントラスト値がピークになるフォーカス位置を検出したか否かを判定する。
コントラスト値がピークになるフォーカス位置を検出した場合には、ステップＳ４１においてＹＥＳと判定されて、処理はステップＳ４２に進む。
これに対して、コントラスト値がピークになるフォーカス位置を検出しない場合には、ステップＳ４１においてＮＯと判定されて、処理はステップＳ４０に戻る。

ステップＳ４２において、撮像制御部５１は、第１撮像部１６のフォーカスレンズを検出したフォーカス位置に移動する制御を行う。その後、ＡＦ処理は終了する。
なお上述の実施形態においては、可視光画像ＩＭＧ１のみを使用する場合と、可視光画像ＩＭＧ１を主とし熱画像ＩＭＧ２を従とする場合と、を説明しているが、これに限らず、熱画像ＩＭＧ２のみを使用する場合や、熱画像ＩＭＧ２を主とし可視光画像ＩＭＧ１を従とする場合も含め、所定の判別で使い分けるようにしてもよい。

＜他の実施形態＞
本実施形態においては、画角内に顔検出されるような対象（例えば、人の顔が写った写真や人の顔を含む像等）があり複数の顔が検出されてしまうような場合でも、熱画像から人の温度を特定して、特定した人の温度を含む顔検出領域を、人の顔であるとして、当該顔検出領域をＡＦ評価領域とするように構成することができる。このように構成することで確実に人の顔を検出することができる。
さらに、第１実施形態の手法（ＡＦ処理）を用いて、人の顔を含むとされた顔検出領域について非顔領域をマスクしてＡＦ評価領域を生成するように構成すれば、人の顔の被写体像をより高い精度で検出することができる。

図７は、複数の顔が検出された場合のＡＦ評価領域の特定例を説明するための模式図である。
図７の例では、画角範囲内に人と人の顔を含む写真とがある場合に、人の顔をＡＦ評価領域とすることを示している。
本例では、可視光画像に顔検出機能を使った場合に、人と写真の顔の２つを検出することになるが、熱画像では人のみが人体の温度となるために、写真側の検出を行わずに、人体の温度の方の人側を検出対象としてＡＦ評価領域を特定する。

以上のように構成される撮像装置１は、第１撮像部１６と、第２撮像部１７と、ＡＦ処理部５２と、を備える。
第１撮像部１６は、可視光画像ＩＭＧ１を取得する。
第２撮像部１７は、第１撮像部１６が取得する撮像範囲が含まれる範囲であって、当該第１撮像部１６とは異なる波長域の光を撮像することにより熱画像ＩＭＧ２を取得する。
ＡＦ処理部５２は、可視光画像ＩＭＧ１から所定の被写体像（本実施形態においては、人物の顔）を含みうる第１の領域である顔検出領域Ｒ１を検出する。
また、ＡＦ処理部５２は、熱画像ＩＭＧ２から所定の被写体像を含みうる第２の領域である顔検出相当領域Ｒ２を検出する。
また、ＡＦ処理部５２は、第１の領域である顔検出領域Ｒ１と第２の領域である顔検出相当領域Ｒ２とから所定の被写体像の領域を特定する。
これにより、撮像装置１においては、所定の被写体像の領域を、可視光画像ＩＭＧ１の第１の領域である顔検出領域Ｒ１と、熱画像ＩＭＧ２の第２の領域である顔検出相当領域Ｒ２とから特定するために、被写体像をより高い精度で検出することができる。

ＡＦ処理部５２は、可視光画像ＩＭＧ１内の第１の領域である顔検出領域Ｒ１内であって、第２の領域である顔検出相当領域Ｒ２が含まれる領域を所定の被写体像の領域として特定する。
これにより、撮像装置１においては、第１の領域である顔検出領域Ｒ１内であって、第２の領域である顔検出相当領域Ｒ２が含まれる領域を、所定の被写体像の領域として特定するために、被写体像をより高い精度で検出することができる。

ＡＦ処理部５２によって特定される所定の被写体像の領域は、第１の領域である顔検出領域Ｒ１より狭い。
これにより、撮像装置１においては、所定の被写体像を確実に含むために、被写体像をより高い精度で検出することができる。

また、撮像装置１では、第１の領域である顔検出領域Ｒ１は、複数である。
ＡＦ処理部５２は、可視光画像ＩＭＧ１内の複数の第１の領域である顔検出領域Ｒ１の内の何れかであって、第２の領域である顔検出相当領域Ｒ２が含まれる領域を所定の被写体像の領域として特定する。
これにより、撮像装置１においては、第１の領域である顔検出領域Ｒ１が複数あっても、第１の領域である顔検出領域Ｒ１とは異なる熱の観点で検出された第２の領域である顔検出相当領域Ｒ２で特定するために、確実に被写体像を検出することができる。

特定される所定の被写体像の領域の数は、第１の領域である顔検出領域Ｒ１の数より少ない。
これにより、撮像装置１においては、第１の領域である顔検出領域Ｒ１から真の被写体像をより高い精度で検出することができる。

第１撮像部１６と第２撮像部１７のうちの何れか一方は、可視光を撮像することにより可視光画像ＩＭＧ１を取得し、他方は、赤外光を撮像することにより熱画像ＩＭＧ２を取得する。
これにより、撮像装置１においては、簡単な構成で被写体像をより高い精度で検出することができる。

ＡＦ処理部５２は、所定の条件に基づき、第１撮像部１６と第２撮像部１７のうちの何れで、可視光を撮像することにより可視光画像ＩＭＧ１を取得し、他方で赤外光を撮像することにより熱画像ＩＭＧ２を取得するかを判別する。
これにより、撮像装置１においては、より検出に好適な条件を判断して、可視光画像ＩＭＧ１／熱画像ＩＭＧ２の取得を選択するために、被写体像をより高い精度で検出することができる。

ＡＦ処理部５２は、所定の条件として撮像条件に基づき判別する。
これにより、撮像装置１においては、可視光画像ＩＭＧ１では検出精度が落ちる場合を判別することができ、被写体像をより高い精度で検出することができる。

第２撮像部１７は、熱画像ＩＭＧ２内における第１の領域である顔検出領域Ｒ１に相当する領域に対して第２の領域である顔検出相当領域Ｒ２を検出する。
これにより、撮像装置１においては、熱画像ＩＭＧ２内における第１の領域である顔検出領域Ｒ１に相当する領域に対して第２の領域である顔検出相当領域Ｒ２を検出するために、簡単に被写体像をより高い精度で検出することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、可視光と赤外光との組み合わせだけでなく、可視光と紫外光の組み合わせ、赤外光と紫外光の組み合わせなどであってもよい。

また、上述の実施形態では、ＡＦ以外にもＡＥ、ＡＷＢ、美顔処理等にも利用可能である。

また、上述の実施形態では、人の顔を検出するように構成したが、逆に人の顔を検出せずに、人ではなく人の顔を撮影した写真や像等の顔を検出するように構成してもよい。この場合、人体の温度と顔検出をした被写体像を検出対象から除くように構成することができる。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、撮影処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図４の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図４の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
第１の撮像画像を取得する第１の取得手段と、
前記第１の取得手段が取得する撮像範囲が含まれる範囲であって、当該第１の取得手段とは異なる波長域の光を撮像することにより第２の撮像画像を取得する第２の取得手段と、
前記第１の撮像画像から所定の被写体像を含みうる第１の領域を検出する第１の検出手段と、
前記第２の撮像画像から前記所定の被写体像を含みうる第２の領域を検出する第２の検出手段と、
前記第１の領域と前記第２の領域とから前記所定の被写体像の領域を特定する特定手段と、
を備えることを特徴とする検出装置。
［付記２］
前記特定手段は、前記第１の撮像画像内の前記第１の領域内であって、前記第２の領域が含まれる領域を前記所定の被写体像の領域として特定する、
ことを特徴とする付記１に記載の検出装置。
［付記３］
前記特定手段によって特定される前記所定の被写体像の領域は、前記第１の領域より狭い、
ことを特徴とする付記１に記載の検出装置。
［付記４］
前記第１の領域は複数であって、
前記特定手段は、前記第１の撮像画像内の複数の前記第１の領域の内の何れかであって、前記第２の領域が含まれる領域を前記所定の被写体像の領域として特定する、
ことを特徴とする付記１乃至３の何れか１つに記載の検出装置。
［付記５］
特定される前記所定の被写体像の領域の数は、前記第１の領域の数より少ない、
ことを特徴とする付記４に記載の検出装置。
［付記６］
前記第１の取得手段と前記第２の取得手段のうちの何れか一方は、可視光を撮像することにより前記第１の撮像画像を取得し、他方は、赤外光を撮像することにより前記第２の撮像画像を取得する、
ことを特徴とする付記１乃至５の何れか１つに記載の検出装置。
［付記７］
所定の条件に基づき、前記第１の取得手段と前記第２の取得手段のうちの何れで、可視光を撮像することにより前記第１の撮像画像を取得し、他方で赤外光を撮像することにより前記第２の撮像画像を取得するかを判別する判別手段を更に備える、
ことを特徴とする付記６に記載の検出装置。
［付記８］
前記判別手段は、前記所定の条件として撮像条件に基づき判別する、
ことを特徴とする付記７に記載の検出装置。
［付記９］
前記第２の取得手段は、前記第２の撮像画像内における前記第１の領域に相当する領域に対して前記第２の領域を検出する、
ことを特徴とする付記１乃至８の何れか１つに記載の検出装置。
［付記１０］
前記所定の被写体像は、人物の顔である、
ことを特徴とする付記１乃至９の何れか１つに記載の検出装置。
［付記１１］
第１の撮像画像を取得する第１の取得処理と、
前記第１の取得処理が取得する撮像範囲が含まれる範囲であって、当該第１の取得処理とは異なる波長域の光を撮像することにより第２の撮像画像を取得する第２の取得処理と、
前記第１の撮像画像から所定の被写体像を含みうる第１の領域を検出する第１の検出処理と、
前記第２の撮像画像から前記所定の被写体像を含みうる第２の領域を検出する第２の検出処理と、
前記第１の領域と前記第２の領域とから前記所定の被写体像の領域を特定する特定処理と、
を含むことを特徴とする検出方法。
［付記１２］
コンピュータに、
第１の撮像画像を取得する第１の取得機能と、
前記第１の取得機能が取得する撮像範囲が含まれる範囲であって、当該第１の取得機能とは異なる波長域の光を撮像することにより第２の撮像画像を取得する第２の取得機能と、
前記第１の撮像画像から所定の被写体像を含みうる第１の領域を検出する第１の検出機能と、
前記第２の撮像画像から前記所定の被写体像を含みうる第２の領域を検出する第２の検出機能と、
前記第１の領域と前記第２の領域とから前記所定の被写体像の領域を特定する特定機能と、
を実現させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・第１撮像部，１７・・・第２撮像部，１８・・・入力部，１９・・・出力部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮像制御部，５２・・・ＡＦ処理部，５３・・・撮影処理部，７１・・・画像データ記憶部

Claims (12)

1. 第１の撮像画像を取得する第１の取得手段と、
   前記第１の取得手段が取得する撮像範囲が含まれる範囲であって、当該第１の取得手段とは異なる波長域の光を撮像することにより第２の撮像画像を取得する第２の取得手段と、
   前記第１の撮像画像から所定の被写体像を含みうる第１の領域を検出する第１の検出手段と、
   前記第２の撮像画像から前記所定の被写体像を含みうる第２の領域を検出する第２の検出手段と、
   前記第１の領域と前記第２の領域とから前記所定の被写体像の領域を特定する特定手段と、
   を備えることを特徴とする検出装置。
2. 前記特定手段は、前記第１の撮像画像内の前記第１の領域内であって、前記第２の領域が含まれる領域を前記所定の被写体像の領域として特定する、
   ことを特徴とする請求項１に記載の検出装置。
3. 前記特定手段によって特定される前記所定の被写体像の領域は、前記第１の領域より狭い、
   ことを特徴とする請求項１に記載の検出装置。
4. 前記第１の領域は複数であって、
   前記特定手段は、前記第１の撮像画像内の複数の前記第１の領域の内の何れかであって、前記第２の領域が含まれる領域を前記所定の被写体像の領域として特定する、
   ことを特徴とする請求項１乃至３の何れか１項に記載の検出装置。
5. 特定される前記所定の被写体像の領域の数は、前記第１の領域の数より少ない、
   ことを特徴とする請求項４に記載の検出装置。
6. 前記第１の取得手段と前記第２の取得手段のうちの何れか一方は、可視光を撮像することにより前記第１の撮像画像を取得し、他方は、赤外光を撮像することにより前記第２の撮像画像を取得する、
   ことを特徴とする請求項１乃至５の何れか１項に記載の検出装置。
7. 所定の条件に基づき、前記第１の取得手段と前記第２の取得手段のうちの何れで、可視光を撮像することにより前記第１の撮像画像を取得し、他方で赤外光を撮像することにより前記第２の撮像画像を取得するかを判別する判別手段を更に備える、
   ことを特徴とする請求項６に記載の検出装置。
8. 前記判別手段は、前記所定の条件として撮像条件に基づき判別する、
   ことを特徴とする請求項７に記載の検出装置。
9. 前記第２の取得手段は、前記第２の撮像画像内における前記第１の領域に相当する領域に対して前記第２の領域を検出する、
   ことを特徴とする請求項１乃至８の何れか１項に記載の検出装置。
10. 前記所定の被写体像は、人物の顔である、
    ことを特徴とする請求項１乃至９の何れか１項に記載の検出装置。
11. 第１の撮像画像を取得する第１の取得処理と、
    前記第１の取得処理が取得する撮像範囲が含まれる範囲であって、当該第１の取得処理とは異なる波長域の光を撮像することにより第２の撮像画像を取得する第２の取得処理と、
    前記第１の撮像画像から所定の被写体像を含みうる第１の領域を検出する第１の検出処理と、
    前記第２の撮像画像から前記所定の被写体像を含みうる第２の領域を検出する第２の検出処理と、
    前記第１の領域と前記第２の領域とから前記所定の被写体像の領域を特定する特定処理と、
    を含むことを特徴とする検出方法。
12. コンピュータに、
    第１の撮像画像を取得する第１の取得機能と、
    前記第１の取得機能が取得する撮像範囲が含まれる範囲であって、当該第１の取得機能とは異なる波長域の光を撮像することにより第２の撮像画像を取得する第２の取得機能と、
    前記第１の撮像画像から所定の被写体像を含みうる第１の領域を検出する第１の検出機能と、
    前記第２の撮像画像から前記所定の被写体像を含みうる第２の領域を検出する第２の検出機能と、
    前記第１の領域と前記第２の領域とから前記所定の被写体像の領域を特定する特定機能と、
    を実現させることを特徴とするプログラム。

Images