JP2004318331A - Method of extracting object feature part of continuous image, its program, and digital camera - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To quickly extract a feature part such as a face of an object from continuous input images. <P>SOLUTION: In this method of extracting an object feature part of continuous images from each of a plurality of continuous photographed images, a search range for the characteristic part image to be extracted from the continuous photographed images is restricted by using information about the characteristic position in the photographed image from which the characteristic part image of the object is extracted (step 5). In this way, the characteristic part of the object can be extracted at a high speed. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は連写された画像やブラケット撮影された画像などの連続画像から顔等の被写体特徴部分を抽出する方法及びそのプログラム並びにこのプログラムを搭載したデジタルカメラに関する。
【０００２】
【従来の技術】
デジタルカメラには、例えば、下記特許文献１に記載されている様に、被写体の顔部分を画面内から抽出し、抽出した顔の目にデジタルカメラの焦点を自動的に合わせる自動焦点装置が搭載されているものがある。しかし、この特許文献１は、焦点合わせの技術について開示があるのみであり、被写体の顔部分をどの様にして抽出すれば高速に顔画像の抽出処理が可能かについての記載がない。
【０００３】
顔部分を画面内から抽出する場合、テンプレートマッチングが用いられる。これは、被写体画像からサーチウインドウで順次切り出した各部分画像と顔のテンプレートとの類似度を順次判定し、顔のテンプレートに対して閾値以上の類似度で一致するサーチウインドウ位置に被写体の顔が在ると判定するものである。
【０００４】
このテンプレートマッチング処理を行う場合、従来は、被写体の顔が画面内でどの程度の大きさに映っているか分からないため、顔のテンプレートとして小さなテンプレートから画面一杯の大きさのテンプレートまで大きさの異なるテンプレートを多数用意しておき、全てのテンプレートを用いてテンプレートマッチング処理を行い、顔画像を抽出している。
【０００５】
【特許文献１】
特開２００１―２１５４０３公報
【０００６】
【発明が解決しようとする課題】
被写体の顔等の特徴部分を撮影前などに抽出できれば、被写体の顔に常に自動焦点合わせをして撮影を行ったり、また、常に顔の肌色に合うようにホワイトバランスをとった撮影ができるなど、利点が多い。また、撮影後の画像データをパーソナルコンピュータ等に取り込んでユーザが手作業で画像処理する場合などにおいて、画像内の被写体の顔の位置を制御装置が抽出しておけば、例えば肌色調整等で制御装置はユーザに対し適切なガイドを提供することができる。
【０００７】
しかし、従来技術では、顔のテンプレートを多数用意し各テンプレートを用いたマッチング処理が必要なため、顔の抽出処理に時間がかかってしまうという問題がある。
【０００８】
特に、オートブラケット撮影や連写等によって複数の画像を連続して撮影する場合あるいは撮影した場合、各撮影画像毎に多数のテンプレートを用いて行う顔抽出処理に多大な時間を要し、高機能な演算処理機能を搭載した制御装置が必要になるという問題がある。
【０００９】
本発明の目的は、連続する複数の撮影画像から被写体特徴部分を高速且つ高精度に抽出することができる連続画像の被写体特徴部分抽出方法及びそのプログラム並びにデジタルカメラを提供することにある。
【００１０】
【課題を解決するための手段】
本発明の連続画像の被写体特徴部分抽出方法は、連続する複数の撮影画像の夫々から被写体の特徴部分画像を抽出する連続画像の被写体特徴部分抽出方法において、前記被写体の前記特徴部分画像を抽出した前記撮影画像中の特徴部分位置の情報を用い、前記連続する次の前記撮影画像の中から抽出する前記特徴部分画像の探索範囲を制限することを特徴とする。
【００１１】
この構成により、被写体特徴部分画像が存在する蓋然性の高い制限範囲で被写体特徴部分画像を探索するため、高速に特徴部分を抽出することができる。また、探索範囲を制限することで、誤検出を防ぐことができる。即ち、検討違いの大きさのものでも、特徴部分（例えば、顔）らしきものを特徴部分として誤検出してしまうことを防ぐことができる。
【００１２】
本発明の連続画像の被写体特徴部分抽出方法は、前記探索範囲を制限せずに前記特徴部分画像を前記撮影画像から抽出するときは、該撮影画像の大きさに対する前記特徴部分画像の大きさの上限，下限の範囲を該撮影画像を撮影したカメラと特徴部分を有する被写体との間の距離情報に基づいて限定し、該限定した上限，下限の範囲内のテンプレートを用いて前記特徴部分画像のマッチング処理を行い該特徴部分画像を抽出することを特徴とする。
【００１３】
この構成により、制限範囲内において、マッチング処理対象画像をリサイズしながら決まった大きさのテンプレートとのマッチング処理を行うため、あるいはテンプレートの大きさをリサイズしながら決まった大きさのマッチング処理対象画像とのマッチング処理を行うため、マッチング処理で用いるテンプレートの数あるいは撮影画像から切り出すマッチング処理対象画像の大きさの数を限定することができ、マッチング処理の処理時間を短縮することができる。また、探索範囲を制限するため、誤検出を防ぐことができる。即ち、検討違いの大きさのものでも、特徴部分（例えば、顔）らしきものを特徴部分として誤検出してしまうことを防ぐことができる。
【００１４】
本発明の連続画像の被写体特徴部分抽出プログラムは、上記の連続画像の被写体特徴部分抽出方法を実行することを特徴とする。
【００１５】
この構成により、被写体特徴部分画像が存在する蓋然性の高い制限範囲で被写体特徴部分画像を探索するため、高速に特徴部分を抽出することができる。
【００１６】
本発明のデジタルカメラは、上記の連続画像の被写体特徴部分抽出プログラムが搭載されたことを特徴とする。
【００１７】
この構成により、被写体特徴部分画像が存在する蓋然性の高い制限範囲で被写体特徴部分画像を探索するため、高速に特徴部分を抽出することができる。また、探索範囲を制限することで、誤検出を防ぐことができる。即ち、検討違いの大きさのものでも、特徴部分（例えば、顔）らしきものを特徴部分として誤検出してしまうことを防ぐことができる。
【００１８】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１９】
（第１の実施形態）
図１は、本発明の第１の実施形態に係るデジタルスチルカメラの構成図である。このデジタルスチルカメラは、ＣＣＤやＣＭＯＳ等の固体撮像素子１と、固体撮像素子１の前段に置かれたレンズ２及び絞り３と、固体撮像素子１から出力される画像信号に対し相関二重サンプリング処理等を施すアナログ信号処理部４と、アナログ信号処理された画像信号をデジタル信号に変換するＡ／Ｄ変換部５と、デジタル信号に変換された画像信号に対してガンマ補正，同時化処理など施すデジタル信号処理部６と、このデジタル信号処理部６によって処理された画像信号を格納する画像メモリ７と、ユーザがシャッタボタンを押下したときに画像メモリ７に格納された画像信号（撮影データ）を外部メモリ等に記録する記録部８と、カメラ背面等に設けられ画像メモリ７の格納内容をスルー表示する表示部９とを備える。
【００２０】
このデジタルスチルカメラは更に、ＣＰＵやＲＯＭ，ＲＡＭでなる制御回路１０と、ユーザからの指示入力を受け付けると共に上記表示部９に対してオンデマンド表示処理を行う操作部１１と、撮像素子１から出力されデジタル信号処理部６によって処理された画像信号を取り込み制御回路１０からの指示に基づいて詳細は後述するように被写体の特徴部分この例では顔部分を抽出する顔抽出処理部１２と、レンズ２の焦点合わせや倍率制御を制御回路１０からの指示信号に基づいて行うレンズ駆動部１３と、絞り３の絞り量を制御回路１０からの指示信号に基づいて制御する絞り駆動部１４と、固体撮像素子１を制御回路１０からの指示信号に基づいて駆動制御する撮像素子制御部１５と、制御回路１０からの指示信号に基づいて被写体までの距離を計測する測距センサ１６とを備える。
【００２１】
図２は、顔抽出処理部１２が顔抽出プログラムに従って行う顔抽出処理の処理手順を示すフローチャートである。顔抽出プログラムは、図１に示す制御回路１０のＲＯＭ内に格納されており、ＣＰＵが顔抽出プログラムをＲＡＭに読み出し実行することで、顔抽出処理部１２が機能する。
【００２２】
デジタルスチルカメラの撮像素子１は、ユーザがシャッタボタンを押下する前であっても常時所定周期で画像信号を出力しており、デジタル信号処理部６は各画像信号をデジタル信号処理している。顔抽出処理部１２は、この画像信号を逐次取り込み、各入力画像（撮影画像）に対して以下の処理を行う。
【００２３】
ステップＳ１では、顔の探索処理を行う。図３は、この顔の探索処理の詳細処理手順を示すフローチャートである。図３において、顔抽出処理部１２は、先ず、入力画像のサイズを取得（ステップＳ１１）する。ユーザが例えば６４０×４８０画素数で撮影しようとしているのか、１２８０×９６０画素数で撮影しようとしているのかによって顔抽出処理に用いる入力画像のサイズが異なるカメラの場合には、このサイズ情報を取得する。入力画像のサイズが固定の場合にはこのステップＳ１１は不要である。次に、測距センサ１６によって計測した被写体までの距離情報を制御回路１０から取得する（ステップＳ１２）。
【００２４】
次のステップＳ１３では、ズームレンズを使用しているのか否かを判定し、ズームレンズを使用している場合にはズーム位置情報を制御回路１０から取得し（ステップＳ１４）、次にレンズの焦点距離情報を制御回路１０から取得する（ステップＳ１５）。ステップＳ１３でズームレンズを使用していないと判定した場合にはステップＳ１４を飛び越してステップＳ１５に進む。
【００２５】
以上の処理ステップによって取得した入力画像サイズ情報とレンズ焦点距離情報により、入力画像中における被写体である人の顔の大きさがどの程度の大きさになるかを決定できる。このため、次のステップＳ１６では、顔の大きさに合わせたサーチウインドウの大きさの上限，下限の範囲を決定する。
【００２６】
サーチウインドウとは、図４に示す様に、テンプレートマッチング処理を行う処理画像２１に対する顔画像の大きさ、即ち図５に示すテンプレート２２の大きさと同一の大きさのウインドウ２３である。このサーチウインドウ２３によって切り出した画像とテンプレート２２との正規化相互相関係数等を以下の処理ステップで求め、マッチング度合いを計算し、マッチング度合い即ち類似度が閾値に達しない場合には、サーチウインドウ２３を処理画像２１上で一定画素分例えば１画素分だけスキャニング方向２４にずらして次のマッチング処理用の画像を切り出す。
【００２７】
ここで、処理画像２１とは、入力画像をリサイズした画像である。例えば１２８０×９６０画素数の高精細な入力画像を処理画像としてマッチング処理を行うよりも、この入力画像を例えば２００×１５０画素数にリサイズした画像を処理画像とし、テンプレート（勿論、テンプレート側の顔画像も高精細な顔画像ではなく、画素数の少ない例えば２０×２０画素数の顔画像を用いる。）マッチングを行う方が、個々人の差違を無視した一般的な「顔」の検出が容易となる。
【００２８】
次のステップＳ１７では、サーチウインドウのサイズが範囲内であるか否か、即ち、処理画像２１内における顔の大きさの上限，下限の範囲内であるか否かを判定する。次に、サーチウインドウ２３の大きさに一致する大きさのテンプレート２２が存在するか否かを判定する（ステップＳ１８）。存在する場合には該当するテンプレートを選択し（ステップＳ１９）、存在しない場合にはテンプレートをリサイズしてサーチウインドウ２３の大きさに合わせたテンプレートを生成し（ステップＳ２０）、次のステップ２１に進む。
【００２９】
ステップＳ２１では、スキャニング方向２４（図４）に沿ってサーチウインドウ２３をスキャニングさせながらテンプレートマッチング処理を行い、類似度が閾値α以上となった画像部分が存在するか否かを判定する。
【００３０】
類似度が閾値α以上となる画像部分が存在しない場合には、ステップＳ２２に進み、サーチウインドウ２３の大きさを図６に示す様に変化させ、次に、使用するサーチウインドウ２３の大きさを決定してからステップＳ１７に進む。以下、ステップＳ１７→ … →ステップＳ２１→ステップＳ２２→ステップＳ１７を繰り返す。
【００３１】
このように、本実施形態では、図６に示す様にサーチウインドウ２３の大きさを上限値から下限値まで（あるいは下限値から上限値まで）変化させながら、図７に示す様にテンプレートの大きさも変化させ、テンプレートマッチング処理を繰り返す。
【００３２】
ステップＳ２１で、閾値α以上の類似度を示す画像部分が検出されたときは、図２のステップＳ２の顔検出判定処理に進み、顔位置を特定し、その位置情報を制御回路１０に出力してこの顔検出処理を終了する。
【００３３】
ステップＳ１７→ … →ステップＳ２１→ステップＳ２２→ステップＳ１７と繰り返されることでサーチウインドウ２３の大きさが上限，下限の範囲外に外れた場合には、ステップＳ１７における判定結果が否定（Ｎ）となる。この場合には図２のステップＳ２の顔検出判定処理に進み、「顔なし」と判定される。
【００３４】
この様に、本実施形態によれば、テンプレートマッチング処理で使用するテンプレートを複数種類用意し、各テンプレートを用いたマッチング処理を行うが、被写体までの距離情報に基づいて使用するテンプレートの上限，下限の大きさを限定するため、テンプレートマッチング処理回数を減らすことができ、顔の抽出処理を高精度，高速に行うことが可能となる。
【００３５】
図２において、ステップＳ２で「顔」の位置が抽出され、あるいは顔無しと判定された場合、次に、ステップＳ３に進み、連続した入力画像が存在するか否かを判定する。連続した画像が無い場合には、図３の顔の抽出処理（ステップＳ１）に戻る。即ち、新たに取り込まれた入力画像が前コマ（前入力画像）と異なるシーンの画像の場合にはステップＳ１で顔の探索処理を行う。
【００３６】
連続した画像が次々と取り込まれている場合には、ステップＳ３の判定結果は肯定（Ｙ）となる。この場合には、次にステップＳ４で、前コマで被写体の顔が抽出されたか否かを判定する。この判定結果が否定（Ｎ）の場合には、ステップＳ１に戻り、図３の顔の抽出処理を行う。
【００３７】
連続した画像が次々と取り込まれ前コマで被写体の顔が抽出されている場合には、ステップＳ４の判定結果が肯定（Ｙ）となり、ステップＳ５に進む。このステップＳ５では、サーチウインドウ２３のサーチ範囲の制限を行う。図３の顔の探索処理では、サーチウインドウ２３のサーチ範囲を、処理画像２１の全範囲としたが、前コマで顔の位置が検出されている場合は、図８の入力画像▲２▼に示す様に、顔の存在する蓋然性の高い範囲２１ａにサーチ範囲を制限する。
【００３８】
そして、次のステップＳ６で、この制限されたサーチ範囲２１ａで、顔画像の探索を行う。サーチ範囲が制限されているため、高速に顔画像を抽出することが可能となる。
【００３９】
ステップＳ６の後は、ステップＳ３に戻り、次の入力画像の顔探索処理に進む。オートブラケット撮影の場合には、被写体は静止し動かないことが多いため、オートブラケット撮影の指示入力が操作部１１からあった場合には、図８の入力画像▲２▼において、顔の探索範囲を更に限定することが可能である。
【００４０】
また、動きのある被写体を連写する等している場合には、図８の入力画像▲１▼と入力画像▲２▼から夫々抽出した顔画像の位置により被写体の速度や方向が分かるため、次コマの入力画像▲３▼では顔のサーチ範囲を更に限定することが可能となる。
【００４１】
この様に、本実施形態では、連続して入力する複数の入力画像から夫々顔画像を抽出する場合に、前コマで抽出された顔の位置により次コマにおけるサーチ範囲を制限するため、顔の抽出を高速に行うことが可能となる。このステップＳ６における顔抽出処理は、テンプレートマッチング処理に限るものではなく、他の方法によるものでもよい。
【００４２】
（第２の実施形態）
図９は、本発明の第２の実施形態に係る顔抽出プログラムの処理手順を示すフローチャートである。この顔抽出処理プログラムを搭載するデジタルスチルカメラの構成は図１と同じであり、また図２の処理手順も同じあり、図３の処理手順に代えて図９の処理手順を用い点が異なる。
【００４３】
上述した第１の実施形態における図３の処理では、サーチウインドウ及びテンプレートの大きさを変化させながらテンプレートマッチング処理を行ったが、本実施形態では、サーチウインドウ及びテンプレートの大きさは固定し、処理画像２１の大きさの方をリサイズしながらテンプレートマッチング処理を行う。
【００４４】
ステップＳ１１からステップＳ１５までは第１の実施形態と同じである。ステップＳ１５の次に、本実施形態では、処理画像２１の大きさの上限，下限の範囲を決定する（ステップＳ２６）。そして、次のステップＳ２７では、処理画像２１の大きさが顔の大きさの上限，下限の大きさに見合った範囲内であるか否かを判定する。
【００４５】
ステップＳ２７の判定で、処理画像２１の大きさが上限，下限の範囲内であると判定された場合には、次にステップＳ２１に進み、テンプレートマッチング処理を行い、類似度が閾値α以上の画像部分が存在するか否かを判定する。類似度が閾値α以上の画像部分が検出できなかっ場合はステップＳ２１からステップＳ２８に戻って処理画像２１のリサイズを行い、テンプレートマッチング処理を繰り返す。閾値α以上の画像部分が検出された場合には、ステップＳ２１から図２のステップＳ２の顔検出判定処理に進んで顔位置を特定し、その位置情報を制御回路１０に出力しこの顔検出処理を終了する。
【００４６】
処理画像２１のリサイズによって処理画像のサイズが上限値から下限値まで変化した後（あるいは下限値から上限値まで変化した後）は、ステップＳ２７の判定結果が否定（Ｎ）となる。この場合には図２のステップＳ２に進み、「顔なし」と判定される。
【００４７】
この様に、本実施形態では、入力画像に対する被写体の顔の大きさを被写体までの距離情報に基づいて限定するため、テンプレートマッチング処理回数を減らすことができ、高精度，高速に顔の抽出を行うことが可能となる。しかも、予め用意するテンプレートが１つで済むため、テンプレートの記憶容量を削減することもできる。
【００４８】
尚、上述した各実施形態では、デジタルスチルカメラを例に説明したが、携帯電話機等に搭載したデジタルカメラや動画撮影を行うデジタルビデオカメラ等の他のデジタルカメラにも本発明を適用可能である。また、被写体までの距離情報は、測距センサの計測値や既知の値を用いる場合に限られず、その距離情報取得方法は如何なる方法でもよく、更に、抽出対象は顔に限らず、他の特徴部分でも本発明を適用可能である。
【００４９】
また、上述した各実施形態の特徴抽出プログラムは、デジタルカメラに搭載する場合に限られず、例えば写真のプリンタや画像処理装置に搭載することで、被写体の特徴部分を高精度且つ高速に抽出することが可能となる。この場合、テンプレートの大きさ或いは処理画像の大きさを特徴部分画像の上限，下限の範囲に限定するために距離情報やズーム情報が必要となるが、これらの情報は、入力画像を撮影したカメラが撮影データにタグ情報として付加したものを用いるのが良い。また、オートブラケット撮影や連写された撮影画像であるか否かも、撮影データに付加されたタグ情報を利用するのが良い。
【００５０】
【発明の効果】
本発明によれば、連続した入力画像から被写体の特徴部分を抽出する場合に前コマで抽出された特徴部分の情報を利用してサーチ範囲を制限するため、高速化と高精度化が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るデジタルスチルカメラの構成図である。
【図２】図１に示すデジタルスチルカメラに搭載された顔抽出プログラムの処理手順を示すフローチャートである。
【図３】図１に示すステップＳ１の詳細処理手順を示すフローチャートである。
【図４】サーチウインドウによるスキャニングの説明図である。
【図５】顔のテンプレートの一例を示す図である。
【図６】サーチウインドウの大きさを変化させる例の説明図である。
【図７】テンプレートの大きさを変化させる例の説明図である。
【図８】連続する入力画像とサーチ範囲の説明図である。
【図９】本発明の第２の実施形態に係る顔抽出プログラムの処理手順を示すフローチャートである。
【符号の説明】
１ 撮像素子
２ レンズ
３ 絞り
６ デジタル信号処理部
１０ 制御回路
１２ 顔抽出処理部
１６ 測距センサ
２１ 処理画像
２２ 顔のテンプレート
２３ サーチウインドウ
２４ スキャニング方向[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method for extracting a subject feature portion such as a face from a continuous image such as a continuously shot image or a bracketed image, a program thereof, and a digital camera equipped with the program.
[0002]
[Prior art]
For example, as described in Patent Document 1 below, the digital camera is equipped with an autofocus device that extracts the face part of the subject from the screen and automatically focuses the digital camera on the extracted face. There is something that has been. However, this Patent Document 1 only discloses a focusing technique, and does not describe how to extract a face image of a subject so that a face image can be extracted at high speed.
[0003]
When extracting a face part from the screen, template matching is used. This is because the similarity between each partial image sequentially extracted from the subject image in the search window and the face template is sequentially determined, and the face of the subject is located at the search window position that matches the face template with a similarity equal to or greater than a threshold. It is determined that it exists.
[0004]
Conventionally, when performing this template matching process, it is not known how big the subject's face is in the screen, so the size of the face template varies from a small template to a full-screen template. A large number of templates are prepared, and template matching processing is performed using all templates to extract face images.
[0005]
[Patent Document 1]
Japanese Patent Laid-Open No. 2001-215403
[Problems to be solved by the invention]
If features such as the subject's face can be extracted before shooting, etc., the subject's face can always be automatically focused and shot, and white balance can be taken to match the skin color of the face. There are many advantages. In addition, when the captured image data is taken into a personal computer or the like and manually processed by the user, if the control device extracts the position of the subject's face in the image, it can be controlled by adjusting the skin color, for example. The device can provide an appropriate guide to the user.
[0007]
However, the conventional technique has a problem that it takes time to extract a face because a large number of face templates are prepared and matching processing using each template is required.
[0008]
In particular, when multiple images are shot continuously or taken by auto bracket shooting, continuous shooting, etc., face extraction processing using a large number of templates for each shot image takes a lot of time and is highly functional. There is a problem that a control device equipped with a special arithmetic processing function is required.
[0009]
An object of the present invention is to provide a subject feature portion extraction method of a continuous image, a program thereof, and a digital camera that can extract subject feature portions from a plurality of consecutive captured images at high speed and with high accuracy.
[0010]
[Means for Solving the Problems]
According to another aspect of the present invention, there is provided a continuous image subject feature portion extraction method, wherein the feature feature portion image of the subject is extracted in a continuous image subject feature portion extraction method that extracts a feature portion image of a subject from each of a plurality of consecutive captured images. The search range of the feature part image extracted from the next successive photographed image is limited using information on the feature part position in the photographed image.
[0011]
With this configuration, since the subject feature portion image is searched in a highly probable limited range where the subject feature portion image exists, the feature portion can be extracted at high speed. Further, by limiting the search range, erroneous detection can be prevented. That is, it is possible to prevent erroneous detection of features that appear to be characteristic portions (for example, faces) as characteristic portions even if they are of different sizes.
[0012]
According to the continuous image subject feature portion extraction method of the present invention, when the feature portion image is extracted from the captured image without limiting the search range, the size of the feature portion image with respect to the size of the captured image is increased. An upper limit and a lower limit range are limited based on distance information between a camera that has captured the captured image and a subject having a characteristic portion, and a template within the limited upper limit and lower limit ranges is used. A feature is that the feature partial image is extracted by performing a matching process.
[0013]
With this configuration, in order to perform matching processing with a template of a fixed size while resizing the matching processing target image within the limited range, or with a matching processing target image of a fixed size while resizing the template size Therefore, the number of templates used in the matching process or the number of matching target images to be cut out from the captured image can be limited, and the processing time of the matching process can be shortened. In addition, since the search range is limited, erroneous detection can be prevented. That is, it is possible to prevent erroneous detection of features that appear to be characteristic portions (for example, faces) as characteristic portions even if they are of different sizes.
[0014]
The subject feature portion extraction program for continuous images of the present invention is characterized by executing the subject feature portion extraction method for continuous images.
[0015]
With this configuration, since the subject feature portion image is searched in a highly probable limited range where the subject feature portion image exists, the feature portion can be extracted at high speed.
[0016]
The digital camera of the present invention is characterized in that the above-described subject feature portion extraction program for continuous images is installed.
[0017]
With this configuration, since the subject feature portion image is searched in a highly probable limited range where the subject feature portion image exists, the feature portion can be extracted at high speed. Further, by limiting the search range, erroneous detection can be prevented. That is, it is possible to prevent erroneous detection of features that appear to be characteristic portions (for example, faces) as characteristic portions even if they are of different sizes.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
[0019]
(First embodiment)
FIG. 1 is a configuration diagram of a digital still camera according to the first embodiment of the present invention. This digital still camera includes a solid-state imaging device 1 such as a CCD or a CMOS, a lens 2 and a diaphragm 3 placed in front of the solid-state imaging device 1, and correlated double sampling with respect to an image signal output from the solid-state imaging device 1. An analog signal processing unit 4 that performs processing, an A / D conversion unit 5 that converts an analog signal-processed image signal into a digital signal, gamma correction, synchronization processing, and the like for the image signal converted into a digital signal A digital signal processing unit 6 to be applied, an image memory 7 for storing an image signal processed by the digital signal processing unit 6, and an image signal (shooting data) stored in the image memory 7 when the user presses the shutter button. Is recorded on an external memory or the like, and a display unit 9 is provided on the back of the camera or the like and displays the stored contents of the image memory 7 through.
[0020]
The digital still camera further includes a control circuit 10 including a CPU, a ROM, and a RAM, an operation unit 11 that receives an instruction input from a user and performs an on-demand display process on the display unit 9, and an output from the image sensor 1. Then, the image signal processed by the digital signal processing unit 6 is taken in. Based on an instruction from the control circuit 10, as will be described in detail later, a feature extraction portion of the subject, in this example, a face extraction processing portion 12 that extracts a face portion, and the lens 2 A lens driving unit 13 that performs focusing and magnification control based on an instruction signal from the control circuit 10, a diaphragm driving unit 14 that controls an aperture amount of the diaphragm 3 based on an instruction signal from the control circuit 10, and solid-state imaging An image sensor control unit 15 that controls the driving of the element 1 based on an instruction signal from the control circuit 10 and a subject based on the instruction signal from the control circuit 10. And a distance measuring sensor 16 to measure the distance.
[0021]
FIG. 2 is a flowchart showing a processing procedure of face extraction processing performed by the face extraction processing unit 12 in accordance with the face extraction program. The face extraction program is stored in the ROM of the control circuit 10 shown in FIG. 1, and the face extraction processing unit 12 functions when the CPU reads the face extraction program into the RAM and executes it.
[0022]
The imaging device 1 of the digital still camera always outputs an image signal at a predetermined cycle even before the user presses the shutter button, and the digital signal processing unit 6 performs digital signal processing on each image signal. The face extraction processing unit 12 sequentially captures this image signal and performs the following processing on each input image (captured image).
[0023]
In step S1, face search processing is performed. FIG. 3 is a flowchart showing a detailed processing procedure of the face search processing. In FIG. 3, the face extraction processing unit 12 first acquires the size of the input image (step S11). For example, in the case of a camera in which the size of the input image used for the face extraction process is different depending on whether the user is shooting with 640 × 480 pixels or 1280 × 960 pixels, this size information is acquired. . When the size of the input image is fixed, this step S11 is not necessary. Next, distance information to the subject measured by the distance measuring sensor 16 is acquired from the control circuit 10 (step S12).
[0024]
In the next step S13, it is determined whether or not the zoom lens is used. If the zoom lens is used, the zoom position information is acquired from the control circuit 10 (step S14), and then the focus of the lens is obtained. Distance information is acquired from the control circuit 10 (step S15). If it is determined in step S13 that the zoom lens is not used, the process skips step S14 and proceeds to step S15.
[0025]
Based on the input image size information and the lens focal length information acquired by the above processing steps, it is possible to determine the size of the face of the person who is the subject in the input image. Therefore, in the next step S16, an upper limit and a lower limit range of the search window size according to the face size are determined.
[0026]
As shown in FIG. 4, the search window is a window 23 having the same size as the face image for the processed image 21 to be subjected to the template matching process, that is, the size of the template 22 shown in FIG. The normalized cross-correlation coefficient between the image cut out by the search window 23 and the template 22 is obtained by the following processing steps, the matching degree is calculated, and when the matching degree, that is, the similarity does not reach the threshold value, the search window 23 is shifted in the scanning direction 24 by a certain amount of pixels on the processed image 21, for example, one pixel, and an image for the next matching processing is cut out.
[0027]
Here, the processed image 21 is an image obtained by resizing the input image. For example, rather than performing a matching process using a high-definition input image of 1280 × 960 pixels as a processed image, an image obtained by resizing this input image to, for example, 200 × 150 pixels is used as a processed image, and a template (of course, a face on the template side) The image is not a high-definition face image, but a face image having a small number of pixels, for example, 20 × 20 pixels is used.) It is easier to detect a general “face” by ignoring individual differences. Become.
[0028]
In the next step S17, it is determined whether or not the size of the search window is within the range, that is, whether or not it is within the upper and lower limits of the face size in the processed image 21. Next, it is determined whether or not there is a template 22 having a size that matches the size of the search window 23 (step S18). If it exists, the corresponding template is selected (step S19). If it does not exist, the template is resized to generate a template that matches the size of the search window 23 (step S20), and the process proceeds to the next step 21. .
[0029]
In step S21, template matching processing is performed while scanning the search window 23 along the scanning direction 24 (FIG. 4), and it is determined whether or not there is an image part having a similarity equal to or greater than the threshold value α.
[0030]
If there is no image portion whose similarity is greater than or equal to the threshold value α, the process proceeds to step S22, the size of the search window 23 is changed as shown in FIG. 6, and then the size of the search window 23 to be used is changed. After the determination, the process proceeds to step S17. Thereafter, step S17 →... → step S21 → step S22 → step S17 is repeated.
[0031]
As described above, in this embodiment, the size of the template is changed as shown in FIG. 7 while changing the size of the search window 23 from the upper limit value to the lower limit value (or from the lower limit value to the upper limit value) as shown in FIG. Also change the template matching process.
[0032]
If an image portion showing a degree of similarity equal to or greater than the threshold value α is detected in step S21, the process proceeds to the face detection determination process in step S2 in FIG. 2, the face position is specified, and the position information is output to the control circuit 10. The leverage detection process ends.
[0033]
If step S17 →... → step S21 → step S22 → step S17 is repeated and the size of the search window 23 falls outside the upper and lower limits, the determination result in step S17 is negative (N). . In this case, the process proceeds to the face detection determination process in step S2 of FIG.
[0034]
As described above, according to the present embodiment, a plurality of types of templates used in the template matching process are prepared, and the matching process using each template is performed. The upper and lower limits of the template to be used based on the distance information to the subject. Therefore, the number of template matching processes can be reduced, and the face extraction process can be performed with high accuracy and high speed.
[0035]
In FIG. 2, when the position of the “face” is extracted in step S2 or it is determined that there is no face, the process proceeds to step S3, where it is determined whether there is a continuous input image. If there is no continuous image, the process returns to the face extraction process (step S1) in FIG. That is, if the newly input image is an image of a scene different from the previous frame (previous input image), face search processing is performed in step S1.
[0036]
When successive images are captured one after another, the determination result in step S3 is affirmative (Y). In this case, in step S4, it is determined whether or not the face of the subject has been extracted in the previous frame. If the determination result is negative (N), the process returns to step S1, and the face extraction process of FIG. 3 is performed.
[0037]
If consecutive images are captured one after another and the face of the subject is extracted in the previous frame, the determination result in step S4 is affirmative (Y), and the process proceeds to step S5. In step S5, the search range of the search window 23 is limited. In the face search process of FIG. 3, the search range of the search window 23 is the entire range of the processed image 21, but when the face position is detected in the previous frame, the input image (2) in FIG. As shown, the search range is limited to a highly probable range 21a where a face exists.
[0038]
Then, in the next step S6, a face image is searched in the limited search range 21a. Since the search range is limited, a face image can be extracted at high speed.
[0039]
After step S6, the process returns to step S3 and proceeds to the face search process for the next input image. In the case of auto bracket shooting, the subject is often stationary and does not move. Therefore, when an instruction for auto bracket shooting is input from the operation unit 11, the search range of the face in the input image (2) in FIG. Can be further limited.
[0040]
In addition, when shooting a moving subject continuously, the speed and direction of the subject can be known from the position of the face image extracted from the input image (1) and the input image (2) in FIG. In the next frame input image (3), the face search range can be further limited.
[0041]
As described above, in this embodiment, when a face image is extracted from each of a plurality of continuously input images, the search range in the next frame is limited by the position of the face extracted in the previous frame. Extraction can be performed at high speed. The face extraction process in step S6 is not limited to the template matching process, but may be another method.
[0042]
(Second Embodiment)
FIG. 9 is a flowchart showing the processing procedure of the face extraction program according to the second embodiment of the present invention. The configuration of a digital still camera equipped with this face extraction processing program is the same as that in FIG. 1, the processing procedure in FIG. 2 is also the same, and the processing procedure in FIG. 9 is used instead of the processing procedure in FIG.
[0043]
In the process of FIG. 3 in the first embodiment described above, the template matching process is performed while changing the size of the search window and the template. However, in this embodiment, the size of the search window and the template is fixed and the process is performed. Template matching processing is performed while resizing the size of the image 21.
[0044]
Steps S11 to S15 are the same as those in the first embodiment. After step S15, in the present embodiment, the upper limit and lower limit ranges of the size of the processed image 21 are determined (step S26). Then, in the next step S27, it is determined whether or not the size of the processed image 21 is within a range commensurate with the upper and lower limits of the face size.
[0045]
If it is determined in step S27 that the size of the processed image 21 is within the upper and lower limits, the process proceeds to step S21, where template matching processing is performed, and an image whose similarity is greater than or equal to the threshold α. Determine if the part exists. If an image part having a similarity equal to or greater than the threshold value α cannot be detected, the process returns from step S21 to step S28 to resize the processed image 21, and the template matching process is repeated. If an image portion equal to or greater than the threshold value α is detected, the process proceeds from step S21 to the face detection determination process of step S2 in FIG. 2, the face position is specified, and the position information is output to the control circuit 10 to output the face detection process. Exit.
[0046]
After the size of the processed image changes from the upper limit value to the lower limit value (or after the change from the lower limit value to the upper limit value) due to resizing of the processed image 21, the determination result of step S27 becomes negative (N). In this case, the process proceeds to step S2 in FIG.
[0047]
In this way, in this embodiment, the size of the subject's face relative to the input image is limited based on the distance information to the subject, so the number of template matching processes can be reduced, and face extraction can be performed with high accuracy and high speed. Can be done. Moreover, since only one template is prepared in advance, the storage capacity of the template can be reduced.
[0048]
In each of the above-described embodiments, the digital still camera has been described as an example. However, the present invention can also be applied to other digital cameras such as a digital camera mounted on a mobile phone or a digital video camera that performs moving image shooting. . In addition, the distance information to the subject is not limited to the case of using a measurement value or a known value of a distance measuring sensor, the distance information acquisition method may be any method, and the extraction target is not limited to the face, but other features. The present invention can also be applied to portions.
[0049]
The feature extraction program of each embodiment described above is not limited to being installed in a digital camera. For example, the feature extraction program can be installed in a photographic printer or image processing apparatus to extract a feature portion of a subject with high accuracy and high speed. Is possible. In this case, distance information and zoom information are required to limit the size of the template or the size of the processed image to the upper and lower limits of the feature partial image. It is good to use what was added as tag information to imaging | photography data. Further, it is preferable to use tag information added to the shooting data to determine whether the image is an auto bracket shooting or continuous shooting.
[0050]
【The invention's effect】
According to the present invention, when a feature portion of a subject is extracted from a continuous input image, the search range is limited using information on the feature portion extracted in the previous frame, so that high speed and high accuracy are possible. Become.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a digital still camera according to a first embodiment of the present invention.
FIG. 2 is a flowchart showing a processing procedure of a face extraction program installed in the digital still camera shown in FIG. 1;
FIG. 3 is a flowchart showing a detailed processing procedure of step S1 shown in FIG. 1;
FIG. 4 is an explanatory diagram of scanning by a search window.
FIG. 5 is a diagram illustrating an example of a face template.
FIG. 6 is an explanatory diagram of an example of changing the size of a search window.
FIG. 7 is an explanatory diagram of an example of changing the size of a template.
FIG. 8 is an explanatory diagram of continuous input images and a search range.
FIG. 9 is a flowchart showing a processing procedure of a face extraction program according to the second embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image sensor 2 Lens 3 Aperture 6 Digital signal processing part 10 Control circuit 12 Face extraction processing part 16 Distance sensor 21 Processed image 22 Face template 23 Search window 24 Scanning direction

Claims (4)

連続する複数の撮影画像の夫々から被写体の特徴部分画像を抽出する連続画像の被写体特徴部分抽出方法において、前記被写体の前記特徴部分画像を抽出した前記撮影画像中の特徴部分位置の情報を用い、前記連続する次の前記撮影画像の中から抽出する前記特徴部分画像の探索範囲を制限することを特徴とする連続画像の被写体特徴部分抽出方法。In a subject image feature portion extraction method for extracting a feature portion image of a subject from each of a plurality of consecutive shot images, using information on a feature portion position in the shot image obtained by extracting the feature portion image of the subject, A method for extracting a feature portion of a subject of a continuous image, wherein a search range of the feature portion image to be extracted from the next consecutive captured images is limited. 前記探索範囲を制限せずに前記特徴部分画像を前記撮影画像から抽出するときは、該撮影画像の大きさに対する前記特徴部分画像の大きさの上限，下限の範囲を該撮影画像を撮影したカメラと特徴部分を有する被写体との間の距離情報に基づいて限定し、該限定した上限，下限の範囲内のテンプレートを用いて前記特徴部分画像のマッチング処理を行い該特徴部分画像を抽出することを特徴とする請求項１に記載の連続画像の被写体特徴部分抽出方法。When extracting the feature portion image from the photographed image without limiting the search range, the camera that has photographed the photographed image within the upper and lower limits of the size of the feature portion image with respect to the size of the photographed image And extracting the feature portion image by performing matching processing of the feature portion image using a template within the limited upper and lower limits. The method for extracting a subject feature portion of a continuous image according to claim 1. 請求項１または請求項２に記載の連続画像の被写体特徴部分抽出方法を実行することを特徴とする連続画像の被写体特徴部分抽出プログラム。3. A continuous image subject feature portion extraction program that executes the continuous image subject feature portion extraction method according to claim 1 or 2. 請求項３に記載された連続画像の被写体特徴部分抽出プログラムが搭載されたことを特徴とするデジタルカメラ。A digital camera, comprising the subject image feature extraction program for continuous images according to claim 3.

Images