JP4364464B2

JP4364464B2 - デジタルカメラ撮像装置

Info

Publication number: JP4364464B2
Application number: JP2001282233A
Authority: JP
Inventors: 隆弘藤沢; 賢二白石
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2001-09-17
Filing date: 2001-09-17
Publication date: 2009-11-18
Anticipated expiration: 2021-09-17
Also published as: JP2003092699A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ撮像装置に関し、特に、光学系を介して被写体からの光信号を電気信号である画像信号に変換して出力する画像撮像手段を有し、被写体の顔を検出すると自動的に人物撮影モードに移行するデジタルカメラ撮像装置に関するものである。
【０００２】
【従来の技術】
近年パーソナルコンピュータの発達に相まって、その画像入力装置としてのデジタルカメラの利用が広まってきた。特に、人物撮影用のポートレートモードを備えたものがほとんどであり、被写体によってカメラのモードを最適な位置に合わせて撮影を行っている。そこで、このモード選択を自動的に行う技術が提案されてきた。例えば、特開平９−２８１５４１号公報では、撮影条件に応じて最適な撮影モードを自動選択できるカメラについて開示されている。それによると、撮影条件として、撮影レンズの焦点距離データを加え、焦点距離及び撮影倍率を演算する演算手段を備え、撮影倍率が一定の範囲内にあるときは人物モードを選択する構成となっている。
【０００３】
【発明が解決しようとする課題】
従来、人物撮影用のポートレートモードを備えたデジタルカメラ撮像装置では、撮影前にユーザー自身がそのモードを設定しなければならなかった。また、複数人数での撮影の際、ピントが全員に合うように絞りを調整することは困難であった。
また、それを自動化した特開平９−２８１５４１号公報は、撮影倍率が一定の範囲内にあるときに人物モードを選択するものであり、本発明の人物の顔を検出した場合にポートレートモードに自動的に移行する技術とは異なる発明である。本発明は、かかる課題に鑑み、顔画像を検出することで自動的にポートレートモードへ移行するようにして、設定のし忘れによる撮影ミスを防止し、複数人数の人物が検出された場合、自動的に全員が被写界深度に入るようにしたデジタルカメラ撮像装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】
本発明はかかる課題を解決するために、請求項１の発明は、光学系を介して得られた光信号を画像信号に変換して出力する画像撮像手段を有するデジタルカメラ撮像装置において、前記画像信号の中から顔画像を検出する顔画像検出手段を更に備え、該顔画像検出手段が顔画像を検出した場合、人物撮影に最も適した人物撮影モードへ切り替わり、更に前記顔画像検出手段が顔画像を複数検出した場合、複数の顔画像の大小から距離を測定する距離測定手段を備え、該距離測定手段に基づいて絞りを制御することを特徴とする。カメラで最も多い被写体は圧倒的に人物である。従って、人物を撮影する場合、その撮影に最も適した設定をカメラで行う必要がある。そして、人物を特定する最適な部分は、顔であり、被写体中から顔画像を抽出できればそれに適したモード設定が可能である。特に、デジタルカメラは画像信号をデジタル化して記録するため、コンピュータによる解析が容易である。かかる発明によれば、顔画像検出手段が顔画像を検出した場合、人物撮影に最も適した人物撮影モードへ切り替わるので、操作性が向上し、撮影の失敗確率が減少する。更に、請求項１の発明によれば、顔画像検出手段が顔画像を複数検出した場合、距離測定手段により測定される複数の顔画像の大小に基づいて絞りを制御するので、比較的容易に距離を測定できる。また、請求項２の発明は、前記顔画像検出手段が顔画像を検出しなかった場合、予め設定されたモードへ切り替わることも本発明の有効な手段である。人物を撮影しない場合、前記顔画像検出手段は顔画像を検出しない。そのような時は、予め設定されたモード、つまり、被写体の撮影に最も適した撮影モードになったり、手動モードである場合もある。かかる技術手段によれば、前記顔画像検出手段が顔画像を検出しなかった場合、予め設定されたモードへ切り替わるので、その被写体の最適なモードを選択することができる。また、請求項３の発明は、前記顔画像検出手段は、該顔画像検出結果の精度を確認するためのモニタ手段を更に備え、撮影中若しくは撮影後に前記モニタ手段により検出精度を確認可能としたことも本発明の有効な手段である。顔画像を検出する精度は必ずしも１００％ではない。被写体の中には顔の特徴に酷似したものもある。そのような場合、モニタにより検出精度を確認できれば好ましい。かかる技術手段によれば、モニタ手段により検出精度を確認可能としたので、顔画像検出手段と被写体とのマッチングが事前に判明して、撮影の失敗確率をさらに少なくできる。
【０００５】
また、請求項４の発明は、前記モニタ手段は、前記顔画像検出手段が検出した画像位置にマーキングすることも本発明の有効な手段である。前記顔画像検出手段が検出する部分は顔である。モニタ上にどこを顔として判断したかを明確にわかるようにするのが好ましい。かかる技術手段によれば、前記顔画像検出手段が検出した画像位置にマーキングするので、前記顔画像検出手段の精度を判断するのが容易となる。また、請求項５の発明は、前記顔画像検出手段が検出した精度を変更可能としたことも本発明の有効な手段である。前記請求項３、４で前記顔画像検出手段の精度を確認したが、その後、それを補正する手段があればさらに好ましい。かかる技術手段によれば、前記顔画像検出手段が検出した精度を変更可能としたので、検出精度をさらに高めることができる。
【０００６】
【発明の実施の形態】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。図１は、本発明の実施形態のデジタルスチルカメラのブロック図である。この構成は、被写体の光学画像を集光するレンズ１と、レンズ１により集光された光束を集束する絞り部２と、図示しない複数のレンズを移動させて合焦したり、絞り部２を駆動するモータドライバ１１と、レンズ１と絞り部２を通過した光学画像を光電変換するＣＣＤ(Charge Coupled Device：電荷結合素子)３と、ＣＣＤ３に含まれる雑音を低減するＣＤＳ(Correlated Double Sampling)４と、ＣＣＤ３からのアナログ信号をデジタル信号に変換するＡ/Ｄ変換器５と、前記ＣＣＤ３、ＣＤＳ４、Ａ/Ｄ変換器５のタイミングを発生するタイミング発生器１３と、画像処理パラメータに従って画像処理を行うデジタル信号処理回路７と、撮像画素の記録と画像処理された画像を記憶するフレームメモリ６と、液晶（ＬＣＤ：Liquid Crystal Display）により撮像画像を表示する表示部８と、デジタル信号処理回路７で処理された画像データを圧縮あるいは源画像データに伸張する画像圧縮伸張回路９と、画像圧縮伸張回路９により圧縮された画像データを格納するメモリカード１０と、制御プログラムに基づいて所定の制御を実行するマイクロコンピュータ（以下、マイコンと記す）１４と、パラメータを格納するＥＥＰＲＯＭ(Electrically Erasable and Programmable Read Only Memory)１６と、操作者がカメラ本体を操作するためのレリーズボタン等を備えたカメラ操作部１７と、フイルム枚数やストロボの発光状態を監視するＯＳＤ(On-Screen Display)１５と、被写体を照明するストロボ１２により構成される。尚、レンズ１、絞り２、ＣＣＤ３が主として画像撮像手段を構成し、表示部８、デジタル信号処理回路７、マイコン１４が主としてモニタ手段を構成し、後述する図２に示した画像取り込み部２１、制御部２２、比較部２３、顔特徴記憶部２４が主として距離測定手段を構成する。
【０００７】
次に、図１を参照しながら、本構成のデジタルスチルカメラ１００の動作概要について説明する。操作者は図示しないファインダから被写体を覗き、カメラ操作部１７のレリーズボタンを押すと、マイコン１４はその信号を検出してモータドライバ１１に対してレンズ１と絞り２を駆動して、被写体の画像をＣＣＤ３に合焦させる。必要であればストロボ１２を発光させる。これらの一連の動作は、自動的にマイコン１４が図示しないセンサの情報に基づいて行われる。ＣＣＤ３に合焦された画像は、タイミング発生器１３から発生されるクロックにより順次取り出され、ＣＤＳ４によりデータに含まれる雑音を低減する。ここで、ＣＣＤの出力信号に含まれる雑音は、リセット雑音が支配的である。この雑音を低減するために信号期間に含まれる映像信号とリセット雑音及び、フィールドスルー期間のみに含まれるリセット雑音から両者を引き算することによりリセット雑音をキャンセルしている。そして、そのアナログ信号をＡ／Ｄ変換器５により１０ビットのデジタル信号に変換して、デジタル信号処理回路７に入力され、フレームメモリ６に一時保管される。そして、ＥＥＰＲＯＭ１６に格納されたパラメータにより、マイコン１４からの指示によりフレームメモリ６に一時保管されたデータを処理し、その処理された画像をフレームメモリ６に再び格納する。この処理の中にホワイトバランス処理が含まれる。さらに、フレームメモリ６に書き込まれたデータを表示部８の制御部に送り、ＬＣＤにその内容を表示する。
フレームメモリ６は、少なくとも撮像画素の１画面以上の画像データを蓄積することができる画像メモリであり、例えば、ＶＲＡＭ(Video Random Access Memory)、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic Random Access Memory) 、あるいはＳＤＲＡＭ（Synchronous DRAM）などの一般に用いられているメモリを用いる。
【０００８】
ここで、操作者の意思により、その画像をメモリカード１０に記録しておきたい場合、カメラ操作部１７から指示をすると、マイコン１４はそれに従って、デジタル信号処理回路７に対して画像をメモリカード１０に転送する制御を実行する。つまり、画像処理された画像をフレームメモリ６から読み出し、画像圧縮伸張回路９に送る。ここで、ＪＰＥＧ（Joint Photographic Experts Group）方式で画像を圧縮し、メモリカード１０に記憶する。この符号化アルゴリズムにはＡＤＣＴ（適応離散コサイン）を用い、最初に解像度の低い画像を符号化し、次第に解像度が高くなるような階層符号化も取り入れられる。このようにメモリカードは、フレームメモリ６に格納されたデータを圧縮し、その圧縮データを格納しておくためのものである。この他に、例えば８ＭＢ程度の内部メモリあるいはスマートメディア・コンパクトフラッシュなどに記録する構成であってもよい。
また、逆にメモリカード１０の内容を表示部８に表示する場合や、外部端子により他のＰＣと接続して画像データを転送したい場合は、所望のメモリカードをカメラ本体の図示しないコネクタに挿入して、カメラ操作部１７から指示すると、マイコン１４はデジタル信号処理回路７に指示してメモリカードの圧縮された画像データを読み出し、画像圧縮伸張回路９に入力して、圧縮のアルゴリズムに従ってデータを伸張して元に戻し、表示部８に画像を表示する。
【０００９】
図２は、本発明の実施形態の顔画像検出部の概略ブロック図である。この構成は、被写体の画像を１枚分記憶する画像メモリ２０と、そのメモリから所定の単位で他のメモリあるいはレジスタに取り込む画像取り込み部２１と、全体の制御を司る制御部２２と、複数の顔の特徴を格納する顔特徴記憶部２４と、画像取り込み部２１からのデータと顔特徴記憶部２４からのデータを比較してその結果を制御部２２に伝える比較部２３と、最終的な判断結果を外部に出力する出力部２５から構成されている。ここで、画像メモリ２０は図１のフレームメモリ６を使用しても良い。また、その他の部分は図１のマイコン１４により実現しても構わないし、あるいは専用のＬＳＩにより実現しても良い。
ここで、顔画像を検出する精度は必ずしも１００％ではない。被写体の中には顔の特徴に酷似したものもある。そのような場合、モニタにより検出精度を確認できれば、顔画像検出部と被写体とのマッチングが事前に判明して、撮影の失敗確率をさらに少なくできる。
また、顔画像検出部が検出する部分は顔である。モニタ上にどこを顔として判断したかを明確にわかるようにすれば、顔画像検出部の精度を判断するのが容易となる。また、前記で顔画像検出部の精度を確認したが、その後、それを補正する手段があればさらに好ましい。これにより、検出精度をさらに高めることができる。
【００１０】
次に、顔画像の検出の説明に入る前に、公知の顔画像の認識技術について、その概要を説明しておく。尚、本発明での顔認識は従来の個人の顔として確実に認識できるレベルである必要は無く、被写体が顔か、あるいはそれ以外の他の物体かの２者択一の認識レベルで充分である。顔画像認識における対象項目は大きく分けると次の２つとなる。
１）人物の識別：対象人物が誰であるかを識別する。
２）表情識別：人物がどのような表情をしているかを識別する。
すなわち、１）の人物識別は顔の構造認識であり静的識別といえる。また、２）の表情識別は顔の形状変化の認識であり、動的識別ともいえる。本発明の場合は、前記よりさらに単純な識別といえる。また、これらの識別の手法として、１）２次元的手法、２）３次元的手法があり、コンピュータでは主に１）２次元的手法が使用されている。これらの詳しい内容はここでは省略する。また、表情識別の手法として、ＦＡＣＳ(Facial ACtion unit System)による考え方があり、これを用いると表情構成要素の特徴点の位置を用いて表現できる。
今後は、これらの技術を用いて入室管理システム、人物像データベースシステム、認識通信システム等に適用が考えられる。
【００１１】
図３は、本発明の第１の実施形態の動作フローチャートである。図２と併せて参照しながら説明する。被写体の画像データは前記図１のＣＣＤにより光電変換され画像処理されて画像メモリ２０に記憶される。その画像データはある所定の単位（フレーム、バイト）に画像取り込み部２１に取り込まれる（Ｓ１）。次に、画像データは比較部２３に入力され、予め記憶された各種の顔特徴データを格納した顔特徴記憶部２４とのデータと比較される。この比較の方法は各種アルゴリズムに基づいて行われる。その結果は逐一制御部２２に伝えられ、顔画像が検出される（Ｓ２）。その結果顔画像が検出された場合（ＹＥＳのルート）制御部２２は結果信号を出力部２５に出力し、人物撮影モードに設定を切替え（Ｓ３）、レリーズボタンを押す（Ｓ５）。ステップＳ２で顔画像が検出されなかった場合（ＮＯのルート）、制御部２２は結果信号を出力部２５に出力し、予め設定されたモードに設定を切替え（Ｓ４）、レリーズボタンを押す（Ｓ５）。
以上のように、カメラで最も多い被写体は圧倒的に人物である。従って、人物を撮影する場合、その撮影に最も適した設定をカメラで行う必要がある。そして、人物を特定する最適な部分は、顔であり、被写体中から顔画像を抽出できればそれに適したモード設定が可能である。特に、デジタルカメラは画像信号をデジタル化して記録するため、コンピュータによる解析が容易である。これにより、操作性が向上し、撮影の失敗確率が減少する。
また、人物を撮影しない場合、前記顔画像検出手段は顔画像を検出しない。そのような時は、予め設定されたモード、つまりそのモードが被写体の撮影に最も適した撮影モードであったり、手動モードである場合もある。これにより、その被写体の最適なモードを選択することができる。
【００１２】
図４は、本発明の第２の実施形態の動作フローチャートである。図２と併せて参照しながら説明する。被写体の画像データは前記図１のＣＣＤにより光電変換され画像処理されて画像メモリ２０に記憶される。その画像データはある所定の単位（フレーム、バイト）に画像取り込み部２１に取り込まれる（Ｓ１０）。次に、画像データは比較部２３に入力され、予め記憶された各種の顔特徴データを格納した顔特徴記憶部２４とのデータと比較される。この比較の方法は各種アルゴリズムに基づいて行われる。その結果は逐一制御部２２に伝えられ、顔画像が検出される（Ｓ１１）。その結果顔画像が検出された場合（ＹＥＳのルート）制御部２２は次に検出された顔画像が複数単数かを判断する（Ｓ１２）。単数であれば（ＮＯのルート）結果信号を出力部２５に出力し、人物撮影モードに設定を切替え（Ｓ１４）、レリーズボタンを押す（Ｓ１６）。ステップＳ１１で顔画像が検出されなかった場合（ＮＯのルート）、制御部２２は結果信号を出力部２５に出力し、予め設定されたモードに設定を切替え（Ｓ１３）、レリーズボタンを押す（Ｓ１６）。ステップＳ１２で複数の場合（ＹＥＳのルート）結果信号を出力部２５に出力し、制御部２２は全員の顔が被写界深度に入るように絞りを制御して（Ｓ１５）、レリーズボタンを押す（Ｓ１６）。
被写体の顔画像は１つとは限らず、複数の場合、カメラのレンズがもつ焦点深度は有限であり、複数の被写体の場合、カメラからの距離は一定ではない。そこで、最も近い顔画像と最も遠い顔画像の距離をセンサ等で測り、それに基づいて絞りを制御するのが好ましい。これにより、複数の顔画像の前後の距離に基づいて絞りを制御するので、焦点がぼけることを防ぐことができる。
また、顔の大きさと距離は必ずしも相関は無いが、一般には顔画像が大きい場合は近く、小さい場合は遠いといえるので、比較的容易に距離を測定できる。
請求項１における発明によれば、図３に示すように、画像に人物の顔が認識された際、自動的にポートレートモードに移行して撮影を行う。これにより、モード変更設定の忘れを防ぐことができる。
また、前記の方法はそれぞれ一長一短があり、顔画像の距離を実際に測定すれば精度は増すが、コスト高になる。また、顔画像の大きさで距離を判断すれば、精度は落ちるが、コストは安く済む。これにより、両手段のいずれか一方を選択可能としたので、機能バリエーションが広くなる。
【００１３】
【発明の効果】
以上記載のごとく本発明によれば、請求項１は、顔画像検出手段が顔画像を検出した場合、人物撮影に最も適した人物撮影モードへ切り替わるので、操作性が向上し、撮影の失敗確率が減少する。更に、請求項１は、顔画像検出手段が顔画像を複数検出した場合、距離測定手段により測定される複数の顔画像の大小に基づいて絞りを制御するので、比較的容易に距離を測定できる。請求項２は、前記顔画像検出手段が顔画像を検出しなかった場合、予め設定されたモードへ切り替わるので、その被写体の最適なモードを選択することができる。請求項３は、モニタ手段により検出精度を確認可能としたので、顔画像検出手段と被写体とのマッチングが事前に判明して、撮影の失敗確率をさらに少なくできる。請求項４は、前記顔画像検出手段が検出した画像位置にマーキングするので、前記顔画像検出手段の精度を判断するのが容易となる。請求項５は、前記顔画像検出手段が検出した精度を変更可能としたので、検出精度をさらに高めることができる。
【図面の簡単な説明】
【図１】本発明の実施形態のデジタルスチルカメラのブロック図である。
【図２】本発明の実施形態の顔画像検出部の概略ブロック図である。
【図３】本発明の第１の実施形態の動作フローチャートである。
【図４】本発明の第２の実施形態の動作フローチャートである。
【符号の説明】
２０画像メモリ、２１画像取り込み部、２２制御部、２３比較部、２４顔特徴記憶部、２５出力部

Claims

光学系を介して得られた光信号を画像信号に変換して出力する画像撮像手段を有するデジタルカメラ撮像装置において、
前記画像信号の中から顔画像を検出する顔画像検出手段を更に備え、
該顔画像検出手段が顔画像を検出した場合、人物撮影に最も適した人物撮影モードへ切り替わり、
更に前記顔画像検出手段が顔画像を複数検出した場合、複数の顔画像の大小から距離を測定する距離測定手段を備え、該距離測定手段に基づいて絞りを制御することを特徴とするデジタルカメラ撮像装置。
前記顔画像検出手段が顔画像を検出しなかった場合、予め設定されたモードへ切り替わることを特徴とする請求項１記載のデジタルカメラ撮像装置。
前記顔画像検出手段は、該顔画像検出結果の精度を確認するためのモニタ手段を更に備え、撮影中若しくは撮影後に前記モニタ手段により検出精度を確認可能としたことを特徴とする請求項１、２記載のデジタルカメラ撮像装置。
前記モニタ手段は、前記顔画像検出手段が検出した画像位置にマーキングすることを特徴とする請求項１〜３記載のデジタルカメラ撮像装置。
前記顔画像検出手段が検出した精度を変更可能としたことを特徴とする請求項１〜４記載のデジタルカメラ撮像装置。