JP4829186B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関し、詳しくは、被写体像の変化時に撮影を行う撮像装置に関する。

撮影者が自ら被写体として撮影するセルフ撮影の場合には、カメラ操作者が遠隔からカメラをリモコン装置によってコントロールし、撮影することが、しばしば利用されている（例えば、特許文献１参照）。しかしながら、リモコン装置は、一般に小さく紛失し易いという問題と、カメラとセットで常に携帯しなければならないという煩わしさがある。

そこで、特許文献２には、リモコン装置を携帯しなくても、遠隔レリーズを可能としたデジタルカメラが開示されている。この特許文献２に開示されているデジタルカメラは、顔画像を検出可能とし、顔画像を検出すると、シャッタレリーズを行うように構成されている。

特許第２７９０２６８号公報 特開２００３−９２７００号公報

特許文献２に開示のデジタルカメラによれば、リモコン装置を携帯しなければならないという煩わしさから開放されるが、顔画像を検出した時点で、カメラのレリーズ動作に移行してしまうので、カメラ操作者（＝被写体）が意図するシャッタタイミングに合致しない場合がある。

すなわち、第１の問題として、一人でセルフ撮影を行うときに、カメラ操作者が画面中心にいなくても、レリーズ動作に移行してしまう。この不都合を解消するために、カメラ操作者が画面中心にいる場合のみ、レリーズ動作に移行するように構成することも考えられる。しかし、このように構成したとしても、カメラ操作者が画面中心位置に入るように、自らその位置を調整する必要があり、非常に煩わしいものとなってしまう。また、第２の問題として、複数人にてセルフ撮影を行う場合には、既に画面内に顔画像が存在しているため、遠隔レリーズとしては機能しないことになってしまう。

本発明は、このような事情を鑑みてなされたものであり、一人でのセルフ撮影であっても、複数人でのセルフ撮影であっても、カメラ操作者の意図通りのシャッタタイミングでレリーズ動作に移行しうる遠隔レリーズ機能を備えた撮像装置を提供することを目的とする。

上記目的を達成するため第１の発明に係わる撮像装置は、被写体像を撮像するための撮像手段と、この撮像手段の出力を記録するための画像記録手段と、を具備する撮像装置において、上記撮像手段の出力から、人物の顔に相当する画像を検出するための顔画像検出手段と、この顔画像検出手段によって検出された顔画像の変化を検出するための顔画像変化検出手段と、上記顔画像検出手段によって顔画像が検出され、さらにその顔画像が変化をしたことが上記顔画像変化検出手段によって検出された場合、上記画像記録手段を作動させる制御手段と、を有し、上記顔画像変化検出手段は、上記顔画像検出手段の検出する顔画像より目を抽出し、顔画像の両目の瞳を結ぶ線より上側の白目の面積と下側の白目の面積を測定し、該上下の白目の面積の差を和で正規化した第１の笑顔度を求め、上記顔画像検出手段の検出する顔画像より唇を抽出し、顔画像の口の両端を結ぶ線より上側の唇の面積と下側の唇の面積を測定し、該上下の唇の面積の差を和で正規化した第２の笑顔度を求め、上記第１の笑顔度と第２の笑顔度を加算した第３の笑顔度が所定値以上か否かを判定して変化を検出する。

第２の発明に係わる撮像装置は、上記第１の発明において、上記顔画像変化検出手段は、上記顔画像検出手段により検出される顔画像に基づき、口に歯が見えるか否かを判定し、歯が見えた場合は上記第３の笑顔度に所定値を加算する。
また、第３の発明に係わる撮像装置は、上記第１の発明において、上記顔画像変化検出手段は、上記顔画像検出手段により検出される顔画像に基づき、口端部に影があるか否かを判定し、影があると判定された場合は上記第３の笑顔度に所定値を加算する。
さらに、第４の発明に係わる撮像装置は、上記第１の発明において、上記顔画像変化検出手段は、上記顔画像検出手段により検出される顔画像に基づき、両目の間に皺があるか否かを判定し、皺があると判定した場合は上記第３の笑顔度より所定値を減算する。

本発明によれば、一人でのセルフ撮影であっても、複数人でのセルフ撮影であっても、カメラ操作者の意図通りのシャッタタイミングでレリーズ動作に移行しうる遠隔レリーズ機能を備えた撮像装置を提供することができる。

以下、図面に従って本発明の撮像装置を適用したデジタルカメラを用いて好ましい実施形態について説明する。本実施形態に係わるデジタルカメラは、被写体像を撮像素子によって画像データに変換し、レリーズ操作されると画像データは記録媒体に記録される。また、画像データから顔の画像を検出することができると共に、顔の画像が笑顔に変化したことも検出することができる。また、セルフタイマーモードと共に、笑顔検出レリーズモードを選択することができ、このモードが選択されていると、笑顔に変化したことを検出した際に、画像データを取り込み、記録媒体にこのときの画像データが記録される。このときの撮影は複数回連続して行われ、また、フラッシュ装置によってフラッシュ照射がなされる。

図１は、本発明の一実施形態に係わるデジタルカメラとその周辺のブロック図である。カメラ１００には、撮影レンズ２、ＡＦ（オートフォーカス）制御部２ａ、絞り２ｂ、絞り制御部２ｃ、撮像素子３、アナログフロントエンド（以下、ＡＦＥと略す）部４が設けられている。撮影レンズ２は、内部にフォーカスレンズを有し、入射した被写体１５の像を撮像素子３上に結像させる。

ＡＦ制御部２ａは、撮影レンズ２の合焦位置を、後述する画像処理部５内において画像処理を行い、いわゆる山登り法により検出し、フォーカスレンズを駆動して、合焦位置に移動させる。なお、山登り法は、撮影画像のコントラスト信号ピークから合焦位置（ピント位置）を検出する方式であるが、山登り法以外にも、例えば位相差法や三角測距法等公知の合焦方法に置き換えてもよい。ＡＦによって合焦位置に達すると、このときの撮影レンズ２を検出することにより、距離判定を行うことができる。この場合、撮影レンズ２がズームレンズのときには、ズーム位置等を加味して距離の判定を行う。

撮影レンズ２内または近傍に、シャッタや絞りの効果を奏する絞り２ｂが設けられる。絞り２ｂは、撮影時に所定の口径まで開き、露出が終了すると閉じて露光を終了させるものである。絞り制御部２ｃは、絞り２ｂを駆動して絞り径を設定する。撮像素子３は、多数の受光面（画素）からなるＣＣＤやＣＭＯＳセンサ等であり、撮影レンズ２を介して被写体１５からの像を受光しこれを画像信号に変換する。

アナログフロントエンド（ＡＦＥ）部４は、アナログデジタル（ＡＤ）変換手段を含み、撮像素子３からの信号をデジタル信号化する。そして、ＡＦＥ部４は、撮像素子３から出力される画像信号について各種処理を行う。また、ＡＦＥ部４には、撮像素子３のいくつかの画素をまとめて、一括して読み出す機能も設けられている。たとえば、４画素（２×２）や９画素（３×３）など、各画素の信号レベルが小さいときには、いくつかの画素信号を加算して、Ｓ／Ｎを向上させることができ、また、感度を上げることも出来る。

また、ＡＦＥ部４は、撮像素子３の出力する信号を取捨選択する機能を有し、受光範囲の中から限られた範囲の画像データを抽出することが出来る。一般に撮像素子３の画素から間引いた画素信号を抽出する場合には、高速読出が可能となる。これにより構図確認用の画像信号を、画像処理部５によって高速処理し、表示制御部８ａを介して表示部８に表示することにより、フレーミングが可能となる。

ＡＦＥ部４の出力は、画像処理部５に接続されている。画像処理部５は、入力信号の色や階調やシャープネスを補正処理する。また、撮像素子３から得られた画像信号を所定のレベルに増幅して、正しい濃淡、正しい灰色レベルに設定する増感部を有している。これは、デジタル化された信号レベルが、所定レベルになるようにデジタル演算するものである。

また、画像処理部５は、ライブビュー画像（スルー画像とも言う）をリアルタイムに表示部に表示できるように、撮像素子３からの信号を表示部８に表示できるサイズに加工するリサイズ部を有する。この働きによって、撮影に先立って撮像素子に入射する像を表示部８でファインダ代わりに確認でき、これを見ながら撮影時のタイミングやシャッタチャンスを決定することが出来る。

また、この画像処理部５の信号を利用して、撮像素子３から入力されてくる画像の特徴などを判定する画像判定機能を有している。画像情報を加工して得られる輪郭情報から、撮像しているものの形状を検出する形状判定部５ａ、また、画像の特徴を調べて、主要被写体の位置を検出する顔検出手段５ｄなどが、このシステムには含まれている。これは、写真撮影時に、ユーザーがどのような写真を撮ろうとしているかを判定して、撮影制御を最適化するためのものであり、これによって、いろいろな操作をしなくとも迅速な撮影に移行することが可能となる。

また、画像処理部５には、撮像素子３によって得られた顔画像から、顔の表情を判定する表情判定部５ｃが接続されている。表情判定部５ｃによって、被写体の感情や、撮影シーンの雰囲気などを類推することができる。画像処理部５は、前述した画像のコントラストを判定する機能を有し、撮影レンズのピント合わせ手段との連動で、オートフォーカスの制御を行う。撮影レンズ２のピント合わせ時のレンズ位置の情報によって、被写体の距離や、背景の距離などが判定できる。

カメラ１００には、圧縮部６、記録部９ａ、記録メディア９、データ送受信部９ｃ、表示部８、表示制御部８ａが設けられている。圧縮部６は、撮影時に画像処理部５から出力された信号を圧縮する。圧縮部６内には、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）４やＨ．２６４などの圧縮用コア部で構成される動画用の圧縮部及び ＪＰＥＧ（Ｊｏｉｎｔ
Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）コア部など静止画像用の圧縮部が設けられる。また、圧縮部６は記録メディア９に記録されている画像を表示部８に再生する際には、画像伸張も行なう。

記録部９ａは、圧縮された画像信号を記録メディア９に記録する。記録メディア９はカメラに着脱可能な保存用の記録媒体である。なお、画像信号の記録にあたっては、前述の圧縮された画像データのほか、撮影時間等の付随データも併せて記録される。撮影時間情報は、後述するＭＰＵ１内の時計部１ｔによって計測されており、ＭＰＵ１は画像と関連付を行なう。

記録メディア９に記録された撮影画像データは、ＲＦＩＤのようなＩＣカードやワイヤレスＬＡＮなどの無線データ技術等の技術を利用したデータ送受信部９ｃによって、インターネット等を経由して外部に送信することができる。表示部８は、例えば液晶や有機ＥＬ等から構成され、この表示部８の裏面には白色ＬＥＤなどのバックライトが配置されている。バックライトからの光を表示部８に照射することにより、表示部８の視認性を向上することができる。

カメラ１００には、補助光発光部１１、ＭＰＵ（Micro Processing Unit）１、レリーズスイッチ１ａ、モード切替スイッチ１ｂ、他のスイッチ１ｃが設けられている。ＭＰＵ１は、カメラ全体の制御を司る制御手段である。レリーズスイッチ１ａ、モード切替スイッチ１ｂ、他のスイッチ１ｃおよびプログラム等を記憶したＲＯＭ(不図示)が、ＭＰＵ１に接続される。

ＭＰＵ１内には、前述したように、日や時刻を検出するための時計部１ｔが設けられており、写真の撮影日時を検出し、撮影画像と関連付けを行う。なお、スイッチ１ａ、１ｂ、１ｃは、スイッチを総称的に表示したものであって、実際には、図２に示すような多数の操作部材に連動する多数のスイッチ群から構成されている。

各スイッチ１ａ〜１ｃは、ユーザーの操作を検出して、その結果をマイクロコントローラからなる演算制御手段であるＭＰＵ１に通知する。ＭＰＵ１が、これらのスイッチの操作に従って動作を切り換える。これらのスイッチの操作に従って、撮影準備動作や撮影動作を行い、また、セルフタイマーの設定モードや、笑顔を検出した際にレリーズする笑顔レリーズモードの設定を行うことができる。

補助光発光部１１は、白色ＬＥＤやＸｅ放電発光管を有し、電流量で光量が制御できるようになっている。状況に応じて被写体１５に光を照射して、明るさの不足や不均一な明るさを防止する。

図２は、本実施形態に係わるデジタルカメラの外観背面図である。このカメラの背面には、ＴＦＴカラー液晶モニタ（以下、ＴＦＴと称す）２０が配置されており、これは表示部８の一部である。カメラの上部には、スイッチ１ａと連動するレリーズ釦２１が配置されている。カメラの背面であって、右上側には撮影レンズ２の焦点距離を変化させるズーム釦２２が配置され、その下側には、回転式のモード設定ダイヤル２３が配置されている。

このモード設定ダイヤル２３は、静止画撮影モード、再生モード、手振れ軽減撮影モード、動画撮影モードなどを選択して設定することができる。モード設定ダイヤル２３の下方側には、十字タイプの十字キースイッチ２４が配置されている。この十字キースイッチ２４の各キー部を操作することにより、露出補正の設定、フラッシュの設定、セルフ撮影モードの設定、マクロ撮影モードの設定を行うことができる。また、メニュー設定画面表示時には、キースイッチの操作により、カーソルを移動させることができ、またメニュー階層の切り替えを行うことができる。

十字キースイッチ２４の上端部側の三角マークと対向する位置に設けられた指標２５は、露出補正設定ポジションを示し、この位置に対向する十字キースイッチ２４を操作することにより、露出補正モードとなる。また、十字キースイッチ２４の右端部側の三角マークと対向する位置に設けられた指標２６は、フラッシュ設定ポジションを示し、この位置に対向する十字キースイッチ２４を操作することにより、フラッシュ発光モードに変更される。

十字キースイッチ２４の下端部側の三角マークと対向する位置に設けられた指標２７は、セルフ撮影モード設定ポジションを示し、この位置に対向する十字キースイッチ２４を操作することにより、セルフ撮影モードモードとなる。十字キースイッチ２４の左端部側の三角マークと対向する位置に設けられた指標２８は、マクロ撮影モード設定ポジションを示し、この位置に対向する十字キースイッチ２４を操作することにより、マクロ撮影モードに変更される。

十字キースイッチ２４の左上側には、メニュー釦２９が配置されている。このメニュー釦２９を操作すると、ＴＦＴ２０にメニュー設定画面が表示される。また、十字キースイッチ２４の中央部には、ＯＫ釦３０が配置されている。このＯＫ釦３０は、メニュー設定画面表示時に、メニュー項目を決定する場合の確定キーや、ファンクション設定モードに遷移するための遷移キーとして使用される。

次に、前述したセルフタイマー撮影モードの設定画面について図３を用いて説明する。この設定画面は、本実施形態において、詳述する笑顔検出レリーズを選択するための画面であり、十字キースイッチ２４の下側を操作すると、図３に示すように、３つの項目に遷移可能な撮影モードが表示される。

まず、「セルタイマー／笑顔検出レリーズオフ」を選択すると、セルフタイマー撮影モードと、笑顔検出レリーズモードの両方をオフにする。「セルフタイマーオン」を選択すると、セルフタイマー撮影モードをオンにする。「笑顔検出レリーズオン」を選択すると、笑顔検出レリーズモードをオンにする。なお、図３では、「セルタイマー／笑顔検出レリーズオフ」がカーソル位置であり、これがデフォルト値になっている。

次に、笑顔検出レリーズモードが選択されている状態におけるＴＦＴ２０での被写体像のライブビュー表示を、図４に示す。ＴＦＴ２０の表示画面の左上には、バッテリー残量表示４０、左下側には、笑顔検出モードであることを示すアイコン４１、中央下側には撮影画質４２、右下側には撮影可能枚数４３が表示されている。

図４（Ａ）は笑顔になる前の被写体像であり、（Ｂ）は笑顔の被写体像である。カメラは、被写体１５が笑顔になったことを検出すると、すなわち、図４（Ａ）から図４（Ｂ）に変化したことを検出すると、自動的にレリーズ動作を行い、被写体画像データを取得して記録する。なお、本実施形態においては、このモードでレリーズ動作を行う場合には、３駒連写を行うと共に、補助光発光部１１からフラッシュ照射を行っている。

本実施形態においては、被写体１５の表情の変化の検出にあたって、表情変化を数値Ｒに数値化している。図５は人の表情を表す図であり、（Ａ）は笑顔の状態であり、（Ｂ）は困ったときの状態を比較したものである。両者を比較すると、眼と口元に特徴があることが分かる。

すなわち、眼を比較すると、両目の瞳の中心を結んだ線６１の上側に白目が多いと、笑顔に近いことが分かる。また、口元も、同様な考え方で判定できる。つまり、口の両端を結んだ線６２より、下側にある唇部の面積が広いと、笑顔の度合いも大きくなる。

図５で示した判定方法を利用して笑顔度Ｒを求める方法について、図９に示すフローチャートに基づいて説明する。なお、このフローに入る前に、撮像素子３の出力に基づいて、顔検出部５ｄによって顔を検出し、その検出された顔の中から眼と、口の部分をパターン認識により抽出して、口部と眼部を検出するが、これについては、図８を用いて後述する。

このフローに入ると、ステップＳ６１からＳ６３において、眼の白目の面積から笑顔度を検出する。まず、両目の瞳を結ぶ線６１より上側の白目の面積を測定し、この値をＥＡとする（Ｓ６１）。同様に、線６１より下側の白目の面積を測定し、この値をＥＢとする（Ｓ６２）。次に、こうして得たＥＡ、ＥＢの差を、これらの和で正規化して、すなわち、（ＥＡ−ＥＢ）／（ＥＡ＋ＥＢ）を求め、数値ＲＥを得る（Ｓ６３）。数値ＲＥは大きいほうが、笑顔度が高いと判定される。

次に、ステップＳ６４からＳ６６において、唇の面積から笑顔度を検出する。まず、口の両端を結ぶ線６２より上側の唇の面積を測定し、この値をＬＡとする（Ｓ６４）。同様に、線６２より下側の唇の面積を測定し、この値をＬＢとする（Ｓ６５）。こうして得たＬＡ、ＬＢの差を、これらの和で正規化して、すなわち、（ＬＢ−ＬＡ）／（ＬＡ＋ＬＢ）を求め、数値ＲＬを得る（Ｓ６６）。数値ＲＬは大きいほうが、笑顔度が高いと判定される。

続いて、ステップＳ６３とＳ６６で得た値ＲＥとＲＬを加算して笑顔度Ｒを求める（Ｓ６７）。値Ｒが大きいほど笑顔に近いことになる。さらに、笑顔度の判定の精度を高めるために、図５（Ａ）の矢印６４付近の状態を判定する。すなわち、口に歯が見えているか否かを判定し（Ｓ６８）、見えていれば笑顔の確率が高いので、笑顔度Ｒに０．７を加算する（Ｓ６９）。また、口端部に影が有るか否かの判定を行い（Ｓ７０）、影があれば、笑顔の確率が高いので、笑顔度Ｒに０．３を加算する（Ｓ７１）。

ただし、眉間にしわがあると笑顔とは言えないので、これを判定する。すなわち、図５（Ｂ）の矢印６５付近において眼の間の皺があるか否かの判定を行なう（Ｓ７２）。判定の結果、眉間の間に皺を検出した場合は、笑顔度Ｒから１点、減点する（Ｓ７３）。このように笑顔に近いほど高得点になる数値化（Ｒ）が可能となる。

なお、本実施形態においては、両目の瞳の中心を結んだ線より上側に白目が多いか否かで笑顔度を求めたが、これに限らず、上瞼の傾き等によって求めるようにしてもよい。すなわち、図６において、瞼の幅ＥＨに対し、瞼の一番高いところの位置ＥＴを求め、これの比、ＥＴ／ＥＨによっても笑顔度を求めることができる。ＥＴ／ＥＨが大きくなると笑顔に近くなり、また、この比が小さくなり、上瞼の傾きが大きくなると笑顔から遠ざかる傾向にある。

次に、本実施形態に係わるデジタルカメラ１００の動作について図６乃至図１０に示すフローチャートを用いて説明する。カメラ１００の電源がオンされると、カメラ１００のＭＰＵ１が図６に示すプログラムの処理を開始する。まず、カメラのモードダイヤル２３が、撮影モードに設定されているか、再生モードに設定されているについて判定する（Ｓ２）。

判定の結果、再生モードに設定されていた場合には、再生処理ルーチン（不図示）にジャンプする（Ｓ３）。一方、撮影モードに設定されていた場合には、鏡枠イニシャル動作、すなわち、撮影レンズ２の鏡枠を所定の初期位置に繰り出した後に、ピント調節用のレンズを初期位置に繰り出し動作を行う（Ｓ４）。

続いて、ＴＦＴ２０の表示をオンし（Ｓ５）、撮像系の動作を開始する（Ｓ６）。これによって撮像素子３によって取得された被写体像の画像データに基づいてＴＦＴ２０にライブビュー表示される。次に、操作入力が発生したか否かの判定を行う（Ｓ７）。これは、ズーム釦２２、モード設定ダイヤル２３等に連動するスイッチが操作されたか否かを判定するものである。

判定の結果、操作入力がない場合には、続いて、操作入力がない状態で所定時間経過したか否かの判定を行う（Ｓ８）。判定の結果、所定時間経過していない場合には、ステップＳ７に戻り、この判定を繰り返し、一方、所定時間が経過した場合には、省エネルギーモードであるスリープモードに移行する（Ｓ９）。

ステップＳ７において、操作入力があった場合には、その操作入力が十字キー下か否かの判定を行う（Ｓ１０）。これは、セルフ撮影設定ポジションを示す指標２７側の十字キースイッチ２４を操作したか否かを判定するものであって、判定の結果、それ以外の操作入力であった場合には、不図示の他の操作入力処理に移行する（Ｓ１１）。一方、判定の結果、Ｙｅｓであった場合には、図３に示したセルフメニュー表示をＴＦＴ２０上に表示する。カーソル位置の初期状態は、前述したように「セルフタイマー／笑顔検出レリーズオフ」である。

続いて、セルフメニュー表示の中でどのモードが選択されたかを判断するために、キー判断のサブルーチンをコールする（Ｓ１３）。このサブルーチンの詳細については、図７を用いて後述する。キー判断のサブルーチンの中で、ＯＫ釦３０の操作によりモードが確定した場合には、ステップＳ１４の判断に移行する。

ステップＳ１４においては、笑顔検出レリーズモードが選択されたか否かを判定する。判定の結果、笑顔検出レリーズモードではない場合には、他のモード処理に移行する（Ｓ１５）。一方、笑顔検出レリーズモードであった場合には、顔検出のサブルーチンをコールする（Ｓ１６）。この顔検出のサブルーチンの詳細については、図８を用いて後述する。

次に、顔検出のサブルーチンの中で、レリーズ移行ＯＫの判断がなされたか否かを判定する（Ｓ１７）。顔検出の中でコールする笑顔検出のサブルーチンにおいて、笑顔度Ｒを求めてから、ステップＳ１７にリターンしている（Ｓ４８、Ｓ５０）。ステップＳ１７における判定では、笑顔度ＲがステップＳ４７においてＯＫの判断がなされていなかった場合には、ステップＳ９と同様にスリープモードに移行する（Ｓ１９）。

一方、笑顔度ＲがステップＳ４７においてレリーズＯＫの判断がなされるレベルであった場合には、撮影シーケンスに移り、ホワイトバランス調整、ピント調整、露出が行われ、撮像素子３によって取得された画像データが記録メディア９に記録される（Ｓ１８）。この撮影シーケンスの詳細については、図１０を用いて後述する。

このように、デジタルカメラ１００の全体制御は行われるが、次に、ステップＳ１３におけるキー判断のサブルーチンについて、図７を用いて説明する。キー判断のサブルーチンがスタートすると、まず、ＯＫ釦３０が操作されたか否かの判定を行う（Ｓ３１）。ＯＫ釦３０が操作されていれば、元のルーチンにリターンする（Ｓ３２）。すなわち、ＯＫ釦３０が操作されることによりセルフメニューの中で、何れのモードが選択され確定するからである。

ステップＳ３１における判定の結果、ＯＫ釦３０が操作されていなかった場合には、次に、十字キースイッチ２４が操作されたかを判定する（Ｓ３３）。判定の結果、操作されていなかった場合には、ステップＳ３５にジャンプし、一方、操作されていた場合には、十字キースイッチ２４が操作された方向に、メニュー上のカーソルを上下方向に移動させる（Ｓ３４）。

続いて、メニュー釦２９が操作されたか否かの判定を行う（Ｓ３５）。判定の結果、操作された場合には、カーソル移動をキャンセルして撮影待機状態となる（Ｓ３６）。一方、操作されていなかった場合には、操作入力がないまま所定時間経過したか否かを判定する（Ｓ３７）。判定の結果、所定時間が経過していない場合には、ステップＳ３１に戻り、一方、所定時間が経過した場合には、スリープモードに移行する（Ｓ３８）。

次に、ステップＳ１６（図６参照）における顔検出のサブルーチンについて、図８を用いて説明する。このサブルーチンがスタートすると、まず、撮像素子３によって撮像された画像から、顔を構成するパーツである、目、鼻、口を検出する（Ｓ４１〜Ｓ４３）。続いて、データ照合を行う（Ｓ４４）。

このデータ照合は、ＭＰＵ１に記憶された顔データベースと照合し、相関度合いを計算し、相関度が高い場合には、撮像された画像に顔が含まれるとし、相関度が低い場合には、撮像された画像に顔が含まれていないとする。なお、顔データベースは、一般的な目、鼻、口の形状および互いの位置関係をデータベースとして記憶したものである。

続いて、ステップＳ４４におけるデータ照合に基づいて、顔を検出したか否かの判定を行う（Ｓ４５）。判定の結果、顔を検出しなかった場合には、ステップＳ４９にジャンプする。一方、顔を検出した場合には、笑顔検出のサブルーチンをコールする（Ｓ４６）。この笑顔検出のサブルーチンについては、図９を用いて前述したとおりであり、このサブルーチンの中で笑顔を数値化した数値Ｒを求めている。

ステップＳ４６の笑顔検出のサブルーチンが終わると、続いて、数値Ｒが所定値以上か否かの判定を行う（Ｓ４７）。判定の結果、所定値以上の場合には、元のルーチンにリターンする（Ｓ４８）。一方、判定の結果、数値Ｒが所定値未満の場合には、所定時間が経過したか否かを判定する（Ｓ４９）。判定の結果、所定時間が経過していない場合には、ステップＳ４１に戻り、一方、所定時間が経過した場合には、元のルーチンにリターンする（Ｓ５０）。

次に、ステップＳ１８（図６参照）における撮影シーケンスのサブルーチンについて、図１０を用いて説明する。このサブルーチンがスタートすると、笑顔検出レリーズモードで撮影に移行してきたか否かの判定を行う（Ｓ８１）。判定の結果、笑顔検出レリーズ以外のモードで撮影に移行してきた場合には、その他の撮影モード（不図示）に移行する（Ｓ８２）。

一方、判定の結果、笑顔検出レリーズモードで移行してきた場合には、フラッシュモードを強制発光モードに設定する（Ｓ８３）。これによって、露光時には、必ずフラッシュが発光されるため、被撮影者は撮影されたか否かを容易に判断することができ、撮影にあたって笑顔が検出されたか否か疑心暗鬼になることがない。

次に、撮像素子３の出力に基づいて被写体輝度の測光を行う（Ｓ８４）。これに基づいて、絞り２ｂの制御のための露出制御値を決定することができる。続いて、被写体のピント合わせを行う（Ｓ８５）。ここでは、前述したように画像処理部５によって検出されたコントラスト信号に基づいてＡＦ制御部２ａが撮影レンズ２のピント合わせを行う。

この後、フラッシュを同調させながら３駒の撮影を行う（Ｓ８６〜Ｓ８８）。本実施形態においては、３駒撮影を行っているので、笑顔の変化過程を含めて記録することができ、確実に笑顔を記録することが可能となる。露光が終わると、続いて、撮影した３駒の画像データを記録メディア９に記録する（Ｓ８９）。記録が終わると、撮影待機状態となる（Ｓ９０）。

このように、本実施形態によれば、笑顔を検出して、レリーズ動作に移行するように構成したので、一人のセルフ撮影であっても、複数人のセルフ撮影であっても、カメラ操作者の意図通りのシャッタタイミングでレリーズ動作に移行することができる遠隔レリーズ機能を備えた撮像装置を提供することができる。

また、赤ん坊のように意図的に笑顔を作れない場合でも、労せずして笑顔をきろくすることが可能となる。さらに、笑顔を検出し、レリーズ動作に移行後は、フラッシュが同調した撮影を行うため、被撮影者は撮影されたか否かを容易に判断することができ、今の笑顔が検出されたか否か疑心暗鬼になることがない。さらに、レリーズ動作移行後に３駒の撮影を行うため、笑顔の変化過程を含めて記録することができ、確実に笑顔を記録することができる。

なお、本実施形態においては、被写体像の変化として、笑顔を検出して、レリーズを行い画像データの記録を行っていたが、笑顔以外にも、顔の表情の変化や顔や手等の体の一部の動きを検出して撮影を開始するようにしても良い。また、笑顔検出レリーズモードにおける撮影時にフラッシュを同調させて撮影を被撮影者に告知するようにしているが、この手段としては、フラッシュ以外にもＬＥＤ等の視覚表示や、音声等の聴覚表示でもよいことはもちろんである。さらに、本実施形態においては、笑顔を検出すると、３駒の連写を行っているが、この駒数は、適宜、変更しても良いことは勿論である。さらに、この連写駒数は固定された駒数に限らず、例えば、連写中も笑顔検出を継続し、笑顔を検出している間は連写を続け、笑顔を検出しなくなったら連写を終了するようにしても良い。

本発明の説明にあたって、撮像装置として、デジタルカメラに適用した例で説明したが、デジタルカメラとしてはコンパクトカメラや一眼レフレックスカメラ等の種々のデジタルカメラに適用することができる。また、通常のデジタルカメラ以外にも、携帯電話やＰＤＡ等の内蔵カメラ等、種々の撮像装置にも適用することができる。

本発明の一実施形態に係わるカメラとその周辺のブロック図である。 本発明の一実施形態に係わるカメラの外観背面図である。 本発明の一実施形態に係わるカメラにおいて、セルフメニューの表示画面を示す図である。 本発明の一実施形態に係るカメラにおいて、笑顔検出レリーズモードが選択されている状態におけるＴＦＴ２０での被写体像のライブビュー表示を示す図であり、（Ａ）は通常の被写体像を示し、（Ｂ）は笑顔の被写体像を示す。 本発明の一実施形態において、被写体の笑顔と困った顔を比較する図であり、（Ａ）は笑顔を示し、（Ｂ）は困った顔を示す。 本発明の一実施形態に係るカメラにおける電源オンの動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおけるキー判断の動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおける顔検出の動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおける笑顔検出の動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおける撮影シーケンスの動作を示すフローチャートである。

符号の説明

１・・・ＭＰＵ、１ａ・・・レリーズスイッチ、１ｂ・・・モード切替スイッチ、１ｃ・・・他のスイッチ、１ｔ・・・時計部、２・・・撮影レンズ、２ａ・・・ＡＦ(オートフォーカス)制御部、２ｂ・・・絞り、２ｃ・・・絞り制御部、３・・・撮像素子、４・・・アナログフロントエンド（ＡＦＥ）部、５・・・画像処理部、５ａ・・・形状判定部、５ｃ・・・表情判定部、５ｄ・・・顔検出部、６・・・圧縮部、８・・・表示パネル、８ａ・・・表示制御部、９・・・記録メディア、９ａ・・・記録部、９ｃ・・・データ送受信部、１１・・・補助光発光部、１５・・・被写体、２０・・・ＴＦＴカラー液晶モニタ、２１・・・レリーズ釦、２２・・・ズーム釦、２３・・・モード設定ダイヤル、２４・・・十字キースイッチ、２５・・・指標（露出補正設定ポジション）、２６・・・指標（フラッシュ設定ポジション）、２７・・・指標（セルフ撮影設定ポジション）、２８・・・指標（マクロ撮影設定ポジション）、２９・・・メニュー釦、３０・・・ＯＫ釦、４０・・・バッテリー残量表示、４１・・・笑顔検出モードアイコン、４２・・・撮影画質表示、４３・・・撮影可能枚数、６１・・・線（瞳を結ぶ線）、６４・・・矢印（口元）、６５・・・矢印（眉間）、１００・・・カメラ

Claims (4)

1. 被写体像を撮像するための撮像手段と、
   この撮像手段の出力を記録するための画像記録手段と、
   を具備する撮像装置において、
   上記撮像手段の出力から、人物の顔に相当する画像を検出するための顔画像検出手段と、
   この顔画像検出手段によって検出された顔画像の変化を検出するための顔画像変化検出手段と、
   上記顔画像検出手段によって顔画像が検出され、さらにその顔画像が変化をしたことが上記顔画像変化検出手段によって検出された場合、上記画像記録手段を作動させる制御手段と、
   を有し、
   上記顔画像変化検出手段は、
   上記顔画像検出手段の検出する顔画像より目を抽出し、顔画像の両目の瞳を結ぶ線より上側の白目の面積と下側の白目の面積を測定し、該上下の白目の面積の差を和で正規化した第１の笑顔度を求め、
   上記顔画像検出手段の検出する顔画像より唇を抽出し、顔画像の口の両端を結ぶ線より上側の唇の面積と下側の唇の面積を測定し、該上下の唇の面積の差を和で正規化した第２の笑顔度を求め、
   上記第１の笑顔度と第２の笑顔度を加算した第３の笑顔度が所定値以上か否かを判定して変化を検出する、
   ことを特徴とする撮像装置。
2. 上記顔画像変化検出手段は、上記顔画像検出手段により検出される顔画像に基づき、口に歯が見えるか否かを判定し、歯が見えた場合は上記第３の笑顔度に所定値を加算することを特徴とする請求項１に記載の撮像装置。
3. 上記顔画像変化検出手段は、上記顔画像検出手段により検出される顔画像に基づき、口端部に影があるか否かを判定し、影があると判定された場合は上記第３の笑顔度に所定値を加算することを特徴とする請求項１に記載の撮像装置。
4. 上記顔画像変化検出手段は、上記顔画像検出手段により検出される顔画像に基づき、両目の間に皺があるか否かを判定し、皺があると判定した場合は上記第３の笑顔度より所定値を減算することを特徴とする請求項１に記載の撮像装置。