JP3754391B2 - camera - Google Patents

camera Download PDF

Info

Publication number
JP3754391B2
JP3754391B2 JP2002119713A JP2002119713A JP3754391B2 JP 3754391 B2 JP3754391 B2 JP 3754391B2 JP 2002119713 A JP2002119713 A JP 2002119713A JP 2002119713 A JP2002119713 A JP 2002119713A JP 3754391 B2 JP3754391 B2 JP 3754391B2
Authority
JP
Japan
Prior art keywords
scene
area
skin color
face
position number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002119713A
Other languages
Japanese (ja)
Other versions
JP2003319242A (en
Inventor
健一 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2002119713A priority Critical patent/JP3754391B2/en
Priority to US10/420,064 priority patent/US7872670B2/en
Publication of JP2003319242A publication Critical patent/JP2003319242A/en
Application granted granted Critical
Publication of JP3754391B2 publication Critical patent/JP3754391B2/en
Priority to US12/378,084 priority patent/US20090153695A1/en
Priority to US12/378,069 priority patent/US7969481B2/en
Priority to US12/378,068 priority patent/US20090153702A1/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、カメラに関し、特にたとえばディジタルカメラに適用され、被写界に応じた撮影モードで当該被写界を撮影する、カメラに関する。
【0002】
【従来技術】
従来のこの種のカメラとして、人の顔の撮影に適したポートレートモードを備えるものがある。この撮影モードでは、絞りが開放されかつ露光時間が短縮されるようにプログラム線図が補正され、人物の肌色の変化が抑えられるように白バランス調整ゲインが補正される。これによって、背景をぼかした状態で健康的な表情の顔を撮影することができる。
【0003】
【発明が解決しようとする課題】
しかし、従来技術では、撮影モードを手動で設定する必要があり、操作性に問題があった。
【0004】
それゆえに、この発明の主たる目的は、操作性を向上させることができる、カメラを提供することである。
【0005】
【課題を解決するための手段】
この発明に従うカメラは、被写界に応じた撮影モードのパラメータを用いて撮影を行うカメラにおいて、被写界に存在する主要被写体までの距離を測定する第1測定手段、人物の顔が占めるべき顔領域を第1測定手段によって測定された距離に基づいて被写界から特定する特定手段、被写界から肌色領域を検出する検出手段、および特定手段によって特定された顔領域と検出手段によって検出された肌色領域とに基づいて撮影モードをポートレートモードに決定する決定手段を備えることを特徴とする。
【0006】
【作用】
被写界に存在する主要被写体までの距離が第1測定手段によって測定されると、特定手段が、人物の顔が占めるべき顔領域を測定された距離に基づいて被写界から特定する。一方、肌色領域は、検出手段によって被写界から検出される。決定手段は、特定手段によって特定された顔領域と検出手段によって検出された肌色領域とに基づいて撮影モードをポートレートモードに決定する。被写界は決定された撮影モードのパラメータを用いて撮影される。
【0007】
人物の顔の大きさは予め想定できるため、主要被写体までの距離が測定されると、被写界から顔領域を特定することができる。撮影モードは、こうして特定された顔領域と被写界の肌色領域とに基づいて決定される。
【0008】
ズームレンズを備える場合、主要被写体までの距離はズームレンズの位置に基づいて測定すればよい。
【0009】
好ましくは、フォーカスレンズを経た被写界の光学像がイメージセンサの受光面に入射され、フォーカスレンズと当該受光面との間隔が第2測定手段によって測定される。特定手段は、主要被写体までの距離とフォーカスレンズおよび受光面の間隔とに基づいて、受光面に投影された被写界像の顔領域を特定する。
【0010】
好ましくは、決定手段は、顔領域に含まれる第1肌色領域のサイズと顔領域から外れる第2肌色領域のサイズとを判別し、第1肌色領域および第2肌色領域のサイズに基づいて撮影モードをポートレートモードに設定する。
【0011】
決定手段によって決定された撮影モードに対応するメッセージを出力するようにすれば、オペレータは、当該撮影モードが所望のモードであるかどうかを容易に判別することができる。
【0012】
【発明の効果】
この発明によれば、主要被写体までの距離に基づいて特定された顔領域と被写界の肌色領域とに基づいて撮影モードを決定するようにしたため、カメラの操作性を向上させることができる。
【0013】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【0014】
【実施例】
図1を参照して、この実施例のディジタルカメラ10は、ズームレンズ12,フォーカスレンズ14,絞り機構16およびシャッタ機構18を含む。被写界の光学像は、これらの部材を介してイメージセンサ20の受光面に入射する。イメージセンサ12の有効画素数は約400万画素であり、受光面の水平方向および垂直方向には2300画素および1740ラインが存在する。受光面はCy(シアン),Ye(イエロー),Mg(マゼンダ)およびG(グリーン)がモザイク状に配列された色フィルタ(図示せず)によって覆われており、光電変換によって生成される生画像信号の各画素は、Cy,Ye,MgまたはGの色情報を有する。
【0015】
電源が投入されると、CPU32は、被写体のリアルタイム動画像(スルー画像)をモニタ44に表示するべく、TG(Timing Generator)30に1/6の垂直間引き読み出しを命令し、ズーム回路34の水平ズーム倍率および垂直ズーム倍率を“1/4”および“1”に設定する。TG30は、イメージセンサ20に間引き読み出しを施し、これによって、Cy,Ye,・・・のラインおよびMg,G・・・のラインが交互に含まれる2300画素×290ラインの生画像信号が、1/30秒に1フレームの割合でイメージセンサ20から出力される。
【0016】
イメージセンサ20から出力された各フレームの生画像信号は、CDS/AGC回路22によってノイズ除去およびレベル調整を施される。A/D変換器24は、CDS/AGC回路22から出力された生画像信号をディジタル信号に変換する。電源が投入された当初、スイッチSW1は端子S1と接続され、A/D変換器24から出力された生画像信号はスイッチSW1を介して信号処理回路26に入力される。
【0017】
信号処理回路26は、図2に示すように構成される。生画像信号を形成する各画素はCy,Ye,MgおよびGのいずれか1つの色情報しか持たないため、まず色分離回路26aによって各画素が不足する色情報が補完される。RGB変換回路26bは色分離回路26bから出力された補色画像信号にRGB変換を施し、白バランス調整回路26cはRGB変換回路26bから出力された原色画像信号に白バランス調整を施す。白バランス調整が施された原色画像信号は、YUV変換回路26dによってYUV信号に変換される。生成されたYUV信号は、Y:U:V=4:2:2の比率を有する。
【0018】
白バランス調整回路26cから出力された原色画像信号は積分回路26eにも入力され、YUV変換回路26dから出力されたYUV信号を形成するY信号もまた積分回路26fに与えられる。図3を参照して、被写界(画面)は、垂直方向および水平方向の各々において16分割され、画面上には256個のブロックが形成されている。各ブロックには、垂直位置番号i(=0〜15)および水平位置番号j(=0〜15)が割り当てられる。
【0019】
積分回路26dは、原色画像信号を形成するR信号,G信号およびB信号の各々をブロック毎に積分し、積分回路26fは、Y信号をブロック毎に積分する。これによって、R信号に関する256個の積分値r(i,j),G信号に関する256個の積分値g(i,j)およびB信号に関する256個の積分値b(i,j)が積分回路26eから1フレーム期間毎に出力され、Y信号に関する256個の積分値y(i,j)が積分回路26fから1フレーム期間毎に出力される。
【0020】
図1に戻って、信号処理回路26から出力されたYUV信号は、ズーム回路34に与えられる。当該YUV信号は2300画素×290ラインの解像度を有し、ズーム回路34の水平ズーム倍率および垂直ズーム倍率は“1/4”および“1”に設定されているため、ズーム回路34からは575画素×290ラインのYUV信号が出力される。
【0021】
ズーム回路34から出力されたYUV信号は、メモリ制御回路36によってSDRAM38の表示画像エリア38a(図4参照)に書き込まれ、その後、メモリ制御回路36によって表示画像エリア38aから読み出される。読み出されたYUV信号の解像度は擬似フレーム化回路40によって575画素×580ラインに変換され、変換されたYUV信号はビデオエンコーダ42によって640画素×480ラインのコンポジットビデオ信号にエンコードされる。エンコードされたコンポジットビデオ信号はモニタ44に与えられ、この結果、被写体のスルー画像が画面に表示される。
【0022】
図2に示す積分回路26fから出力された256個の積分値y(i,j)は、CPU32によって取り込まれ、レジスタrgst1に設定される。積分値y(i,j)は1フレーム期間毎に生成されるため、レジスタrgst1の設定値は1フレーム期間毎に更新される。
【0023】
ズームボタン56が操作されると、対応する状態信号がシステムコントローラ52からCPU32に与えられる。CPU32はドライバ28aを制御し、これによってズームレンズ12が光軸方向に移動する。モニタ44に表示されたスルー画像のズーム倍率は、ズームボタン56の操作に応答して変化する。
【0024】
シャッタボタン54が半押しされると、対応する状態信号がシステムコントローラ52からCPU32に与えられる。CPU32は、シャッタボタン54の半押し後に積分回路26fから出力された256個の積分値y(i,j)をレジスタrgst2に設定する。この結果、連続する2フレームの積分値y(i,j)がレジスタrgst1およびrgst2内に得られる。CPU32は、こうして得られた積分値y(i,j)に基づいて被写界がスポーツシーンである可能性を算出する。
【0025】
スポーツシーンの可能性判断が完了すると、CPU32は、フォーカス調整を行う。フォーカスレンズ14は、ドライバ28bによって光軸方向に移動し、合焦位置に設定される。フォーカス調整が完了すると、CPU32は、積分回路26eから出力された積分値r(i,j),g(i,j)およびb(i,j)ならびに積分回路26eから出力された積分値y(i,j)をレジスタrgst3に設定する。1フレーム分の積分値r(i,j),g(i,j),b(i,j)およびy(i,j)の取り込みが完了すると、CPU32は、ポートレートシーンの可能性,夕景シーンの可能性および夜景シーンの可能性を判別する。
【0026】
ポートレートシーンの可能性は、ズームレンズ12から主要被写体までの距離、フォーカスレンズ14とイメージセンサ20との間隔、ならびにレジスタrgst3に設定された積分値r(i,j),g(i,j)およびb(i,j)に基づいて算出される。また、夕景シーンの可能性は、レジスタrgst3に設定された積分値r(i,j),g(i,j),b(i,j)およびy(i,j)に基づいて算出される。さらに、夜景シーンの可能性は、レジスタrgst3に設定された積分値y(i,j)に基づいて算出される。
【0027】
こうしてスポーツシーン,ポートレートシーン,夕景シーンおよび夜景シーンの各々の可能性が算出されると、最も可能性が高いシーンが被写界シーンとして確定する。カメラ設定つまり撮影モードは確定したシーンに応じて変更され、モニタ44には確定したシーンに対応するメッセージが表示される。
【0028】
スポーツシーンに確定すると、CPU32は、動きのある被写体が鮮明に撮影されるように露光調整用のプログラム線図を補正する。これによって、撮影モードがスポーツモードとなる。ポートレートシーンに確定すると、CPU32は、背景がぼけるようにプログラム線図を補正し、人物の肌色の変化が抑えられるように白バランス調整ゲインを補正する。これによって、撮影モードがポートレートモードとなる。夕景シーンに確定すると、CPU32は、遠景が鮮明に撮影されるようにプログラム線図を補正し、夕焼けの色の変化が抑えられるように白バランス調整ゲインを補正する。これによって、撮影モードが夕景モードとなる。夜景シーンに確定すると、CPU32は、イルミネーションが際立つようにプログラム線図を補正する。これによって、撮影モードが夜景モードとなる。
【0029】
いずれのシーンに確定しても、プログラム線図が補正される。このため、シーン判別が完了した後、CPU32は、レジスタrgst2に設定された積分値y(i,j)と補正されたプログラム線図とに基づいて、絞り量および露光時間を調整する。
【0030】
このような露光調整が完了した後にシャッタボタン54が全押しされると、対応する状態信号がシステムコントローラ52からCPU32に与えられる。CPU32は、撮影処理を実行する。具体的には、CPU32は、本露光をTG30に命令し、TG30による本露光が完了した時点でドライバ28dによってシャッタ機構16を駆動する。シャッタ機構16の駆動によって、イメージセンサ20への入射光が遮断される。CPU32はまた、本露光によって得られた1フレーム分の生画像信号をイメージセンサ20から出力するべく、TG30に全画素読み出しを命令する。これによって、2300画素×1740ラインの生画像信号がインタレーススキャン方式でイメージセンサ20から読み出される。
【0031】
この生画像信号は、CDS/AGC回路22およびA/D変換器24を介してメモリ制御回路36に与えられ、メモリ制御回路36によってSDRAM38の生画像エリア38b(図4参照)に書き込まれる。この2300画素×1740ラインの生画像信号はインタレーススキャン信号であるため、生画像エリア38bの前半に奇数フィールド信号が格納され、生画像エリア38bの後半に偶数フィールド信号が格納される。つまり、生画像エリア38bの中に、奇数フィールドエリアおよび偶数フィールドエリアが形成される。
【0032】
生画像エリア38bへの書き込みが完了した後、メモリ制御回路36は、当該生画像信号を奇数フィールドエリアおよび偶数フィールドエリアから1ライン毎に交互に読み出す。これによって、インタレーススキャン信号がプログレッシブスキャン信号に変換される。スイッチSW1は、シャッタボタン54が全押しされた時点で端子S2と接続される。このため、メモリ制御回路36によって読み出された生画像信号は、スイッチSW1を介して信号処理回路22に与えられる。信号処理回路22では、色分離,RGB変換,白バランス調整およびYUV変換の一連の処理が実行され、これによって2300画素×1740ラインのYUV信号(主要YUV信号)が生成される。
【0033】
ズーム回路34の水平ズーム倍率および垂直ズーム倍率は、シャッタボタン54が全押しされた時点で“1/4”および“1/6”にそれぞれ設定される。このため、信号処理回路22から出力されたYUV信号の解像度は、2300画素×1740ラインから575画素×290ラインに変換される。ズーム回路34から出力された575画素×290ラインのYUV信号は、メモリ制御回路36によって図4に示す表示画像エリア38aに書き込まれる。これ以降はスルー画像を表示するときと同じ処理が行われ、これによってシャッタボタン54が操作された時点のフリーズ画像がモニタ44に表示される。
【0034】
信号処理回路26から出力された2300画素×1740ラインの主要YUV信号はまた、そのままメモリ制御回路36に与えられ、メモリ制御回路36によってSDRAM38の主画像エリア38c(図4参照)に書き込まれる。書き込みが完了すると、CPU32がこの2300画素×1740ラインの主要YUV信号に基づいて160画素×120ラインの縮小YUV信号を作成する。具体的には、CPU32は、メモリ制御回路36を介してSDRAM38にアクセスし、ソフトウェア処理によって縮小YUV信号を生成する。生成された縮小YUV信号は、SDRAM38の縮小画像エリア38d(図4参照)に書き込まれる。
【0035】
メモリ制御回路36は、主要YUV信号および縮小YUV信号をSDRAM38から読み出し、各々のYUV信号をJPEGコーデック46に与える。JPEGコーデック46は、与えられた主要YUV信号および縮小YUV信号をJPEGフォーマットに従って圧縮し、圧縮主要YUV信号および圧縮縮小YUV信号を生成する。生成された圧縮主要YUV信号および圧縮縮小YUV信号は、メモリ制御回路36によってSDRAM38の圧縮主画像エリア38eおよび圧縮縮小画像エリア38f(図4参照)に書き込まれる。
【0036】
こうして撮影処理が完了すると、CPU32は、記録処理を実行する。具体的には、CPU32は、メモリ制御回路36を介してSDRAM38にアクセスし、圧縮主要YUV信号および圧縮縮小YUV信号を圧縮主画像エリア38eおよび圧縮縮小画像エリア38fからそれぞれ読み出す。CPU46はさらに、読み出された圧縮主要YUV信号および圧縮縮小YUV信号をファイル形式で記録媒体50に記録する。なお、記録媒体50は着脱自在であり、記録媒体50へのアクセスはI/F48を介して行われる。
【0037】
CPU32は、具体的には、図5〜図12、図15〜図16、図22〜図24、図29〜図30に示すフロー図に対応する制御プログラムを実行する。なお、この制御プログラムは、ROM58に記憶される。
【0038】
まず図5に示すステップS1で表示系を起動する。具体的には、TG30に間引き読み出しを命令し、ズーム回路34の水平ズーム倍率および垂直ズーム倍率を“1/4”および“1”に設定する。これによって、被写体のスルー画像がモニタ44に表示される。
【0039】
ステップS3ではTG30から30fpsの垂直同期信号が発生したかどうか判断し、YESであればステップS5で積分値取込処理1を実行する。これによって、図3に示す256個のブロックに個別に対応する256個の積分値y(i,j)がレジスタrgst1に設定される。ステップS7ではシャッタボタン54が半押しされたかどうか判断し、ステップS9ではズームボタン56が操作されたかどうか判断する。ズームボタン56が操作されたときはステップS9からステップS11に進み、ドライバ28aを制御してズームレンズ12を光軸方向に移動させる。ステップS11の処理が完了すると、ステップS3に戻る。
【0040】
シャッタボタン54が半押しされたときはステップS7でYESと判断し、ステップS13で積分値取込処理2を行う。これによって、256個の積分値y(i,j)がレジスタrgst2に設定される。ステップS15では、レジスタrgst1および2に設定された連続2フレームの積分値y(i,j)に基づいて被写界がスポーツシーンである可能性を判断する。可能性は、パーセンテージで表現される。
【0041】
ステップS15の処理が完了すると、ステップS17でフォーカス調整を行う。具体的には、ドライバ28bを制御してフォーカスレンズ14を光軸方向に移動させ、これによって検出された合焦位置にフォーカスレンズ14を設定する。フォーカス調整が完了すると、垂直同期信号の発生を待ってステップS19からステップS21に進み、信号処理回路26から積分値r(i,j),g(i,j),b(i,j)およびy(i,j)を取り込む。取り込まれた積分値r(i,j),g(i,j),b(i,j)およびy(i,j)は、レジスタrgst3に設定される。
【0042】
ステップS23では、ズームレンズ12から主要被写体までの距離、フォーカスレンズとイメージセンサ20との間隔、ならびにレジスタrgst3に設定された積分値r(i,j),g(i,j)およびb(i,j)に基づいて、被写界がポートレートシーンである可能性を判断する。ステップS25では、レジスタ3に設定された積分値r(i,j),g(i,j),b(i,j)およびy(i,j)に基づいて、被写界が夕景シーンである可能性を判断する。ステップS27では、レジスタrgst3に設定された積分値y(i,j)に基づいて被写界が夜景シーンである可能性を判断する。なお、ここでも、可能性はパーセンテージで表現される。
【0043】
ステップS29では、ステップS15,S23,S25およびS27で求められた可能性の中からパーセンテージが最も高い可能性を特定し、特定した可能性に対応するシーンを被写界として確定する。ステップS29ではさらに、確定したシーンに対応するカメラ設定(撮影モード設定)を行う。被写界がスポーツシーンに確定したときは、動きのある被写体が鮮明に撮影されるようにプログラム線図を補正する(スポーツモード設定)。被写界がポートレートシーンに確定したときは、背景がぼけるようにプログラム線図を補正し、かつ人物の肌色の変化が抑えられるように白バランス調整ゲインを補正する(ポートレートモード設定)。被写界が夕景シーンに確定したときは、遠景が鮮明に撮影されるようにプログラム線図を補正し、夕焼けの色の変化が抑えられるように白バランス調整ゲインを補正する(夕景モード設定)。被写界が夜景シーンに確定したときは、イルミネーションが際立つようにプログラム線図を補正する(夜景モード設定)。
【0044】
ステップS31では、キャラクタジェネレータ(図示せず)を駆動して、確定したシーンに対応するキャラクタをモニタ44にOSD表示する。CPU32による自動判別では被写界の誤判別の可能性があるため、この実施例では、いずれのシーンに確定したかを可視メッセージによってオペレータに通知するようにしている。これによって操作性が向上する。なお、詳しい説明は省略しているが、スポーツシーン,ポートレートシーン,夕景シーンまたは夜景シーンの設定は、オペレータの手動操作によって変更することができる。
【0045】
ステップS33では、レジスタrgst2に設定された積分値y(i,j)とステップS29のカメラ設定によって補正されたプログラム線図とに基づいて最適絞り量および最適露光時間を特定し、最適絞り量をドライバ28cによって絞り機構16に設定する。シャッタ機構18は、後述するステップS39において、本露光の開始から最適露光時間が経過した時点で駆動する。
【0046】
ステップS35では、シャッタボタン54が全押しされたかどうか判断し、ステップS37ではシャッタボタン54の操作が解除されたかどうか判断する。シャッタボタン54が全押しされたときは、ステップS37における撮影処理/記録処理を経てステップS1に戻る。撮影処理および記録処理によって、被写体像が記録媒体50に記録される。シャッタボタン54の操作が解除されたときは、撮影処理/記録処理を行うことなくステップS1に戻る。
【0047】
ステップS5の積分値取込処理1は、図7および図8に示すサブルーチンに従う。まずステップS41で垂直位置番号iを“4”に設定し、ステップS43で水平位置番号jを“4”に設定する。ステップS45では、積分値y(i,j)をレジスタrgst1から読み出し、当該積分値y(i,j)を特定積分値Ysp1(i,j)としてrgst4に設定する。ステップS47では水平位置番号jをインクリメントし、ステップS49ではインクリメントされた垂直値番号jを“12”と比較する。そして、j<12であればステップS45に戻るが、j=12であれば、ステップS51で垂直位置番号iをインクリメントし、ステップS53でインクリメントされた垂直位置番号iを“12”と比較する。ここで、i<12であればステップS43に戻り、i=12となるとステップS55に進む。
【0048】
ステップS55では垂直位置番号iを“0”に設定し、続くステップS57では水平位置番号jを“0”に設定する。ステップS59では、垂直位置番号iおよび水平位置番号jが0<i<15および0<j<15の条件を満たすかどうかを判断する。両方の条件が満たされたときは、そのままステップS63に進む。一方、上述の条件のいずれか一方でも満たされなければ、ステップS61でレジスタrgst1の積分値y(i,j)を特定積分値Ysp1(i,j)としてrgst4に設定し、その後ステップS63に進む。ステップS63では水平位置番号jをインクメントし、続くステップS65ではインクリメントされた水平位置番号jを“16”と比較する。そして、j<16であればステップS59に戻るが、j=16であればステップS67に進む。ステップS67では垂直位置番号iをインクリメントし、ステップS69ではインクリメントされた垂直位置番号iを“16”と比較する。そして、i<16であればステップS57に戻るが、i=16であれば上階層のルーチンに復帰する。
【0049】
このような処理によって、図13に示す中央領域CTR1を形成する64ブロックおよび周辺領域ARD1を形成する60ブロックに関する合計124個の特定積分値Ysp1(i,j)が求められる。
【0050】
図5に示すステップS13の積分値取込処理2は、図9および図10に示すサブルーチンに従う。ただし、このサブルーチンは、ステップS75およびS91において、レジスタrgst2に格納された積分値y(i,j)を特定積分値Ysp2(i,j)としてレジスタrgst2に設定する点を除き、図7および図8に示すサブルーチンと同じであるため、重複した説明は省略する。この処理によって、図13に示す中央領域CTR1および周辺領域ARD1を形成する124個の特定積分値Ysp2(i,j)が求められる。
【0051】
図5に示すステップS15の可能性判断処理は、図11および図12に示すサブルーチンに従う。まずステップS101で変数CctrおよびCardを“0”に設定し、ステップS103およびS105で垂直位置番号iおよび水平位置番号jを“4”に設定する。ステップS107では数1に従って特定積分値Ysp1(i,j)およびYsp2(i,j)の差分絶対値ΔYsp(i,j)を算出し、続くステップS109では算出された差分絶対値ΔYsp(i,j)を閾値Yth1と比較する。
【0052】
【数1】
ΔYsp(i,j)=|Ysp1(i,j)−Ysp2(i,j)|
ΔYsp(i,j)≧Yth1であれば、ステップS109でYESと判断し、ステップS111で変数CctrをインクリメントしてからステップS113に進む。一方、ΔYsp(i,j)<Ythであれば、ステップS109でNOと判断し、そのままステップS113に進む。
【0053】
ステップS113では水平位置番号jをインクリメントし、ステップS115ではインクリメントされた水平位置番号jを“12”と比較する。そして、j<12であればステップS107に戻るが、j=12であればステップS117に進む。ステップS117では垂直位置番号iをインクリメントし、ステップS119ではインクリメントされた垂直位置番号iを“12”と比較する。そして、i<12であればステップS105に戻り、i=12であればステップS121に進む。
【0054】
ステップS107で算出される差分絶対値ΔYsp(i、j)は、中央領域CTR1を形成する各ブロック(i,j)での被写体の動き量に相当する。この動き量が大きければ、ステップS109でYESと判断され、変数Cctrがインクリメントされる。したがって、動き量が大きな被写体が中央領域CTR1に占める割合が大きいほど、変数Cctrは大きな値を示す。
【0055】
ステップS121では垂直位置番号iを“0”に設定し、続くステップS123では水平位置番号jを“0”に設定する。ステップS125では垂直位置番号iおよび水平位置番号jが0<i<15および0<j<15の条件を満たすかどうかを判断し、両方の条件が満たされればそのままステップS131に進むが、いずれか一方でも満たされなければステップS126に進む。ステップS126では上述の数1に従って特定積分値Ysp1(i,j)およびYsp2(i,j)の差分絶対値ΔYsp(i,j)を算出し、続くステップS127では算出された差分絶対値ΔYsp(i,j)を閾値Yth1と比較する。そして、ΔYsp(i,j)≧YthであればステップS129で変数CardをインクリメントしてからステップS131に進むが、ΔYsp(i,j)<YthであればそのままステップS131に進む。
【0056】
ステップS131では水平位置番号jをインクリメントし、ステップS133ではインクリメントされた水平位置番号jを“16”と比較する。そして、j<16であればステップS125に戻るが、j=16であればステップS135に進む。ステップS135では垂直位置番号iをインクリメントし、ステップS137ではインクリメントされた垂直位置番号iを“16”と比較する。そして、i<16であればステップS123に戻り、i=16であればステップS139に進む。
【0057】
ステップS126で算出される差分絶対値ΔYsp(i、j)は、周辺領域ARD1を形成する各ブロック(i,j)での被写体の動き量に相当する。この動き量が大きければ、ステップS127でYESと判断され、変数Cardがインクリメントされる。したがって、動き量が大きな被写体が周辺領域ARD1に占める割合が大きいほど、変数Cardは大きな値を示す。
【0058】
ステップS139では、被写界がスポーツシーンである可能性Psprtを数2〜数4に従って算出する。可能性Psprtが算出されると、上階層のルーチンに復帰する。
【0059】
【数2】
Rcrt=Cctr/64*100
【0060】
【数3】
Rard=Card/60*100
【0061】
【数4】
Psprt=Rctr−a*Rard
a:定数
中央領域CTR1を形成するブロックの数は“64”であり、周辺領域ARD1を形成するブロックの数は“60”である。このため、変数Cctrを“64”で割り算しかつ割り算値に“100”を掛け算することで、動き量が大きな被写体が中央領域CTR1に占める割合Rctrが求められる。また、変数Cardを“60”で割り算しかつ割り算値に“100”を掛け算することで、動き量が大きな被写体が周辺領域ARD1に占める割合Rardが求められる。中央領域CRT1に存在する被写体のみの動きを判別するには被写界全体の動きを排除する必要があるため、割合Rardに定数aを掛け算し、割合Rctrから掛け算値a*Rardを引算している。これによって、可能性Psprtがパーセンテージで求められる。なお、図14に示すような野球のピッチャーがボールを投げるシーンを撮影したときに、可能性Psprtは高い数値を示す。
【0062】
図6に示すステップS23の可能性判断処理は、図15および図16に示すサブルーチンに従う。まずステップS141でズームレンズ12およびフォーカスレンズ14の位置を検出し、ステップS143およびS145でズームレンズ12から主要被写体までの距離L1およびフォーカスレンズ14とイメージセンサ20との間隔L2を検出する(図18参照)。
【0063】
ROM58には、図17に示すグラフが格納されている。図17によれば、横軸および縦軸はそれぞれ、ズームレンズ12およびフォーカスレンズ14の位置である。ズームレンズ12の位置はドライバ28aに設けられたステッピングモータ(図示せず)のステップ数によって表され、フォーカスレンズ14の位置はドライバ28bに設けられたステッピングモータ(図示せず)のステップ数によって表される。このような縦軸および横軸によって形成された平面上に、主要被写体までの距離に応じた複数の曲線A〜Iが描かれる。曲線A〜Iはそれぞれ、被写体までの距離が0.4m,0.5m,0.6m,0.8m,1.0m,1.5m,2.0m,3.0mおよび無限遠(∞)であるときのレンズ位置関係を示す。
【0064】
したがって、ステップS143では、ステップS141で求められたズームレンズ12およびフォーカスレンズ14の位置と図17に示すグラフとに基づいて距離L1を検出する。また、ステップS145では、ステップS141で求められたフォーカスレンズ14の位置から間隔L2を検出する。
【0065】
ステップS147では、画面つまり被写界において人物の顔が占めるべき領域(顔領域)の垂直ブロック数FCを数5〜数6に従って算出する。
【0066】
【数5】
face2=face1*L2/L1
face1:人物の顔の長さ(定数:30cm)
face2:受光面に投影された顔画像の長さ
【0067】
【数6】
FC=16*face2/h
h:イメージセンサに形成された受光面の垂直サイズ
図18を参照して、顔の長さがface1の人物(主要被写体)がズームレンズ12から距離L1だけ離れた位置に存在すると仮定した場合、イメージセンサ20の受光面に投影される顔画像の長さface2は、face1にL2/L1を掛け算した値に相当する。また、受光面に投影された顔領域の垂直ブロック数FCは、face2を受光面の垂直サイズhで割り算し、割り算値に“16”を掛け算した値に相当する。
【0068】
図15に戻って、ステップS149およびS151では、算出された垂直ブロック数FCを判別する。垂直ブロック数FCが“2”を下回るときは、ステップS153で垂直ブロック数FCを“2”に設定してからステップS156に進む。垂直ブロック数FCが“8”を上回るときは、ステップS155で垂直ブロック数FCを“8”に設定してからステップS156に進む。一方、2≦FC≦8の条件が満たされたときは、そのままステップS156に進む。こうして顔領域の面積が2ブロック×2ブロック〜8ブロック×8ブロックの範囲で設定される。
【0069】
ステップS156では、変数CinおよびCoutを“0”に設定し、ステップS157およびS159では垂直位置番号iおよび水平位置番号jを“0”に設定する。ステップS161では、レジスタrgst3に設定された積分値r(i,j),g(i,j)およびb(i、j)を読み出し、数7に従ってブロック(i,j)の色評価値RおよびGを算出する。
【0070】
【数7】
R=r(i,j)/(r(i,j)+g(i,j)+b(i、j))
G=g(i,j)/(r(i,j)+g(i,j)+b(i、j))
ステップS163では算出された色評価値RおよびBが図19に示す肌色領域SKNの属するかどうか判断し、NOであればそのままステップS171に進む。一方、ステップS163でYESであればステップS165に進み、ブロック(i,j)がステップS147〜S155で求められたサイズによって規定される顔領域に属するかどうかを判断する。具体的には、数8に示す条件および数9に示す条件の両方が満たされるかどうか判断する。そして、これらの条件の両方が満たされればブロック(i,j)は顔領域に属するとみなし、これらの条件のいずれか一方でも満たされなければ、ブロック(i,j)は顔領域に属さないとみなす。
【0071】
【数8】
8−FC/2≦i≦7+FC/2
【0072】
【数9】
8−FC/2≦j≦7+FC/2
数8および数9によれば、顔領域は、画面中央に形成される。たとえばFC=6であれば、図20に斜線で示す領域FACEが顔領域とされる。ブロック(i,j)がこのような顔領域に属するときは、ステップS167で変数CinをインクリメントしてからステップS171に進むが、ブロック(i,j)が顔領域に属さないときは、ステップS169で変数CoutをインクリメントしてからステップS171に進む。
【0073】
ステップS171では水平位置番号jをインクリメントし、ステップS173ではインクリメントされた水平位置番号jを“16”と比較する。そして、j<16であればステップS161に戻るが、j=16であればステップS175に進む。ステップS175では垂直位置番号iをインクリメントし、ステップS177ではインクリメントされた垂直位置番号iを“16”と比較する。そして、i<16であればステップS159に戻るが、i=16であればステップS179に進む。このような処理が実行されることで、変数Cinは顔領域に属する肌色ブロックの数を示し、変数Coutは顔領域に属しない肌色ブロックの数を示すこととなる。
【0074】
ステップS179では、被写界がポートレートシーンである可能性Pptrtを数10に従って算出する。可能性Pptrtが算出されると、上階層のルーチンに復帰する。
【0075】
【数10】
Pptrt=(Cin−Cout*n)/FC2*100
n:定数
顔領域に属する肌色ブロック数が多いほど被写体が人物の顔が存在する可能性が高く、顔領域に属する肌色ブロック数が少ないほど被写体が人物の顔が存在する可能性が低い。ただし、顔領域以外の領域に存在する肌色ブロックが多いほど、被写体が人物の顔である可能性は低い。そこで、変数Coutに定数nを掛け算した掛け算値によって変数Cinを引き算している。一方、FC2は、顔領域に属するブロックの総数であり、引き算値をブロック総数で割り算し、割り算値に“100”を掛けることによって、被写界がポートレートシーンである可能性Pptrtがパーセンテージで求められる。なお、図21に示すような人物が画面中央に存在するシーンを撮影したときに、可能性Pptrtは高い数値を示す。
【0076】
図6に示すステップS25の可能性判断処理は、図11および図12に示すサブルーチンに従う。まずステップS181で変数Cssを“0”に設定し、ステップS183で垂直位置番号iを“0”に設定し、そしてステップS185で水平位置番号jを“0”に設定する。ステップS187では垂直位置番号iおよび水平位置番号jが6≦i≦9および6≦j≦9の条件を満たすかどうか判断する。そして、いずれの条件も満たされなければステップS197に進むが、少なくとも一方の条件が満たされればステップS189に進む。
【0077】
ステップS189では、レジスタrgst3に設定された積分値r(i,j),g(i,j)およびb(i、j)を読み出し、上述の数7に従ってブロック(i,j)の色評価値RおよびGを算出する。ステップS191では、算出された色評価値RおよびGが図27に斜線で示す夕景色領域EVENに属するかどうか判断し、NOであればステップS195に進むが、YESであればステップS193に進む。ステップS193では、レジスタrgst3に設定された積分値y(i,j)を読み出し、当該積分値y(i,j)が高輝度であるかどうか判断する。具体的には、y(i,j)が閾値Yth2を上回るかどうかを判断する。そして、y(i,j)≦Yth2であればそのままステップS197に進むが、y(i,j)>Yth2であればステップS195で変数CssをインクリメントしてからステップS197に進む。
【0078】
ステップS197では水平位置番号jをインクリメントし、ステップS201ではインクリメントされた水平位置番号jを“16”と比較する。そして、j<16であればステップS187に戻るが、j=16であればステップS201に進む。ステップS201では垂直位置番号iをインクリメントし、ステップS203ではインクリメントされた垂直位置番号iを“16”と比較する。そして、i<16であればステップS185に戻るが、i=16であればステップS205に進む。
【0079】
このような処理が実行されることで、図25に斜線で示す十字領域CRS1を形成する各々のブロックについて、夕景色であるかどうかの判別処理および高輝度であるかどうかの判別処理が行われる。変数Cssは、夕景色でかつ高輝度のブロックの数を示すこととなる。
【0080】
図23に示すステップS205では、周辺輝度値Yupper,Ylower,YleftおよびYrightを“0”に設定する。また、ステップS207およびS209では垂直位置番号iおよび水平位置番号jを“0”に設定する。ステップS211では0≦i≦1の条件が満たされるかどうかを判断し、ステップS215では14≦i≦15の条件が満たされるかどうかを判断し、ステップS219では0≦j≦1の条件が満たされるかどうかを判断し、そしてステップS225では14≦j≦15の条件が満たされるかどうかを判断する。
【0081】
ステップS211でYESと判断されるとステップS213に進み、レジスタrgst3に格納された積分値y(i,j)を周辺輝度値Yupperに加算する。ステップS215でYESと判断されるとステップS217に進み、レジスタrgst3に格納された積分値y(i,j)を周辺輝度値Ylowerに加算する。ステップS219でYESと判断されるとステップS221に進み、レジスタrgst3に格納された積分値y(i,j)を周辺輝度値Yleftに加算する。ステップS225でYESと判断されるとステップS227に進み、レジスタrgst3に格納された積分値y(i,j)を周辺輝度値Yrightに加算する。
【0082】
ステップS229では水平位置番号jをインクリメントし、ステップS231ではインクリメントされた水平位置番号jを“16”と比較する。そして、j<16であればステップS211に戻るが、j=16であればステップS233に進む。ステップS233では垂直位置番号iをインクリメントし、ステップS235ではインクリメントされた垂直位置番号iを“16”と比較する。そして、i<16であればステップS209に戻るが、i=16であればステップS237に進む。
【0083】
このような処理によって求められた周辺輝度値Yupper,Ylower,YleftおよびYrightはそれぞれ、図26に示す斜線および太線で示す周辺領域ARD2a,ARD2b,ARD2cおよびARD2dの輝度を示す。
【0084】
ステップS237では、周辺輝度値YupperおよびYlowerの差分を検出し、当該差分に基づいて画面の上下の輝度差が大きいかどうかを判断する。ステップS239では、周辺輝度値YleftおよびYrightの差分を検出し、当該差分に基づいて画面の左右の輝度差が大きいかどうかを判断する。具体的には、ステップS237では数11の条件が満たされるかどうかを判断し、ステップS239では数12の条件が満たされるかどうかを判断する。
【0085】
【数11】
|Yupper−Ylower|>Yth3
【0086】
【数12】
|Yleft−Yright|>Yth4
そして、数11の条件および数12の条件のいずれも満たされなければステップS241に進み、被写界が夕景シーンである可能性Pevenを“0”に設定する。一方、数11の条件および数12の条件の少なくとも一方が満たされれば、ステップS243で数13に従って可能性Pevenを算出する。ステップS241またはS243の処理を終えると、上階層のルーチンに復帰する。
【0087】
【数13】
Peven=Css/112*100
図25に示す十字領域CRS1を形成するブロックの数は“112”であり、変数Cssは十字領域CRS1を形成するブロックのうち夕景色で高輝度のブロックの数である。このため、変数Cssを“112”で割り算した割り算値に“100”を掛けることで、被写界が夕景シーンである可能性Pevenがパーセンテージで求められる。なお、図28に示すような夕日が山に沈むシーンを撮影したときに、可能性Pevenが高い数値を示す。
【0088】
図6に示すステップS27の可能性判断処理は、図29および図30に示すサブルーチンに従う。まずステップS251で輝度総和値Ysumを“0”に設定し、ステップS253で垂直位置番号iを“0”に設定し、ステップS255で水平位置番号jを“0”に設定する。ステップS257では、レジスタrgst3から積分値y(i,j)を読み出し、当該積分値y(i,j)を輝度総和値Ysumに加算する。
【0089】
ステップS259では水平位置番号jをインクリメントし、ステップS261ではインクリメントされた水平位置番号jを“16”と比較する。そして、j<16であればステップS257に戻るが、j=16であればステップS263に進む。ステップS263では垂直位置番号iをインクリメントし、ステップS265ではインクリメントされた垂直位置番号iを“16”と比較する。そして、i<16であればステップS255に戻るが、i=16であればステップS267で数14に従って輝度平均値Yavrを算出する。
【0090】
【数14】
Yavr=Ysum/256
ステップS255〜S265の繰り返しによって、輝度総和値Ysumはレジスタrgst3に設定された積分値y(i,j)の総和を示す。画面に形成されたブロックの総数は“256”であるため、数14によって求められる輝度平均値は、画面の平均輝度を示すこととなる。
【0091】
ステップS269では、変数Cniを“0”に設定し、ステップS271では垂直位置番号iを“0”に設定し、ステップS273では水平位置番号jを“0”に設定する。ステップS275では、レジスタrgst3から積分値y(i,j)を読み出し、当該積分値y(i,j)が数15に示す条件を満たすかどうか判断する。
【0092】
【数15】
y(i,j)>Yavr*m
m:定数
数15に示す条件が満たされなければそのままステップS279に進むが、数15に示す条件が満たされるときはステップS277で変数CniをインクリメントしてからステップS279に進む。
【0093】
ステップS279では水平位置番号jをインクリメントし、ステップS281ではインクリメントされた水平位置番号jを“16”と比較する。そして、j<16であればステップS275に戻るが、j=16であればステップS283に進む。ステップS283では垂直位置番号iをインクリメントし、ステップS285ではインクリメントされた垂直位置番号iを“16”と比較する。そして、i<16であればステップS273に戻るが、i=16であればステップS287に進む。
【0094】
ステップS273〜S285の繰り返しによって、画面を形成する全てのブロックの積分値y(i,j)が輝度平均値Yavrに定数mを掛け算した掛け算値と比較される。変数Cniは、画面を形成する256個のブロックのうち積分値y(i,j)が掛け算値を上回る高輝度ブロックの数に相当する。
【0095】
ステップS287では輝度平均値Yavrを閾値Ynightと比較し、Yavr≧Ynightであれば、ステップS289で被写界が夜景シーンである可能性Pnightを“0”に設定する。一方、Yavr<Ynightであれば、ステップS291で変数Cniを閾値Cmaxと比較する。そして、Cni≦CmaxであればそのままステップS295に進むが、Cni>CmaxであればステップS293で変数Cniを閾値Cmaxに設定してからステップS295に進む。ステップS295では、数16に従って可能性Pnightを算出する。ステップS289またはS295の処理を終えると、上階層のルーチンに復帰する。
【0096】
【数16】
Pnight=Cni/Cmax*100
輝度平均値Yavrが低ければ被写界が夜景シーンである可能性があるため、Yavr<Ynightの条件が満たされるときに数16の演算が行われる。輝度平均値Vavrが十分に小さい状況化で注目される変数Cniは、夜景に点在する高輝度領域の数とみなすことができる。さらに、高輝度領域が多いほど輝度平均値Yavrが大きくなるにも関わらず、処理がステップS295に進むのは、高輝度領域以外の領域の輝度がかなり低い場合である。したがって、輝度平均値Yavrが十分低いときに実行される演算において、高輝度領域のサイズに関連する変数Cniを重視することで、被写界が夜景シーンである可能性Pnightが求められる。なお、図31に示すような窓の明かりが点在する夜の高層ビル群を撮影したときに、可能性Pnightが高い数値を示す。
【0097】
以上の説明から分かるように、ポートレートシーンの可能性判断にあたっては、ズームレンズ12およびフォーカスレンズ14の位置に基づいて被写界に存在する主要被写体までの距離L1が測定され(S141,S143)、フォーカスレンズ14の位置に基づいてフォーカスレンズ14とイメージセンサ20との間隔L2が測定される(S145)。イメージセンサ14の受光面において人物の顔が占めるべき顔領域は、測定された距離L1および間隔L2に基づいて特定される(S147〜S155)。一方、被写界の肌色領域は、積分値r(i,j),g(i,j)およびb(i,j)に基づいて検出される(S163)。撮影モードは、顔領域に含まれる肌色領域のサイズと顔領域から外れる肌色領域のサイズとに基づいて決定される(S179,S29)。つまり、各々のサイズに基づいて算出される可能性ptrtが最も大きければ、撮影モードはポートレートモードに決定される。被写界は、決定された撮影モードで撮影される(S39)。
【0098】
このように、主要被写体までの距離L1に基づいて特定された顔領域と被写界の肌色領域との関係に基づいて撮影モードを決定するようにしたため、カメラの操作性を向上させることができる。
【0099】
なお、この実施例では、ディジタルカメラを用いて説明したが、この発明は、アナログ方式のビデオカメラや銀塩カメラにも適用できることはもちろんである。
【図面の簡単な説明】
【図1】この発明の一実施例の構成を示すブロック図である。
【図2】図1実施例に適用される信号処理回路の構成の一例を示すブロック図である。
【図3】画面に形成されたブロックの一例を示す図解図である。
【図4】図1実施例に適用されるSDRAMのマッピング状態の一例を示す図解図である。
【図5】図1実施例の動作の一部を示すフロー図である。
【図6】図1実施例の動作の他の一部を示すフロー図である。
【図7】図1実施例の動作のその他の一部を示すフロー図である。
【図8】図1実施例の動作のさらにその他の一部を示すフロー図である。
【図9】図1実施例の動作の他の一部を示すフロー図である。
【図10】図1実施例の動作のその他の一部を示すフロー図である。
【図11】図1実施例の動作のさらにその他の一部を示すフロー図である。
【図12】図1実施例の動作の他の一部を示すフロー図である。
【図13】図1実施例の動作の一部を示す図解図である。
【図14】スポーツシーンの一例を示す図解図である。
【図15】図1実施例の動作の一部を示すフロー図である。
【図16】図1実施例の動作の他の一部を示すフロー図である。
【図17】ズームレンズ位置およびフォーカスレンズ位置と被写体距離との関係を示すグラフである。
【図18】図1実施例の動作の一部を示す図解図である。
【図19】色評価値の分布状態を示す平面図である。
【図20】図1実施例の動作の一部を示す図解図である。
【図21】ポートレートシーンの一例を示す図解図である。
【図22】図1実施例の動作の一部を示すフロー図である。
【図23】図1実施例の動作の他の一部を示すフロー図である。
【図24】図1実施例の動作のその他の一部を示すフロー図である。
【図25】図1実施例の動作の一部を示す図解図である。
【図26】図1実施例の動作の他の一部を示す図解図である。
【図27】色評価値の分布状態を示す平面図である。
【図28】夕景シーンの一例を示す図解図である。
【図29】図1実施例の動作の一部を示すフロー図である。
【図30】図1実施例の動作の他の一部を示すフロー図である。
【図31】夜景シーンの一例を示す図解図である。
【符号の説明】
10…ディジタルカメラ
12…ズームレンズ
14…フォーカスレンズ
20…イメージセンサ
26…信号処理回路
32…CPU
36…メモリ制御回路
38…SDRAM
44…モニタ
46…JPEGコーデック
48…記録媒体
54…シャッタボタン
56…ズームボタン
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a camera, and more particularly to a camera that is applied to a digital camera, for example, and photographs the scene in a shooting mode corresponding to the scene.
[0002]
[Prior art]
Some conventional cameras of this type have a portrait mode suitable for photographing a human face. In this shooting mode, the program diagram is corrected so that the aperture is opened and the exposure time is shortened, and the white balance adjustment gain is corrected so that the change in the skin color of the person is suppressed. This makes it possible to photograph a face with a healthy expression with the background blurred.
[0003]
[Problems to be solved by the invention]
However, in the prior art, it is necessary to manually set the shooting mode, and there is a problem in operability.
[0004]
Therefore, a main object of the present invention is to provide a camera capable of improving operability.
[0005]
[Means for Solving the Problems]
The camera according to the present invention should be occupied by the first measurement means for measuring the distance to the main subject existing in the scene, the face of the person in the camera that performs shooting using the parameters of the shooting mode according to the scene. Identification means for identifying the face area from the scene based on the distance measured by the first measurement means, detection means for detecting the skin color area from the scene, and detection by the face area and detection means identified by the identification means it you wherein comprising determining means for determining the portrait mode shooting mode based on the skin color region.
[0006]
[Action]
When the distance to the main subject existing in the scene is measured by the first measuring means, the specifying means specifies the face area that the person's face should occupy from the scene based on the measured distance. On the other hand, the skin color region is detected from the object scene by the detection means. Determining means determines the photographing mode based on the skin color regions detected by the specified face region detecting means by a particular means portrait mode. The object scene is shot using the determined shooting mode parameters .
[0007]
Since the size of the person's face can be assumed in advance, when the distance to the main subject is measured, the face region can be specified from the object scene. Imaging mode, thus is determined based on the specified face region and subject field of the skin color region.
[0008]
When a zoom lens is provided, the distance to the main subject may be measured based on the position of the zoom lens.
[0009]
Preferably, the optical image of the object scene that has passed through the focus lens is incident on the light receiving surface of the image sensor, and the distance between the focus lens and the light receiving surface is measured by the second measuring means. The specifying unit specifies the face area of the object scene image projected on the light receiving surface based on the distance to the main subject and the distance between the focus lens and the light receiving surface.
[0010]
Preferably, the determining unit determines the size of the first skin color area included in the face area and the size of the second skin color area outside the face area, and the shooting mode is based on the sizes of the first skin color area and the second skin color area. Set to portrait mode.
[0011]
By outputting a message corresponding to the shooting mode determined by the determining means, the operator can easily determine whether or not the shooting mode is a desired mode.
[0012]
【The invention's effect】
According to the present invention, it is possible to improve the order was to determine the shooting mode based on the specified face region and subject field of the skin color area, the camera of operability based on the distance to the main subject.
[0013]
The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.
[0014]
【Example】
Referring to FIG. 1, the digital camera 10 of this embodiment includes a zoom lens 12, a focus lens 14, a diaphragm mechanism 16 and a shutter mechanism 18. The optical image of the object scene enters the light receiving surface of the image sensor 20 through these members. The number of effective pixels of the image sensor 12 is about 4 million pixels, and there are 2300 pixels and 1740 lines in the horizontal and vertical directions of the light receiving surface. The light receiving surface is covered with a color filter (not shown) in which Cy (cyan), Ye (yellow), Mg (magenta), and G (green) are arranged in a mosaic pattern, and a raw image generated by photoelectric conversion Each pixel of the signal has Cy, Ye, Mg or G color information.
[0015]
When the power is turned on, the CPU 32 instructs the TG (Timing Generator) 30 to perform 1/6 vertical thinning readout so that a real-time moving image (through image) of the subject is displayed on the monitor 44. The zoom magnification and vertical zoom magnification are set to “1/4” and “1”. The TG 30 performs thinning-out reading on the image sensor 20, whereby a raw image signal of 2300 pixels × 290 lines including alternating lines of Cy, Ye,... And Mg, G. Output from the image sensor 20 at a rate of 1 frame per 30 seconds.
[0016]
The raw image signal of each frame output from the image sensor 20 is subjected to noise removal and level adjustment by the CDS / AGC circuit 22. The A / D converter 24 converts the raw image signal output from the CDS / AGC circuit 22 into a digital signal. When the power is turned on, the switch SW1 is connected to the terminal S1, and the raw image signal output from the A / D converter 24 is input to the signal processing circuit 26 via the switch SW1.
[0017]
The signal processing circuit 26 is configured as shown in FIG. Since each pixel forming the raw image signal has only one color information of Cy, Ye, Mg, and G, first, the color information that each pixel lacks is complemented by the color separation circuit 26a. The RGB conversion circuit 26b performs RGB conversion on the complementary color image signal output from the color separation circuit 26b, and the white balance adjustment circuit 26c performs white balance adjustment on the primary color image signal output from the RGB conversion circuit 26b. The primary color image signal subjected to the white balance adjustment is converted into a YUV signal by the YUV conversion circuit 26d. The generated YUV signal has a ratio of Y: U: V = 4: 2: 2.
[0018]
The primary color image signal output from the white balance adjustment circuit 26c is also input to the integration circuit 26e, and the Y signal forming the YUV signal output from the YUV conversion circuit 26d is also supplied to the integration circuit 26f. Referring to FIG. 3, the object scene (screen) is divided into 16 parts in each of the vertical direction and the horizontal direction, and 256 blocks are formed on the screen. Each block is assigned a vertical position number i (= 0-15) and a horizontal position number j (= 0-15).
[0019]
The integration circuit 26d integrates each of the R, G, and B signals forming the primary color image signal for each block, and the integration circuit 26f integrates the Y signal for each block. As a result, 256 integration values r (i, j) for the R signal, 256 integration values g (i, j) for the G signal, and 256 integration values b (i, j) for the B signal are integrated into the integration circuit. 26e is output every frame period, and 256 integral values y (i, j) relating to the Y signal are output from the integration circuit 26f every frame period.
[0020]
Returning to FIG. 1, the YUV signal output from the signal processing circuit 26 is provided to the zoom circuit 34. The YUV signal has a resolution of 2300 pixels × 290 lines, and the horizontal zoom magnification and vertical zoom magnification of the zoom circuit 34 are set to “1/4” and “1”. A Y290 signal of × 290 lines is output.
[0021]
The YUV signal output from the zoom circuit 34 is written into the display image area 38a (see FIG. 4) of the SDRAM 38 by the memory control circuit 36, and then read out from the display image area 38a by the memory control circuit 36. The resolution of the read YUV signal is converted into 575 pixels × 580 lines by the pseudo-framing circuit 40, and the converted YUV signal is encoded into a composite video signal of 640 pixels × 480 lines by the video encoder 42. The encoded composite video signal is supplied to the monitor 44. As a result, a through image of the subject is displayed on the screen.
[0022]
The 256 integral values y (i, j) output from the integration circuit 26f shown in FIG. 2 are captured by the CPU 32 and set in the register rgst1. Since the integral value y (i, j) is generated every frame period, the set value of the register rgst1 is updated every frame period.
[0023]
When the zoom button 56 is operated, a corresponding status signal is given from the system controller 52 to the CPU 32. The CPU 32 controls the driver 28a, whereby the zoom lens 12 moves in the optical axis direction. The zoom magnification of the through image displayed on the monitor 44 changes in response to the operation of the zoom button 56.
[0024]
When the shutter button 54 is half-pressed, a corresponding status signal is given from the system controller 52 to the CPU 32. The CPU 32 sets 256 integration values y (i, j) output from the integration circuit 26f after the shutter button 54 is half-pressed in the register rgst2. As a result, integral values y (i, j) of two consecutive frames are obtained in the registers rgst1 and rgst2. The CPU 32 calculates the possibility that the object scene is a sports scene based on the integral value y (i, j) thus obtained.
[0025]
When the determination of the possibility of the sports scene is completed, the CPU 32 performs focus adjustment. The focus lens 14 is moved in the optical axis direction by the driver 28b, and is set to the in-focus position. When the focus adjustment is completed, the CPU 32 integrates the integration values r (i, j), g (i, j) and b (i, j) output from the integration circuit 26e and the integration value y (output from the integration circuit 26e. i, j) is set in the register rgst3. When the integration of r (i, j), g (i, j), b (i, j) and y (i, j) for one frame is completed, the CPU 32 determines the possibility of a portrait scene, evening scene Determine the possibility of a scene and the possibility of a night scene.
[0026]
The possibility of the portrait scene includes the distance from the zoom lens 12 to the main subject, the distance between the focus lens 14 and the image sensor 20, and the integral values r (i, j) and g (i, j set in the register rgst3. ) And b (i, j). The possibility of an evening scene is calculated based on the integral values r (i, j), g (i, j), b (i, j) and y (i, j) set in the register rgst3. . Furthermore, the possibility of a night scene is calculated based on the integral value y (i, j) set in the register rgst3.
[0027]
When the possibility of each of the sports scene, portrait scene, evening scene, and night scene is calculated in this way, the most likely scene is determined as the scene scene. The camera setting, that is, the shooting mode is changed according to the confirmed scene, and a message corresponding to the confirmed scene is displayed on the monitor 44.
[0028]
When the sport scene is determined, the CPU 32 corrects the exposure adjustment program diagram so that a moving subject is clearly captured. As a result, the shooting mode becomes the sports mode. When the portrait scene is determined, the CPU 32 corrects the program diagram so that the background is blurred, and corrects the white balance adjustment gain so that the change in the skin color of the person can be suppressed. As a result, the photographing mode becomes the portrait mode. When the sunset scene is determined, the CPU 32 corrects the program diagram so that the distant view is clearly captured, and corrects the white balance adjustment gain so that the color change of the sunset is suppressed. As a result, the shooting mode becomes the evening scene mode. When the night scene is determined, the CPU 32 corrects the program diagram so that the illumination stands out. As a result, the shooting mode becomes the night view mode.
[0029]
Regardless of the scene, the program diagram is corrected. For this reason, after the scene determination is completed, the CPU 32 adjusts the aperture amount and the exposure time based on the integral value y (i, j) set in the register rgst2 and the corrected program diagram.
[0030]
When the shutter button 54 is fully pressed after such exposure adjustment is completed, a corresponding status signal is given from the system controller 52 to the CPU 32. The CPU 32 executes shooting processing. Specifically, the CPU 32 instructs the TG 30 to perform the main exposure, and drives the shutter mechanism 16 by the driver 28d when the main exposure by the TG 30 is completed. The incident light to the image sensor 20 is blocked by driving the shutter mechanism 16. The CPU 32 also instructs the TG 30 to read all pixels in order to output the raw image signal for one frame obtained by the main exposure from the image sensor 20. Thus, a raw image signal of 2300 pixels × 1740 lines is read from the image sensor 20 by the interlace scan method.
[0031]
This raw image signal is supplied to the memory control circuit 36 via the CDS / AGC circuit 22 and the A / D converter 24, and is written into the raw image area 38b (see FIG. 4) of the SDRAM 38 by the memory control circuit 36. Since the raw image signal of 2300 pixels × 1740 lines is an interlace scan signal, the odd field signal is stored in the first half of the raw image area 38b, and the even field signal is stored in the second half of the raw image area 38b. That is, an odd field area and an even field area are formed in the raw image area 38b.
[0032]
After the writing to the raw image area 38b is completed, the memory control circuit 36 alternately reads the raw image signal from the odd field area and the even field area for each line. As a result, the interlaced scan signal is converted into a progressive scan signal. The switch SW1 is connected to the terminal S2 when the shutter button 54 is fully pressed. Therefore, the raw image signal read by the memory control circuit 36 is given to the signal processing circuit 22 through the switch SW1. In the signal processing circuit 22, a series of processes of color separation, RGB conversion, white balance adjustment, and YUV conversion are executed, thereby generating a YUV signal (main YUV signal) of 2300 pixels × 1740 lines.
[0033]
The horizontal zoom magnification and the vertical zoom magnification of the zoom circuit 34 are respectively set to “1/4” and “1/6” when the shutter button 54 is fully pressed. Therefore, the resolution of the YUV signal output from the signal processing circuit 22 is converted from 2300 pixels × 1740 lines to 575 pixels × 290 lines. The YUV signal of 575 pixels × 290 lines output from the zoom circuit 34 is written into the display image area 38 a shown in FIG. 4 by the memory control circuit 36. Thereafter, the same processing as that for displaying a through image is performed, and a freeze image at the time when the shutter button 54 is operated is displayed on the monitor 44.
[0034]
The main YUV signal of 2300 pixels × 1740 lines output from the signal processing circuit 26 is also supplied to the memory control circuit 36 as it is, and is written into the main image area 38c (see FIG. 4) of the SDRAM 38 by the memory control circuit 36. When the writing is completed, the CPU 32 creates a reduced YUV signal of 160 pixels × 120 lines based on the main YUV signal of 2300 pixels × 1740 lines. Specifically, the CPU 32 accesses the SDRAM 38 via the memory control circuit 36 and generates a reduced YUV signal by software processing. The generated reduced YUV signal is written in the reduced image area 38d (see FIG. 4) of the SDRAM 38.
[0035]
The memory control circuit 36 reads the main YUV signal and the reduced YUV signal from the SDRAM 38 and supplies each YUV signal to the JPEG codec 46. The JPEG codec 46 compresses the supplied main YUV signal and reduced YUV signal according to the JPEG format, and generates a compressed main YUV signal and a compressed reduced YUV signal. The generated compressed main YUV signal and compressed reduced YUV signal are written by the memory control circuit 36 into the compressed main image area 38e and the compressed reduced image area 38f (see FIG. 4) of the SDRAM 38.
[0036]
When the photographing process is completed in this way, the CPU 32 executes a recording process. Specifically, the CPU 32 accesses the SDRAM 38 via the memory control circuit 36, and reads the compressed main YUV signal and the compressed reduced YUV signal from the compressed main image area 38e and the compressed reduced image area 38f, respectively. The CPU 46 further records the read compressed main YUV signal and compressed reduced YUV signal on the recording medium 50 in a file format. The recording medium 50 is detachable, and access to the recording medium 50 is performed via the I / F 48.
[0037]
Specifically, the CPU 32 executes a control program corresponding to the flowcharts shown in FIGS. 5 to 12, 15 to 16, 22 to 24, and 29 to 30. This control program is stored in the ROM 58.
[0038]
First, the display system is activated in step S1 shown in FIG. Specifically, the TG 30 is instructed to perform decimation readout, and the horizontal zoom magnification and vertical zoom magnification of the zoom circuit 34 are set to “1/4” and “1”. As a result, a through image of the subject is displayed on the monitor 44.
[0039]
In step S3, it is determined whether or not a vertical synchronization signal of 30 fps has been generated from TG 30. If YES, integral value fetching processing 1 is executed in step S5. As a result, 256 integral values y (i, j) individually corresponding to the 256 blocks shown in FIG. 3 are set in the register rgst1. In step S7, it is determined whether the shutter button 54 is half-pressed, and in step S9, it is determined whether the zoom button 56 has been operated. When the zoom button 56 is operated, the process proceeds from step S9 to step S11, and the driver 28a is controlled to move the zoom lens 12 in the optical axis direction. When the process of step S11 is completed, the process returns to step S3.
[0040]
When the shutter button 54 is half-pressed, YES is determined in the step S7, and an integral value capturing process 2 is performed in a step S13. As a result, 256 integral values y (i, j) are set in the register rgst2. In step S15, the possibility that the object scene is a sports scene is determined based on the integral value y (i, j) of two consecutive frames set in the registers rgst1 and 2. Possibilities are expressed as percentages.
[0041]
When the process of step S15 is completed, focus adjustment is performed in step S17. Specifically, the driver 28b is controlled to move the focus lens 14 in the optical axis direction, and the focus lens 14 is set at the in-focus position detected thereby. When the focus adjustment is completed, the process proceeds from step S19 to step S21 after waiting for the generation of the vertical synchronization signal, and the integrated values r (i, j), g (i, j), b (i, j) and Take y (i, j). The fetched integral values r (i, j), g (i, j), b (i, j) and y (i, j) are set in the register rgst3.
[0042]
In step S23, the distance from the zoom lens 12 to the main subject, the distance between the focus lens and the image sensor 20, and the integral values r (i, j), g (i, j) and b (i set in the register rgst3. , J), the possibility that the object scene is a portrait scene is determined. In step S25, the scene is an evening scene based on the integral values r (i, j), g (i, j), b (i, j) and y (i, j) set in the register 3. Judge the possibility. In step S27, the possibility of the scene being a night scene is determined based on the integral value y (i, j) set in the register rgst3. Again, the likelihood is expressed as a percentage.
[0043]
In step S29, the possibility with the highest percentage is specified from the possibilities obtained in steps S15, S23, S25 and S27, and the scene corresponding to the identified possibility is determined as the object scene. In step S29, camera settings (shooting mode settings) corresponding to the confirmed scene are further performed. When the object scene is determined to be a sports scene, the program diagram is corrected so that a moving subject is photographed clearly (sport mode setting). When the scene is determined to be a portrait scene, the program diagram is corrected so that the background is blurred, and the white balance adjustment gain is corrected so that the change in the skin color of the person is suppressed (portrait mode setting). When the scene is determined to be a sunset scene, the program diagram is corrected so that the distant view is clearly captured, and the white balance adjustment gain is corrected so that changes in sunset colors can be suppressed (set sunset mode) . When the object scene is confirmed as a night scene, the program diagram is corrected so that the illumination stands out (night scene mode setting).
[0044]
In step S31, a character generator (not shown) is driven to display the character corresponding to the confirmed scene on the monitor 44 as an OSD. In the automatic discrimination by the CPU 32, there is a possibility that the scene is erroneously discriminated. In this embodiment, the operator is notified by visual message which scene has been determined. This improves the operability. Although detailed explanation is omitted, the setting of the sports scene, portrait scene, sunset scene or night scene can be changed by manual operation of the operator.
[0045]
In step S33, the optimum aperture amount and the optimum exposure time are specified based on the integral value y (i, j) set in the register rgst2 and the program diagram corrected by the camera setting in step S29, and the optimum aperture amount is determined. The diaphragm mechanism 16 is set by the driver 28c. The shutter mechanism 18 is driven when the optimum exposure time has elapsed from the start of the main exposure in step S39 to be described later.
[0046]
In step S35, it is determined whether or not the shutter button 54 has been fully pressed. In step S37, it is determined whether or not the operation of the shutter button 54 has been released. When the shutter button 54 is fully pressed, the process returns to step S1 through the photographing process / recording process in step S37. The subject image is recorded on the recording medium 50 by the photographing process and the recording process. When the operation of the shutter button 54 is released, the process returns to step S1 without performing the photographing process / recording process.
[0047]
The integral value fetching process 1 in step S5 follows the subroutine shown in FIGS. First, in step S41, the vertical position number i is set to “4”, and in step S43, the horizontal position number j is set to “4”. In step S45, the integral value y (i, j) is read from the register rgst1, and the integral value y (i, j) is set to rgst4 as the specific integral value Ysp1 (i, j). In step S47, the horizontal position number j is incremented, and in step S49, the incremented vertical value number j is compared with “12”. If j <12, the process returns to step S45. If j = 12, the vertical position number i is incremented in step S51, and the incremented vertical position number i is compared with “12” in step S53. If i <12, the process returns to step S43. If i = 12, the process proceeds to step S55.
[0048]
In step S55, the vertical position number i is set to “0”, and in the subsequent step S57, the horizontal position number j is set to “0”. In step S59, it is determined whether the vertical position number i and the horizontal position number j satisfy the conditions of 0 <i <15 and 0 <j <15. When both conditions are satisfied, the process proceeds to step S63 as it is. On the other hand, if any one of the above conditions is not satisfied, the integral value y (i, j) of the register rgst1 is set to rgst4 as the specific integral value Ysp1 (i, j) in step S61, and then the process proceeds to step S63. . In step S63, the horizontal position number j is incremented, and in the subsequent step S65, the incremented horizontal position number j is compared with “16”. If j <16, the process returns to step S59. If j = 16, the process proceeds to step S67. In step S67, the vertical position number i is incremented, and in step S69, the incremented vertical position number i is compared with “16”. If i <16, the process returns to step S57. If i = 16, the process returns to the upper-level routine.
[0049]
Through such processing, a total of 124 specific integration values Ysp1 (i, j) are obtained for the 64 blocks forming the central region CTR1 and the 60 blocks forming the peripheral region ARD1 shown in FIG.
[0050]
The integral value fetching process 2 in step S13 shown in FIG. 5 follows the subroutine shown in FIGS. However, in this subroutine, in steps S75 and S91, the integral value y (i, j) stored in the register rgst2 is set in the register rgst2 as the specific integral value Ysp2 (i, j). Since this is the same as the subroutine shown in FIG. By this processing, 124 specific integration values Ysp2 (i, j) forming the central region CTR1 and the peripheral region ARD1 shown in FIG. 13 are obtained.
[0051]
The possibility determination process in step S15 shown in FIG. 5 follows a subroutine shown in FIGS. First, variables Cctr and Card are set to “0” in step S101, and vertical position number i and horizontal position number j are set to “4” in steps S103 and S105. In step S107, the difference absolute value ΔYsp (i, j) between the specific integral values Ysp1 (i, j) and Ysp2 (i, j) is calculated according to the equation 1, and in the subsequent step S109, the calculated difference absolute value ΔYsp (i, j, j) is compared with a threshold Yth1.
[0052]
[Expression 1]
ΔYsp (i, j) = | Ysp1 (i, j) −Ysp2 (i, j) |
If ΔYsp (i, j) ≧ Yth1, YES is determined in step S109, the variable Cctr is incremented in step S111, and the process proceeds to step S113. On the other hand, if ΔYsp (i, j) <Yth, NO is determined in step S109, and the process directly proceeds to step S113.
[0053]
In step S113, the horizontal position number j is incremented, and in step S115, the incremented horizontal position number j is compared with “12”. If j <12, the process returns to step S107. If j = 12, the process proceeds to step S117. In step S117, the vertical position number i is incremented, and in step S119, the incremented vertical position number i is compared with “12”. If i <12, the process returns to step S105, and if i = 12, the process proceeds to step S121.
[0054]
The difference absolute value ΔYsp (i, j) calculated in step S107 corresponds to the amount of movement of the subject in each block (i, j) forming the central region CTR1. If the amount of movement is large, YES is determined in step S109, and the variable Cctr is incremented. Therefore, the variable Cctr shows a larger value as the proportion of the subject with a large amount of movement in the central region CTR1 is larger.
[0055]
In step S121, the vertical position number i is set to “0”, and in the subsequent step S123, the horizontal position number j is set to “0”. In step S125, it is determined whether the vertical position number i and the horizontal position number j satisfy the conditions of 0 <i <15 and 0 <j <15, and if both conditions are satisfied, the process proceeds to step S131 as it is. If neither is satisfied, the process proceeds to step S126. In step S126, the difference absolute value ΔYsp (i, j) of the specific integral values Ysp1 (i, j) and Ysp2 (i, j) is calculated according to the above-described equation 1, and in the subsequent step S127, the calculated difference absolute value ΔYsp ( i, j) is compared with the threshold Yth1. If ΔYsp (i, j) ≧ Yth, the variable Card is incremented in step S129 and the process proceeds to step S131. If ΔYsp (i, j) <Yth, the process proceeds to step S131.
[0056]
In step S131, the horizontal position number j is incremented, and in step S133, the incremented horizontal position number j is compared with “16”. If j <16, the process returns to step S125. If j = 16, the process proceeds to step S135. In step S135, the vertical position number i is incremented, and in step S137, the incremented vertical position number i is compared with “16”. If i <16, the process returns to step S123, and if i = 16, the process proceeds to step S139.
[0057]
The absolute difference value ΔYsp (i, j) calculated in step S126 corresponds to the amount of movement of the subject in each block (i, j) that forms the peripheral area ARD1. If this amount of movement is large, YES is determined in the step S127, and the variable Card is incremented. Therefore, the variable Card shows a larger value as the proportion of the subject with the larger amount of movement in the peripheral area ARD1 increases.
[0058]
In step S139, the possibility Psprt that the object scene is a sports scene is calculated according to Equations 2 to 4. When the possibility Psprt is calculated, the routine returns to the upper layer routine.
[0059]
[Expression 2]
Rcrt = Cctr / 64 * 100
[0060]
[Equation 3]
Rard = Card / 60 * 100
[0061]
[Expression 4]
Psprt = Rctr-a * Rard
a: The number of blocks forming the constant central region CTR1 is “64”, and the number of blocks forming the peripheral region ARD1 is “60”. Therefore, by dividing the variable Cctr by “64” and multiplying the divided value by “100”, the ratio Rctr that the subject having a large amount of motion occupies in the central region CTR1 is obtained. Further, by dividing the variable Card by “60” and multiplying the divided value by “100”, the ratio Rard that the subject having a large amount of motion occupies in the peripheral area ARD1 is obtained. Since it is necessary to exclude the movement of the entire object field in order to determine the movement of only the subject existing in the central area CRT1, the constant Rard is multiplied by the constant a, and the multiplication value a * Rard is subtracted from the ratio Rctr. ing. This determines the probability Psprt as a percentage. Note that when a scene in which a baseball pitcher throws a ball as shown in FIG. 14 is shot, the possibility Psprt shows a high numerical value.
[0062]
The possibility determination process in step S23 shown in FIG. 6 follows the subroutine shown in FIGS. First, the positions of the zoom lens 12 and the focus lens 14 are detected in step S141, and the distance L1 from the zoom lens 12 to the main subject and the distance L2 between the focus lens 14 and the image sensor 20 are detected in steps S143 and S145 (FIG. 18). reference).
[0063]
The ROM 58 stores the graph shown in FIG. According to FIG. 17, the horizontal axis and the vertical axis are the positions of the zoom lens 12 and the focus lens 14, respectively. The position of the zoom lens 12 is represented by the number of steps of a stepping motor (not shown) provided in the driver 28a, and the position of the focus lens 14 is represented by the number of steps of a stepping motor (not shown) provided in the driver 28b. Is done. A plurality of curves A to I corresponding to the distance to the main subject are drawn on the plane formed by the vertical axis and the horizontal axis. Curves A to I have distances to the subject of 0.4 m, 0.5 m, 0.6 m, 0.8 m, 1.0 m, 1.5 m, 2.0 m, 3.0 m, and infinity (∞), respectively. The lens positional relationship at a certain time is shown.
[0064]
Accordingly, in step S143, the distance L1 is detected based on the positions of the zoom lens 12 and the focus lens 14 obtained in step S141 and the graph shown in FIG. In step S145, the interval L2 is detected from the position of the focus lens 14 obtained in step S141.
[0065]
In step S147, the number of vertical blocks FC of the area (face area) that the person's face should occupy on the screen, that is, the object scene, is calculated according to Expressions 5 to 6.
[0066]
[Equation 5]
face2 = face1 * L2 / L1
face1: The length of a person's face (constant: 30 cm)
face2: length of the face image projected on the light receiving surface
[Expression 6]
FC = 16 * face2 / h
h: Vertical size of the light-receiving surface formed on the image sensor Referring to FIG. 18, when it is assumed that a person (main subject) whose face length is face1 is located at a distance L1 from the zoom lens 12, The length face2 of the face image projected on the light receiving surface of the image sensor 20 corresponds to a value obtained by multiplying face1 by L2 / L1. The number of vertical blocks FC of the face area projected on the light receiving surface corresponds to a value obtained by dividing face2 by the vertical size h of the light receiving surface and multiplying the divided value by “16”.
[0068]
Returning to FIG. 15, in steps S149 and S151, the calculated number of vertical blocks FC is determined. When the number of vertical blocks FC is less than “2”, the number of vertical blocks FC is set to “2” in step S153, and the process proceeds to step S156. When the number of vertical blocks FC exceeds “8”, the number of vertical blocks FC is set to “8” in step S155, and the process proceeds to step S156. On the other hand, when the condition of 2 ≦ FC ≦ 8 is satisfied, the process proceeds to step S156 as it is. Thus, the area of the face area is set in the range of 2 blocks × 2 blocks to 8 blocks × 8 blocks.
[0069]
In step S156, variables Cin and Cout are set to “0”, and in steps S157 and S159, vertical position number i and horizontal position number j are set to “0”. In step S161, the integral values r (i, j), g (i, j) and b (i, j) set in the register rgst3 are read, and the color evaluation value R and the block (i, j) according to Equation 7 G is calculated.
[0070]
[Expression 7]
R = r (i, j) / (r (i, j) + g (i, j) + b (i, j))
G = g (i, j) / (r (i, j) + g (i, j) + b (i, j))
In step S163, it is determined whether or not the calculated color evaluation values R and B belong to the skin color area SKN shown in FIG. 19, and if NO, the process directly proceeds to step S171. On the other hand, if “YES” in the step S163, the process proceeds to a step S165 to determine whether or not the block (i, j) belongs to the face area defined by the size obtained in the steps S147 to S155. Specifically, it is determined whether or not both the condition shown in Expression 8 and the condition shown in Expression 9 are satisfied. If both of these conditions are satisfied, the block (i, j) is considered to belong to the face area, and if either of these conditions is not satisfied, the block (i, j) does not belong to the face area. It is considered.
[0071]
[Equation 8]
8-FC / 2 ≦ i ≦ 7 + FC / 2
[0072]
[Equation 9]
8-FC / 2 ≦ j ≦ 7 + FC / 2
According to Equations 8 and 9, the face area is formed at the center of the screen. For example, if FC = 6, an area FACE indicated by hatching in FIG. 20 is a face area. When the block (i, j) belongs to such a face area, the variable Cin is incremented in step S167 and then the process proceeds to step S171. When the block (i, j) does not belong to the face area, step S169. In step S171, the variable Cout is incremented.
[0073]
In step S171, the horizontal position number j is incremented, and in step S173, the incremented horizontal position number j is compared with “16”. If j <16, the process returns to step S161. If j = 16, the process proceeds to step S175. In step S175, the vertical position number i is incremented, and in step S177, the incremented vertical position number i is compared with “16”. If i <16, the process returns to step S159. If i = 16, the process proceeds to step S179. By executing such processing, the variable Cin indicates the number of skin color blocks belonging to the face area, and the variable Cout indicates the number of skin color blocks not belonging to the face area.
[0074]
In step S179, the possibility Pptrt that the object scene is a portrait scene is calculated according to Equation 10. When the possibility Pptrt is calculated, the routine returns to the upper layer routine.
[0075]
[Expression 10]
Pptrt = (Cin−Cout * n) / FC 2 * 100
n: The higher the number of skin color blocks belonging to the constant face area, the higher the possibility that the subject has a human face, and the smaller the number of skin color blocks belonging to the face area, the lower the possibility that the subject has a human face. However, the more skin color blocks that exist in the area other than the face area, the lower the possibility that the subject is a human face. Therefore, the variable Cin is subtracted by a multiplication value obtained by multiplying the variable Cout by a constant n. On the other hand, FC 2 is the total number of blocks belonging to the face area. By dividing the subtracted value by the total number of blocks and multiplying the divided value by “100”, the possibility that the object scene is a portrait scene is Pptrt. Is required. It should be noted that the possibility Pptrt shows a high numerical value when a scene where a person as shown in FIG.
[0076]
The possibility determination process in step S25 shown in FIG. 6 follows the subroutine shown in FIGS. First, the variable Css is set to “0” in step S181, the vertical position number i is set to “0” in step S183, and the horizontal position number j is set to “0” in step S185. In step S187, it is determined whether the vertical position number i and the horizontal position number j satisfy the conditions of 6 ≦ i ≦ 9 and 6 ≦ j ≦ 9. If neither condition is satisfied, the process proceeds to step S197. If at least one of the conditions is satisfied, the process proceeds to step S189.
[0077]
In step S189, the integral values r (i, j), g (i, j) and b (i, j) set in the register rgst3 are read out, and the color evaluation value of the block (i, j) according to the above equation 7 R and G are calculated. In step S191, it is determined whether or not the calculated color evaluation values R and G belong to the evening scene area EVEN shown by hatching in FIG. 27. If NO, the process proceeds to step S195. If YES, the process proceeds to step S193. In step S193, the integral value y (i, j) set in the register rgst3 is read, and it is determined whether or not the integral value y (i, j) has high luminance. Specifically, it is determined whether y (i, j) exceeds a threshold Yth2. If y (i, j) ≦ Yth2, the process proceeds directly to step S197. If y (i, j)> Yth2, the variable Css is incremented in step S195, and then the process proceeds to step S197.
[0078]
In step S197, the horizontal position number j is incremented, and in step S201, the incremented horizontal position number j is compared with “16”. If j <16, the process returns to step S187. If j = 16, the process proceeds to step S201. In step S201, the vertical position number i is incremented, and in step S203, the incremented vertical position number i is compared with “16”. If i <16, the process returns to step S185. If i = 16, the process proceeds to step S205.
[0079]
As a result of such processing being performed, for each block forming the cross area CRS1 indicated by the diagonal lines in FIG. 25, determination processing for determining whether it is an evening scene and determination processing for determining whether it is high-intensity are performed. . The variable Css indicates the number of blocks with evening scenes and high brightness.
[0080]
In step S205 shown in FIG. 23, the peripheral luminance values Yupper, Ylower, Yleft, and Yright are set to “0”. In steps S207 and S209, the vertical position number i and the horizontal position number j are set to “0”. In step S211, it is determined whether the condition 0 ≦ i ≦ 1 is satisfied, in step S215, it is determined whether the condition 14 ≦ i ≦ 15 is satisfied, and in step S219, the condition 0 ≦ j ≦ 1 is satisfied. In step S225, it is determined whether or not the condition of 14 ≦ j ≦ 15 is satisfied.
[0081]
If “YES” is determined in the step S211, the process proceeds to a step S213, and the integral value y (i, j) stored in the register rgst3 is added to the peripheral luminance value Yupper. If YES is determined in the step S215, the process proceeds to a step S217 so as to add the integral value y (i, j) stored in the register rgst3 to the peripheral luminance value Ylower. If “YES” is determined in the step S219, the process proceeds to a step S221 so as to add the integral value y (i, j) stored in the register rgst3 to the peripheral luminance value Yleft. If YES is determined in the step S225, the process proceeds to a step S227 so as to add the integrated value y (i, j) stored in the register rgst3 to the peripheral luminance value Yright.
[0082]
In step S229, the horizontal position number j is incremented, and in step S231, the incremented horizontal position number j is compared with “16”. If j <16, the process returns to step S211. If j = 16, the process proceeds to step S233. In step S233, the vertical position number i is incremented, and in step S235, the incremented vertical position number i is compared with “16”. If i <16, the process returns to step S209. If i = 16, the process proceeds to step S237.
[0083]
The peripheral luminance values Yupper, Ylower, Yleft, and Yright obtained by such processing indicate the luminances of the peripheral areas ARD2a, ARD2b, ARD2c, and ARD2d, which are indicated by diagonal lines and thick lines shown in FIG.
[0084]
In step S237, the difference between the peripheral luminance values Yupper and Ylower is detected, and it is determined whether the luminance difference between the upper and lower sides of the screen is large based on the difference. In step S239, the difference between the peripheral luminance values Yleft and Yright is detected, and it is determined whether the luminance difference between the left and right sides of the screen is large based on the difference. Specifically, in step S237, it is determined whether or not the condition of Equation 11 is satisfied. In Step S239, it is determined whether or not the condition of Equation 12 is satisfied.
[0085]
## EQU11 ##
| Yupper-Ylower |> Yth3
[0086]
[Expression 12]
| Yleft-Yright |> Yth4
If neither the condition of equation 11 nor the condition of equation 12 is satisfied, the process proceeds to step S241, and the possibility Peven that the object scene is an evening scene is set to “0”. On the other hand, if at least one of the condition of Expression 11 and the condition of Expression 12 is satisfied, the possibility Peven is calculated according to Expression 13 in step S243. When the process of step S241 or S243 is completed, the process returns to the upper hierarchy routine.
[0087]
[Formula 13]
Peven = Css / 112 * 100
The number of blocks forming the cross area CRS1 shown in FIG. 25 is “112”, and the variable Css is the number of high-intensity blocks in the evening scene among the blocks forming the cross area CRS1. Therefore, by multiplying the division value obtained by dividing the variable Css by “112” by “100”, the possibility Peven that the object scene is an evening scene is obtained as a percentage. It should be noted that, when a scene in which the sunset is set in the mountains as shown in FIG.
[0088]
The possibility determination process in step S27 shown in FIG. 6 follows a subroutine shown in FIGS. First, in step S251, the total luminance value Ysum is set to “0”, the vertical position number i is set to “0” in step S253, and the horizontal position number j is set to “0” in step S255. In step S257, the integral value y (i, j) is read from the register rgst3, and the integral value y (i, j) is added to the luminance sum value Ysum.
[0089]
In step S259, the horizontal position number j is incremented, and in step S261, the incremented horizontal position number j is compared with “16”. If j <16, the process returns to step S257, but if j = 16, the process proceeds to step S263. In step S263, the vertical position number i is incremented, and in step S265, the incremented vertical position number i is compared with “16”. If i <16, the process returns to step S255. If i = 16, the luminance average value Yavr is calculated according to the equation 14 in step S267.
[0090]
[Expression 14]
Yavr = Ysum / 256
By repeating steps S255 to S265, the luminance summation value Ysum indicates the summation of the integral values y (i, j) set in the register rgst3. Since the total number of blocks formed on the screen is “256”, the luminance average value obtained by Equation 14 indicates the average luminance of the screen.
[0091]
In step S269, the variable Cni is set to “0”, the vertical position number i is set to “0” in step S271, and the horizontal position number j is set to “0” in step S273. In step S275, the integral value y (i, j) is read from the register rgst3, and it is determined whether or not the integral value y (i, j) satisfies the condition shown in Equation 15.
[0092]
[Expression 15]
y (i, j)> Yavr * m
m: If the condition represented by the constant number 15 is not satisfied, the process proceeds to step S279 as it is. If the condition represented by expression 15 is satisfied, the variable Cni is incremented in step S277, and then the process proceeds to step S279.
[0093]
In step S279, the horizontal position number j is incremented, and in step S281, the incremented horizontal position number j is compared with “16”. If j <16, the process returns to step S275. If j = 16, the process proceeds to step S283. In step S283, the vertical position number i is incremented, and in step S285, the incremented vertical position number i is compared with “16”. If i <16, the process returns to step S273. If i = 16, the process proceeds to step S287.
[0094]
By repeating steps S273 to S285, the integral value y (i, j) of all the blocks forming the screen is compared with a multiplication value obtained by multiplying the luminance average value Yavr by a constant m. The variable Cni corresponds to the number of high-luminance blocks whose integrated value y (i, j) exceeds the multiplied value among 256 blocks forming the screen.
[0095]
In step S287, the luminance average value Yavr is compared with the threshold value Ynight. If Yavr ≧ Ynight, the possibility Pnight that the scene is a night scene is set to “0” in step S289. On the other hand, if Yavr <Ynight, the variable Cni is compared with the threshold Cmax in step S291. If Cni ≦ Cmax, the process proceeds directly to step S295. If Cni> Cmax, the variable Cni is set to the threshold value Cmax in step S293, and then the process proceeds to step S295. In step S295, the possibility Pnight is calculated according to Equation 16. When the process of step S289 or S295 is completed, the process returns to the upper hierarchy routine.
[0096]
[Expression 16]
Pnight = Cni / Cmax * 100
If the luminance average value Yavr is low, the object scene may be a night scene. Therefore, the calculation of Expression 16 is performed when the condition of Yavr <Ynight is satisfied. The variable Cni that is noticed in a situation where the luminance average value Vavr is sufficiently small can be regarded as the number of high luminance regions scattered in the night scene. Furthermore, although the average luminance value Yavr increases as the number of high-luminance regions increases, the process proceeds to step S295 when the luminance of regions other than the high-luminance region is considerably low. Therefore, in the calculation executed when the luminance average value Yavr is sufficiently low, the possibility Pnight that the scene is a night scene is obtained by emphasizing the variable Cni related to the size of the high luminance region. In addition, when the night skyscraper group dotted with the light of a window as shown in FIG. 31 is imaged, the possibility Pnight shows a high numerical value.
[0097]
As can be seen from the above description, in determining the possibility of a portrait scene, the distance L1 to the main subject existing in the object field is measured based on the positions of the zoom lens 12 and the focus lens 14 (S141, S143). The distance L2 between the focus lens 14 and the image sensor 20 is measured based on the position of the focus lens 14 (S145). The face area that the human face should occupy on the light receiving surface of the image sensor 14 is specified based on the measured distance L1 and interval L2 (S147 to S155). On the other hand, the skin color area of the object scene is detected based on the integral values r (i, j), g (i, j) and b (i, j) (S163). The shooting mode is determined based on the size of the skin color area included in the face area and the size of the skin color area outside the face area (S179, S29). That is, if the possibility ptrt calculated based on each size is the largest, the shooting mode is determined to be the portrait mode. The object scene is shot in the determined shooting mode (S39).
[0098]
Thus, since the shooting mode is determined based on the relationship between the face area specified based on the distance L1 to the main subject and the skin color area of the object scene, the operability of the camera can be improved. .
[0099]
In this embodiment, the digital camera has been described. However, the present invention can be applied to an analog video camera or a silver salt camera.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of the present invention.
2 is a block diagram showing an example of a configuration of a signal processing circuit applied to the embodiment in FIG. 1;
FIG. 3 is an illustrative view showing one example of blocks formed on a screen;
4 is an illustrative view showing one example of a mapping state of the SDRAM applied to the embodiment in FIG. 1; FIG.
FIG. 5 is a flowchart showing a part of the operation of the embodiment in FIG. 1;
6 is a flowchart showing another part of the operation of FIG. 1 embodiment; FIG.
FIG. 7 is a flowchart showing another part of the operation of the embodiment in FIG. 1;
FIG. 8 is a flowchart showing still another part of the operation of the embodiment in FIG. 1;
FIG. 9 is a flowchart showing another part of the operation of the embodiment in FIG. 1;
FIG. 10 is a flowchart showing still another portion of the operation of the embodiment in FIG. 1;
FIG. 11 is a flowchart showing still another portion of the operation of the embodiment in FIG. 1;
12 is a flowchart showing another part of the operation of the embodiment in FIG. 1; FIG.
FIG. 13 is an illustrative view showing one portion of operation of FIG. 1 embodiment;
FIG. 14 is an illustrative view showing one example of a sports scene.
FIG. 15 is a flowchart showing a part of the operation of FIG. 1 embodiment;
FIG. 16 is a flowchart showing another portion of the operation of the embodiment in FIG. 1;
FIG. 17 is a graph showing the relationship between the zoom lens position and focus lens position and the subject distance.
FIG. 18 is an illustrative view showing one portion of operation of FIG. 1 embodiment;
FIG. 19 is a plan view showing a distribution state of color evaluation values.
FIG. 20 is an illustrative view showing one portion of operation of FIG. 1 embodiment;
FIG. 21 is an illustrative view showing one example of a portrait scene.
FIG. 22 is a flowchart showing a part of the operation of FIG. 1 embodiment;
FIG. 23 is a flowchart showing another portion of the operation of the embodiment in FIG. 1;
FIG. 24 is a flowchart showing still another portion of the operation of the embodiment in FIG. 1;
FIG. 25 is an illustrative view showing one portion of operation of the embodiment in FIG. 1;
FIG. 26 is an illustrative view showing another portion of the operation of the embodiment in FIG. 1;
FIG. 27 is a plan view showing a distribution state of color evaluation values.
FIG. 28 is an illustrative view showing one example of an evening scene.
FIG. 29 is a flowchart showing a part of the operation of the embodiment in FIG. 1;
30 is a flowchart showing another portion of the operation of the embodiment in FIG. 1; FIG.
FIG. 31 is an illustrative view showing one example of a night view scene;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Digital camera 12 ... Zoom lens 14 ... Focus lens 20 ... Image sensor 26 ... Signal processing circuit 32 ... CPU
36 ... Memory control circuit 38 ... SDRAM
44 ... Monitor 46 ... JPEG codec 48 ... Recording medium 54 ... Shutter button 56 ... Zoom button

Claims (5)

被写界に応じた撮影モードのパラメータを用いて撮影を行うカメラにおいて、
前記被写界に存在する主要被写体までの距離を測定する第1測定手段、
人物の顔が占めるべき顔領域を前記第1測定手段によって測定された距離に基づいて前記被写界から特定する特定手段、
前記被写界から肌色領域を検出する検出手段、および
前記特定手段によって特定された顔領域と前記検出手段によって検出された肌色領域とに基づいて前記撮影モードをポートレートモードに決定する決定手段を備えることを特徴とする、カメラ。
In a camera that shoots using parameters of the shooting mode according to the scene,
First measuring means for measuring a distance to a main subject existing in the object field;
A specifying means for specifying a face area to be occupied by a person's face from the object scene based on a distance measured by the first measuring means;
Detecting means for detecting a skin color area from the object scene, and a determination means for determining the photographing mode to the portrait mode based on the detected skin color region by said detecting means and the identified face region by said specifying means A camera characterized by comprising.
ズームレンズをさらに備え、
前記第1測定手段は前記ズームレンズの位置に基づいて前記距離を測定する、請求項1記載のカメラ。
A zoom lens,
The camera according to claim 1, wherein the first measuring unit measures the distance based on a position of the zoom lens.
フォーカスレンズ、
前記フォーカスレンズを経た前記被写界の光学像が受光面に入射されるイメージセンサ、および
前記フォーカスレンズと前記受光面との間隔を測定する第2測定手段をさらに備え、
前記特定手段は前記第1測定手段によって測定された距離と前記第2測定手段によって測定された間隔とに基づいて前記受光面に投影された被写界像の顔領域を特定する、請求項1または2記載のカメラ。
Focus lens,
An image sensor in which an optical image of the object scene that has passed through the focus lens is incident on a light receiving surface; and a second measuring unit that measures a distance between the focus lens and the light receiving surface;
The identification means identifies a face area of the object scene image projected on the light receiving surface based on a distance measured by the first measurement means and an interval measured by the second measurement means. Or the camera of 2.
前記決定手段は、前記顔領域に含まれる第1肌色領域のサイズを判別する第1肌色領域判別手段、前記顔領域から外れる第2肌色領域のサイズを判別する第2肌色領域判別手段、および前記第1肌色領域のサイズおよび前記第2肌色領域のサイズに基づいて前記撮影モードを前記ポートレートモードに設定するモード設定手段を含む、請求項1ないし3のいずれかに記載のカメラ。The determining means includes first skin color area determining means for determining a size of a first skin color area included in the face area, second skin color area determining means for determining a size of a second skin color area outside the face area, and includes a mode setting means for setting the photographing mode to the portrait mode based on the size of the size and the second color region of the first color region, the camera according to any one of claims 1 to 3. 前記決定手段によって決定された撮影モードに対応するメッセージを出力する出力手段をさらに備える、請求項1ないし4のいずれかに記載のカメラ。  The camera according to claim 1, further comprising an output unit that outputs a message corresponding to the shooting mode determined by the determination unit.
JP2002119713A 2002-04-22 2002-04-22 camera Expired - Fee Related JP3754391B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2002119713A JP3754391B2 (en) 2002-04-22 2002-04-22 camera
US10/420,064 US7872670B2 (en) 2002-04-22 2003-04-21 Camera performing photographing in accordance with photographing mode depending on object scene
US12/378,084 US20090153695A1 (en) 2002-04-22 2009-02-11 Camera performing photographing in accordance with photographing mode depending on object scene
US12/378,069 US7969481B2 (en) 2002-04-22 2009-02-11 Camera performing photographing in accordance with photographing mode depending on object scene
US12/378,068 US20090153702A1 (en) 2002-04-22 2009-02-11 Camera performing photographing in accordance with photographing mode depending on object scene

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002119713A JP3754391B2 (en) 2002-04-22 2002-04-22 camera

Publications (2)

Publication Number Publication Date
JP2003319242A JP2003319242A (en) 2003-11-07
JP3754391B2 true JP3754391B2 (en) 2006-03-08

Family

ID=29536194

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002119713A Expired - Fee Related JP3754391B2 (en) 2002-04-22 2002-04-22 camera

Country Status (1)

Country Link
JP (1) JP3754391B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011223378A (en) * 2010-04-12 2011-11-04 Sanyo Electric Co Ltd Electronic camera

Also Published As

Publication number Publication date
JP2003319242A (en) 2003-11-07

Similar Documents

Publication Publication Date Title
US8558913B2 (en) Capture condition selection from brightness and motion
KR100738492B1 (en) Image capture apparatus and control method therefor
US8199203B2 (en) Imaging apparatus and imaging method with face detection based on scene recognition results
US7969481B2 (en) Camera performing photographing in accordance with photographing mode depending on object scene
JP4819001B2 (en) Imaging apparatus and method, program, image processing apparatus and method, and program
JP4986175B2 (en) Imaging apparatus and program
JP5738080B2 (en) Imaging apparatus and control method thereof
US8248484B2 (en) Imaging apparatus and method
JP4025865B2 (en) Electronic camera
JP2006254229A (en) Imaging apparatus, imaging method and imaging program
JP2003046848A (en) Imaging system and program
JP3738231B2 (en) camera
JP3754390B2 (en) camera
JP3754391B2 (en) camera
JP3588353B2 (en) camera
JP4173459B2 (en) Digital camera
JP3949000B2 (en) Auto focus camera
JP3949067B2 (en) Auto focus camera
JP4190346B2 (en) Imaging device
KR101396355B1 (en) Digital image processing apparatus for diplaying slideshow of a number of continuous captured image and thereof method
JP2004309653A (en) Imaging unit
JP3949066B2 (en) Auto focus camera
JP2011018989A (en) Imaging device, image selection method, and program
JP5761387B2 (en) Imaging apparatus and program
JP2004248050A (en) Video camera

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051215

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081222

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees