JP2014002197A - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
JP2014002197A
JP2014002197A JP2012135800A JP2012135800A JP2014002197A JP 2014002197 A JP2014002197 A JP 2014002197A JP 2012135800 A JP2012135800 A JP 2012135800A JP 2012135800 A JP2012135800 A JP 2012135800A JP 2014002197 A JP2014002197 A JP 2014002197A
Authority
JP
Japan
Prior art keywords
subject
light source
image
focus
point light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012135800A
Other languages
English (en)
Other versions
JP6172428B2 (ja
Inventor
Kei Ito
圭 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2012135800A priority Critical patent/JP6172428B2/ja
Priority to US13/915,893 priority patent/US9244335B2/en
Publication of JP2014002197A publication Critical patent/JP2014002197A/ja
Application granted granted Critical
Publication of JP6172428B2 publication Critical patent/JP6172428B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/365Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

【課題】夜景などのように点光源が支配的な被写体であっても、精度よく自動焦点処理を行うことができる撮像装置および撮像方法を得る。
【解決手段】撮像素子、画像データに応じて焦点を決定する自動焦点検出手段、撮像レンズを焦点に基づいて移動させるレンズ移動手段、撮像素子の駆動条件を設定する駆動条件設定手段、画像データの輝度成分に基づいて点光源の被写体の判定をする点光源検出手段、画像データから所定の被写体を検知する被写体検知手段、画像データを透過させるフィルタを選択するフィルタ選択手段、を備え、駆動条件設定手段は、点光源検出手段の判定結果に基づいて撮像素子の駆動条件を設定し、フィルタ選択手段は、撮像素子の駆動条件と被写体検知手段の検知結果に基づいてフィルタを選択し、自動焦点検出手段は、選択されたフィルタを透過した画像データに基づいて焦点を決定する、撮像装置による。
【選択図】図6

Description

本発明は、自動焦点機能を備えた撮像装置および同装置における撮像方法に関するものであって、詳しくは、点光源が支配的な被写体(例えば夜景など)であっても、精度よく自動焦点処理を行うことができる撮像装置および撮像方法に関するものである。
撮像素子を介して取得した被写体に係る画像信号から生成された画像データを用いて、合焦位置を決定するための情報を生成し、この生成された情報に基づいて、撮像レンズを合焦位置に自動的に移動させる自動焦点装置(以下「AF装置」という。)を備えるデジタルカメラ(以下「撮像装置」という。)が知られている。
AF装置が行うAF処理には複数の方式があるが、一般的な撮像装置に搭載されるAF装置は、山登りAF方式を用いている(例えば、特許文献1を参照)。この山登りAF方式は、受光面に結像した被写体の像によって撮像素子から出力される画像信号から、近接する画素の輝度差の積分値を算出し、この積分値を用いて合焦位置を判定する方式である。上記の積分値が合焦位置を決定させるための情報であって、「AF評価値」という。
撮影レンズが、撮像素子の受光面に被写体の像が合焦する位置にあるとき、その受光面における被写体の像の輪郭部分はハッキリしている。このときの被写体の像に係る画像信号から生成した画像データを用いて、AF評価値を算出すると、撮影レンズが他の位置(合焦位置ではない位置)にあるときのAF評価値に比べて大きな値になる。したがって、撮影レンズが合焦位置にあるとき、AF評価値は理論上、最大値になる。また、AF評価値は、撮影レンズが非合焦の位置から合焦位置に近づくにつれて増加し、撮影レンズが合焦位置から遠のくと減少する。
山登りAF方式は、上記のAF評価値の増減傾向に基づいて、AF評価値のピーク位置を検出する方式である。山登りAF方式を採用するAF装置は、撮像レンズを移動させながらAF評価値を算出する。AF評価値の算出タイミングは、予め規定する所定のタイミングかまたは一定の時間間隔による。各AF評価値を算出したときの撮影レンズの位置と算定されたAF評価値とを関連付けることで、AF評価値が最大値(AF評価値のピーク位置)になる撮影レンズの位置を特定することができる。この特定された位置に、撮像レンズを移動させることで、被写体に対して自動的に焦点を合わせことができる。
上記のように山登りAF方式において、一旦、レンズを移動範囲の全般に亘って移動させ、その移動範囲内で最大のAF評価値が得られるレンズ位置を特定し、この特定した位置までレンズを移動させる。
より具体的には、AF動作の開始位置をレンズの移動範囲の中央位置として、まずこの位置までレンズを移動させる。次に、この位置から一定の向き、例えば最近接合焦位置に向けて移動させた後、無限遠合焦位置に向けて反転移動させる。この移動している範囲で、所定のタイミング毎にAF評価値を算出し、最大のAF評価値が得られるレンズ位置を特定する。
ところで、近年の撮像素子は、解像度が増している。その中には数百メガ画素を有するものも珍しくない。撮像素子の画素数が増えると、画素の密度は高くなるから、画素ピッチは細かくなる。画素ピッチが細かくなると、感度も鈍くなる。これを解決するために、複数の駆動条件(駆動モード)を備える撮像素子が知られている。撮像素子の駆動モード(以下単に「駆動モード」という。)とは、受光面に結像した被写体に係る各画素から出力される画像信号を、加算や間引きするように、撮像素子の画像信号出力動作を可変するものである。例えば、所定の条件で画像信号を加算すると輝度が倍像する。これによって感度を上げることができる。
撮像素子の駆動モードのうち、上記のように画像信号を加算する駆動モードは、撮影時に被写体を確認する画像をLCDに表示するモニタリング処理にも用いられる。当該駆動モードは、各画素からの画像信号を加算すると全体の画素数よりも少ない画素数からなる画像信号になる。つまり、表示に用いる画像データの元となる画像信号の数が減ることから、画像の密度は低くなり、所定の時間間隔で表示処理を行うモニタリング処理に適している。
図21に、一般的な撮像素子の画素の配列の例を示す。図21の画素配列はベイヤ配列という。ベイヤ配列からなる撮像素子の各画素から読み出される信号(画像信号)を、水平方向と垂直方向でそれぞれ加算することで、後段で処理をする信号の数を減らすことができる。例えば、モニタリング処理に用いる画像データを生成するときは、全ての画素から出力された画像信号を一つ一つ処理するのではなく、一定の規則に基づいて、画像信号の「加算および(または)間引き」をして、画像信号の数を減らす。水平方向と垂直方向の2画素加算をする駆動モードが設定されているときの、CCD101の信号読出し状態の例を図17に示す。
上記のように水平方向の画素からの画像信号と垂直方向の画素からの画像信号を、それぞれ加算すると、被写体によってはAF評価値が異常になる事象が発生する。これは、画素の加算によって画像の空間周波数帯域が減少するからである。
この事象は、被写体が明るい昼間の撮影か、被写体が暗くなる夜の撮影かによって異なる。図26は、被写体の例を示す図であって、(a)は昼間の被写体、(b)は夜の被写体、(c)は夜の被写体であって人物が含まれる被写体、の例である。例えば、図26(a)に示すような昼間であれば、明るい状況での撮影となるため各被写体のコントラストがハッキリしている。しかし、図26(b)と図26(c)に示すような夜の撮影では、被写体全体が暗くなるため、各被写体のコントラストはハッキリしづらい。このような夜の撮影において、被写体に建物が含まれると、その居室の窓から漏れる光(照明光など)が被写体をほぼ支配している状態となる。このような建物から漏れる照明光などは、遠くからみると「点」のように見える。この「点のように見える被写体」が支配的な被写体を、点光源被写体という。
点光源被写体は、コントラストがほとんどない。そのため、点光源被写体から生成されたAF評価値は図23に示すようになる。図23において、横軸は撮影レンズの位置を、縦軸はAF評価値を示している。図23に示すように、点光源被写体から生成されるAF評価値では、ピーク位置の判定はできない。昼間の撮影であれば、仮に点光源被写体が被写体全体の中にあったとしても、点光源被写体の周辺の被写体のコントラストが支配的になり、AF評価値のピーク位置の判定はできる。しかし、夜など全体が暗い被写体に点光源被写体が含まれているような状態では、ピントが合わなくなればなるほど、点光源被写体の光が膨張していく。そうするとAF評価値は増加することになるから、ピーク位置の判定はできなくなる。
そこで、フィルタを掛け合わせながらAF評価値を算出することで、低輝度であっても精度よく自動的に合焦させることができる撮像装置が提案されている(例えば、特許文献2を参照)。しかし、特許文献2の撮像装置を用いて点光源被写体を撮影しようとすると、画素の加算によって周波数帯域が狭められた上に、フィルタを掛け合わせることになるため、一層、自動的に合焦させることが困難となる。
また、高輝度部分(点光源部分)の割合から補正を行うことで上記の現象を回避し、AFの精度を向上させる撮像装置が提案されている(例えば、特許文献3を参照)。しかし、夜の撮影では点光源が支配的であるから、その割合から補正をしても、その周辺の輝度値が低いため、実際に焦点位置を判定することは困難である。
以上のように、点光源が支配的になる(飽和している)被写体はコントラストが小さくなるため、AF評価値のピークを判定することができず、自動的に合焦させることは困難である。ただし、撮像素子の水平方向の画素の加算値を減らせば、通常ではピークが現れないAF評価値であっても、ピークを現すことができる。
図24は、水平画素加算数が異なるAF評価値を示すグラフであって、水平画素加算数を1画素、2画素、3画素、4画素としたときのそれぞれのAF評価値の変位を示している。図24に示すように、「4画素」ではAF評価値のピークが生じなくても、水平方向の画素加算値を減らしていくことで、ピークが現れる。図24においては水平1画素加算において、AF評価値のピークが現れている。
このように、点光源写体のようのコントラストが少ない(小さい)被写体において、AF評価値にピークが生じない要因は、点光源そのものよりも画素加算数によるものといえる。しかし、画素加算数を少なくすると(画素加算をしないと)、感度が落ちる。よって、感度を落とすことなく、AF評価値のピークが現れるようにすることが求められる。
また画素加算をせずに、画像の周波数帯域を広げるときは、被写体がどの周波数帯域にあるかを判定する必要がある。図27(a)は、ある被写体に係る画像に対して高速フーリエ変換(FFT)処理を施して得た、当該画像における周波数分布の例を示すヒストグラムである。図27(a)のヒストグラムに係る画像を、水平4画素加算にて取得したものに対してFFT処理を施すと、図27(b)に示すヒストグラムのようになる。このように、水平4画素加算した画像の周波数分布(図27(b))は、加算していない画像の周波数分布(図27(a))の左側1/4の部分を拡大したものと同じになる。
つまり、画素加算によって、画像の周波数帯域はかなり制限されているため、制限された画像に基づくAF評価値を生成すると、画像データにハイパスフィルタを用いたとしても、実際は低周波数帯域のAF評価値になってしまう。そのため、点光源のように、低周波数帯域が支配的な被写体に対しては、画素加算数を減らして、ハイパスフィルタをかけることが望ましい。しかし、単純に画素加算数を減らしてハイパスフィルタをかけるだけでは不都合が生じる。
例えば、図26(c)に示すように、点光源の中に人物がいる被写体において、低周波帯域が支配的な被写体である人物自体により、AF評価値が小さくなってしまうおそれがある。つまり、被写体の周波数成分を検知して、必要に応じて画素加算数とフィルタの透過周波数帯域を可変させた上で、AF動作を行わなければならない。
本発明は上記の課題に鑑みてなされたものであって、夜景などのように点光源が支配的な被写体であっても、精度よく自動焦点処理を行うことができ、さらに夜景ポートレートのような点光源と人物との混在した環境下においても、精度よく自動焦点処理を行うことができる撮像装置および撮像方法を提供することを目的とする。
本発明に係る撮像装置は、撮像レンズを介して取得された被写体像に応じた画像信号を出力する撮像素子と、画像信号から得た画像データに応じて焦点を決定する自動焦点検出手段と、撮像レンズを焦点に基づいて移動させるレンズ移動手段と、撮像素子の駆動条件を設定する駆動条件設定手段と、画像データの輝度成分に基づいて被写体が点光源の被写体であるか否かを判定する点光源検出手段と、画像データから所定の被写体を検知する被写体検知手段と、画像データを透過させるフィルタを選択するフィルタ選択手段と、
を備え、駆動条件設定手段は、点光源検出手段による判定結果に基づいて撮像素子の駆動条件を設定し、フィルタ選択手段は、撮像素子の駆動条件と被写体検知手段による検知結果に基づいてフィルタを選択し、自動焦点検出手段は、選択されたフィルタを透過した画像データに基づいて焦点を決定する、ことを最も主要な特徴とする。
本発明によれば、点光源被写体が支配的な環境において、人物が含まれる被写体であっても精度よく自動焦点処理をすることができる。
本発明に係る撮像装置であるカメラの例を示す正面図である。 上記撮像装置であるカメラの例を示す上面図である。 上記撮像装置であるカメラの例を示す背面図である。 上記撮像装置の電気的制御系統の例を示す機能ブロック図である。 上記撮像装置の表示部に表示される、(a)通常のAF処理エリアの例、(b)被写体内に顔を検知したときのAF処理エリアの例、を示す図である。 上記撮像装置におけるAF処理の例を示すフローチャートである。 上記撮像装置における点光源検出処理の例を示すフローチャートである。 上記撮像装置における駆動モード設定処理の例を示すフローチャートである。 上記撮像装置におけるAF処理の別の例を示すフローチャートである。 上記撮像装置におけるAFスキャン処理の例を示すフローチャートである。 上記撮像装置における駆動モード設定処理の別の例を示すフローチャートである。 上記撮像装置における輝度検出エリアの例を示す図である。 上記撮像装置における被写体の輝度分布の例を示すヒストグラムである。 上記撮像装置における被写体の輝度分布に対して、点光源検出処理に用いる閾値の例を示したヒストグラムである。 本発明に係る撮像方法を実行するプログラムの構成例を示すブロック図である。 撮像素子の各画素からの画像信号の読み出しパターンの例を示す図である。 撮像素子の各画素からの画像信号の読み出しパターンの別の例を示す図である。 撮像素子の各画素からの画像信号の読み出しパターンのさらに別の例を示す図である。 撮像素子の各画素からの画像信号の読み出しパターンのさらに別の例を示す図である。 上記撮像装置において、画像データの取り込み時のVD信号、レンズのフォーカス駆動タイミング、電子シャッタの電荷掃き出しパルスタイミング、および露光タイミングを示すタイミングチャートの例である。 上記撮像装置が備える撮像素子の画素配列パターンの例を示す図である。 上記撮像装置が用いるデジタルフィルタの係数であって、(a)ハイパスフィルタ、(b)バンドパスフィルタ、(c)ローパスフィルタ、の例である。 点光源被写体に係るAF評価値の変位の例を示グラフである。 撮像素子の水平画素加算数の違いによるAF評価値の変位の例を示すグラフである。 撮像素子の水平画素加算数の違いによるAF評価値の変位の例であって、(a)水平2画素加算の場合、(b)水平4画素加算の場合、(c)加算なしの場合、を示すグラフである。 上記撮像装置の動作の説明に用いる図であって、(a)昼間の被写体、(b)夜の被写体、(c)夜であって人物が含まれる被写体、の例である。 上記撮像装置が備える撮像素子の駆動モードを(a)画像信号の加算・間引きをしないモードにしたとき、(b)水平2画素加算をするモードにしたとき、それぞれにおける画像のヒストグラムの例である。 上記撮像装置におけるフィルタ設定の例を示すフローチャートである。 上記撮像装置におけるフィルタ設定の別の例を示すフローチャートである。
●撮像装置の外観
以下、本発明に係る撮像装置および撮像方法の実施の形態について図面を参照しながら説明する。まず、本発明に係る撮像装置の外観の例について図1から図3を用いて説明する。図1は本発明に係る撮像装置の例であるデジタルカメラ1の正面図である。図1において、デジタルカメラ1の筐体であるカメラボディCBの正面には、ストロボ発光部3、ファインダ4の対物面、リモコン受光部6および撮像レンズを含む撮像光学系を構成する鏡胴ユニット7が配置されている。カメラボディCBの一方の側面部には、メモリカード装填室および電池装填室の蓋2が設けられている。
図2は、デジタルカメラ1の上面図である。図2において、カメラボディCBの上面には、レリーズスイッチSW1、モードダイヤルSW2およびサブ液晶ディスプレイ11が配置されている。
図3は、デジタルカメラ1の背面図である。図3において、カメラボディCBの背面には、ファインダ4の接眼部、AF用発光ダイオード(以下発光ダイオードを「LED」という。)8、ストロボLED9、被写体画像と拡大画像および各種設定画面を表示する表示手段である液晶ディスプレイ10(以下「LCD10」という。)、電源スイッチ13、広角方向ズームスイッチSW3、望遠方向ズームスイッチSW4、セルフタイマの設定および解除スイッチSW5、メニュースイッチSW6、上移動およびストロボセットスイッチSW7、右移動スイッチSW8、ディスプレイスイッチSW9、下移動およびマクロスイッチSW14、左移動および画像確認スイッチSW11、OKスイッチSW12、クイックアクセススイッチSW13、が配置されている。
●撮像装置の機能ブロック
次に、本発明に係る撮像装置の機能ブロックの例について説明する。図4は、デジタルカメラ1の機能構成例を示す機能ブロック図である。本発明に係る撮像装置の各種動作(処理)は、デジタル信号処理IC(集積回路)等で構成されるデジタルスチルカメラプロセッサ104(以下、単に「プロセッサ104」という。)と、プロセッサ104において動作する撮像プログラムによって制御される。
画像処理手段であるプロセッサ104は、第1のCCD(電荷結合素子)信号処理ブロック104−1と、第2のCCD信号処理ブロック104−2と、CPU(中央処理ユニット)ブロック104−3と、ローカルSRAM(SRAM:スタティックランダムアクセスメモリ)104−4と、USB(ユニバーサルシリアルバス)ブロック104−5と、シリアルブロック104−6と、JPEGコーデック(CODEC)ブロック104−7と、リサイズ(RESIZE)ブロック104−8と、TV信号表示ブロック104−9と、メモリカードコントローラブロック104−10と、を有してなる。これら各ブロックは相互にバスラインで接続されている。
プロセッサ104の外部には、RAW−RGB画像データ、YUV画像データおよびJPEG画像データを保存するためのSDRAM(シンクロナスランダムアクセスメモリ)103、RAM107、内蔵メモリ120および撮像プログラムである制御プログラムが格納されているROM108、が配置されており、これらはバスラインを介してプロセッサ104に接続している。ROM108に格納されている制御プログラムには、本発明に係る撮像装置の動作を制御するプログラムが含まれる。
鏡胴ユニット7は、ズーム(ZOOM)レンズ7−1aを有するズーム光学系7−1、フォーカス(FOCUS)レンズ7−2aを有するフォーカス光学系7−2、絞り7−3a、を有する絞りユニット7−3、メカニカルシャッタ(メカシャッタ)7−4aを有するメカシャッタユニット7−4、を備えており、これらによって撮像光学系が構成される。
ズーム光学系7−1と、フォーカス光学系7−2と、絞りユニット7−3と、メカシャッタユニット7−4は、それぞれズーム(ZOOM)モータ7−1b、フォーカスレンズ移動手段としてのフォーカス(FOCUS)モータ7−2b、絞りモータ7−3bとメカシャッタモータ7−4b、によって駆動される。
ズームモータ7−1b、フォーカスモータ7−2b、絞りモータ7−3bおよびメカシャッタモータ7−4bの各モータは、モータドライバ7−5によって駆動される。モータドライバ7−5はプロセッサ104のCPUブロック104−3によって動作が制御される。
鏡胴ユニット7を構成するズームレンズ7−1aとフォーカスレンズ7−2aは、撮像素子であるCCD101の受光面上に被写体像を結像させる撮像レンズを構成する。CCD101は、受光面に結像された被写体像を電気的な画像信号に変換してF/E−IC(フロントエンドIC)102に出力する。
F/E−IC102は、CDS(相関2重サンプリング部)102−1、AGC(自動利得制御部)102−2およびA/D(アナログ−デジタル)変換部102−3を有し、被写体像から変換された画像信号に対して、所定の処理を施し、デジタル信号に変換する。変換されたデジタル画像信号は、CCD信号処理ブロック104−1に入力される。これらの信号処理動作は、プロセッサ104のCCD信号処理ブロック104−1から出力されるVD信号(垂直駆動信号)とHD信号(水平駆動信号)により、TG(タイミングジェネレータ)102−4を介して制御される。
CCD信号処理ブロック104−1は、CCD101からF/E−IC102を経由して入力されたデジタル画像データに対して、ホワイトバランス調整およびγ調整等の信号処理を行うとともに、VD信号およびHD信号を出力する。
プロセッサ104のCPUブロック104−3は、音声記録回路115−1による音声記録動作を制御する。音声記録回路115−1は、マイクロホン(マイク)115−3で変換されマイクロホンアンプ(マイクAMP)115−2によって増幅した音声信号を、CPUブロック104−3の指令に応じて記録する。
また、CPUブロック104−3は、音声再生回路116−1の動作も制御する。音声再生回路116−1は、CPUブロック104−3の指令により、適宜なるメモリに記録されている音声信号をオーディオアンプ(オーディオAMP)116−2で増幅してスピーカ116−3に入力し、スピーカ116−3から音声を再生出力する。また、CPUブロック104−3は、ストロボ回路114を制御して動作させることによってストロボ発光部3から照明光を発光させる。
さらに、CPUブロック104−3は、プロセッサ104の外部に配置されたサブCPU(SUB−CPU)109にも結合されており、サブCPU109は、サブLCDドライバ111を介してサブLCD11による表示を制御する。また、サブCPU109は、AF用LED8、ストロボLED9、リモコン受光部6、スイッチSW1からスイッチSW13からなる操作部112およびブザー113にもそれぞれ結合されている。
USBブロック104−5は、USBコネクタ122に結合される。シリアルブロック104−6は、シリアルドライバ回路123−1を介してRS−232Cコネクタ123−2に結合される。
TV信号表示ブロック104−9は、LCDドライバ117を介してLCD10に結合され、また、TV信号表示ブロック104−9は、ビデオアンプ(AMP)118を介してビデオジャック119にも結合される。
メモリカードコントローラブロック104−10は、メモリカードスロット191のカード接点に結合されている。メモリカードがこのメモリカードスロット191に装填されると、メモリカードの接点に接触して電気的に接続され、装填されたメモリカードに画像ファイルを記憶する。
●撮像装置の動作●
次に、本発明に係る撮像装置の動作について説明をする。図1から図3に示したデジタルカメラ1において、モードダイヤルSW2を操作し、「記録モード」を選択すると、デジタルカメラ1は記録モードでの動作を開始する。より詳しくは、図4に示した操作部112に含まれるモードダイヤルSW2の状態が記録モード−オンになったことを、CPUブロック104−3がサブCPU109を経由して検知することで、記録モードでの動作を開始する。
CPUブロック104−3はモータドライバ7−5を制御し、鏡胴ユニット7を撮像可能な位置に移動させる。さらに、CCD101、F/E−IC102およびLCD10等の各部に電源が投入されて動作が開始される。各部の電源が投入されると、ファインダモードでの動作が開始される。
●ファインダモードの動作
ファインダモードで動作中のデジタルカメラ1は、撮像レンズを介してCCD101の受光面に結像された被写体像に係る画像信号がCDS102−1に出力される。このアナログRGB信号は、AGC(自動利得制御回路)102−2を介してA/D変換器102−3にてデジタル画像信号に変換される。このデジタル画像信号に含まれるR・G・Bの各信号は、プロセッサ104内の第2のCCD信号処理ブロック104−2が具備するYUV変換手段によって、YUV画像データに変換されて、フレームメモリとしてのSDRAM103に記録される。なお、第2のCCD信号処理ブロック104−2は、RGB画像信号に対してフィルタリング処理等の適切な処理を施してYUV画像データへと変換する。
YUV画像データは、CPUブロック104−3によって読み出されて、ビデオ信号表示ブロック104−9を介してビデオアンプ118およびビデオジャック119に送られて、これに接続されたTV(テレビジョン)に表示される。
また、CPUブロック104−3によって読み出されたYUV画像データは、LCDドライバ117を介してLCD10に送られて表示される。この処理が1/30秒間隔で行われて表示が更新され、撮像対象とする被写体をLCD10の表示によって視認しながら撮像することができるファインダモードでの動作となる。
●顔認識機能の動作
さらにデジタルカメラ1は、顔認識機能を備えていて、この顔認識機能を用いたAF処理を行う。顔認識機能とは、被写体に人物が含まれるとき、その人物の顔があるAF領域を自動的に判定し、判定されたAF領域(顔を含む領域)に含まれる画像データからAF評価値を算出する機能である。
デジタルカメラ1が備える顔認識機能には、顔認識モードを選択したときに動作する。顔認識モードの選択は、メニュースイッチSW6の操作か、クイックアクセススイッチSW13の操作により行う。顔認識モードが選択されているとき、ファインダモードでは、定期的に顔認識処理を実行している。デジタルカメラ1が備える顔認識機能には、いくつかの顔認識方法を適宜用いることができる。例えば、「カラー画像をモザイク画像化し、肌色領域に着目して顔領域を抽出する方法」や、「静止濃淡情景画像から顔領域を抽出する手法」のように、髪・目・口など正面人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して正面人物の頭部領域を抽出する方法、また、動画像の場合には、フレーム間の人物の微妙な動きによって発生する人物像の輪郭エッジを利用して正面人物像を抽出する方法などである。
●撮像素子の駆動モード
また、CCD101には複数の駆動モード(駆動条件)を選択的に設定することができる。この駆動モードによって、CCD101から出力される画像信号の出力条件が変更される。駆動モードには、例えば、図16に示すように水平画素の「加算と間引き」をせずに、垂直画素の「加算と間引き」もしないモード(以下「モード1」とする。)、図17のように水平画素を「2画素加算」し、垂直画素を「2画素加算」するモード(以下「モード2」とする。)、図18のように水平画素を「4画素加算」し、垂直画素を「2画素間引き」するモード(以下「モード3」とする。)、図19のように水平画素の「加算と間引き」をせず、垂直画素を「4画素加算」とするモード(以下「モード4」とする。)、がある。
モード1は、全ての画素からの画像信号を出力して画像データを生成するので、鮮明な画像を得ることができる。よって、モード1は静止画撮影時に設定されるモードである。しかし、全ての画素からの画像信号を用いて画像処理を行うには時間を要するので、所定の時間間隔でLCD10に表示するための画像データ(モニタリング用画像データ)を生成する処理には不向きである。また、CCD101の全ての画素からの画像信号を一度に(同時に)出力し、全部をまとめて画像処理することはできないため、いくつかのフレームに分割して転送をしなければならない。このため、モード1は、ファインダモードには不向きな動作モードである。
そこで、ファインダモードで動作するときのCCD101の駆動モードは、「モード3」に設定する。モード3は、読み出される画素数を減らしつつ、読み出す画素の感度を上げることができるため、ファインダモードには一番適している。なお、モード2とモード4については、後述する。
ファインダモードで動作中のデジタルカメラ1において、レリーズボタンSW1が押し下げられると、第1のCCD信号処理ブロック104−1に取り込まれたデジタルRGB画像データを用いて、合焦度合いを示すAF評価値が算出される。
●AF評価値
合焦状態にある被写体の画像は、エッジ部分が鮮明になるため、合焦状態にあるときの画像データに含まれる空間周波数の高周波成分は最大になる。AF評価値は、被写体の画像データを用いて算出されるので、例えば、変位量に対する微分値のように、高周波成分の高さを反映した値となる。
したがって、AF評価値が極大値となる画像データを取得したフォーカスレンズ7−2aの位置を合焦位置とすることができる。AF評価値の極大点が複数生じることも考慮して、複数の極大点があった場合には、ピーク位置におけるAF評価値の大きさと、その周辺位置のAF評価値の下降度合いまたは上昇度合いも考慮に入れて、最も信頼性があると推定される極大点を合焦位置とすればよい。
●フィルタ
図22は後述する制御プログラム(図15)に含まれるフィルタ設定処理部(108−6)において設定されるデジタルフィルタの係数の例である。設定された係数によるデジタルフィルタは、AF評価値を算出するための画像データを透過するフィルタである。図22(a)はハイパスフィルタ、(b)はバンドパスフィルタ、(c)はローパスフィルタとしてデジタルフィルタを動作させる係数の例である。図22(a)の係数を用いたデジタルフィルタは、近接する画素データに対して、「−1」、「2」、「−1」の係数を掛けることでハイパスフィルタとして機能する。当該フィルタを透過した画像データは高周波帯域成分が強調される。すなわち、近接する画素間の輝度差を強調するフィルタである。
図22(b)の係数を用いたデジタルフィルタは、近接する画素データにそれぞれ「−1」、「0」、「2」、「0」、「−1」の係数を掛けることでバンドパスフィルタとして機能する。図22(c)の係数を用いたデジタルフィルタは、近接する画像データにそれぞれ「−1」、「−1」、「1」、「2」、「1」、「−1」、「−1」の係数を掛けることで、ローパスフィルタとして機能する。
●AF処理エリア
またAF評価値の算出に用いる画像データは、全画素領域のものではなくてもよく、デジタルRGB画像データ内の特定の範囲のものでもよい。例えば、図5(a)に示すように、ファインダモードで動作しているときのLCD10に表示される画像の中央に上記特定の範囲の例であるAF処理エリア100が設定されている場合、このAF処理エリア100内の画像データを用いてAF評価値を算出する。このAF処理エリア100は、例えばRGB画像データの画面内の中央の水平方向の40%および垂直方向の30%を、その範囲とする。
●AF評価値の算出タイミング
次に、AF処理時におけるフォーカスレンズ7−2aの駆動タイミングとAF評価値の算出タイミングの関係について説明する。フォーカスレンズ7−2aは、1回のVD信号ごとに移動する。この移動量(フォーカス駆動量)は、例えばフォーカスモータ7−2bがパルスモータである場合は、所定の駆動パルス数に応じた量となる。
VD信号パルスの立下りに対応して、所定のパルスレートで所定の駆動パルス数だけフォーカスレンズ7−2aを駆動することで、1回のフォーカスレンズ駆動は終了する。次に出力されるVD信号パルスの立下りに対応して再度、所定のフォーカス駆動を行なう。このようにフォーカス駆動をVD信号(すなわちフレーム周期)に同期させて行う。
図20はAF処理時におけるフォーカスレンズ7−2aの移動タイミングとAF評価値を算出するタイミングの関係を示すタイミングチャートの例である。図20において、あるフレームレートで画像データの取り込みを行う場合のVD信号を(a)、電子シャッタにおける電荷掃き出しパルス(SUB)のタイミングを(b)、露光タイミングを(c)、フォーカスレンズ7−2aの移動タイミングを(d)、として示している。
図20において、1つ目のVD信号(a)が発生すると、それをトリガーとして、フォーカスモータ7−2bを駆動するパルスが2つ生成され(d)、このパルスに応じてフォーカスレンズ7−2aが移動する。また、VD信号(a)をトリガーとして電荷掃き出しパルス(b)が所定数発生し、この電荷掃き出しパルス(b)の数に応じて、CCD101に帯電している電荷の掃き出し処理が行われる。電荷掃き出し処理が終了した後に露光処理(c)が行なわれる。露光処理(c)によって、撮像レンズを介して被写体の映像が画像データとして取り込まれる。取り込まれた画像データを用いて所定の演算によってAF評価値が算出される。
上記駆動パルス数は可変であって、焦点距離や、フォーカスレンズ繰り出し量(フォーカス駆動範囲)などに応じて変化する。このように、本実施例におけるAF処理は、VD信号に同期してフォーカスレンズ7−2aの駆動範囲内において行うようになっている。
●制御プログラム
これまで説明をした自動焦点検出処理(AF処理)は、本発明に係る撮像装置が備える制御プログラムによって実行される処理である。この自動焦点検出処理(AF処理)を実行するプログラムは、図4に示したROM108に格納されている。ここで、ROM108に格納される制御プログラムの例について説明する。図15は、ROM108に格納される制御プログラム、すなわち、本発明に係る撮像装置が備える機構を用いて、本発明に係る撮像方法を実行するプログラムの構成例を示す機能ブロック図である。
図15において、制御プログラムには、撮像素子駆動設定処理部(108−1)、焦点検出処理部(AFスキャン処理部)(108−2)、点光源検出処理部(108−3)、合焦位置決定処理部(108−4)、合焦位置移動処理部(108−5)、フィルタ設定処理部(108−6)、が含まれる。
撮像素子駆動設定処理部(108−1)は、撮像素子であるCCD101の動作モードを設定する処理を行う。
焦点検出処理部(108−2)は、フォーカスレンズ7−2aを移動させながら順次算出されるAF評価値に基づいて、AF評価値のピーク位置を判定する処理を行う。
点光源検出処理部(108−3)は、被写体環境が点光源(が支配的な)環境かどうかを検出する処理を行う。
合焦位置決定処理部(108−4)は、焦点位置検出処理部(108−2)において検出されたAF評価値のピーク位置に基づいて、ピーク位置に対応する撮像レンズの位置を決定する処理を行う。
合焦位置移動処理部(108−5)は、合焦位置決定処理部(108−4)において決定された位置へフォーカスレンズ7−2aを移動させるためにフォーカスモータ7―2bを駆動させる処理を行う。
フィルタ設定処理部(108−6)は、AF評価値に基づく合焦位置決定処理の状況に応じて、AF評価値の算出に用いる画像データを透過させるフィルタの係数を設定し、または変更する処理を行う。
●撮像方法(1)●
次に、本発明に係る撮像方法の実施の形態ついて説明する。本実施の形態において説明する撮像方法は、撮像素子駆動設定処理部(108−1)、焦点検出処理部(108−2)、点光源検出処理部(108−3)、合焦位置決定処理部(108−4)、合焦位置移動処理部(108−5)、フィルタ設定処理部(108−6)によって実行される。
まず、図6のフローチャートを用いて、デジタルカメラ1において実行されるAF処理について説明をする。最初にレリーズボタンSW1が押下されているか否かを判定する処理が行なわれる(6−1)。レリーズボタンSW1が押下されている場合は(6−1のYes)、点光源検出処理(6−2)が行なわれる。レリーズボタンSW1が押下されていない場合は(6−1のNo)、AF処理を終了する。
点光源検出処理(6−2)の結果に応じて、AF処理エリア100に入っている被写体に、人物の顔が含まれているか否かを検知する顔検知処理が行われる(6−3)。顔検知処理(6−3)において、人物の顔が検知された場合は、AF処理エリア100を図5(b)に示すように、人物の顔が含まれるAF処理エリア100aに切り替える処理を行う。顔検知処理(6−3)において、人物の顔が検知されなければ、AF処理エリア100のままとする。
次に、CCD101の駆動モードを変更する駆動モード設定処理が行なわれる(6−4)。次に、設定された駆動モードと顔検知処理(6−3)の顔検知結果から、AF評価値の算出に用いる画像データに対するフィルタ処理に用いるデジタルフィルタの係数を設定するフィルタ設定処理が行われる(6−5)。次に、設定された駆動モードに応じてCCD101からの画像信号が読み出され、当該画像信号から画像データが生成され、生成された画像データを、フィルタ設定処理(6−5)により設定された係数によるデジタルフィルタを透過する処理が行われて、透過された画像データを用いて、AFスキャン処理が行なわれる(6−6)。
点光源検出処理(6−2)、駆動モード設定処理(6−3)、フィルタ設定処理(6−5)、AFスキャン処理(6−6)の詳細については後述する。
AFスキャン処理(6−6)によって判定されたAF評価値のピークの位置に基づいて合焦位置決定処理が行なわれる(6−7)。当該処理は、AFスキャン処理(6−6)において、AF評価値のピークが検出されているときは、そのピーク位置を合焦位置として決定する。また、AFスキャン処理(6−6)において、AF評価値のピーク位置が検出されていなければ、「AFNG」として、予め規定した位置(NG位置)を合焦位置として決定する(6−7)。NG位置とは、例えば、およそ2.5m程度離れた被写体に合焦するフォーカスレンズ7−2aの位置である。
最後に、決定された位置にフォーカスレンズ7−2aを移動させる合焦位置移動処理が行なわれる(6−8)。
次に、点光源検出処理(6−2)の詳細について、図7のフローチャートを用いて説明する。当該処理は、被写体が「点光源被写体」であるか否かを、当該被写体の輝度の分布によって判定する処理である。まず、輝度演算処理(7−1)を行う。この処理は、いうなれば被写体の明るさを判定するための処理である。CCD信号処理ブロック104−2のYUV変換手段によって生成されたYUV画像データを、縦16個・横16個の計256エリアに分割する。分割されたYUV画像データの例を図12に示す。
輝度演算処理(7−1)は、図12に示すような分割されたエリア(輝度検出エリア)において、各輝度検出エリア内でのY(輝度)値の平均値(最大値255で正規化した輝度値)を算出し、所定の条件を満たす場合にヒストグラムを作成する処理である。例えば、エリア毎に算出したY値の平均値を用いて、輝度検出エリア全体の平均値を算出し、その全体の平均値が予め規定する所定の閾値(Y0、例えば60)以下であるとき(7−2のYES)、全画素に対するヒストグラムを作成する(7−3)。
図13は、処理7−3によって作成された分布に基づくヒストグラムの例である。図13に示すようにヒストグラムは、横軸を正規化された輝度値とし、縦軸を画素数とした場合の輝度値別の画素数の分布を示す。図13は、被写体が点光源被写体であるときの分布の例を示している。図13によれば、点光源被写体であるときは、閾値Y0よりも輝度が低い画素が非常に多く、閾値Y0よりも輝度が高い画素が少ないことが判別できる。
つまり、ヒストグラム(図13)を作成し、輝度値に対する画素数分布の判定をすることで、当該被写体が点光源被写体であるか否かを判定する(7−3)。判定処理は、複数の指標を用いて行われる。図14は、判定処理に用いられる複数の指標である閾値をヒストグラム(図13)に重ね合わせた例である。
まず、低い輝度を示す画素の全体の画素数に対する割合が、ある程度以上であるか否かを判定する。この処理には、輝度の閾値Y1と画素数の閾値αを用いる。閾値Y1以下の輝度の画素数がαパーセント以上あれば(7−4のYes)、続く判定処理に移行する。当該条件を満たさなければ(7−4のNo)、当該被写体は点光源被写体ではないと判定し(7−8)、点光源検出処理を終了する。
続く判定処理(7−5)においては、輝度の閾値Y2と画素数の閾値βを用いる。閾値Y2以上の輝度の画素数がβパーセント未満であれば(7−5のYes)、続く判定処理に移行する。当該条件を満たさなければ(7−5のNo)、当該被写体は点光源被写体ではないと判定し(7−8)、点光源検出処理を終了する。
続く判定処理(7−6)においては、輝度の閾値Y1とY2、画素数の閾値γを用いる。閾値Y1以上閾値Y2以下の輝度の画素数がγパーセント以下であれば(7−6のYes)、当該被写体は点光源被写体であると判定する(7−7)。当該条件を満たさなければ(7−6のNo)、当該被写体は点光源被写体ではないと判定し(7−8)、点光源検出処理を終了する。
前述のとおり、被写体のほとんどが点光源になっているとき、当該被写体像全体の輝度値の平均値は低くなる。また、各画素の分布において、輝度が低い画素が多く、輝度が高い画素が「点光源に相当する分だけ」存在する状態となって、中間の輝度の画素がほとんど存在しない状態となる。よって、上記の処理7−4から7−6の条件判定によって、点光源被写体であるか否かを判定することができる。
次に、駆動モード設定処理(6−4)の詳細について、図8のフローチャートを用いて説明する。処理6−2において点光源被写体と判定されたときは(8−1のYes)は、CCD101の駆動モードとして「モード2」を選択する(8−2)。処理6−2において点光源被写体と判定されていないときは(8−1のNo)は、CCD101の動作モードとしてデフォルトのモード(モード3)を選択する(8−4)。次に、選択された駆動モードのCCD101に設定し(8−3)、駆動モード設定処理(6−4)を終了する。
モード3が設定されたCCD101は、「水平4画素加算・垂直2画素間引き」による画像信号を出力する。一方、モード2が設定されたCCD101は、「水平2画素加算・垂直2画素加算」による画像信号を出力する。モード2が設定されたときは、4画素を1つの画素として画像信号が出力されるので、画像データ上の画素数は、CCD101が有する画素数とは異なる。しかし、撮像素子の感度としては同じになる。
ここで各動作モードの違いによって生じるAF評価値の変位について図25を用いて説明する。図25は同じ被写体に対して水平画素の加算数を変化させたときに算出されるAF評価値の変位の例を示すグラフである。図25において、横軸はレンズ位置、縦軸はAF評価値である。図25(a)は水平2画素加算の例、図25(b)は水平4画素加算の例、図25(c)加算なしの例、をそれぞれ示している。
図25(c)に示すように、レンズ位置のほぼ中央でAF評価値のピークが生じるような状態であっても、図25(b)の水平4画素加算(モード3相当)では、同じレンズ位置にAF評価値のピークが生じずに、むしろ一番低くなってしまう。これに対し、図25(a)に示すように水平2画素加算(モード2相当)では、AF評価値のピークが同じレンズ位置で生ずる。このように水平画素加算の画素数を可変させることで、点光源被写体であっても精度よくAF評価値のピークを判定することができるようになる。
モード3(水平4画素加算)とモード2(水平2画素加算)は加算方式が異なるほかに、総画素数も異なる。そのため、モード2はモード3に比べて画像信号の転送処理に時間を要する。したがって、ファインダモードでは所定のフレームレートでの画像転送を行うためにCCD101の駆動モードを「モード3」に設定する。フレームレートが遅くなることに対しては、垂直側の画素を間引くことで取り込む画素数を下げることで対処することもできる(同じフレームレートにすることができる)。
次に、フィルタ設定処理(6−5)の詳細について、図28のフローチャートを用いて説明する。まず、前述した顔検知処理(6−3)において人物の顔が検知されたか否かの判定がされる(28−1)。顔が検知されているときは(28−1のYES)、すでに設定されている駆動モードが「モード2」であるか否かの判定がされる(S28−2)。駆動モードが「モード2」である場合(28−2のYES)、デジタルフィルタの係数にバンドパスフィルタのものが選択される(28−3)。顔が検知されていないとき(28−1のNO)、または、駆動モードが「モード2」ではないとき(28−2のNO)は、被写体は単純な点光源であるため、デジタルフィルタの係数にハイパスフィルタのものが選択される(28−5)。次に、フィルタ設定処理部(108−6)が選択されたフィルタ係数をデジタルフィルタに設定する(28−4)。
このように、点光源下である場合では画素加算・間引きは極力なくす方向にすることで偽合焦をなくす必要がある。さらに顔が検知されている場合には、被写体成分が低周波帯域側に寄る傾向にあるので、フィルタの係数を、低周波帯域を透過させるものへと変更することで、AFの精度をより向上させることができる。
次に、AFスキャン処理(6−6)の詳細について、図10のフローチャートを用いて説明する。なお、当該処理の前に、CCD101は、処理6−4において駆動モードが設定された状態になっていて、図示しないデジタルフィルタには、処理6−5において選択されたフィルタ係数が設定されている。
まず、フォーカスレンズ7−2aをAFスキャン開始位置へと移動する(10−1)。AFスキャン開始位置はAFスキャン処理におけるフォーカス駆動の方向によって異なる。ここでは例えば、至近側から無限遠側に向かう方向をフォーカス駆動方向とする。この場合は、まず、至近側が開始位置となる。至近位置(至近側の開始位置)は焦点距離や、レンズの特性によって差が生じる。例えば、30cmを至近位置とする。
次に、VD信号の立ち下がりが検出されるまで処理を待つ(10−2)。VD信号の立ち下がりが検出されたとき、所定パルス数に応じてフォーカスモータ7−2bを駆動して、フォーカスレンズ7−2aを移動させる(10−3)。
フォーカスレンズ7−2aを移動させたところで画像信号を取得する。ここで取得される画像信号は、駆動モード設定処理(図6の6−4)において設定された駆動モードで駆動するCCD101によるものである。続いて、取得された画像信号から画像データを生成し、処理(6−5)で設定されたデジタルフィルタに当該生成された画像データを透過させる。透過させた画像データに基づいて、AF評価値を算出する(10−4)。
続いて、算出されたAF評価値のピーク位置を検出する処理を行う(10−5)。この処理はAF評価値の極大値を検出する処理である。続いて、AF評価値のピークが検出されたか否かの判定を行う(10−6)。AF評価値のピークが検出されていないときは(10−6のYes)、現在のフォーカスレンズ7−2aの位置が、終了位置であるか否かの判定を行う(10−7)。フォーカスレンズ7−2aの位置が終了位置でなければ(10−7のNO)、処理は「VD信号待ち(10−2)」まで戻って、再度上記の処理を繰り返してAF評価値のピーク検出を行う。ピーク位置検出処理(10−5)においてピーク検出がされている場合(10−6のNo)はAF処理を終了する。
以上説明した実施の形態によれば、被写体が点光源被写体であると判定されたとき、撮像素子の駆動モードをデフォルトのモードから、より感度がよく輝度が大きくなるモードに変更をし、被写体に人物が含まれるか否かの判定に基づいてAF評価値の算出に用いる画像データに最適なデジタルフィルタを施して、AF処理を行うことができる。これによって、従来のAF処理では、AF評価値のピークを検出できず合焦位置を特定できなかったような点光源被写体であっても、精度よく自動的に合焦することができる。
●撮像方法(2)●
次に、本発明に係る撮像方法の別の実施の形態について説明する。まず、本実施の形態におけるAF処理について図9のフローチャートを用いて説明する。レリーズボタンSW1が押下されているか否かを判定する処理が行なわれる(9−1)。レリーズボタンSW1が押下されていない場合は(9−1のNO)、AF処理を終了する。
レリーズボタンSW1が押下されている場合は(9−1のYES)、点光源検出処理(9−2)が行なわれて点光源があるか否かの判定を行い、続いて、顔検知処理が行われる(9−3)。次に、点光源検出処理(9−2)の結果に応じて、CCD101の駆動モードを変更する駆動モード設定処理が行なわれる(9−4)。次に、駆動モードと顔検知処理(9−3)の結果に基づいてAF評価値の算出に用いる画像データに対するフィルタ処理に用いるデジタルフィルタの係数を設定するフィルタ設定処理が行われる(9−5)。次に、設定された駆動モードに応じてCCD101からの画像信号が読み出され、当該画像信号から画像データが生成され、生成された画像データを、フィルタ設定処理(9−5)により設定された係数によるデジタルフィルタを透過する処理が行われて、透過された画像データを用いて、AFスキャン処理が行なわれる(9−6)。
点光源検出処理(9−2)と、AFスキャン処理(9−6)は、すでに説明をしたその実施の形態における点光源検出処理(6−2)、AFスキャン処理(6−6)と同様であるから、説明を省略する。先の実施の形態とは異なる駆動モード設定処理(9−3)とフィルタ設定処理(9−5)の詳細については後述する。
AFスキャン処理(9−6)によってAF評価値のピークが検出されているか、または、駆動モード設定処理(9−4)において設定された駆動モードがモード4の場合は(9−7のYES)、AFスキャン処理(9−6)によって判定されたAF評価値のピークの位置に基づいて合焦位置決定処理が行なわれる(9−8)。当該処理では、AF評価値のピークが検出されている位置を合焦位置と決定する。
またAFスキャン処理(9−6)において、AF評価値のピーク位置が検出されていなければ、「AFNG」として、予め規定した位置(NG位置)を合焦位置と決定する。NG位置は例えば、およそ2.5m程度離れた被写体に合焦するフォーカスレンズ7−2aの位置とする。
最後に、フォーカスレンズを合焦位置へ移動させる処理を行う(9−9)。そうでない場合(9−7のNO)は、駆動モードの再設定(9−4)、および、フィルタの再設定(9−5)を行ってから、再度、AF処理を実行する。
ここで、駆動モード設定処理(9−4)の詳細について、図11のフローチャートを用いて説明する。点光源検出処理(9−2)において点光源被写体と判定されたとき(11−1のYes)、すでにAF処理を実行しているか否かを判定する(11−2)。AF処理を実行していないときは(11−2のYes)、CCD101の駆動モードとして「モード2」を選択する(11−3)。
すでにAF処理を実行しているときは(11−2のNO)、駆動モードを「モード2」に設定しても、AF評価値のピークを検出することができなかったことになるから、駆動モードとして「モード4」を選択する(11−5)。点光源検出処理(9−2)において点光源被写体と判定されなかったときは(11−1のNo)は、駆動モードとして「モード3」を選択する(11−6)。選択された駆動モードを設定して(11−4)、駆動モード設定処理(9−4)を終了する。
次に、フィルタ設定処理(9−5)の詳細について、図29のフローチャートを用いて説明する。まず、前述した顔検知処理(9−3)において顔が検知されているかどうかの判定がされる(29−1)。顔が検知されているときは(29−1のYES)、すでに設定されている駆動モードが「モード4」であるか否かの判定がされる(29−2)。駆動モードが「モード4」であるとき(29−2のYES)は、デジタルフィルタの係数としてローパスフィルタのものが選択される(29−3)。顔が検知されていないときや(29−1のNO)、駆動モードが「モード4」ではないとき(29−2のNO)は、駆動モードが「モード3」であるか否かの判定がされる(29−5)。駆動モードが「モード3」であるとき(29−5のYES)、デジタルフィルタの係数としてバンドパスフィルタのものが選択される(29−6)。駆動モードが「モード3」ではないとき(29−5のNO)、デジタルフィルタの係数としてハイパスフィルタのものが選択される(29−7)。
このように、顔検知の結果と設定されている駆動モードによって、画像データを透過させるデジタルフィルタの周波数帯域を少しずつずらして、パイパスフィルタからバンドパスフィルタ、ローパスフィルタのように、透過する周波数帯域を高周波帯域から低周波帯域にずらす。これによって、段階的にフィルタを設定することができ、どの駆動モードであっても最適なフィルタを選択することができる。
このように、点光源下であるは画素加算・間引きを極力なくす駆動モードとすることで偽合焦をなくし、さらに顔が検知されたときには、被写体の周波数帯域が低周波帯域に寄る傾向がある。これに対処するために、AF評価値の算出に用いる画像データに対するフィルタを、低周波帯域を透過させるものへと変更する。これによってAF精度を向上することができる。最後に選択されたフィルタを設定する(29−4)。
撮像素子であるCCD101の駆動モードは、デフォルトがモード3である。モード3は、水平4画素加算、垂直2画素間引きで動作をさせるモードであり、加算される画素数は4画素である。一方、モード2は「水平2画素加算、垂直2画素加算」であるため、加算される画素数は4画素(2×2)である。また、モード4は「水平画素加算なし、垂直4画素加算」であるため、加算される画素数はモード2とモード4では異なるが、モード2とモード4は、撮像素子の感度としては同じである。
すでに説明をしたとおり、CCD101に設定される駆動モードによって、算出されるAF評価値の変位特性は異なる(図24参照)。よって、水平画素加算の画素数を変更することで、点光源被写体であっても、高精度のAF処理をすることができる。
以上説明した実施の形態によれば、点光源が判定された場合に、水平画素加算数を変更してAF処理を行うことで、従来はピーク検出ができなかった点光源被写体に対して精度よくピーク検出することが可能となる。また、その加算数を適宜変更していくことで、ピーク検出が困難な被写体でもより精度よくAF処理を実行することが可能となる。
これまで説明した実施の形態では、AF評価値の算出に用いる画像データを透過させるフィルタとして、3つのフィルタを例示したが、本発明はこれに限ることはなく、FIR(Finite Impulse Response)フィルタや、IIR(Infinite
Impulse Response)を用いてもよい。
以上のように、本発明に係る撮像装置によれば、コントラストの弱い被写体や、点光源が支配的な被写体であっても、撮像素子の駆動モードを変更して、水平画素加算数を変更することで、精度のよい合焦処理をすることができる。
101 CCD
108 制御プログラム
特公昭39−5265号公報 特許第4679179号明細書 特許第4553570号明細書

Claims (9)

  1. 撮像レンズを介して取得された被写体像に応じた画像信号を出力する撮像素子と、
    前記画像信号から得た画像データに応じて焦点を決定する自動焦点検出手段と、
    前記撮像レンズを前記焦点に基づいて移動させるレンズ移動手段と、
    前記撮像素子の駆動条件を設定する駆動条件設定手段と、
    前記画像データの輝度成分に基づいて被写体が点光源の被写体であるか否かを判定する点光源検出手段と、
    前記画像データから所定の被写体を検知する被写体検知手段と、
    前記画像データを透過させるフィルタを選択するフィルタ選択手段と、
    を備え、
    前記駆動条件設定手段は、前記点光源検出手段による判定結果に基づいて前記撮像素子の駆動条件を設定し、
    前記フィルタ選択手段は、前記撮像素子の駆動条件と前記被写体検知手段による検知結果に基づいて前記フィルタを選択し、
    前記自動焦点検出手段は、前記選択されたフィルタを透過した画像データに基づいて焦点を決定する、
    ことを特徴とする撮像装置。
  2. 前記撮像素子の駆動条件は、前記撮像素子の水平方向の画素加算数である、請求項1記載の撮像装置。
  3. 前記撮像素子の駆動条件は、前記撮像素子の垂直方向の画素加算数と画素間引き数である、
    請求項1記載の撮像装置。
  4. 前記駆動条件設定手段は、前記点光源検出手段による前記被写体が点光源の被写体でないと判定された場合に比べて、
    前記点光源検出手段により前記被写体が点光源の被写体であると判定された場合に、前記撮像素子の水平方向の画素加算数がより少なくするように前記撮像素子の駆動条件を設定する、
    請求項1乃至3のいずれかに記載の撮像装置。
  5. 前記被写体検知手段は、人物の顔を検知し、
    前記フィルタ選択手段は、前記被写体検出手段により人物の顔が検知されなかった場合に比べて、前記被写体検出手段により人物の顔が検知された場合に、より低周波数側を透過させるフィルタを選択する、
    請求項1乃至4のいずれかに記載の撮像装置。
  6. 前記駆動条件設定手段は、前記自動焦点検出手段が焦点を決定できた場合に比べて、前記自動焦点検出手段が焦点を決定できない場合に、前記撮像素子の水平方向の画素加算数がより少なくなるように前記撮像素子の駆動条件を変更する、
    請求項1乃至5のいずれかに記載の撮像装置。
  7. 前記点光源検出手段は、前記輝度成分の分布を用いて前記被写体が点光源の被写体であるか否かを判定する、
    請求項1乃至6のいずれかに記載の撮像装置。
  8. 前記駆動モード設定手段は、前記駆動条件を変更した後に前記自動焦点検出手段が焦点を検出できないとき、前記駆動条件を変更する、
    請求項1乃至7のいずれかに記載の撮像装置。
  9. 撮像レンズを介して取得された被写体像に応じた画像信号を出力する撮像素子と、前記画像信号から得た画像データに応じて焦点を決定する自動焦点検出手段と、前記撮像レンズを前記焦点に基づいて移動させるレンズ移動手段と、を有する撮像装置において実行される撮像方法であって、
    前記撮像素子の駆動条件を設定する設定ステップと、
    前記画像データに含まれる輝度成分に基づいて被写体が点光源被写体であるか否かを判定する判定ステップと、
    前記画像データから所定の被写体を検知する検知ステップと、
    前記画像データを透過させるフィルタを選択する選択ステップと、
    を有してなり、
    前記設定ステップでは、前記判定ステップにおける判定結果に基づいて前記撮像素子の駆動条件を設定し、
    前記選択ステップでは、前記撮像素子の駆動条件と前記検知ステップにおける検知結果とに基づいて前記フィルタを選択し、
    前記自動焦点検出手段は、前記選択されたフィルタを透過した画像データに基づいて焦点を決定する、
    ことを特徴とする撮像方法。
JP2012135800A 2012-06-15 2012-06-15 撮像装置および撮像方法 Active JP6172428B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012135800A JP6172428B2 (ja) 2012-06-15 2012-06-15 撮像装置および撮像方法
US13/915,893 US9244335B2 (en) 2012-06-15 2013-06-12 Imaging device and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012135800A JP6172428B2 (ja) 2012-06-15 2012-06-15 撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
JP2014002197A true JP2014002197A (ja) 2014-01-09
JP6172428B2 JP6172428B2 (ja) 2017-08-02

Family

ID=49755557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012135800A Active JP6172428B2 (ja) 2012-06-15 2012-06-15 撮像装置および撮像方法

Country Status (2)

Country Link
US (1) US9244335B2 (ja)
JP (1) JP6172428B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017044821A (ja) * 2015-08-25 2017-03-02 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US9648226B2 (en) 2015-05-19 2017-05-09 Canon Kabushiki Kaisha Image capture apparatus and control method thereof

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5857610B2 (ja) * 2011-10-13 2016-02-10 株式会社リコー 撮像装置および撮像方法
US10003733B2 (en) 2016-05-13 2018-06-19 Gvbb Holdings S.A.R.L. Peaking headroom for flat panel displays
JP2017207702A (ja) * 2016-05-20 2017-11-24 オリンパス株式会社 焦点検出装置及び焦点検出方法
CN109211790B (zh) * 2017-07-03 2023-12-08 南开大学 一种基于傅里叶功率谱探测的单像素相位成像方法
CN107580164A (zh) * 2017-09-11 2018-01-12 陕西美星恒祺新能源科技有限公司 一种单次测量的压缩感知超分辨率成像***及其成像方法
JP7271188B2 (ja) * 2019-01-10 2023-05-11 キヤノン株式会社 制御装置、撮像装置、制御方法、および、プログラム
CN113810603B (zh) * 2021-08-12 2022-09-09 荣耀终端有限公司 点光源图像检测方法和电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005283776A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd カメラの自動焦点調節方法及び装置
JP2006349908A (ja) * 2005-06-15 2006-12-28 Ricoh Co Ltd 撮像装置及び撮像方法
JP2007065048A (ja) * 2005-08-29 2007-03-15 Fujifilm Holdings Corp 撮影装置およびフォーカス制御方法
JP2007108412A (ja) * 2005-10-13 2007-04-26 Casio Comput Co Ltd オートフォーカス装置及びそのプログラム
JP2008175995A (ja) * 2007-01-18 2008-07-31 Ricoh Co Ltd 撮像装置
JP2009086490A (ja) * 2007-10-02 2009-04-23 Nikon Corp 撮像装置
JP2010049176A (ja) * 2008-08-25 2010-03-04 Canon Inc 自動焦点調整装置及びその制御方法
JP2010081422A (ja) * 2008-09-26 2010-04-08 Sanyo Electric Co Ltd 撮影装置
JP2010122301A (ja) * 2008-11-17 2010-06-03 Hitachi Ltd フォーカス制御装置、およびフォーカス制御方法
JP4553570B2 (ja) * 2003-10-20 2010-09-29 三洋電機株式会社 オートフォーカスカメラ
JP4679179B2 (ja) * 2005-03-01 2011-04-27 株式会社リコー 撮像装置および撮像方法
US20110187905A1 (en) * 2010-02-04 2011-08-04 Samsung Electronics Co., Ltd. Auto focus adjusting device and method and recording medium of the same method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007049222A (ja) * 2005-08-05 2007-02-22 Canon Inc 撮像装置および撮像方法
JP2007274504A (ja) * 2006-03-31 2007-10-18 Eastman Kodak Co デジタルカメラ
JP4254873B2 (ja) * 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP5376986B2 (ja) * 2009-02-17 2013-12-25 キヤノン株式会社 焦点調節装置、及び焦点調節方法
JP6045185B2 (ja) * 2011-06-14 2016-12-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5857610B2 (ja) 2011-10-13 2016-02-10 株式会社リコー 撮像装置および撮像方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4553570B2 (ja) * 2003-10-20 2010-09-29 三洋電機株式会社 オートフォーカスカメラ
JP2005283776A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd カメラの自動焦点調節方法及び装置
JP4679179B2 (ja) * 2005-03-01 2011-04-27 株式会社リコー 撮像装置および撮像方法
JP2006349908A (ja) * 2005-06-15 2006-12-28 Ricoh Co Ltd 撮像装置及び撮像方法
JP2007065048A (ja) * 2005-08-29 2007-03-15 Fujifilm Holdings Corp 撮影装置およびフォーカス制御方法
JP2007108412A (ja) * 2005-10-13 2007-04-26 Casio Comput Co Ltd オートフォーカス装置及びそのプログラム
JP2008175995A (ja) * 2007-01-18 2008-07-31 Ricoh Co Ltd 撮像装置
JP2009086490A (ja) * 2007-10-02 2009-04-23 Nikon Corp 撮像装置
JP2010049176A (ja) * 2008-08-25 2010-03-04 Canon Inc 自動焦点調整装置及びその制御方法
JP2010081422A (ja) * 2008-09-26 2010-04-08 Sanyo Electric Co Ltd 撮影装置
JP2010122301A (ja) * 2008-11-17 2010-06-03 Hitachi Ltd フォーカス制御装置、およびフォーカス制御方法
US20110187905A1 (en) * 2010-02-04 2011-08-04 Samsung Electronics Co., Ltd. Auto focus adjusting device and method and recording medium of the same method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648226B2 (en) 2015-05-19 2017-05-09 Canon Kabushiki Kaisha Image capture apparatus and control method thereof
JP2017044821A (ja) * 2015-08-25 2017-03-02 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
JP6172428B2 (ja) 2017-08-02
US20130335619A1 (en) 2013-12-19
US9244335B2 (en) 2016-01-26

Similar Documents

Publication Publication Date Title
JP6172428B2 (ja) 撮像装置および撮像方法
JP4824586B2 (ja) 撮像装置
JP5779959B2 (ja) 撮像装置
JP5005570B2 (ja) 画像処理装置およびプログラム
JP4127491B2 (ja) オートフォーカス機能付きカメラ
JP5387949B2 (ja) 撮像装置、再生表示装置、撮像記録方法および再生表示方法
JP4679179B2 (ja) 撮像装置および撮像方法
JP4565784B2 (ja) デジタルカメラ
JP5272551B2 (ja) 撮像装置及び方法
KR101462323B1 (ko) 촬상 장치 및 촬상 방법
JP5857610B2 (ja) 撮像装置および撮像方法
KR101431536B1 (ko) 디지털 촬영장치 및 이의 제어방법
JP4855155B2 (ja) 撮像装置及びこれを用いた撮影方法
KR20100059658A (ko) 촬상장치 및 촬상방법
JP2012093409A (ja) 撮像装置および撮像方法
JP2007225897A (ja) 合焦位置決定装置及び方法
JP5870533B2 (ja) 撮像装置および撮像方法
JP4106485B2 (ja) カメラ
JP6136310B2 (ja) 撮像装置
JP5884579B2 (ja) 撮像装置と表示処理方法
JP2010062987A (ja) 撮像装置及び方法
JP4714561B2 (ja) 撮像装置および撮像方法
JP5418553B2 (ja) 撮像装置及びこれを用いた撮影方法
JP2004309653A (ja) 撮像装置
JP2006349908A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160506

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170620

R151 Written notification of patent or utility model registration

Ref document number: 6172428

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151