JP2014013392A - Imaging apparatus and control method thereof - Google Patents
Imaging apparatus and control method thereof Download PDFInfo
- Publication number
- JP2014013392A JP2014013392A JP2013149929A JP2013149929A JP2014013392A JP 2014013392 A JP2014013392 A JP 2014013392A JP 2013149929 A JP2013149929 A JP 2013149929A JP 2013149929 A JP2013149929 A JP 2013149929A JP 2014013392 A JP2014013392 A JP 2014013392A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixels
- focus detection
- image
- row
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、デジタルスチルカメラ、ビデオカメラなどの撮像装置及びその制御方法に関する。 The present invention relates to an imaging apparatus such as a digital still camera and a video camera, and a control method thereof.
従来、デジタルスチルカメラ、ビデオカメラなどのように、固体撮像装置を備えたカメラシステムは、静止画及び動画を一枚以上の撮像素子で撮影してメモリなどの記録手段に記録している。 2. Description of the Related Art Conventionally, a camera system including a solid-state imaging device such as a digital still camera or a video camera takes still images and moving images with one or more imaging elements and records them in a recording unit such as a memory.
これらのカメラシステムには、撮像素子の撮像領域の一部を、撮像以外の機能に使用しているものがある。 Some of these camera systems use a part of the imaging area of the imaging device for functions other than imaging.
例えば、特開２０００−２９２６８６号公報（特許文献１）では、撮像素子の一部の画素の受光部を２分割することで瞳分割機能を付与している。そして、これらの画素を焦点検出用画素とし、撮像用画素群の間に所定の間隔で配置することで、位相差式焦点検出を可能としている。 For example, in Japanese Patent Laid-Open No. 2000-292686 (Patent Document 1), a pupil division function is provided by dividing a light receiving portion of a part of a pixel of an image sensor into two. These pixels are used as focus detection pixels, and are arranged at predetermined intervals between the imaging pixel groups, thereby enabling phase difference focus detection.
一方、撮像素子を構成する画素の中には、製造過程などにおいて、欠陥が生じる場合がある。この欠陥には、例えば画素の出力信号が大きくなる白キズ、出力信号が小さくなる黒点、出力信号のリニアリティー不良等がある。 On the other hand, a defect may occur in a pixel constituting the image sensor in a manufacturing process or the like. Examples of the defect include a white defect in which the output signal of the pixel becomes large, a black spot in which the output signal becomes small, and a poor linearity of the output signal.
焦点検出領域として設定された画素に、これらの欠陥がある場合は、焦点検出結果に誤差が生じてしまう。 If the pixel set as the focus detection area has these defects, an error occurs in the focus detection result.
そこで、特開２００１−１７７７５６号公報（特許文献２）では、焦点検出領域として設定された画素に欠陥が含まれている場合、焦点検出領域全体を移動することで、画素の欠陥の影響を軽減している。 Therefore, in Japanese Patent Laid-Open No. 2001-177756 (Patent Document 2), when a pixel set as a focus detection region includes a defect, the influence of the pixel defect is reduced by moving the entire focus detection region. doing.
しかしながら、上記の特許文献１に開示されているカメラでは、焦点検出領域として設定された画素に、欠陥がある場合は、焦点検出結果に誤差が生じてしまうため、その欠陥のある撮像素子を廃棄処分する場合があった。
However, in the camera disclosed in
撮像素子は、カメラシステムの中でも高価なものであるため、焦点検出領域として設定された画素に欠陥がある場合に廃棄してしまうと、例えば撮像装置やカメラシステムの製造コストを引き上げる問題が生じる。 Since the imaging element is expensive in the camera system, if the pixel set as the focus detection area is defective when discarded, there arises a problem of increasing the manufacturing cost of the imaging apparatus or the camera system, for example.
また、上記特許文献２に開示されているカメラでは、欠陥画素を避けるように、焦点検出領域を移動してしまうため、撮影者の意図する被写体とは別の被写体に対して焦点を合わせてしまう場合があった。
In addition, the camera disclosed in
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像素子の撮像領域の一部の画素を撮像以外の目的に使用する場合に、その画素に欠陥があった場合でも、その画素の機能の低下を回避できようにすることである。 Therefore, the present invention has been made in view of the above-described problems, and the purpose thereof is when a part of pixels in the imaging region of the imaging device is used for a purpose other than imaging and the pixel is defective. However, it is to avoid the deterioration of the function of the pixel.
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、複数の画素が２次元的に配列され、撮影光学系を介して入射した被写体光を光電変換して画像信号を生成する撮像素子であって、前記撮影光学系の射出瞳を分割した一部の領域を通過した光束を受光する複数の画素を有し、第１の画素と第２の画素が対をなすように構成された第１の画素群と第２の画素群とを有する撮像素子と、前記第１の画素群から得られる像と前記第２の画素群から得られる像の相関演算を行い、前記像の位相差に基づいて焦点ずれ量を検出する焦点検出手段と、を備え、前記焦点検出手段は、前記対をなす第１の画素と第２の画素の一方に欠陥画素が存在する欠陥行または欠陥列がある場合に、前記対をなす第１の画素を含む行または列と、前記対をなす第２の画素を含む行または列の両方を除外した前記第１の画素群と前記第２の画素群の出力信号に基づく像の相関演算の結果に応じて、前記像の位相差に基づいた焦点ずれ量の検出を行うことを特徴とする。 In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention includes a plurality of pixels arranged two-dimensionally and photoelectrically converting subject light incident via a photographing optical system to generate an image signal. And a plurality of pixels that receive a light beam that has passed through a partial area obtained by dividing the exit pupil of the photographing optical system, and the first pixel and the second pixel are paired with each other. An image sensor having a first pixel group and a second pixel group configured as described above, and performing a correlation operation between an image obtained from the first pixel group and an image obtained from the second pixel group, A focus detection unit that detects a defocus amount based on the phase difference of the image, and the focus detection unit has a defect in which a defective pixel exists in one of the first pixel and the second pixel that form the pair. If there is a row or defective column, the row or column containing the paired first pixel; The position of the image is determined according to a result of an image correlation operation based on an output signal of the first pixel group and the second pixel group excluding both a row or a column including the paired second pixel. A feature of detecting a defocus amount based on the phase difference is provided.
本発明によれば、撮像素子の撮像領域の一部の画素を撮像以外の目的に使用する場合に、その画素に欠陥があった場合でも、その画素の機能の低下を回避することが可能となる。 According to the present invention, when some pixels in the imaging region of the imaging device are used for purposes other than imaging, it is possible to avoid a decrease in the function of the pixel even if the pixel is defective. Become.
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
（第１の実施形態）
図１は本発明の各実施形態に共通するカメラの構成を示す図であり、撮像素子を備えたカメラ本体と撮影光学系が一体となったデジタルカメラを示している。
(First embodiment)
FIG. 1 is a diagram showing the configuration of a camera common to each embodiment of the present invention, and shows a digital camera in which a camera body having an image sensor and a photographing optical system are integrated.
図１において、１０１は撮影光学系（撮影レンズ）の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１０２は絞り兼用のシャッタで、その開口径を調節することにより撮影時の光量調節を行なうほか、静止画撮影時には露光秒時を調節する機能も備える。１０３は第２レンズ群である。そしてシャッタ１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍（ズーミング）を行う。
In FIG. 1,
１０５は第３レンズ群で、光軸方向の進退により、焦点調節を行なう。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減する機能を果たす。１０７はＣ−ＭＯＳセンサとその周辺回路で構成された撮像素子である。この撮像素子１０７は、横方向ｍ画素、縦方向ｎ画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサである。
１１１はズームアクチュエータで、不図示のカム筒を回動することで、第１レンズ群１１１及び第２レンズ群１０３を光軸方向に進退駆動し、変倍操作を行なう。１１２はシャッタアクチュエータで、シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間の制御を行なう。１１４はフォーカスアクチュエータで、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。
１１５は撮影時に被写体を照明するための電子フラッシュであり、キセノン管を用いた閃光照明装置が通常用いられるが、連続発光するＬＥＤを用いた照明装置でも良い。１１６はＡＦ補助光投光装置で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいはコントラストの低い被写体に対する焦点検出能力を向上させる。
１２１はＣＰＵで、カメラ本体の種々の制御を司る。ＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有し、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動する。そして、ＡＦ（オートフォーカス）、ＡＥ（自動露出）、撮影処理、画像処理、記録処理等の一連の動作を実行する。
１２２はフラッシュ制御回路で、撮影動作に同期して電子フラッシュ１１５を点灯制御する。１２３は補助光駆動回路で、焦点検出動作に同期してＡＦ補助光投光装置１１６を点灯制御する。１２４は撮像素子駆動回路で、撮像素子１０７を駆動するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路で、撮像素子１０７が取得した画像信号に対して、γ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。
A
１２６はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動させて焦点調節を行なう。１２８はシャッタ駆動回路で、シャッタアクチュエータ１１２を駆動してシャッタ１０２の開口を制御する。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。
A
１３１はＬＣＤ等の表示器で、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群で、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を備えて構成される。１３３はフラッシュメモリ等からなる着脱可能なメモリで、撮影済み画像を記録する。
図２は、撮像素子１０７の概略的な回路構成図を示す図で、特開平０９−０４６５９６号報等に開示された技術を用いて製造される。
FIG. 2 is a diagram showing a schematic circuit configuration of the
図２は、２次元Ｃ−ＭＯＳエリアセンサの２列×４行の画素の範囲を示しているが、撮像素子として利用する場合は、図２に示した画素を多数配置し、高解像度画像の取得を可能としている。本実施形態においては、画素ピッチが２μｍ、有効画素数が横３０００列×縦２０００行＝６００万画素、撮像画面サイズが横６ｍｍ×縦４ｍｍの撮像素子として説明を行なう。 FIG. 2 shows a range of pixels of 2 columns × 4 rows of a two-dimensional C-MOS area sensor, but when used as an image sensor, a large number of pixels shown in FIG. Acquisition is possible. In the present embodiment, the description will be made on the assumption that the pixel pitch is 2 μm, the number of effective pixels is 3000 horizontal pixels × 2000 vertical rows = 6 million pixels, and the imaging screen size is 6 mm horizontal × 4 mm vertical.
図２において、１はＭＯＳトランジスタゲートとゲート下の空乏層からなる光電変換素子の光電変換部、２はフォトゲート、３は転送スイッチＭＯＳトランジスタ、４はリセット用ＭＯＳトランジスタ、５はソースフォロワアンプＭＯＳトランジスタ、６は水平選択スイッチＭＯＳトランジスタ、７はソースフォロワの負荷ＭＯＳトランジスタ、８は暗出力転送ＭＯＳトランジスタ、９は明出力転送ＭＯＳトランジスタ、１０は暗出力蓄積容量Ｃｔｎ、１１は明出力蓄積容量Ｃｔｓ、１２は水平転送ＭＯＳトランジスタ、１３は水平出力線リセットＭＯＳトランジスタ、１４は差動出力アンプ、１５は水平走査回路、１６は垂直走査回路である。 In FIG. 2, 1 is a photoelectric conversion portion of a photoelectric conversion element comprising a MOS transistor gate and a depletion layer under the gate, 2 is a photogate, 3 is a transfer switch MOS transistor, 4 is a reset MOS transistor, and 5 is a source follower amplifier MOS. Transistor, 6 is a horizontal selection switch MOS transistor, 7 is a source follower load MOS transistor, 8 is a dark output transfer MOS transistor, 9 is a light output transfer MOS transistor, 10 is a dark output storage capacitor Ctn, and 11 is a light output storage capacitor Cts. , 12 are horizontal transfer MOS transistors, 13 is a horizontal output line reset MOS transistor, 14 is a differential output amplifier, 15 is a horizontal scanning circuit, and 16 is a vertical scanning circuit.
図３は、各画素部の断面を示す図である。 FIG. 3 is a diagram showing a cross section of each pixel portion.
図３において、１７はＰ型ウェル、１８はゲート酸化膜、１９は一層目ポリＳｉ、２０は二層目ポリＳｉ、２１はｎ+フローティングディフュージョン部（ＦＤ）である。ＦＤ部２１は別の転送ＭＯＳトランジスタを介して別の光電変換部と接続される。図３においては、２つの転送ＭＯＳトランジスタ３のドレインとＦＤ部２１を共通化して微細化とＦＤ部２１の容量低減による感度向上を図っているが、Ａｌ配線でＦＤ部２１を接続しても良い。
In FIG. 3, 17 is a P-type well, 18 is a gate oxide film, 19 is first-layer poly-Si, 20 is second-layer poly-Si, and 21 is an n + floating diffusion portion (FD). The
次に、図４のタイミングチャートを用いて撮像素子の動作について説明する。このタイミングチャートは全画素独立出力の場合のタイミングを示す図である。 Next, the operation of the image sensor will be described using the timing chart of FIG. This timing chart is a diagram showing the timing in the case of all pixel independent output.
まず垂直走査回路１６からのタイミング出力によって、制御パルスφＬをハイとして垂直出力線をリセットする。また制御パルスφＲ０，φＰＧ００，φＰＧｅ０をハイとし、リセット用ＭＯＳトランジスタ４をオンとし、フォトゲート２の一層目ポリＳｉ１９をハイとしておく。時刻Ｔ０において、制御パルスφＳ０をハイとし、選択スイッチＭＯＳトランジスタ６をオンさせ、第１、第２ラインの画素部を選択する。次に制御パルスφＲ０をローとし、ＦＤ部２１のリセットを止め、ＦＤ部２１をフローティング状態とする。そして、ソースフォロワアンプＭＯＳトランジスタ５のゲート・ソース間をスルーとした後、時刻Ｔ１において制御パルスφＴｎをハイとし、ＦＤ部２１の暗電圧をソースフォロワ動作で蓄積容量Ｃｔｎ１０に出力させる。
First, according to the timing output from the
次に、第１ラインの画素の光電変換出力を行うため、第１ラインの制御パルスφＴＸ００をハイとして転送スイッチＭＯＳトランジスタ３を導通した後、時刻Ｔ２において制御パルスφＰＧ００をローとして下げる。この時フォトゲート２の下に拡がっていたポテンシャル井戸を上げて、光発生キャリアをＦＤ部２１に完全転送させるような電圧関係が好ましい。従って完全転送が可能であれば制御パルスφＴＸはパルスではなくある固定電位でもかまわない。
Next, in order to perform photoelectric conversion output of the pixels of the first line, the control pulse φTX00 of the first line is set high, the transfer
時刻Ｔ２でフォトダイオードの光電変換部１からの電荷がＦＤ部２１に転送されることにより、ＦＤ部２１の電位が光に応じて変化することになる。この時ソースフォロワアンプＭＯＳトランジスタ５がフローティング状態であるので、ＦＤ部２１の電位を時刻Ｔ３において制御パルスφＴｓをハイとして蓄積容量Ｃｔｓ１１に出力する。この時点で第１ラインの画素の暗出力と光出力はそれぞれ蓄積容量Ｃｔｎ１０とＣｔｓ１１に蓄積されおり、時刻Ｔ４の制御パルスφＨＣを一時ハイとして水平出力線リセットＭＯＳトランジスタ１３を導通して水平出力線をリセットし、水平転送期間において水平走査回路１５の走査タイミング信号により水平出力線に画素の暗出力と光出力を出力させる。この時、蓄積容量Ｃｔｎ１０とＣｔｓ１１の差動増幅器１４によって、差動出力Ｖｏｕｔを取れば、画素のランダムノイズ、固定パターンノイズを除去したＳ／Ｎの良い信号が得られる。また画素３０−１２、３０−２２の光電荷は画素３０−１１、３０−２１と同時に夫々の蓄積容量Ｃｔｎ１０とＣｔｓ１１に蓄積されるが、その読み出しは水平走査回路１５からのタイミングパルスを１画素分遅らして水平出力線に読み出して差動増幅器１４から出力させる。
The electric charge from the
本実施形態では、差動出力Ｖｏｕｔをチップ内で生成する構成を示しているが、チップ内に含めず、外部で従来のＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路を用いるように構成しても同様の効果が得られる。 In the present embodiment, a configuration in which the differential output Vout is generated in the chip is shown, but a conventional CDS (Correlated Double Sampling) circuit is used externally without being included in the chip. However, the same effect can be obtained.
蓄積容量Ｃｔｓ１１に明出力を出力した後、制御パルスφＲ０をハイとしてリセット用ＭＯＳトランジスタ４を導通しＦＤ部２１を電源ＶＤＤにリセットする。第１ラインの水平転送が終了した後、第２ラインの読み出しを行う。第２ラインの読み出しは、制御パルスφＴＸｅ０、制御パルスφＰＧｅ０を同様に駆動させ、制御パルスφＴｎ、φＴｓに夫々ハイパルスを供給して、蓄積容量Ｃｔｎ１０とＣｔｓ１１に夫々光電荷を蓄積し、暗出力及び明出力を取り出す。以上の駆動により、第１、第２ラインの読み出しが夫々独立に行える。この後、垂直走査回路を走査させ、同様に第２ｎ＋１，第２ｎ＋２（ｎ＝１，２，…）の読み出しを行えば全画素独立出力が行える。即ち、ｎ＝１の場合は、まず制御パルスφＳ１をハイとし、次にφＲ１をローとし、続いて制御パルスφＴｎ、φＴＸ０１をハイとし、制御パルスφＰＧ０１をロー、制御パルスφＴｓをハイ、制御パルスφＨＣを一時ハイとして画素３０−３１，３０−３２の画素信号を読み出す。続いて、制御パルスφＴＸｅ１，φＰＧｅ１及び上記と同様に制御パルスを印加して、画素３０−４１，３０−４２の画素信号を読み出す。
After a bright output is output to the storage capacitor Cts11, the control pulse φR0 is set to high, the
図５乃至図７は、撮像用画素と焦点検出用画素の構造を説明する図である。本実施形態においては、２行×２列の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列が採用されている。そして、このベイヤー配列の間に、後述する構造の焦点検出用画素（機能画素）が所定の規則で分散配置される。 5 to 7 are diagrams illustrating the structure of the imaging pixel and the focus detection pixel. In the present embodiment, out of 4 pixels of 2 rows × 2 columns, pixels having G (green) spectral sensitivity are arranged in 2 diagonal pixels, and R (red) and B (blue) are arranged in the other 2 pixels. A Bayer arrangement in which one pixel each having a spectral sensitivity of 1 is arranged is employed. In addition, focus detection pixels (functional pixels) having a structure to be described later are arranged in a distributed manner between the Bayer arrays.
図５は、撮像用画素の配置と構造を示す図である。 FIG. 5 is a diagram showing the arrangement and structure of the imaging pixels.
図５（ａ）は２行×２列の撮像用画素の平面図である。周知のごとく、ベイヤー配列では対角方向にＧ画素が、他の２画素にＲとＢの画素が配置される。そしてこの２行×２列の構造が繰り返し配置される。 FIG. 5A is a plan view of 2 × 2 imaging pixels. As is well known, in the Bayer array, G pixels are arranged diagonally, and R and B pixels are arranged in the other two pixels. The 2 rows × 2 columns structure is repeatedly arranged.
図５（ｂ）は、図５（ａ）における断面Ａ−Ａを示している。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（Ｒｅｄ）のカラーフィルタ、ＣＦＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤ（Ｐｈｏｔｏ Ｄｉｏｄｅ）は図３で説明したＣ−ＭＯＳセンサの光電変換部を模式的に示したもの、ＣＬ（Ｃｏｎｔａｃｔ Ｌａｙｅｒ）はＣ−ＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影光学系を模式的に示したものである。 FIG. 5B shows a cross section AA in FIG. ML is an on-chip microlens disposed on the forefront of each pixel, CFR is an R (Red) color filter, and CFG is a G (Green) color filter. PD (Photo Diode) schematically shows the photoelectric conversion unit of the C-MOS sensor described in FIG. 3, and CL (Contact Layer) forms a signal line for transmitting various signals in the C-MOS sensor. This is a wiring layer. TL schematically shows the photographing optical system.
ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系ＴＬ（Ｔａｋｉｎｇ Ｌｅｎｓ）を通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰ（Ｅｘｉｔ Ｐｕｐｉｌ）と光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。また、図５（ｂ）ではＲ画素の入射光束について説明したが、Ｇ画素及びＢ（Ｂｌｕｅ）画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束（光量子）を効率よく取り込んで画像信号のＳ／Ｎを向上させている。 Here, the on-chip microlens ML and the photoelectric conversion unit PD of the imaging pixel are configured to capture the light flux that has passed through the photographing optical system TL (Taking Lens) as effectively as possible. In other words, the exit pupil EP (Exit Pupil) of the photographing optical system TL and the photoelectric conversion unit PD are in a conjugate relationship by the microlens ML, and the effective area of the photoelectric conversion unit is designed to be large. Further, although the incident light beam of the R pixel has been described in FIG. 5B, the G pixel and the B (Blue) pixel have the same structure. Therefore, the exit pupil EP corresponding to each RGB pixel for imaging has a large diameter, and the S / N of the image signal is improved by efficiently taking in the light flux (photon) from the subject.
図６は、撮影光学系の水平方向（横方向）に瞳分割を行なうための焦点検出用画素の配置と構造を示す図である。ここで水平方向あるいは横方向とは、撮影光学系の光軸が水平となるようにカメラを構えたとき、この光軸に直交し、かつ水平方向に伸びる直線に沿った方向を指す。図６（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図である。記録もしくは観賞のための画像信号を得る場合、Ｇ画素で輝度情報の主成分を取得する。そして人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認知されやすい。一方でＲもしくはＢ画素は、色情報（色差情報）を取得する画素であるが、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。そこで本実施形態においては、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、ＲとＢの画素を焦点検出用画素に置き換える。これを図６（ａ）においてＳＨＡ及びＳＨＢで示す。 FIG. 6 is a diagram showing the arrangement and structure of focus detection pixels for performing pupil division in the horizontal direction (lateral direction) of the photographing optical system. Here, the horizontal direction or the horizontal direction refers to a direction along a straight line that is orthogonal to the optical axis and extends in the horizontal direction when the camera is held so that the optical axis of the photographing optical system is horizontal. FIG. 6A is a plan view of pixels of 2 rows × 2 columns including focus detection pixels. When obtaining an image signal for recording or viewing, the main component of luminance information is acquired with G pixels. Since human image recognition characteristics are sensitive to luminance information, image quality degradation is easily recognized when G pixels are lost. On the other hand, the R or B pixel is a pixel that acquires color information (color difference information). However, since human visual characteristics are insensitive to color information, the pixel that acquires color information may have some loss. Image quality degradation is difficult to recognize. Therefore, in the present embodiment, among the pixels of 2 rows × 2 columns, the G pixel is left as an imaging pixel, and the R and B pixels are replaced with focus detection pixels. This is indicated by SHA and SHB in FIG.
図６（ｂ）は、図６（ａ）における断面Ａ−Ａを示している。マイクロレンズＭＬと、光電変換部ＰＤは図５（ｂ）に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像創生には用いないため、色分離用カラーフィルタの代わりに透明膜ＣＦＷ（Ｗｈｉｔｅ）が配置される。また、撮像素子で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏倚している。具体的には、画素ＳＨＡの開口部ＯＰＨＡは右側に偏倚しているため、撮影光学系ＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、画素ＳＨＢの開口部ＯＰＨＢは左側に偏倚しているため、撮影光学系ＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。よって、画素ＳＨＡを水平方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とし、画素ＳＨＢも水平方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とすると、Ａ像とＢ像の相対位置を検出することで、被写体像のピントずれ量（デフォーカス量）を検出することができる。 FIG. 6B shows a cross section AA in FIG. The microlens ML and the photoelectric conversion unit PD have the same structure as the imaging pixel shown in FIG. In the present embodiment, since the signal of the focus detection pixel is not used for image creation, a transparent film CFW (White) is arranged instead of the color separation color filter. Moreover, since pupil division is performed by the image sensor, the opening of the wiring layer CL is biased in one direction with respect to the center line of the microlens ML. Specifically, since the opening OPHA of the pixel SHA is biased to the right side, the light beam that has passed through the left exit pupil EPHA of the imaging optical system TL is received. Similarly, since the opening OPHB of the pixel SHB is biased to the left side, the light beam that has passed through the right exit pupil EPHB of the imaging optical system TL is received. Therefore, the pixels SHA are regularly arranged in the horizontal direction, the subject image acquired by these pixel groups is set as an A image, the pixels SHB are also regularly arranged in the horizontal direction, and the subject images acquired by these pixel groups are Assuming that the image is a B image, it is possible to detect the defocus amount of the subject image by detecting the relative position between the A image and the B image.
なお、上記画素ＳＨＡ及びＳＨＢでは、撮影画面の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する横線は焦点検出不能である。そこで本実施形態では、後者についても焦点検出できるよう、撮影光学系の垂直方向（縦方向）にも瞳分割を行なう画素も備えている。 In the pixels SHA and SHB, focus detection is possible for an object having a luminance distribution in the horizontal direction of the photographing screen, for example, a vertical line, but focus detection is not possible for a horizontal line having a luminance distribution in the vertical direction. Therefore, in the present embodiment, pixels that perform pupil division are also provided in the vertical direction (longitudinal direction) of the photographing optical system so that the focus can be detected for the latter.
図７は、撮影光学系の垂直方向（換言すると上下方向もしくは縦方向）に瞳分割を行なうための焦点検出用画素の配置と構造を示す図である。ここで垂直方向あるいは上下あるいは縦横方向とは、撮影光学系の光軸が水平となるようにカメラを構えたとき、この光軸に直交し、鉛直方向に伸びる直線に沿った方向を指す。図７（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図で、図６（ａ）と同様に、Ｇ画素は撮像用画素として残し、ＲとＢの画素を焦点検出用画素としている。これを図７（ａ）においてＳＶＣ及びＳＶＤで示す。 FIG. 7 is a diagram showing the arrangement and structure of focus detection pixels for performing pupil division in the vertical direction (in other words, the vertical direction or vertical direction) of the photographing optical system. Here, the vertical direction or the up / down or vertical / horizontal direction refers to a direction along a straight line perpendicular to the optical axis and extending in the vertical direction when the camera is set so that the optical axis of the photographing optical system is horizontal. FIG. 7A is a plan view of pixels of 2 rows × 2 columns including focus detection pixels. As in FIG. 6A, the G pixel is left as an imaging pixel and the R and B pixels are in focus. Detection pixels are used. This is indicated by SVC and SVD in FIG.
図７（ｂ）は、図７（ａ）の断面Ａ−Ａを示しているが、図６（ｂ）の画素が横方向に瞳分離する構造であるのに対して、図７（ｂ）の画素は瞳分離方向が縦方向になっているだけで、画素の構造としては変わらない。すなわち、画素ＳＶＣの開口部ＯＰＶＣは下側に偏倚しているため、撮影光学系ＴＬの上側の射出瞳ＥＰＶＣを通過した光束を受光する。同様に、画素ＳＶＤの開口部ＯＰＶＤは上側に偏倚しているため、撮影光学系ＴＬの下側の射出瞳ＥＰＶＤを通過した光束を受光する。よって、画素ＳＶＣを垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＣ像とし、画素ＳＶＤも垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＤ像とすると、Ｃ像とＤ像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）を検出することができる。 FIG. 7B shows a cross section AA of FIG. 7A, but the pixel of FIG. 6B has a structure in which pupil separation is performed in the horizontal direction, whereas FIG. In this pixel, the pupil separation direction is just the vertical direction, and the pixel structure is not changed. That is, since the opening OPVC of the pixel SVC is biased downward, the light beam that has passed through the upper exit pupil EPVC of the imaging optical system TL is received. Similarly, since the opening OPVD of the pixel SVD is biased upward, the light beam that has passed through the lower exit pupil EPVD of the imaging optical system TL is received. Therefore, the pixels SVC are regularly arranged in the vertical direction, the subject image acquired by these pixel groups is set as a C image, the pixels SVD are also regularly arranged in the vertical direction, and the subject images acquired by these pixel groups are Assuming a D image, by detecting the relative position of the C image and the D image, it is possible to detect the amount of defocus (defocus amount) of the subject image having a luminance distribution in the vertical direction.
図８乃至図１０は、上記の図５乃至図７で説明した撮像用画素と焦点検出用画素の配置規則を説明する図である。 FIGS. 8 to 10 are diagrams for explaining the arrangement rules of the imaging pixels and focus detection pixels described in FIGS.
図８は撮像用画素の間に焦点検出用画素を離散的に配置する場合の、最小単位の配置規則を説明するための図である。 FIG. 8 is a diagram for explaining a minimum unit arrangement rule when focus detection pixels are discretely arranged between imaging pixels.
図８において、１０行×１０列＝１００画素をひとつのブロックと定義する。そして一番左上のブロックＢＬＫ（１，１）において、一番左下のＲ画素とＢ画素を、水平方向に瞳分割を行なう１組の焦点検出用画素ＳＨＡ及びＳＨＢで置き換える。 In FIG. 8, 10 rows × 10 columns = 100 pixels are defined as one block. In the upper left block BLK (1, 1), the lower left R pixel and B pixel are replaced with a set of focus detection pixels SHA and SHB that perform pupil division in the horizontal direction.
その右隣りのブロックＢＬＫ（１，２）においては、同じく一番左下のＲ画素とＢ画素を、垂直方向に瞳分割を行なう１組の焦点検出用画素ＳＶＣ及びＳＶＤで置き換える。また、最初のブロックＢＬＫ（１，１）の下に隣接したブロックＢＬＫ（２，１）の画素配列は、ブロックＢＬＫ（１，２）と同一とする。そして、その右隣りのブロックＢＬＫ（２，２）の画素配列は、先頭のブロックＢＬＫ（１，１）と同一とする。 In the block BLK (1, 2) on the right side, the lower left R pixel and B pixel are similarly replaced with a set of focus detection pixels SVC and SVD that perform pupil division in the vertical direction. The pixel arrangement of the block BLK (2, 1) adjacent below the first block BLK (1, 1) is the same as that of the block BLK (1, 2). The pixel arrangement of the block BLK (2, 2) on the right side is the same as that of the leading block BLK (1, 1).
この配置規則を普遍的に表現すると、ブロックＢＬＫ（ｉ，ｊ）において、ｉ＋ｊが偶数なら水平瞳分割用の焦点検出用画素を配置し、ｉ＋ｊが奇数なら垂直瞳分割用の焦点検出用画素を配置することになる。そして、図８の２×２＝４ブロック、すなわち２０行×２０列＝４００画素の領域を、ブロックの上位の配列単位として、クラスタと定義する。 Expressing this arrangement rule universally, in block BLK (i, j), if i + j is an even number, horizontal pupil division focus detection pixels are arranged, and if i + j is an odd number, vertical pupil division focus detection pixels are arranged. Will be placed. Then, a 2 × 2 = 4 block of FIG. 8, that is, an area of 20 rows × 20 columns = 400 pixels is defined as a cluster as an upper array unit of the block.
図９は、前述したクラスタを単位とした配置規則を説明するための図である。 FIG. 9 is a diagram for explaining an arrangement rule in units of clusters described above.
図９において、２０行×２０列＝４００画素で構成された一番左上のクラスタをＣＳＴ（ｕ，ｗ）＝ＣＳＴ（１，１）とする。そして、このクラスタＣＳＴ（１，１）においては、各ブロックの一番左下のＲ画素とＢ画素を、焦点検出用画素ＳＨＡ及びＳＨＢ、もしくはＳＶＣ及びＳＶＤで置き換える。 In FIG. 9, the upper left cluster composed of 20 rows × 20 columns = 400 pixels is assumed to be CST (u, w) = CST (1, 1). In the cluster CST (1, 1), the lower left R pixel and B pixel of each block are replaced with focus detection pixels SHA and SHB, or SVC and SVD.
その右隣りのクラスタＣＳＴ（１，２）においては、ブロック内における焦点検出用画素の配置を、クラスタＣＳＴ（１，１）に対して上方向に２画素分シフトした位置に配置する。また、最初のクラスタＣＳＴ（１，１）の下に隣接したクラスタＣＳＴ（２，１）においては、ブロック内における焦点検出用画素の配置を、クラスタＣＳＴ（１，１）に対して右方向に２画素分シフトした位置に配置する。以上の規則を繰り返し適用すると図９に示した配置が得られる。 In the cluster CST (1, 2) on the right side, the focus detection pixels in the block are arranged at positions shifted upward by two pixels with respect to the cluster CST (1, 1). Further, in the cluster CST (2, 1) adjacent below the first cluster CST (1, 1), the focus detection pixels are arranged in the block in the right direction with respect to the cluster CST (1, 1). Arranged at a position shifted by two pixels. When the above rule is repeatedly applied, the arrangement shown in FIG. 9 is obtained.
この配置規則を普遍的に表現すると以下のようになる。なお、焦点検出用画素の座標は、図６もしくは図７で示したＧ画素を含む４画素を一つの単位（ペア）とし、そのうちの左上の画素の座標で規定する。また各ブロック内の座標は左上を（１，１）とし、下方向と右方向を正とする。 This arrangement rule can be expressed universally as follows. Note that the coordinates of the focus detection pixels are defined by the coordinates of the upper left pixel of the four pixels including the G pixel shown in FIG. 6 or 7 as one unit (pair). In the coordinates in each block, the upper left is (1, 1), and the lower direction and the right direction are positive.
以上の定義を適用すると、クラスタＣＳＴ（ｕ，ｗ）において、各ブロック内の焦点検出用画素ペアの水平座標は２×ｕ−１となり、垂直座標は１１−２×ｗとなる。そして、図９の５×５＝２５クラスタ、すなわち１００行×１００列＝１万画素の領域を、クラスタの上位の配列単位として、フィールドと定義する。 When the above definition is applied, in the cluster CST (u, w), the horizontal coordinate of the focus detection pixel pair in each block is 2 × u−1, and the vertical coordinate is 11-2 × w. Then, 5 × 5 = 25 clusters in FIG. 9, that is, an area of 100 rows × 100 columns = 10,000 pixels is defined as a field as an upper array unit of the clusters.
図１０は、前記フィールドを単位とした配置規則を説明するための図である。図１０において、１００行×１００列＝１万画素で構成された一番左上のフィールドをＦＬＤ（ｑ，ｒ）＝ＦＬＤ（１，１）とする。そして本実施形態では、すべてのフィールドＦＬＤ（ｑ，ｒ）は先頭フィールドＦＬＤ（１，１）と同様の配列となっている。そこで、ＦＬＤ（１，１）を水平方向に３０個、垂直方向に２０個配列すると、３０００列×２０００行＝６００万画素の撮像領域は６００個のフィールドで構成されることになる。そして撮像領域全面に渡って焦点検出用画素を均一に分布させることができる。 FIG. 10 is a diagram for explaining an arrangement rule with the field as a unit. In FIG. 10, the upper left field composed of 100 rows × 100 columns = 10,000 pixels is assumed to be FLD (q, r) = FLD (1,1). In this embodiment, all the fields FLD (q, r) have the same arrangement as that of the first field FLD (1,1). Therefore, if 30 FLDs (1, 1) are arranged in the horizontal direction and 20 in the vertical direction, the imaging region of 3000 columns × 2000 rows = 6 million pixels is composed of 600 fields. The focus detection pixels can be uniformly distributed over the entire imaging region.
次に、図１１乃至図１４を用いて、焦点検出時の画素のグループと信号加算方法（演算処理方法）について説明する。 Next, a group of pixels at the time of focus detection and a signal addition method (arithmetic processing method) will be described with reference to FIGS.
図１１は、撮影光学系によって形成された被写体像の、横ずれ方向の焦点検出を行なう場合の画素グループ化方法を説明する図である。 FIG. 11 is a diagram for explaining a pixel grouping method in the case of performing focus detection in the lateral shift direction of the subject image formed by the photographing optical system.
横ずれ方向の焦点検出とは、図６で説明した、撮影光学系の射出瞳を横方向（左右方向、水平方向）に分割するための焦点検出用画素を用いて、位相差式焦点検出を行なうことを指す。 The focus detection in the lateral shift direction performs phase difference focus detection using the focus detection pixels for dividing the exit pupil of the photographing optical system in the horizontal direction (left-right direction, horizontal direction) described in FIG. Refers to that.
図１１に示す画素配列は図９で説明したものであるが、焦点検出の際には、横方向に１ブロック、縦方向に１０ブロックの合計１０ブロックを１つのグループとし、これをセクションと定義する。そして、本実施形態では、横方向に並んだ３０セクションで、１つの焦点検出領域を構成する。すなわち、１００行×３００列＝３万画素の領域が１つの焦点検出領域となる。この１つの焦点検出領域をＡＦエリアと定義する。ここで、１つのセクション内においては、横方向における一方の瞳分割を行なう画素ＳＨＡが５個、他方の瞳分割を行なう画素ＳＨＢも５個含まれている。そこで本実施形態においては、５個のＳＨＡの出力を加算処理して加算値を算出し、位相差演算用の一方の画像信号（Ａ像と称する）の１ＡＦ画素とする。同様に、５個のＳＨＢの出力を加算処理して加算値を算出し、位相差演算用の他方の画像信号（Ｂ像と称する）の１ＡＦ画素とする。 The pixel arrangement shown in FIG. 11 is the same as that described with reference to FIG. 9, but in focus detection, a total of 10 blocks of 1 block in the horizontal direction and 10 blocks in the vertical direction are grouped and defined as a section. To do. In the present embodiment, one focus detection area is configured by 30 sections arranged in the horizontal direction. That is, an area of 100 rows × 300 columns = 30,000 pixels is one focus detection area. This one focus detection area is defined as an AF area. Here, in one section, five pixels SHA that perform one pupil division in the horizontal direction and five pixels SHB that perform the other pupil division are included. Therefore, in the present embodiment, the output of the five SHAs is added to calculate an added value, which is set as one AF pixel of one image signal (referred to as A image) for phase difference calculation. Similarly, the output of the five SHBs is added to calculate an added value, which is used as the 1AF pixel of the other image signal (referred to as a B image) for phase difference calculation.
図１２は、一つのセクションにおける、被写体像の捕捉能力を説明するための図である。 FIG. 12 is a diagram for explaining a subject image capturing capability in one section.
図１２（ａ）は図１１の左端のセクションを切り出したものである。そして下端に示された水平線ＰＲＪｈは、焦点検出用画素ＳＨＡ及びＳＨＢの瞳分割方向に延伸した第１の射影軸（Ｐｒｏｊｅｃｔｉｏｎ Ｌｉｎｅ）、右端に示された垂直線ＰＲＪｖは、瞳分割方向と直交する方向に延伸した第２の射影軸である。ここで、１つのセクション内の画素ＳＨＡはすべて加算され、ＳＨＢも加算される。そこで、１セクションを１ＡＦ画素と見なした場合、１ＡＦ画素に含まれる受光部を瞳分割方向の射影軸ＰＲＪｈに射影すると、画素ＳＨＡとＳＨＢが交互に緻密に並ぶことがわかる。このときの、瞳分割方向の射影軸ＰＲＪｈにおける画素ＳＨＡの配列ピッチをＰ１とすると、Ｐ１＝ＰＨｈ＝２（単位は画素）となる。ピッチの代わりに空間周波数Ｆ１で表わすと、Ｆ１＝０．５（単位は画素／画素）となる。同様に射影軸ＰＲＪｈにおける画素ＳＨＢの配列ピッチもＰ１＝２（単位は画素）、空間周波数表記ではＦ１＝０．５（単位は画素／画素）となる。 FIG. 12A shows the section at the left end of FIG. The horizontal line PRJh shown at the lower end is a first projection line extending in the pupil division direction of the focus detection pixels SHA and SHB, and the vertical line PRJv shown at the right end is orthogonal to the pupil division direction. It is the 2nd projection axis extended in the direction. Here, all the pixels SHA in one section are added, and SHB is also added. Therefore, when one section is regarded as one AF pixel, it can be seen that pixels SHA and SHB are alternately arranged densely when the light receiving portion included in the one AF pixel is projected onto the projection axis PRJh in the pupil division direction. If the arrangement pitch of the pixels SHA on the projection axis PRJh in the pupil division direction at this time is P1, P1 = PHh = 2 (unit is pixel). When expressed by the spatial frequency F1 instead of the pitch, F1 = 0.5 (unit is pixel / pixel). Similarly, the arrangement pitch of the pixels SHB on the projection axis PRJh is P1 = 2 (unit is pixel), and F1 = 0.5 (unit is pixel / pixel) in spatial frequency notation.
一方、１つのＡＦ画素に含まれる受光部を瞳分割方向と直交方向の射影軸ＰＲＪｖに射影すると、画素ＳＨＡとＳＨＢはまばらに並ぶことがわかる。このときの、射影軸ＰＲＪｖにおける画素ＳＨＡの配列ピッチをＰ２とすると、Ｐ２＝ＰＨｖ＝２０（単位は画素）となる。ピッチの代わりに空間周波数Ｆ２で表わすと、Ｆ２＝０．０５（単位は画素／画素）となる。同様に射影軸ＰＲＪｖにおける画素ＳＨＢの配列ピッチも、Ｐ２＝２０（単位は画素）、空間周波数表記ではＦ２＝０．０５（単位は画素／画素）となる。 On the other hand, when the light receiving unit included in one AF pixel is projected onto the projection axis PRJv orthogonal to the pupil division direction, it can be seen that the pixels SHA and SHB are sparsely arranged. When the arrangement pitch of the pixels SHA on the projection axis PRJv at this time is P2, P2 = PHv = 20 (unit is a pixel). When expressed by the spatial frequency F2 instead of the pitch, F2 = 0.05 (unit: pixel / pixel). Similarly, the arrangement pitch of the pixels SHB on the projection axis PRJv is P2 = 20 (unit is pixel), and F2 = 0.05 (unit is pixel / pixel) in the spatial frequency notation.
すなわち、本実施形態におけるＡＦ画素は、上記のグループ化前の分散特性は、瞳分割方向とこれに直交する方向の配置上のピッチが等しいが、グループ化する際のグループ形状を長方形とすることで、瞳分割方向のサンプリング誤差を低減している。具体的には、１セクションの瞳分割方向の最大寸法Ｌ１は１０画素、瞳分割と直交する方向の最大寸法Ｌ２は１００画素としている。すなわち、セクション寸法をＬ１＜Ｌ２とすることで、瞳分割方向のサンプリング周波数Ｆ１を高周波（密）に、これと直交する方向のサンプリング周波数Ｆ２を低周波（疎）としている。 That is, in the AF pixel in the present embodiment, the dispersion characteristics before grouping have the same pitch in the arrangement of the pupil division direction and the direction orthogonal to the pupil division direction, but the group shape when grouping is rectangular. Thus, the sampling error in the pupil division direction is reduced. Specifically, the maximum dimension L1 in the pupil division direction of one section is 10 pixels, and the maximum dimension L2 in the direction orthogonal to the pupil division is 100 pixels. That is, by setting the section size to L1 <L2, the sampling frequency F1 in the pupil division direction is set to a high frequency (dense), and the sampling frequency F2 in a direction orthogonal to this is set to a low frequency (sparse).
図１２（ａ）で説明したＡＦ画素（一つのセクション）に、細線の被写体像（図１２（ｂ）にハッチングで示した像）が投影された場合の画像捕捉能力を図１２（ｂ）を用いて説明する。 FIG. 12B shows the image capture capability when a thin subject image (the image shown by hatching in FIG. 12B) is projected onto the AF pixel (one section) described in FIG. It explains using.
図１２（ｂ）において、ＬＩＮＥｖは、撮像素子１０７上に投影された細い縦線を表わし、その幅は画素換算で４画素、画像の実寸では幅８μｍになっている。この時、セクションＳＣＴｈ（１）内では、ブロックＢＬＫ（３，１）とブロックＢＬＫ（５，１）に含まれる焦点検出用画素が被写体像を捕捉する。なお、被写体像の最小寸法は、撮影光学系１０１の収差と撮像素子１０７の前面に配置された光学的ローパルフィルタ１０６の特性で決まるが、通常は非常に細い線でも２画素以上の幅になる。従って、本実施形態の１つのセクション内では、最低でも各１個ずつの画素ＳＨＡとＳＨＢで画像を捕捉することになり、捕捉洩れは生じない。
In FIG. 12B, LINEv represents a thin vertical line projected on the
一方、図１２（ｂ）のＬＩＮＥｈは、撮像素子１０７上に投影された細い横線を表わし、その幅は前述のＬＩＮＥｖと同様に画素換算で４画素、画像の実寸では幅８μｍになっている。この時には、横線ＬＩＮＥｈはブロックＢＬＫ（５，１）にかかっているが、焦点検出用画素ＳＨＡ及びＳＨＢには捕捉されない。しかしながら、このセクションＳＣＴｈ（１）は、縦線のごとく横方向に輝度分布を有する被写体について焦点検出を行なうためのものである。従って、横線のごとく縦方向に輝度分布を有する被写体については、焦点検出用画素による像の捕捉洩れが生じても実害はない。
On the other hand, LINEh in FIG. 12B represents a thin horizontal line projected on the
図１３は、撮影光学系によって形成された被写体像の、縦ずれ方向の焦点検出を行なう場合の画素のグループ化方法を説明する図である。縦ずれ方向の焦点検出とは、図７で説明した、撮影光学系の射出瞳を縦方向（上下方向、すなわち垂直方向）に分割するための焦点検出用画素を用いて、位相差式焦点検出を行なうことを指す。すなわち、図１１で説明した技術を９０度回転したものに相当する。 FIG. 13 is a diagram for explaining a grouping method of pixels when focus detection is performed in the vertical deviation direction of a subject image formed by the photographing optical system. The focus detection in the longitudinal shift direction is a phase difference focus detection using the focus detection pixels for dividing the exit pupil of the photographing optical system in the vertical direction (vertical direction, that is, the vertical direction) described in FIG. Refers to performing. That is, it corresponds to the technique described in FIG. 11 rotated 90 degrees.
図１３に示す画素配列も図９で説明したものであるが、焦点検出の際には、横方向に１０ブロック、縦方向に１ブロックの合計１０ブロックを１つのグループとし、これをセクションと定義する。そして、本実施形態では、縦方向に並んだ３０セクションで、１つの焦点検出領域を構成する。すなわち、３００行×１００列＝３万画素の領域が１つの焦点検出領域となる。この１つの焦点検出領域も図１１と同様にＡＦエリアと定義する。ここで、１つのセクション内においては、縦方向における一方の瞳分割を行なう画素ＳＶＣが５個、他方の瞳分割を行なう画素ＳＶＤも５個含まれている。そこで本実施形態においては、５個のＳＶＣの出力を加算して、位相差演算用の一方の画像信号（Ｃ像と称する）の１ＡＦ画素とする。同様に、５個のＳＶＤの出力を加算して、位相差演算用の他方の画像信号（Ｄ像と称する）の１ＡＦ画素とする。 The pixel arrangement shown in FIG. 13 is the same as that described with reference to FIG. 9, but for focus detection, 10 blocks in the horizontal direction and 1 block in the vertical direction are combined into one group, which is defined as a section. To do. In this embodiment, one focus detection region is configured by 30 sections arranged in the vertical direction. That is, an area of 300 rows × 100 columns = 30,000 pixels is one focus detection area. This one focus detection area is also defined as an AF area as in FIG. Here, in one section, five pixels SVC that perform one pupil division in the vertical direction and five pixels SVD that perform the other pupil division are included. Therefore, in this embodiment, the outputs of five SVCs are added to form one AF pixel of one image signal (referred to as a C image) for phase difference calculation. Similarly, the outputs of the five SVDs are added to form a 1AF pixel of the other image signal (referred to as a D image) for phase difference calculation.
図１４は、一つのセクションにおける被写体像の捕捉能力を説明するための図で、図１２の手法を９０度回転したものと等価である。 FIG. 14 is a diagram for explaining the subject image capturing capability in one section, which is equivalent to a 90-degree rotation of the method of FIG.
図１４（ａ）は図１３の上端のセクションを切り出したものである。そして右端に示された垂直線ＰＲＪｖは、焦点検出用画素ＳＶＣ及びＳＶＤの瞳分割方向に延伸した第３の射影軸、下端に示された水平線ＰＲＪｈは、瞳分割方向と直交する方向に延伸した第４の射影軸である。図１４（ａ）においても、１つのセクション内の画素ＳＶＣはすべて加算され、ＳＶＤも加算される。そこで、１セクションを１ＡＦ画素と見なした場合、１ＡＦ画素に含まれる受光部を瞳分割方向の射影軸ＰＲＪｖに射影すると、画素ＳＶＣ及びＳＶＤが交互に緻密に並ぶことがわかる。このときの、瞳分割方向の射影軸ＰＲＪｖにおける画素ＳＶＣの配列ピッチをＰ１とすると、Ｐ１＝ＰＶｖ＝２（単位は画素）となる。ピッチの代わりに空間周波数Ｆ１で表わすと、Ｆ１＝０．５（単位は画素／画素）となる。同様に射影軸ＰＲＪｖにおける画素ＳＶＤの配列ピッチもＰ１＝２（単位は画素）、空間周波数表記ではＦ１＝０．５（単位は画素／画素）となる。 FIG. 14A is a cut-out section at the upper end of FIG. The vertical line PRJv shown at the right end is the third projection axis extending in the pupil division direction of the focus detection pixels SVC and SVD, and the horizontal line PRJh shown at the lower end is extended in the direction orthogonal to the pupil division direction. This is the fourth projective axis. Also in FIG. 14A, all the pixels SVC in one section are added, and SVD is also added. Therefore, when one section is regarded as one AF pixel, it can be seen that pixels SVC and SVD are arranged densely alternately when the light receiving portion included in the one AF pixel is projected onto the projection axis PRJv in the pupil division direction. When the arrangement pitch of the pixels SVC on the projection axis PRJv in the pupil division direction at this time is P1, P1 = PVv = 2 (unit is pixel). When expressed by the spatial frequency F1 instead of the pitch, F1 = 0.5 (unit is pixel / pixel). Similarly, the arrangement pitch of the pixels SVD on the projection axis PRJv is P1 = 2 (unit is pixel), and F1 = 0.5 (unit is pixel / pixel) in the spatial frequency notation.
一方、１ＡＦ画素に含まれる受光部を瞳分割方向と直交方向の射影軸ＰＲＪｈに射影すると、画素ＳＶＣとＳＶＤはまばらに並ぶことがわかる。このときの、射影軸ＰＲＪｈにおける画素ＳＶＣの配列ピッチをＰ２とすると、Ｐ２＝ＰＶｈ＝２０（単位は画素）となる。ピッチの代わりに空間周波数Ｆ２で表わすと、Ｆ２＝０．０５（単位は画素／画素）となる。同様に射影軸ＰＲＪｖにおける画素ＳＶＤの配列ピッチも、Ｐ２＝２０（単位は画素）、空間周波数表記ではＦ２＝０．０５（単位は画素／画素）となる。 On the other hand, when the light receiving portion included in one AF pixel is projected onto the projection axis PRJh orthogonal to the pupil division direction, it can be seen that the pixels SVC and SVD are sparsely arranged. If the arrangement pitch of the pixels SVC on the projection axis PRJh at this time is P2, then P2 = PVh = 20 (unit is pixel). When expressed by the spatial frequency F2 instead of the pitch, F2 = 0.05 (unit: pixel / pixel). Similarly, the arrangement pitch of the pixels SVD on the projection axis PRJv is P2 = 20 (unit is pixel), and F2 = 0.05 (unit is pixel / pixel) in the spatial frequency notation.
以上のごとく、図１４におけるＡＦ画素のサンプリング特性は、瞳分割方向を基準に考えると、図１２と同様の特性、すなわちＦ１＞Ｆ２となっている。これは、図１４のセクションにおいても、瞳分割方向のセクション寸法Ｌ１と、これと直交する方向の寸法Ｌ２を、Ｌ１＜Ｌ２としたからである。 As described above, the sampling characteristics of the AF pixels in FIG. 14 are the same as those in FIG. 12, that is, F1> F2 when the pupil division direction is considered as a reference. This is because the section dimension L1 in the pupil division direction and the dimension L2 in the direction perpendicular to the section dimension L1 <L2 in the section of FIG.
図１４（ａ）で説明したＡＦ画素（一つのセクション）に、細線の被写体像（図１４（ｂ）にハッチングで示した像）が投影された場合の画像捕捉能力を図１４（ｂ）を用いて説明する。 FIG. 14B shows the image capturing capability when a thin line subject image (the image shown by hatching in FIG. 14B) is projected onto the AF pixel (one section) described in FIG. It explains using.
図１４（ｂ）において、ＬＩＮＥｈは、撮像素子１０７上に投影された細い横線を表わし、その幅は画素換算で４画素、画像の実寸では幅８μｍになっている。この時、セクションＳＣＴｖ（１）内では、ブロックＢＬＫ（１，４）とブロックＢＬＫ（１，６）に含まれる焦点検出用画素が被写体像を捕捉する。
In FIG. 14B, LINEh represents a thin horizontal line projected on the
一方、図１４（ｂ）のＬＩＮＥｖは、撮像素子１０７上に投影された細い縦線を表わし、その幅は前述のＬＩＮＥｈと同様に画素換算で４画素、画像の実寸では幅８μｍになっている。この時には、縦線ＬＩＮＥｖはブロックＢＬＫ（１，６）にかかっているが、焦点検出用画素ＳＶＣ及びＳＶＤには捕捉されない。しかしながら、セクションＳＣＴｖ（１）は、横線のごとく縦方向に輝度分布を有する被写体について焦点検出を行なうためのものである。従って、縦線のごとく横方向に輝度分布を有する被写体については、焦点検出用画素による像の捕捉洩れが生じても実害はない。
On the other hand, LINEv in FIG. 14B represents a thin vertical line projected on the
図１５は、本実施形態における撮像素子の瞳分割状況を概念的に説明する図である。ＴＬは撮影光学系、１０７は撮像素子、ＯＢＪは被写体、ＩＭＧは被写体像である。 FIG. 15 is a diagram conceptually illustrating the pupil division state of the image sensor in the present embodiment. TL is a photographing optical system, 107 is an image sensor, OBJ is a subject, and IMG is a subject image.
撮像用画素は図５で説明したように、撮影光学系の射出瞳全域ＥＰを通過した光束を受光する。一方、焦点検出用画素は図６及び図７で説明したように、瞳分割機能を有している。具体的には、図６の画素ＳＨＡは撮像面からレンズ後端を見て左側の瞳を通過した光束、すなわち図１５の瞳ＥＰＨＡを通過した光束を受光する。同様に画素ＳＨＢ、ＳＶＣ及びＳＶＤはそれぞれ瞳ＥＰＨＢ、ＥＰＶＣ、及びＥＰＶＤを通過した光束を受光する。そして、焦点検出用画素は、図１０で説明したように撮像素子１０７の全領域に渡って分布しているため、撮像領域全域で焦点検出も可能となっている。
As described with reference to FIG. 5, the imaging pixel receives the light beam that has passed through the entire exit pupil EP of the imaging optical system. On the other hand, the focus detection pixel has a pupil division function as described with reference to FIGS. Specifically, the pixel SHA in FIG. 6 receives the light beam that has passed through the left pupil as viewed from the imaging surface, that is, the light beam that has passed through the pupil EPHA in FIG. Similarly, the pixels SHB, SVC, and SVD receive light beams that have passed through the pupils EPHB, EPVC, and EPVD, respectively. Since the focus detection pixels are distributed over the entire area of the
図１６は、焦点検出時に取得した画像と焦点検出領域を説明する図である。 FIG. 16 is a diagram illustrating an image acquired at the time of focus detection and a focus detection area.
図１６において、撮像面に形成された被写体像には、中央に人物、左側に近景の樹木、右側に遠景の山並みが写っている。そして本実施形態においては、焦点検出用画素は、横ずれ検出用の画素ペアＳＨＡ及びＳＨＢと、縦ずれ検出用の画素ペアＳＶＣ及びＳＶＤが、図１０に示したように撮像領域全域に渡って均等な密度で配置されている。そして横ずれ検出の際には、位相差演算のためのＡＦ画素信号を図１１及び図１２で示したようにグループ化処理する。また、縦ずれ検出の際には、位相差演算のためのＡＦ画素信号を図１３及び図１４で示したようにグループ化処理する。よって、撮像領域の任意位置において、横ずれ検出及び縦ずれ検出のための測距領域を設定可能である。 In FIG. 16, the subject image formed on the imaging surface includes a person at the center, a tree in the foreground on the left, and a mountain range in the foreground on the right. In this embodiment, the focus detection pixels are equal to each other across the entire imaging region, as shown in FIG. 10, in which the lateral shift detection pixel pairs SHA and SHB and the vertical shift detection pixel pairs SVC and SVD. Are arranged at a high density. At the time of lateral shift detection, AF pixel signals for phase difference calculation are grouped as shown in FIGS. In addition, when detecting vertical shift, AF pixel signals for phase difference calculation are grouped as shown in FIGS. Therefore, it is possible to set a distance measurement area for detecting lateral deviation and longitudinal deviation at an arbitrary position in the imaging area.
図１６においては、画面中央に人物の顔が存在している。そこで公知の顔認識技術によって顔の存在が検出されると、顔領域を中心に横ずれ検知のための焦点検出領域ＡＦＡＲｈ（ｘ１，ｙ１）と、縦ずれ検知のための焦点検出領域ＡＦＡＲｖ（ｘ３，ｙ３）が設定される。ここで添え字のｈは水平方向を表わし、（ｘ１，ｙ１）及び（ｘ３，ｙ３）は焦点検出領域の左上隅の座標を表わす。そして、焦点検出領域ＡＦＡＲｈ（ｘ１，ｙ１）の各セクション内に含まれる５個の焦点検出用画素用ＳＨＡを加算し、これを３０セクションに渡って連結した位相差検出用のＡ像信号がＡＦＳＩＧｈ（Ａ１）である。また、同様に各セクションの５個の焦点検出用画素用ＳＨＢを加算し、これを３０セクションに渡って連結した位相差検出用のＢ像信号がＡＦＳＩＧｈ（Ｂ１）である。そして、Ａ像信号ＡＦＳＩＧｈ（Ａ１）とＢ像信号ＡＦＳＩＧｈ（Ｂ１）の相対的な横ずれ量を公知の相関演算によって計算することで、被写体の焦点ずれ量（デフォーカス量）を求めることができる。 In FIG. 16, a human face exists in the center of the screen. Therefore, when the presence of a face is detected by a known face recognition technique, a focus detection area AFARh (x1, y1) for detecting lateral deviation centered on the face area, and a focus detection area AFARv (x3, for detecting vertical deviation). y3) is set. Here, the subscript h represents the horizontal direction, and (x1, y1) and (x3, y3) represent the coordinates of the upper left corner of the focus detection area. Then, five focus detection pixel SHAs included in each section of the focus detection area AFARh (x1, y1) are added, and the A image signal for phase difference detection obtained by connecting these SHAs over 30 sections is AFSIGh. (A1). Similarly, a B image signal for phase difference detection obtained by adding five focus detection pixel SHBs in each section and connecting them over 30 sections is AFSIGh (B1). Then, by calculating the relative lateral shift amount between the A image signal AFSIGh (A1) and the B image signal AFSIGh (B1) by a known correlation calculation, the defocus amount (defocus amount) of the subject can be obtained.
焦点検出領域ＡＦＡＲｖ（ｘ３，ｙ３）についても同様に焦点ずれ量を求める。そして、横ずれ用及び縦ずれ用の焦点検出領域で検出した２つの焦点ずれ量を比較し、信頼性の高い値を採用すればよい。 The defocus amount is similarly obtained for the focus detection area AFARv (x3, y3). Then, the two defocus amounts detected in the lateral shift and vertical shift focus detection areas are compared, and a highly reliable value may be adopted.
一方、画面左側の樹木の幹部は、縦線成分が主体、すなわち横方向に輝度分布を有しているため、横ずれ検知に適した被写体と判断され、横ずれ検知のための焦点検出領域ＡＦＡＲｈ（ｘ２，ｙ２）が設定される。また、画面右側の山並み稜線部は、横線成分が主体、すなわち縦方向に輝度分布を有しているため、縦ずれ検知に適した被写体と判断され、縦ずれ検知のための焦点検出領域ＡＦＡＲｖ（ｘ４，ｙ４）が設定される。 On the other hand, since the trunk of the tree on the left side of the screen is mainly composed of vertical line components, that is, has a luminance distribution in the horizontal direction, it is determined to be a subject suitable for lateral shift detection, and a focus detection area AFARh (x2) for lateral shift detection , Y2) are set. Further, the mountain ridge line portion on the right side of the screen is mainly composed of a horizontal line component, that is, has a luminance distribution in the vertical direction. Therefore, it is determined as a subject suitable for vertical shift detection, and a focus detection area AFARv ( x4, y4) are set.
以上のごとく本実施形態においては、横ずれ及び縦ずれ検出のための焦点検出領域が画面の任意位置に設定可能であるため、被写体の投影位置や輝度分布の方向性が様々であっても、常に正確な焦点検出が可能である。 As described above, in the present embodiment, since the focus detection area for detecting lateral shift and vertical shift can be set at an arbitrary position on the screen, even if the projection position of the subject and the directionality of the luminance distribution are various, it is always possible. Accurate focus detection is possible.
図１７乃至図１９は、本実施形態に関わるカメラの焦点調節及び撮影工程を説明するためのフローチャートである。先に説明した図１から図１６の各図を参照しながら、図１７以降の制御フローを説明する。 FIG. 17 to FIG. 19 are flowcharts for explaining the camera focus adjustment and photographing process according to the present embodiment. The control flow after FIG. 17 will be described with reference to each of FIGS. 1 to 16 described above.
図１７は第１の実施形態のカメラの動作を示すメインフローチャートである。 FIG. 17 is a main flowchart showing the operation of the camera of the first embodiment.
撮影者がカメラの電源スイッチをオン操作すると、ステップＳ１０１においてＣＰＵ１２１はカメラ内の各アクチュエータや撮像素子の動作確認を行ない、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する。ステップＳ１０２では撮像素子の撮像動作を開始し、プレビュー用の低画素動画像を出力する。ステップＳ１０３では読み出した動画をカメラ背面に設けられた表示器１３１に表示し、撮影者はこのプレビュー画像を目視して撮影時の構図決定を行なう。
When the photographer turns on the power switch of the camera, in step S101, the
ステップＳ１０４では、プレビュー用動画像に顔が存在するか否かを認識する。そして、撮影領域に顔が存在していると認識された場合には、ステップＳ１０５からステップＳ１０６に移行し、焦点調節モードを顔ＡＦモードに設定する。ここで顔ＡＦモードとは、撮影領域の顔に焦点を合わせるＡＦモードを指す。 In step S104, it is recognized whether or not a face exists in the preview moving image. When it is recognized that a face is present in the shooting area, the process proceeds from step S105 to step S106, and the focus adjustment mode is set to the face AF mode. Here, the face AF mode refers to an AF mode for focusing on the face in the shooting area.
一方撮影領域に顔が存在していない場合はステップＳ１０５からステップＳ１０７に移行し、焦点調節モードを多点ＡＦモードに設定する。ここで多点ＡＦモードとは、撮影領域を例えば３×５＝１５分割し、各分割領域で焦点検出を行ない、焦点検出結果と被写体の輝度情報から主被写体を類推し、その領域を合焦させるモードを指す。 On the other hand, if no face is present in the shooting area, the process proceeds from step S105 to step S107, and the focus adjustment mode is set to the multipoint AF mode. Here, the multi-point AF mode refers to, for example, dividing the shooting area by 3 × 5 = 15, performing focus detection in each divided area, inferring the main subject from the focus detection result and the luminance information of the subject, and focusing the region. Refers to the mode to be activated.
ステップＳ１０６あるいはステップＳ１０７でＡＦモードを決定したら、ステップＳ１０８で焦点検出領域を決定する。ステップＳ１０９では、撮影準備スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ１０２に戻り、撮像素子駆動からステップＳ１０８の焦点検出領域の決定を繰り返し実行する。 When the AF mode is determined in step S106 or step S107, the focus detection area is determined in step S108. In step S109, it is determined whether or not the photographing preparation switch has been turned on. If the photographing preparation switch has not been turned on, the process returns to step S102, and the determination of the focus detection area in step S108 is repeatedly performed from the image sensor driving.
ステップＳ１０９で撮影準備スイッチがオン操作されるとステップＳ１１０に移行し、焦点検出サブルーチンを実行する。 When the photographing preparation switch is turned on in step S109, the process proceeds to step S110, and a focus detection subroutine is executed.
図１８は焦点検出サブルーチンのフローチャートである。メインフローのステップＳ１０９から当サブルーチンのステップＳ１１０にジャンプすると、続くステップＳ１３１においては、メインルーチンのステップＳ１０８で決定した焦点検出領域に含まれる焦点検出用画素を読み出す。 FIG. 18 is a flowchart of the focus detection subroutine. When jumping from step S109 of the main flow to step S110 of this subroutine, in the subsequent step S131, the focus detection pixels included in the focus detection area determined in step S108 of the main routine are read.
ステップＳ１３２では、焦点検出領域における図１１もしくは図１３で説明したセクション内の欠陥画素を検出する。なお、欠陥画素の位置に関する情報は、予めメモリ１３３等に記憶されており、ＣＰＵ１２１は、この情報に基づいてセクション内に欠陥画素があるかないかを判定するものとする。これは、後に説明する第２乃至第４の実施形態においても同様である。
In step S132, a defective pixel in the section described with reference to FIG. 11 or FIG. 13 in the focus detection area is detected. Information regarding the position of the defective pixel is stored in advance in the memory 133 or the like, and the
そして、焦点検出用画素に欠陥画素がない場合は、ステップＳ１３３からステップ１３４に移行し、セクション内の全ての焦点検出用画素を加算し、ＡＦ画素信号を得る。 If there is no defective pixel in the focus detection pixel, the process proceeds from step S133 to step 134, and all the focus detection pixels in the section are added to obtain an AF pixel signal.
一方、焦点検出用画素に欠陥画素がある場合は、ステップＳ１３３からステップＳ１３５に移行し、セクション内において、欠陥画素を除いた焦点検出用画素の加算演算を行なう。 On the other hand, if there is a defective pixel in the focus detection pixel, the process proceeds from step S133 to step S135, and the addition operation of the focus detection pixel excluding the defective pixel is performed in the section.
ステップＳ１３６では、セクション内における欠陥画素の数に応じた補正係数Ｋ（補正値）により、ステップＳ１３５で演算した加算結果の補正を行なう。 In step S136, the addition result calculated in step S135 is corrected with a correction coefficient K (correction value) corresponding to the number of defective pixels in the section.
ここで、セクション内に含まれる焦点検出用画素数をＮ、セクション内に含まれる欠陥画素数をＭとすると、補正係数Ｋを次式で表わす。 Here, when the number of focus detection pixels included in the section is N and the number of defective pixels included in the section is M, the correction coefficient K is expressed by the following equation.
Ｋ＝Ｎ／（Ｎ−Ｍ）
加算結果には、欠陥画素信号が含まれていないため、欠陥画素が存在しないセクションの加算結果よりも信号が小さくなる。そこで、補正係数Ｋにより、加算結果を補正することで、欠陥画素の影響を軽減している。
K = N / (NM)
Since the addition result does not include the defective pixel signal, the signal is smaller than the addition result of the section where no defective pixel exists. Therefore, the effect of the defective pixel is reduced by correcting the addition result using the correction coefficient K.
図１１もしくは図１３で説明した各セクションは、水平方向に瞳分割を行なうための焦点検出用画素が５画素、垂直方向に瞳分割を行なうための焦点検出用画素が５画素で構成されている。例えば、水平方向に瞳分割を行なうための焦点検出用画素の５画素の内、1つの欠陥画素が含まれていた場合は、欠陥画素を含まない４つの画素の信号について加算演算を行なう。そして、補正係数Ｋ＝５／（５−１）＝１．２５を加算結果に乗算することで、補正を行なう。ステップＳ１３３からステップＳ１３６の動作は、焦点検出領域内の全てのセクションについて行なう。 Each section described with reference to FIG. 11 or FIG. 13 is composed of five pixels for focus detection for performing pupil division in the horizontal direction and five pixels for focus detection for performing pupil division in the vertical direction. . For example, when one defective pixel is included among five pixels for focus detection for performing pupil division in the horizontal direction, an addition operation is performed on signals of four pixels that do not include a defective pixel. Then, correction is performed by multiplying the addition result by a correction coefficient K = 5 / (5-1) = 1.25. The operations from step S133 to step S136 are performed for all sections in the focus detection area.
ステップＳ１３７では、ステップＳ１３４およびステップＳ１３６での演算結果を基に、相関演算用の２像の信号を得る。具体的には、図１６に示したＡＦＳＩＧｈ（Ａ１）とＡＦＳＩＧｈ（Ｂ１）、あるいはＡＦＳＩＧｖ（Ｃ３）とＡＦＳＩＧｖ（Ｄ３）等の対の信号を創生する。 In step S137, two image signals for correlation calculation are obtained based on the calculation results in steps S134 and S136. Specifically, a pair of signals such as AFSIGh (A1) and AFSIGh (B1) or AFSIGv (C3) and AFSIGv (D3) shown in FIG. 16 are created.
ステップＳ１３８では得られた２像の相関演算を行ない、２像の相対的な位置ずれ量を計算する。ステップＳ１３９では、相関演算結果の信頼性を判定する。ここで信頼性とは、２像の一致度を指し、２像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、複数の焦点検出領域が選択されている場合は、信頼性の高い情報を優先的に使用する。 In step S138, the correlation between the two images obtained is calculated, and the relative displacement between the two images is calculated. In step S139, the reliability of the correlation calculation result is determined. Here, the reliability refers to the degree of coincidence between the two images. When the degree of coincidence between the two images is good, the reliability of the focus detection result is generally high. Therefore, when a plurality of focus detection areas are selected, highly reliable information is preferentially used.
ステップＳ１４０では、上記の信頼性の高い検出結果からピントずれ量を演算し、図１７のメインフロー内のステップＳ１１１にリターンする。 In step S140, the amount of focus deviation is calculated from the above reliable detection result, and the process returns to step S111 in the main flow of FIG.
図１７のステップＳ１１１では、図１８のステップＳ１４０で計算した焦点ずれ量が許容値以下か否かを判断する。そして焦点ずれ量が許容値以上である場合は、非合焦と判断し、ステップＳ１１２でフォーカスレンズを駆動し、その後ステップＳ１１０からステップＳ１１２を繰り返し実行する。そしてステップＳ１１１にて合焦状態に達したと判定されると、ステップＳ１１３にて合焦表示を行ない、ステップＳ１１４に移行する。 In step S111 of FIG. 17, it is determined whether or not the amount of defocus calculated in step S140 of FIG. If the defocus amount is greater than or equal to the allowable value, it is determined that the subject is out of focus, the focus lens is driven in step S112, and then steps S110 to S112 are repeatedly executed. If it is determined in step S111 that the in-focus state has been reached, in-focus display is performed in step S113, and the process proceeds to step S114.
ステップＳ１１４では、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ１１４にて撮影待機状態を維持する。ステップＳ１１４で撮影開始スイッチがオン操作されるとステップＳ１１５に移行し、撮影サブルーチンを実行する。 In step S114, it is determined whether or not the shooting start switch is turned on. If the switch is not turned on, the shooting standby state is maintained in step S114. When the shooting start switch is turned on in step S114, the process proceeds to step S115 to execute a shooting subroutine.
図１９は撮影サブルーチンのフローチャートである。 FIG. 19 is a flowchart of the photographing subroutine.
撮影開始スイッチが操作されると、ステップＳ１１５にジャンプする。続くステップＳ１６１ではシャッタアクチュエータ１１２を駆動し、露光時間を規定するシャッタ１０２の開口制御を行なう。ステップＳ１６２では、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行なう。ステップＳ１６３では読み出した画像信号の欠損画素補間を行なう。すなわち、焦点検出用画素の出力は撮像のためのＲＧＢカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を創生する。
When the shooting start switch is operated, the process jumps to step S115. In the subsequent step S161, the
ステップＳ１６４では、画像のγ補正、エッジ強調等の画像処理をおこない、ステップＳ１６５において、メモリ１３３に撮影画像を記録する。ステップＳ１６６では、表示器１３１に撮影済み画像を表示し、図１７のメインフローにリターンする。
In step S164, image processing such as image gamma correction and edge enhancement is performed, and in step S165, the captured image is recorded in the memory 133. In step S166, the captured image is displayed on the
図１７のメインフローに戻り、一連の撮影動作を終了する。 Returning to the main flow of FIG. 17, the series of shooting operations is completed.
以上説明したように、第１の実施形態によれば、ステップＳ１３２からステップＳ１３６で説明したように、焦点検出領域のセクション内の欠陥画素を検出し、欠陥画素が存在している場合は、欠陥画素を含まない画素信号により加算結果を演算し、さらに、欠陥画素の数に応じた補正係数にて、加算結果を補正している。これにより、欠陥画素がある程度存在する場合においても、適正な相関演算用の２像の信号を生成し、焦点検出することが可能となる。 As described above, according to the first embodiment, as described in steps S132 to S136, a defective pixel in a section of the focus detection area is detected, and if a defective pixel exists, a defect is detected. The addition result is calculated by a pixel signal not including pixels, and the addition result is corrected by a correction coefficient corresponding to the number of defective pixels. As a result, even when there are some defective pixels, it is possible to generate two image signals for proper correlation calculation and detect the focus.
（第２の実施形態）
第１の実施形態では、焦点検出領域のセクション内に欠陥画素が存在している場合に、欠陥画素を含まない焦点検出用画素信号を加算し、さらに欠陥画素の数に応じた補正係数を用いてその加算結果を補正している。
(Second Embodiment)
In the first embodiment, when a defective pixel exists in the section of the focus detection area, a focus detection pixel signal not including the defective pixel is added, and a correction coefficient corresponding to the number of defective pixels is used. The addition result is corrected.
これに対し、第２の実施形態では、第１の実施形態とは異なる欠陥画素処理を行なう。 On the other hand, in the second embodiment, defective pixel processing different from that in the first embodiment is performed.
図２０を用いて第２の実施形態の動作について説明する。 The operation of the second embodiment will be described with reference to FIG.
図２０のフローチャートは、第１の実施形態の図１８に示すフローチャートに対応する。つまり、図１７のメインシーケンスのステップＳ１１０である焦点検出サブルーチンに対応する。 The flowchart in FIG. 20 corresponds to the flowchart shown in FIG. 18 of the first embodiment. That is, it corresponds to the focus detection subroutine which is step S110 of the main sequence in FIG.
まず、ステップＳ２３１では、メインルーチンのステップＳ１０８で決定した焦点検出領域に含まれる焦点検出用画素を読み出す。 First, in step S231, focus detection pixels included in the focus detection area determined in step S108 of the main routine are read.
ステップＳ２３２では、焦点検出領域におけるセクション内の欠陥画素を検出する。 In step S232, a defective pixel in the section in the focus detection area is detected.
そして、焦点検出用画素に欠陥が無い場合は、ステップＳ２３３からステップＳ２３４に移行し、セクション内の全ての焦点検出用画素の信号を加算平均して加算平均値を算出し、ＡＦ画素信号を得る。 If there is no defect in the focus detection pixels, the process proceeds from step S233 to step S234, the signals of all the focus detection pixels in the section are added and averaged to calculate an addition average value, and an AF pixel signal is obtained. .
一方、焦点検出用画素に欠陥が有る場合は、ステップＳ２３３からステップＳ２３５に移行し、セクション内において、欠陥画素を除いた焦点検出用画素の信号について加算平均してＡＦ画素信号を得る。 On the other hand, if there is a defect in the focus detection pixel, the process proceeds from step S233 to step S235, and the AF pixel signal is obtained by averaging the signal of the focus detection pixel excluding the defective pixel in the section.
例えば、図１３で説明したセクションにおいて、水平方向に瞳分割を行なうための焦点検出用画素の５画素に１つの欠陥画素が含まれていた場合は、欠陥画素を含まない４つの画素の信号について加算演算を行なう。そして、４画素による平均演算を行なう。 For example, in the section described with reference to FIG. 13, when one defective pixel is included in five pixels for focus detection for performing pupil division in the horizontal direction, signals of four pixels that do not include a defective pixel are included. Addition operation is performed. Then, an average calculation using four pixels is performed.
ステップＳ２３６では、ステップＳ２３４およびステップＳ２３５で演算したＡＦ画素信号に基づいて、相関演算用の２像の信号を得る。ステップＳ２３７では得られた２像の相関演算を行ない、２像の相対的な位置ずれ量を計算する。ステップＳ２３８では、相関演算結果の信頼性を判定する。ここで信頼性とは、２像の一致度を指し、２像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、複数の焦点検出領域が選択されている場合は、信頼性の高い情報を優先的に使用する。 In step S236, two image signals for correlation calculation are obtained based on the AF pixel signals calculated in steps S234 and S235. In step S237, the obtained two images are subjected to correlation calculation to calculate a relative positional shift amount between the two images. In step S238, the reliability of the correlation calculation result is determined. Here, the reliability refers to the degree of coincidence between the two images. When the degree of coincidence between the two images is good, the reliability of the focus detection result is generally high. Therefore, when a plurality of focus detection areas are selected, highly reliable information is preferentially used.
ステップＳ２３９では、上記の信頼性の高い検出結果からピントずれ量を演算し、図１７のメインフロー内のステップＳ１１１にリターンする。 In step S239, the amount of focus deviation is calculated from the above reliable detection result, and the process returns to step S111 in the main flow of FIG.
以上説明したように、第２の実施形態によれば、ステップＳ２３２からステップＳ２３５で説明したように、焦点検出領域のセクション内の欠陥画素を検出し、欠陥画素が存在している場合は、欠陥画素を含まない焦点検出用画素の信号を加算平均している。これにより、欠陥画素がある程度存在する場合においても、適正な相関演算用の２像の信号を生成し、焦点検出することが可能となる。 As described above, according to the second embodiment, as described in steps S232 to S235, a defective pixel in the section of the focus detection area is detected, and if a defective pixel exists, a defect is detected. The signals of the focus detection pixels not including the pixels are averaged. As a result, even when there are some defective pixels, it is possible to generate two image signals for proper correlation calculation and detect the focus.
（第３の実施形態）
第３の実施形態では、第１及び第２の実施形態とは異なる欠陥画素処理を行なう。
(Third embodiment)
In the third embodiment, defective pixel processing different from those in the first and second embodiments is performed.
図２１を用いて第３の実施形態の動作について説明する。 The operation of the third embodiment will be described with reference to FIG.
図２１のフローチャートは、第１の実施形態の図１８に示すフローチャートに対応する。つまり、図１７のメインシーケンスのステップＳ１１０である焦点検出サブルーチンに対応する。 The flowchart of FIG. 21 corresponds to the flowchart shown in FIG. 18 of the first embodiment. That is, it corresponds to the focus detection subroutine which is step S110 of the main sequence in FIG.
まず、ステップＳ３３１では、メインルーチンのステップＳ１０８で決定した焦点検出領域に含まれる焦点検出用画素を読み出す。 First, in step S331, the focus detection pixels included in the focus detection area determined in step S108 of the main routine are read out.
ステップＳ３３２では、焦点検出領域におけるセクション内の欠陥画素を検出する。 In step S332, a defective pixel in the section in the focus detection area is detected.
そして、焦点検出用画素に欠陥が無い場合は、ステップＳ３３３からステップＳ３３４へ移行し、セクション内の全ての焦点検出用画素の信号を加算しＡＦ画素信号を得る。 If there is no defect in the focus detection pixel, the process proceeds from step S333 to step S334, and the signals of all the focus detection pixels in the section are added to obtain an AF pixel signal.
一方、焦点検出用画素に欠陥が有る場合は、ステップＳ３３３からステップＳ３３５へ移行し、欠陥画素に対応した欠陥行（または欠陥列）の代わりに使用する代替行（または代替列）を設定する。ここで、代替行について図２２および図２３、図１２を用いて詳細に説明する。 On the other hand, if the focus detection pixel has a defect, the process proceeds from step S333 to step S335, and an alternative row (or alternative column) to be used instead of the defective row (or defective column) corresponding to the defective pixel is set. Here, the alternative row will be described in detail with reference to FIG. 22, FIG. 23, and FIG.
図２２は、図１１で説明したセクション構造である。ここでは、ブロックＢＬＫ（３，３）のＡ像に対応した焦点検出用画素が欠陥であるものとする。 FIG. 22 shows the section structure described in FIG. Here, it is assumed that the focus detection pixel corresponding to the A image of the block BLK (3, 3) is defective.
図２３は、ブロックＢＬＫ（３，３）を含むセクションを切り出した図である。 FIG. 23 is a diagram in which a section including the block BLK (3, 3) is cut out.
図２３の下端に示された水平線ＰＲＪｈ、つまり焦点検出用画素ＳＨＡ及びＳＨＢの瞳分割方向に延伸した第１の射影軸に注目する。 Note the horizontal line PRJh shown at the lower end of FIG. 23, that is, the first projection axis extending in the pupil division direction of the focus detection pixels SHA and SHB.
欠陥画素が存在しない場合は、図１２で説明したように、画素ＳＨＡとＳＨＢが交互に密に並ぶ。 When there is no defective pixel, the pixels SHA and SHB are alternately and densely arranged as described with reference to FIG.
一方、図２３のように欠陥画素が存在する場合は、信号の一部が欠落してしまう。したがって、空間周波数が高い被写体（細線など）の検出能力が落ちてしまう。 On the other hand, when a defective pixel exists as shown in FIG. 23, a part of the signal is lost. Accordingly, the ability to detect a subject (such as a thin line) having a high spatial frequency is reduced.
そこで、ブロックＢＬＫ（３，３）と同種の検出位置に対応した新たなブロックをセクションに加える。 Therefore, a new block corresponding to the detection position of the same type as the block BLK (3, 3) is added to the section.
図２２において、欠陥画素を含む行、ブロックＢＬＫ（３，１）からＢＬＫ（３，３０）をセクション内の演算から除外する。そして、焦点検出領域近傍で、かつブロックＢＬＫ（３，３）と同種の検出位置に対応した行、つまりブロックＢＬＫ（１３，１）からＢＬＫ（１３，３０）をセクション内の加算演算に加える。 In FIG. 22, rows including defective pixels, blocks BLK (3, 1) to BLK (3, 30) are excluded from the operations in the section. Then, a row in the vicinity of the focus detection area and corresponding to a detection position of the same type as the block BLK (3, 3), that is, the blocks BLK (13, 1) to BLK (13, 30) are added to the addition operation in the section.
ステップＳ３３６では、セクション内において、欠陥行（または欠陥列）を除き、代替行（または代替列）の焦点検出用画素の信号を加えて加算演算して、ＡＦ画素信号を得る。 In step S336, within the section, the defective row (or defective column) is removed, and the focus detection pixel signals of the alternative row (or alternative column) are added and added to obtain an AF pixel signal.
ステップＳ３３７では、ステップＳ３３４あるいはステップＳ３３６で演算したＡＦ画素信号に基づいて、相関演算用の２像の信号を得る。ステップＳ３３８では得られた２像の相関演算を行ない、２像の相対的な位置ずれ量を計算する。ステップＳ３３９では、相関演算結果の信頼性を判定する。ここで信頼性とは、２像の一致度を指し、２像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、複数の焦点検出領域が選択されている場合は、信頼性の高い情報を優先的に使用する。 In step S337, two image signals for correlation calculation are obtained based on the AF pixel signal calculated in step S334 or step S336. In step S338, the correlation between the two images obtained is calculated, and the relative displacement between the two images is calculated. In step S339, the reliability of the correlation calculation result is determined. Here, the reliability refers to the degree of coincidence between the two images. When the degree of coincidence between the two images is good, the reliability of the focus detection result is generally high. Therefore, when a plurality of focus detection areas are selected, highly reliable information is preferentially used.
ステップＳ３４０では、上記の信頼性の高い検出結果からピントずれ量を演算し、図１７のメインフロー内のステップＳ１１１にリターンする。 In step S340, the amount of focus deviation is calculated from the highly reliable detection result, and the process returns to step S111 in the main flow of FIG.
以上説明したように、第３の実施形態によれば、ステップＳ３３２からステップＳ３３６で説明したように、焦点検出領域内の欠陥画素を検出し、欠陥画素が存在している場合は、欠陥画素を含む欠陥行（または欠陥列）を演算から除外する。さらに、代替行（または代替列）として欠陥行（または欠陥列）と同じ検出位置に対応した代替行（または代替列）を設定することで、空間周波数の高い細線などの被写体像においても、適正な相関演算用の２像の信号を生成し、焦点検出することが可能となる。 As described above, according to the third embodiment, as described in steps S332 to S336, a defective pixel in the focus detection area is detected, and if a defective pixel exists, the defective pixel is detected. Include defective rows (or defective columns) from the operation. Furthermore, by setting an alternative row (or alternative column) corresponding to the same detection position as the defective row (or alternative column) as an alternative row (or alternative column), it is also appropriate for subject images such as fine lines with high spatial frequency. It is possible to generate two image signals for the correlation calculation and to detect the focus.
（第４の実施形態）
第１乃至第３の実施形態で説明したカメラシステムは、撮像素子の撮像領域の一部を、焦点検出用領域として機能させている。
(Fourth embodiment)
In the camera systems described in the first to third embodiments, a part of the imaging area of the imaging element is caused to function as a focus detection area.
これに対し、第４の実施形態のカメラシステムでは、撮像素子の撮像領域の一部を、測光用領域として機能させる。 On the other hand, in the camera system of the fourth embodiment, a part of the imaging area of the imaging element is caused to function as a photometric area.
図２４及び図２５を用いて第４の実施形態の構成について説明する。 The configuration of the fourth embodiment will be described with reference to FIGS.
図２４は、測光用画素の配置と構造を示す図である。 FIG. 24 is a diagram showing the arrangement and structure of the photometric pixels.
図２４（ａ）は、測光用画素を含む２行×２列の画素の平面図である。記録もしくは観賞のための画像信号を得る場合、Ｇ画素で輝度情報の主成分を取得する。そして人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認知されやすい。一方でＲもしくはＢ画素は、色情報（色差情報）を取得する画素であるが、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。そこで本実施形態においては、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、ＲとＢの画素を測光用画素に置き換える。これを図２４（ａ）においてＳＢＲ及びＳＤＫで示す。 FIG. 24A is a plan view of 2 × 2 pixels including photometric pixels. When obtaining an image signal for recording or viewing, the main component of luminance information is acquired with G pixels. Since human image recognition characteristics are sensitive to luminance information, image quality degradation is easily recognized when G pixels are lost. On the other hand, the R or B pixel is a pixel that acquires color information (color difference information). However, since human visual characteristics are insensitive to color information, the pixel that acquires color information may have some loss. Image quality degradation is difficult to recognize. Therefore, in the present embodiment, among the pixels of 2 rows × 2 columns, the G pixel is left as an imaging pixel, and the R and B pixels are replaced with photometric pixels. This is indicated by SBR and SDK in FIG.
図２４（ｂ）は、図２４（ａ）における断面Ａ−Ａを示す図である。マイクロレンズＭＬと、光電変換部ＰＤは図５（ｂ）に示した撮像用画素と同一構造である。本実施形態においては、測光用画素の信号は画像創生には用いないため、色分離用カラーフィルタの代わりに透明膜ＣＦＷ（Ｗｈｉｔｅ）が配置される。 FIG.24 (b) is a figure which shows the cross section AA in Fig.24 (a). The microlens ML and the photoelectric conversion unit PD have the same structure as the imaging pixel shown in FIG. In this embodiment, since the signal of the photometric pixel is not used for image creation, a transparent film CFW (White) is disposed instead of the color separation color filter.
また、測光用画素は、それぞれ異なる大きさの瞳を設定するため、配線層ＣＬの開口部の大きさが異なっている。具体的には、画素ＳＢＲの開口部ＯＰＢＲは小さく、撮影光学系ＴＬの光軸付近の狭い射出瞳ＥＰＢＲを通過した光束を受光する。一方、画素ＳＤＫの開口部ＯＰＤＫは通常の撮像画素と同じ大きさであり、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。 Further, since the photometric pixels set pupils of different sizes, the sizes of the openings of the wiring layer CL are different. Specifically, the opening OPBR of the pixel SBR is small and receives the light beam that has passed through the narrow exit pupil EPBR near the optical axis of the imaging optical system TL. On the other hand, the opening OPDK of the pixel SDK has the same size as that of a normal imaging pixel, and is configured to capture the light beam that has passed through the photographing optical system TL as effectively as possible.
よって、画素ＳＢＲ、画素ＳＤＫを規則的に配列し、それぞれの画素群で取得した輝度信号を使い分けることによって、被写体を広い階調で測光することができる。 Accordingly, by regularly arranging the pixels SBR and the pixels SDK and using the luminance signals acquired in the respective pixel groups, it is possible to measure the subject with a wide gradation.
図２で説明した撮像素子は、入射光量に対して線形信号として出力される。このような、撮像素子の場合、一般的には輝度の分解能は２５６階調程度であり、一回の露光条件で、±４段分の輝度範囲しか測光できない。 The image sensor described in FIG. 2 is output as a linear signal with respect to the amount of incident light. In the case of such an image pickup device, the luminance resolution is generally about 256 gradations, and only a luminance range of ± 4 steps can be measured under one exposure condition.
そこで、異なる開口の大きさを持つ画素ＳＢＲ、ＳＤＫを用意することで、明るい部分を開口の狭いＳＢＲ画素で測光し、暗い部分を開口の広いＳＤＫ画素で測光することで、±４段分より広い範囲の輝度を測光できるようにしている。 Therefore, by preparing pixels SBR and SDK having different aperture sizes, the bright portion is measured with a narrow SBR pixel, and the dark portion is measured with a wide SDK pixel. A wide range of brightness can be measured.
撮像用画素と測光用画素の配置規則は、図８乃至図１０で説明した撮像用画素と焦点検出用画素の配置規則と同じであり、焦点検出用画素ＳＨＡとＳＶＣに相当する位置に測光用画素ＳＢＲを配置し、撮像用画素ＳＨＢとＳＶＤに相当する位置に測光用画素ＳＤＫを配置する。配置規則の単位であるブロックおよびクラスタ、フィールドについても図８乃至図１０で説明した撮像用画素と焦点検出用画素の配置規則と同じである。 The arrangement rule of the image pickup pixel and the photometry pixel is the same as the arrangement rule of the image pickup pixel and the focus detection pixel described with reference to FIGS. 8 to 10, and the photometry pixel and the photometry pixel are located at positions corresponding to the focus detection pixels SHA and SVC. The pixel SBR is arranged, and the photometric pixel SDK is arranged at a position corresponding to the imaging pixels SHB and SVD. The blocks, clusters, and fields, which are units of arrangement rules, are the same as the arrangement rules for the imaging pixels and focus detection pixels described with reference to FIGS.
図２５に示す画素配列において、測光の際に、横方向に１ブロック、縦方向に１０ブロックの合計１０ブロックを１つのグループとし、これをセクションと定義する。そして、本実施形態では、横方向に並んだ３０セクションで、１つの測光領域を構成する。すなわち、１００行×３００列＝３万画素の領域が１つの測光領域となる。この１つの測光領域をＡＥエリアと定義する。ここで、１つのセクション内においては、高輝度側の測光を行なう画素ＳＢＲが１０個、低輝度側の測光を行なう画素ＳＤＫも１０個含まれている。そこで本実施形態においては、１０個のＳＢＲの出力を加算して、高輝度用測光信号の１ＡＥ画素とする。同様に、１０個のＳＤＫの出力を加算して、低輝度側測光用信号の１ＡＥ画素とする。 In the pixel array shown in FIG. 25, in photometry, a total of 10 blocks of 1 block in the horizontal direction and 10 blocks in the vertical direction are defined as one group, which is defined as a section. In this embodiment, one photometric area is configured by 30 sections arranged in the horizontal direction. That is, an area of 100 rows × 300 columns = 30,000 pixels is one photometric area. This one photometric area is defined as an AE area. Here, in one section, ten pixels SBR that perform photometry on the high luminance side and ten pixels SDK that perform photometry on the low luminance side are included. Therefore, in the present embodiment, the outputs of the 10 SBRs are added to form a 1AE pixel of the high brightness photometric signal. Similarly, the outputs of 10 SDKs are added to form a 1AE pixel of the low luminance side photometry signal.
図２６乃至図２８は、本発明の第４の実施形態に関わるカメラの露出調節及び撮影工程を説明するためのフローチャートである。 FIGS. 26 to 28 are flowcharts for explaining camera exposure adjustment and photographing steps according to the fourth embodiment of the present invention.
図２６は、第４の実施形態のカメラのメインフローチャートである。 FIG. 26 is a main flowchart of the camera of the fourth embodiment.
撮影者がカメラの電源スイッチをオン操作すると、ステップＳ４０１においてＣＰＵ１２１はカメラ内の各アクチュエータや撮像素子の動作確認を行ない、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する。ステップＳ４０２では撮像素子１０７の撮像動作を開始し、プレビュー用の低画素動画像を出力する。ステップＳ４０３では読み出した動画をカメラ背面に設けられた表示器１３１に表示し、撮影者はこのプレビュー画像を目視して撮影時の構図決定を行なう。
When the photographer turns on the power switch of the camera, in step S401, the
ステップＳ４０４では、プレビュー用動画像に顔が存在するか否かを認識する。そして、撮影領域に顔が存在していると認識された場合には、ステップＳ４０５からステップＳ４０６に移行し、顔ＡＦ・ＡＥモードに設定する。ここで顔ＡＦ・ＡＥモードとは、撮影領域の顔に対して、焦点検出および測光を行うことを指す。 In step S404, it is recognized whether or not a face exists in the preview moving image. If it is recognized that a face exists in the shooting area, the process proceeds from step S405 to step S406, and the face AF / AE mode is set. Here, the face AF / AE mode refers to performing focus detection and photometry on the face in the shooting region.
一方、撮影領域に顔が存在していない場合はステップＳ４０５からステップＳ４０７に移行し、多点ＡＦ・ＡＥモードに設定する。ここで多点ＡＦ・ＡＥモードとは、撮影領域を例えば３×５＝１５分割し、各分割領域で焦点検出と測光を行ない、焦点検出結果と被写体の輝度情報から主被写体を類推し、その領域に対して焦点検出および測光を行うモードを指す。 On the other hand, if no face is present in the shooting area, the process proceeds from step S405 to step S407, and the multipoint AF / AE mode is set. Here, the multi-point AF / AE mode means that, for example, the shooting area is divided into 3 × 5 = 15, focus detection and photometry are performed in each divided area, and the main subject is inferred from the focus detection result and the luminance information of the subject. A mode for performing focus detection and photometry on an area.
ステップＳ４０６あるいはステップＳ４０７でＡＦ・ＡＥモードを決定したら、ステップＳ４０８で焦点検出・測光領域（ＡＦ・ＡＥ領域）を決定する。 When the AF / AE mode is determined in step S406 or step S407, the focus detection / photometry area (AF / AE area) is determined in step S408.
続くステップＳ４０９では、ステップＳ４０８で決定したＡＥ領域に対して測光サブルーチンを実行する。 In the subsequent step S409, a photometric subroutine is executed for the AE area determined in step S408.
図２７は、測光サブルーチンのフローチャートである。メインフローのステップＳ４０８からこのサブルーチンのステップＳ４０９にジャンプする。 FIG. 27 is a flowchart of the photometry subroutine. The process jumps from step S408 of the main flow to step S409 of this subroutine.
続くステップＳ４２１では、メインルーチンのステップＳ４０８で決定した測光領域に含まれる測光用画素を読み出す。 In subsequent step S421, the photometric pixels included in the photometric area determined in step S408 of the main routine are read out.
ステップＳ４２２では、図２５で説明したセクション構造に基づき、セクション内の欠陥画素を検出する。 In step S422, defective pixels in the section are detected based on the section structure described in FIG.
そして、測光用画素に欠陥が無い場合は、ステップＳ４２３からステップＳ４２４に移行し、セクション内の高輝度用測光画素の信号を加算平均し、高輝度用ＡＥ画素信号を得る。同様に、セクション内の低輝度用ＡＥ画素の信号についても同様の演算を行い、低輝度用ＡＥ画素信号も得る。 If there is no defect in the photometric pixel, the process proceeds from step S423 to step S424, and the signals of the high luminance photometric pixels in the section are added and averaged to obtain a high luminance AE pixel signal. Similarly, the same calculation is performed on the signal of the low-luminance AE pixel in the section, and the low-luminance AE pixel signal is also obtained.
一方、測光用画素に欠陥が有る場合は、ステップＳ４２３からステップＳ４２５に移行し、セクション内において、欠陥画素を除いた高輝度用ＡＥ画素の信号を加算平均し、高輝度用ＡＥ画素信号を得る。さらに、セクション内の低輝度用ＡＥ画素の信号についても同様の演算を行い、低輝度用ＡＥ画素信号も得る。 On the other hand, if the photometric pixel has a defect, the process proceeds from step S423 to step S425, and the signal of the high luminance AE pixel excluding the defective pixel is added and averaged in the section to obtain the high luminance AE pixel signal. . Further, the same calculation is performed for the signal of the low-luminance AE pixel in the section, and the low-luminance AE pixel signal is also obtained.
ステップＳ４２６では、ステップＳ４２４あるいはステップ４２５で得られたＡＥ画素信号から被写体輝度分布を生成する。ここで、被写体輝度分布の生成方法について図２５及び図２９を用いて説明する。 In step S426, a subject luminance distribution is generated from the AE pixel signal obtained in step S424 or step 425. Here, a method for generating the subject luminance distribution will be described with reference to FIGS. 25 and 29. FIG.
図２５で説明した画素ＳＢＲの開口は、ＳＤＫの開口よりも７段分小さく設定されている。そのため、ＳＢＲ画素から演算した高輝度用ＡＥ画素信号は、ＳＤＫ画素から演算した低輝度用ＡＥ画素信号に対して、同一輝度を測光した場合７段分シフトした値となる。 The opening of the pixel SBR described with reference to FIG. 25 is set to be smaller by seven steps than the opening of the SDK. Therefore, the high luminance AE pixel signal calculated from the SBR pixel is a value shifted by seven steps when the same luminance is measured with respect to the low luminance AE pixel signal calculated from the SDK pixel.
図２９は、ＡＥ画素信号と輝度段数比の対応表である。低輝度用ＡＥ画素信号１２８が最適露出値とすると、高輝度用ＡＥ画素信号が大きくなるほど、露出オーバーになる。一方、低輝度用ＡＦ画素信号が小さくなるほど、露出アンダーになる。この対応表により、被写体輝度分布を生成する。
FIG. 29 is a correspondence table between the AE pixel signal and the luminance stage number ratio. Assuming that the low-brightness
ステップＳ４２７では、ステップ４２６で生成した被写体輝度分布から次回撮影用の露出量を決定して図２６のメインフロー内のステップ４１０にリターンする。
In step S427, the exposure amount for the next shooting is determined from the subject luminance distribution generated in
図２６のステップ４１０では、撮影準備スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ４０２に戻り、撮像素子駆動からステップＳ４０９の測光サブルーチン動作を繰り返し実行する。 In step 410 of FIG. 26, it is determined whether or not the photographing preparation switch has been turned on. If the photographing preparation switch has not been turned on, the process returns to step S402, and the photometric subroutine operation of step S409 is repeatedly executed from the image sensor driving.
ステップＳ４１０で撮影準備スイッチがオン操作されるとステップＳ４１１に移行し、ＡＦ動作を実行する。ここでは、撮像素子１０７に結像される被写体像の高周波成分を抽出し、第３レンズ群１０５を駆動ながらその高周波成分がもっとも高くなる位置を合焦位置とする、所謂コントラスト検出方式のＡＦ動作を行なう。
When the photographing preparation switch is turned on in step S410, the process proceeds to step S411, and the AF operation is executed. Here, a high-frequency component of the subject image formed on the
続くステップＳ４１２では、合焦表示を行ない、ステップＳ４１３に移行する。 In subsequent step S412, in-focus display is performed, and the process proceeds to step S413.
ステップＳ４１３では、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ４１３にて撮影待機状態を維持する。ステップＳ４１３で撮影開始スイッチがオン操作されるとステップＳ４１４に移行し、撮影サブルーチンを実行する。 In step S413, it is determined whether or not the photographing start switch has been turned on. If the photographing start switch has not been turned on, the photographing standby state is maintained in step S413. When the shooting start switch is turned on in step S413, the process proceeds to step S414, and a shooting subroutine is executed.
図２８は撮影サブルーチンのフローチャートである。 FIG. 28 is a flowchart of the photographing subroutine.
撮影開始スイッチが操作されると、ステップＳ４３５では、図２７の測光サブルーチン中のステップＳ４２７で決定した露出量を基に、シャッタ１０２を駆動し、露光時間を規定する開口制御を行なう。ステップＳ４３６では、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行なう。ステップＳ４３７では読み出した画像信号の欠損画素補間を行なう。すなわち、測光用画素の出力は撮像のためのＲＧＢカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を創生する。
When the photographing start switch is operated, in step S435, the
ステップＳ４３８では、画像のγ補正処理、エッジ強調処理等の画像処理を行い、ステップＳ４３９において、メモリ１３３に撮影画像を記録する。ステップＳ４４０では、表示器１３１に撮影済み画像を表示し、図２６のメインフローにリターンする。
In step S438, image processing such as image γ correction processing and edge enhancement processing is performed, and in step S439, the captured image is recorded in the memory 133. In step S440, the captured image is displayed on the
図２６のメインフローに戻ると、一連の撮影動作を終了する。 Returning to the main flow of FIG. 26, the series of shooting operations is terminated.
以上説明したように、第４の実施形態によれば、図２７のステップＳ４２２からステップＳ４２５で説明したように、測光領域のセクション内の欠陥画素を検出し、欠陥画素が存在している場合は、欠陥画素を含まない画素信号を加算平均している。これにより、欠陥画素がある程度存在する場合においても、適正な被写体輝度分布を生成し、測光することが可能となる。 As described above, according to the fourth embodiment, as described in steps S422 to S425 in FIG. 27, when a defective pixel is detected in a section of the photometric area and a defective pixel exists. The pixel signals not including defective pixels are averaged. Thereby, even when there are some defective pixels, it is possible to generate an appropriate subject luminance distribution and perform photometry.
１０１ 第１レンズ群
１０２ シャッタ
１０３ 第２レンズ群
１０５ 第３レンズ群
１０６ 光学的ローパスフィルタ
１０７ 撮像素子
１１４ フォーカスアクチュエータ
１２１ ＣＰＵ
１２４ 撮像素子駆動回路
１２５ 画像処理回路
１３１ 表示器
１３２ 操作スイッチ群
１３３ メモリ
DESCRIPTION OF
124 Image sensor drive circuit 125
Claims (4)
前記第１の画素群から得られる像と前記第２の画素群から得られる像の相関演算を行い、前記像の位相差に基づいて焦点ずれ量を検出する焦点検出手段と、を備え、
前記焦点検出手段は、前記対をなす第１の画素と第２の画素の一方に欠陥画素が存在する欠陥行または欠陥列がある場合に、前記対をなす第１の画素を含む行または列と、前記対をなす第２の画素を含む行または列の両方を除外した前記第１の画素群と前記第２の画素群の出力信号に基づく像の相関演算の結果に応じて、前記像の位相差に基づいた焦点ずれ量の検出を行うことを特徴とする撮像装置。 An imaging element in which a plurality of pixels are two-dimensionally arranged and photoelectrically converts subject light incident via a photographing optical system to generate an image signal, wherein a part of the exit pupil of the photographing optical system is divided An imaging device having a plurality of pixels that receive a light flux that has passed through the region, and a first pixel group and a second pixel group configured such that the first pixel and the second pixel form a pair; ,
A focus detection unit that performs correlation calculation between an image obtained from the first pixel group and an image obtained from the second pixel group, and detects a defocus amount based on a phase difference between the images,
The focus detection unit may include a row or a column including the first pixel forming the pair when there is a defective row or defective column in which a defective pixel exists in one of the first pixel and the second pixel forming the pair. And the image according to the result of the correlation operation of the images based on the output signals of the first pixel group and the second pixel group excluding both the row or column including the second pixel forming the pair. An imaging apparatus that detects a defocus amount based on a phase difference between the two.
前記第１の画素群から得られる像と前記第２の画素群から得られる像の相関演算を行い、前記像の位相差に基づいて焦点ずれ量を検出する焦点検出工程を備え、
前記焦点検出工程では、前記対をなす第１の画素と第２の画素の一方に欠陥画素が存在する欠陥行または欠陥列がある場合に、前記対をなす第１の画素を含む行または列と、前記対をなす第２の画素を含む行または列の両方を除外した前記第１の画素群と前記第２の画素群の出力信号に基づく像の相関演算の結果に応じて、前記像の位相差に基づいた焦点ずれ量の検出を行うことを特徴とする撮像装置の制御方法。 An imaging element in which a plurality of pixels are two-dimensionally arranged and photoelectrically converts subject light incident via a photographing optical system to generate an image signal, wherein a part of the exit pupil of the photographing optical system is divided An imaging device having a plurality of pixels that receive a light beam that has passed through a region and having a first pixel group and a second pixel group configured such that the first pixel and the second pixel make a pair. A control method for an imaging apparatus provided with
A focus detection step of performing a correlation operation between an image obtained from the first pixel group and an image obtained from the second pixel group and detecting a defocus amount based on a phase difference of the image;
In the focus detection step, when there is a defective row or defective column in which a defective pixel exists in one of the first pixel and the second pixel that form the pair, the row or column that includes the first pixel that forms the pair And the image according to the result of the correlation operation of the images based on the output signals of the first pixel group and the second pixel group excluding both the row or column including the second pixel forming the pair. A method for controlling an imaging apparatus, comprising: detecting an amount of defocus based on a phase difference between the two.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013149929A JP2014013392A (en) | 2013-07-18 | 2013-07-18 | Imaging apparatus and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013149929A JP2014013392A (en) | 2013-07-18 | 2013-07-18 | Imaging apparatus and control method thereof |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008246590A Division JP5322561B2 (en) | 2008-09-25 | 2008-09-25 | Imaging apparatus and control method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014013392A true JP2014013392A (en) | 2014-01-23 |
Family
ID=50109076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013149929A Pending JP2014013392A (en) | 2013-07-18 | 2013-07-18 | Imaging apparatus and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014013392A (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58132708A (en) * | 1982-02-03 | 1983-08-08 | Hitachi Denshi Ltd | Automatic focusing device |
| JP2001177756A (en) * | 1999-12-21 | 2001-06-29 | Canon Inc | Image pickup device and camera system provided with it |
-
2013
- 2013-07-18 JP JP2013149929A patent/JP2014013392A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58132708A (en) * | 1982-02-03 | 1983-08-08 | Hitachi Denshi Ltd | Automatic focusing device |
| JP2001177756A (en) * | 1999-12-21 | 2001-06-29 | Canon Inc | Image pickup device and camera system provided with it |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5322561B2 (en) | Imaging apparatus and control method thereof | |
| JP5276371B2 (en) | Imaging device | |
| JP5028154B2 (en) | Imaging apparatus and control method thereof | |
| JP5202289B2 (en) | Imaging device | |
| JP5552214B2 (en) | Focus detection device | |
| JP5276374B2 (en) | Focus detection device | |
| JP5675157B2 (en) | Focus detection device | |
| US9490281B2 (en) | Image sensor and image capturing apparatus | |
| RU2525034C2 (en) | Image capturing device | |
| JP5513326B2 (en) | Imaging device and imaging apparatus | |
| JP5147645B2 (en) | Imaging device | |
| JP5319347B2 (en) | Imaging apparatus and control method thereof | |
| JP2010020015A (en) | Image pick up apparatus | |
| US20130155271A1 (en) | Image capture apparatus | |
| RU2548050C2 (en) | Image capturing device | |
| JP2011023823A (en) | Apparatus and method for processing image | |
| JP2010117679A (en) | Focus detection device and method, and image pickup device | |
| JP5804693B2 (en) | Imaging device | |
| JP2012220790A (en) | Imaging apparatus | |
| JP2014130231A (en) | Imaging apparatus, method for controlling the same, and control program | |
| JP2011227388A (en) | Imaging device | |
| JP5735784B2 (en) | Imaging device and control method thereof, lens device and control method thereof | |
| JP5961208B2 (en) | Imaging device and imaging apparatus | |
| JP2014013392A (en) | Imaging apparatus and control method thereof | |
| JP5793210B2 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140613 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140806 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20141125 |