JP2014215436A

JP2014215436A - Image-capturing device, and control method and control program therefor

Info

Publication number: JP2014215436A
Application number: JP2013092277A
Authority: JP
Inventors: 勇希吉村; Yuki Yoshimura
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-04-25
Filing date: 2013-04-25
Publication date: 2014-11-17

Abstract

PROBLEM TO BE SOLVED: To detect a focal point always with high accuracy, irrespective of ambient light.SOLUTION: Ambient light in a photographing environment in which a subject is photographed is detected by an ambient light detection sensor 130, and a CPU 121 calculates, in accordance with the result of ambient light detection by the ambient light detection sensor, an incident angle optical characteristic dependency value, which is a value changing in accordance with a change in the incident angle optical characteristic of light received by an image-capturing element 107, and detects, on the basis of a pair of image signals obtained from the image-capturing element in accordance with a pair of light having passed through mutually different exit pupil regions of an image forming optical system and the incident angle optical characteristic dependency value, a focal point position of the image forming optical system at which position the subject is in focus.

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、電子カメラなどの撮像装置で用いられるオートフォーカス制御に関する。 The present invention relates to an imaging apparatus, a control method thereof, and a control program, and more particularly to autofocus control used in an imaging apparatus such as an electronic camera.

一般に、電子カメラ（デジタルカメラ）などの撮像装置において、マイクロレンズと光電変換部との相対的位置を偏位させた画素を複数２次元的マトリックス状に配列した撮像素子が用いられており、この撮像素子は焦点検出用素子も兼ねている。 In general, an imaging device such as an electronic camera (digital camera) uses an imaging device in which a plurality of pixels in which the relative positions of a microlens and a photoelectric conversion unit are displaced are arranged in a two-dimensional matrix. The image sensor also serves as a focus detection element.

この種の撮像装置では、画像を撮影する際には、マイクロレンズと光電変換部との相対的偏位方向が異なる画素（つまり、画素信号）を加算して画像を生成する。一方、撮影レンズにおける焦点位置を算出する際には、マイクロレンズと光電変換部との相対的偏位方向が異なる画素列で生成される一対の像信号を用いて相関演算を行って、焦点位置を算出する（特許文献１参照）。 In this type of imaging apparatus, when an image is taken, pixels having different relative displacement directions between the microlens and the photoelectric conversion unit (that is, pixel signals) are added to generate an image. On the other hand, when calculating the focal position of the photographic lens, a correlation operation is performed using a pair of image signals generated by pixel rows having different relative displacement directions between the microlens and the photoelectric conversion unit, and the focal position is calculated. Is calculated (see Patent Document 1).

ところで、目で見た際の最適な焦点位置は環境光によって異なることが一般に知られており、環境光によって最適な焦点位置が異なる理由の１つとして撮影レンズにおける色収差がある。そして、撮影レンズの色収差に起因する焦点位置のずれを防止するため、カラーフィルタの色が異なる複数の焦点検出用画素毎に焦点検出を行って、当該検出結果に応じて最終的な焦点位置を決定するようにした撮像装置がある（特許文献２参照）。 By the way, it is generally known that the optimum focal position when viewed with eyes is different depending on the ambient light. One of the reasons why the optimum focal position differs depending on the ambient light is chromatic aberration in the photographing lens. Then, in order to prevent the focus position from being shifted due to the chromatic aberration of the photographing lens, focus detection is performed for each of the plurality of focus detection pixels having different colors of the color filter, and the final focus position is determined according to the detection result. There is an imaging device that is determined (see Patent Document 2).

特開平４−２６７２１１号公報JP-A-4-267211 特開２０１１−７８８２号公報JP 2011-7882 A

ところが、環境光によって最適な焦点位置がずれる原因は撮影レンズばかりでなく、焦点検出に用いる焦点検出センサ、つまり、焦点検出用画素に対する入射角受光特性が環境光によって異なる点も考慮する必要がある。焦点検出センサの入射角受光特性が環境光によって異なると、入射角受光特性に依存する係数も環境光によって異なり、その結果、環境光によっては焦点検出性能が要求性能を満たさないことがある。 However, the cause of the shift of the optimum focus position due to the ambient light is not only due to the taking lens, but it is also necessary to consider that the incident angle light receiving characteristics with respect to the focus detection sensor used for focus detection, that is, the focus detection pixels differ depending on the ambient light. . When the incident angle light receiving characteristic of the focus detection sensor varies depending on the ambient light, the coefficient depending on the incident angle light receiving characteristic varies depending on the ambient light. As a result, the focus detection performance may not satisfy the required performance depending on the ambient light.

従って、本発明の目的は、環境光に拘わらず、常に精度よく焦点検出を行うことができる撮像装置、その制御方法、および制御プログラムを提供することにある。 Therefore, an object of the present invention is to provide an imaging apparatus, a control method thereof, and a control program capable of always performing focus detection with high accuracy regardless of ambient light.

上記の目的を達成するため、本発明による撮像装置は、複数の画素が２次元的マトリックス状に配列された撮像素子を有し、結像光学系を介して被写体を示す被写体像を前記撮像素子に結像して、前記撮像素子から前記被写体像に応じた画像信号を出力する撮像装置であって、前記被写体を撮像する際の撮影環境における環境光を検出する環境光検出手段と、前記環境光検出手段による環境光検出結果に応じて、前記画素が受光する光の入射角受光特性の変化に応じて変化する値である入射角受光特性依存値を出力する出力手段と、前記結像光学系における互いに異なる射出瞳領域を通過した一対の光に応じて前記撮像素子から得られる一対の像信号と前記入射角受光特性依存値とに基づいて前記被写体に合焦する前記結像光学系の焦点位置を検出する焦点検出手段と、を有することを特徴とする。 In order to achieve the above object, an image pickup apparatus according to the present invention includes an image pickup element in which a plurality of pixels are arranged in a two-dimensional matrix, and takes a subject image indicating a subject via an imaging optical system. An environment light detecting means for detecting ambient light in a shooting environment when imaging the subject; and An output means for outputting an incident angle light receiving characteristic dependent value that is a value that changes in accordance with a change in the incident angle light receiving characteristic of the light received by the pixel according to an ambient light detection result by the light detecting means; The imaging optical system that focuses on the subject based on a pair of image signals obtained from the imaging element and a value dependent on the incident angle light receiving characteristic in response to a pair of lights that have passed through different exit pupil regions in the system. Focus position And having a focus detection means for detecting.

本発明による制御方法は、複数の画素が２次元的マトリックス状に配列された撮像素子を有し、結像光学系を介して被写体を示す被写体像を前記撮像素子に結像して、前記撮像素子から前記被写体像に応じた画像信号を出力する撮像装置の制御方法であって、前記被写体を撮像する際の撮影環境における環境光を検出する環境光検出ステップと、前記環境光検出ステップによる環境光検出結果に応じて、前記画素が受光する光の入射角受光特性の変化に応じて変化する値である入射角受光特性依存値を出力する出力ステップと、前記結像光学系における互いに異なる射出瞳領域を通過した一対の光に応じて前記撮像素子から得られる一対の像信号と前記入射角受光特性依存値とに基づいて前記被写体に合焦する前記結像光学系の焦点位置を検出する焦点検出ステップと、を有することを特徴とする。 The control method according to the present invention includes an imaging device in which a plurality of pixels are arranged in a two-dimensional matrix, and forms a subject image indicating a subject on the imaging device via an imaging optical system, and An imaging device control method for outputting an image signal corresponding to a subject image from an element, comprising: an ambient light detection step for detecting ambient light in a shooting environment when capturing the subject; and an environment based on the ambient light detection step An output step for outputting an incident angle light receiving characteristic dependent value that is a value that changes according to a change in incident angle light receiving characteristic of light received by the pixel according to a light detection result, and different emission in the imaging optical system The focal position of the imaging optical system that focuses on the subject is detected based on the pair of image signals obtained from the image sensor in accordance with the pair of light that has passed through the pupil region and the incident angle light receiving characteristic dependence value. A focus detection step of, characterized by having a.

本発明による制御プログラムは、複数の画素が２次元的マトリックス状に配列された撮像素子を有し、結像光学系を介して被写体を示す被写体像を前記撮像素子に結像して、前記撮像素子から前記被写体像に応じた画像信号を出力する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記被写体を撮像する際の撮影環境における環境光を検出する環境光検出ステップと、前記環境光検出ステップによる環境光検出結果に応じて、前記画素が受光する光の入射角受光特性の変化に応じて変化する値である入射角受光特性依存値を出力する出力ステップと、前記結像光学系における互いに異なる射出瞳領域を通過した一対の光に応じて前記撮像素子から得られる一対の像信号と前記入射角受光特性依存値とに基づいて前記被写体に合焦する前記結像光学系の焦点位置を検出する焦点検出ステップと、を実行させることを特徴とする。 The control program according to the present invention includes an imaging device in which a plurality of pixels are arranged in a two-dimensional matrix, forms a subject image indicating a subject on the imaging device via an imaging optical system, and performs the imaging A control program used in an imaging device that outputs an image signal corresponding to the subject image from an element, the ambient light detection for detecting ambient light in a shooting environment when imaging the subject in a computer included in the imaging device An output step of outputting an incident angle light receiving characteristic dependent value that is a value that changes in accordance with a change in the incident angle light receiving characteristic of the light received by the pixel according to the ambient light detection result of the ambient light detecting step; , A pair of image signals obtained from the imaging element in response to a pair of light passing through different exit pupil regions in the imaging optical system, and the incident angle light receiving characteristic dependence value A focus detection step of detecting the focal position of the imaging optical system to focus on the subject on the basis, characterized in that for the execution.

本発明によれば、環境光検出結果に応じて得られた入射角受光特性依存値と撮像素子から得られる一対の像信号とに基づいて被写体に合焦する結像光学系の焦点位置を検出することで、環境光が異なる場合においても常に高精度に焦点検出を行うことができる。 According to the present invention, the focal position of the imaging optical system that focuses on the subject is detected based on the incident angle light receiving characteristic dependence value obtained according to the ambient light detection result and the pair of image signals obtained from the image sensor. This makes it possible to always perform focus detection with high accuracy even when the ambient light is different.

本発明の実施の形態による撮像装置の一例についてその構成を示すブロック図である。It is a block diagram which shows the structure about an example of the imaging device by embodiment of this invention. 図１に示す撮像素子の構成の一例を説明するための図であり、（ａ）は画素配列の一例を示す図、（ｂ）は（ａ）の一部分を拡大して示す図、（ｃ）は（ｂ）に示すＡ−Ａ線に沿った断面図である。2A and 2B are diagrams for explaining an example of the configuration of the image sensor shown in FIG. 1, in which FIG. 1A is a diagram illustrating an example of a pixel arrangement, FIG. 2B is an enlarged view of a part of FIG. FIG. 4 is a cross-sectional view taken along line AA shown in FIG. 図２に示す１つの画素による瞳分割を説明するための図である。It is a figure for demonstrating the pupil division | segmentation by one pixel shown in FIG. 図２に示すＲＧＢの画素の各々について同一の光源による入射角受光特性を説明するための図であり、（ａ）はＲ画素の入射角受光特性を示す図、（ｂ）はＧ画素の入射角受光特性を示す図、（ｃ）はＢ画素の入射角受光特性を示す図である。FIG. 3 is a diagram for explaining incident angle light receiving characteristics of the same light source for each of the RGB pixels shown in FIG. 2, (a) is a diagram illustrating the incident angle light receiving characteristics of the R pixel, and (b) is an incident light of the G pixel. The figure which shows an angle light reception characteristic, (c) is a figure which shows the incident angle light reception characteristic of B pixel. 環境光に応じた入射角受光特性依存値を簡易的に求める手法を説明するための図である。It is a figure for demonstrating the method of calculating | requiring the incident angle light reception characteristic dependence value according to environmental light simply. シェーディングの発生原理およびシェーディングを説明するための図であり、（ａ）はシェーディングの発生原理を示す図、（ｂ）はシェーディングを示す図である。It is a figure for demonstrating the generation principle and shading of a shading, (a) is a figure which shows the generation principle of a shading, (b) is a figure which shows a shading. Ａ像およびＢ像の射出瞳における入射角受光特性と線像との関係を説明するための図であり、（ａ）は射出瞳枠によるケラレが存在しない場合の入射角受光特性と線像との関係を示す図、（ｂ）は射出瞳枠によるケラレが存在する場合の入射角受光特性と線像との関係を示す図である。It is a figure for demonstrating the relationship between the incident angle light reception characteristic and line image in the exit pupil of A image and B image, (a) is the incident angle light reception characteristic and line image in case there is no vignetting by an exit pupil frame. FIG. 6B is a diagram showing the relationship between the incident angle light receiving characteristic and the line image when vignetting due to the exit pupil frame exists. 図１に示すカメラにおける焦点検出の概要を説明するためのブロック図である。It is a block diagram for demonstrating the outline | summary of the focus detection in the camera shown in FIG. 図１に示すカメラで行われる焦点検出の一例を説明するためのフローチャートである。3 is a flowchart for explaining an example of focus detection performed by the camera shown in FIG. 1.

以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。 Hereinafter, an example of an imaging apparatus according to an embodiment of the present invention will be described with reference to the drawings.

図１は、本発明の実施の形態による撮像装置の一例についてその構成を示すブロック図である。 FIG. 1 is a block diagram showing a configuration of an example of an imaging apparatus according to an embodiment of the present invention.

図示の撮像装置は、例えば、電子カメラ（以下単にカメラと呼ぶ）であり、カメラは撮影レンズユニット（以下結像光学系と呼ぶ）を備えている。この結像光学系は前面側に位置して、光軸に沿って進退可能な第１レンズ群１０１を有している。 The illustrated imaging apparatus is, for example, an electronic camera (hereinafter simply referred to as a camera), and the camera includes a photographing lens unit (hereinafter referred to as an imaging optical system). This imaging optical system has a first lens group 101 that is positioned on the front surface side and that can advance and retract along the optical axis.

絞り兼用シャッタ１０２は第１レンズ群１０１の後ろ段に配置され、その開口径を調節することによって撮影の際における光量調節を行うとともに、静止画撮影の際には露光秒時調節用シャッタとして用いられる。絞り兼用シャッタ１０２の後段には第２のレンズ群１０３が配置されている。そして、絞り兼用シャッタ１０２および第２レンズ群１０３は一体となって光軸に沿って進退して、第１レンズ群１０１の進退動作と連動して、変倍作用（ズーム）を行う。 The diaphragm / shutter 102 is disposed at the rear stage of the first lens group 101, and adjusts the light amount at the time of photographing by adjusting the aperture diameter, and is also used as an exposure time adjustment shutter at the time of still image photographing. It is done. A second lens group 103 is disposed following the stop / shutter 102. The diaphragm shutter 102 and the second lens group 103 are integrally moved forward and backward along the optical axis, and perform a zooming action in conjunction with the forward and backward movement of the first lens group 101.

第２レンズ群１０３の後段には第３レンズ群１０５が配置され、光軸に沿って進退されて焦点ずれ量を調節する。そして、これら第１レンズ群１０１、絞り兼用シャッタ１０２、第２のレンズ群１０３、および第３レンズ群１０５によって結像光学系が構成され、この結像光学系はカメラ本体に対して着脱可能となっている。なお、結像光学系は交換レンズユニットとも呼ばれる。 A third lens group 105 is disposed downstream of the second lens group 103 and is advanced and retracted along the optical axis to adjust the amount of defocus. The first lens group 101, the diaphragm / shutter 102, the second lens group 103, and the third lens group 105 constitute an imaging optical system, and the imaging optical system can be attached to and detached from the camera body. It has become. The imaging optical system is also called an interchangeable lens unit.

第３レンズ群１０５の後段には光学的ローパスフィルタ１０６が位置し、この光学的ローパスフィルタ１０６は結像光学系から入射する被写体像（光学像）における偽色およびモアレを軽減するための光学素子である。そして、光学的ローパスふぃたる１０６の後側には撮像素子１０７が配置されている。 An optical low-pass filter 106 is positioned after the third lens group 105, and the optical low-pass filter 106 is an optical element for reducing false colors and moire in a subject image (optical image) incident from an imaging optical system. It is. An image sensor 107 is disposed behind the optical low-pass filter 106.

この撮像素子１０７は、例えば、Ｃ−ＭＯＳイメージセンサおよび周辺回路を備え、複数の画素が２次元的マトリックス状に配列されている。ここでは、撮像素子１０７は横方向（行方向）にｍ（ｍは２以上の整数）画素、縦方向（列方向）にｎ（ｎは２以上の整数）画素の受光ピクセルを備え、当該受光ピクセルに対してベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された２次元単板カラーセンサーである。そして、撮像素子１０７には結像光学系によって光学像が結像される。撮像素子１０７は光学像に応じた電気信号（アナログ信号）を出力する。 The image sensor 107 includes, for example, a C-MOS image sensor and a peripheral circuit, and a plurality of pixels are arranged in a two-dimensional matrix. Here, the image sensor 107 includes light receiving pixels of m (m is an integer of 2 or more) in the horizontal direction (row direction) and n (n is an integer of 2 or more) in the vertical direction (column direction). This is a two-dimensional single-plate color sensor in which Bayer array primary color mosaic filters are formed on-chip for pixels. An optical image is formed on the image sensor 107 by an imaging optical system. The image sensor 107 outputs an electrical signal (analog signal) corresponding to the optical image.

カメラにはレンズＲＯＭ１１０が備えられ、このレンズＲＯＭ１１０には交換レンズユニット毎に焦点検出などで必要なレンズ情報が記憶されている。ＣＰＵ１２１はレンズＲＯＭ１１０をアクセスしてレンズ情報を取得する。なお、レンズ情報には後述する射出瞳距離を示す射出瞳距離情報が含まれている。 The camera is provided with a lens ROM 110, which stores lens information necessary for focus detection and the like for each interchangeable lens unit. The CPU 121 accesses the lens ROM 110 and acquires lens information. The lens information includes exit pupil distance information indicating an exit pupil distance, which will be described later.

ＣＰＵ１２１は、カメラ全体の制御を司る。図示はしないが、ＣＰＵ１２１は、例えば、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、および通信インターフェイス回路を備えている。そして、ＣＰＵ１２１（ここでは、演算部）は、ＲＯＭに記憶された所定のプログラムに基づいてカメラを駆動制御して、焦点検出、撮影、画像処理、および画像記録などの一連の撮影動作を実行する。また、ＣＰＵ１２１は、焦点検出および焦点調節に係る演算処理を行う。 The CPU 121 controls the entire camera. Although not shown, the CPU 121 includes, for example, a calculation unit, a ROM, a RAM, an A / D converter, a D / A converter, and a communication interface circuit. Then, the CPU 121 (here, the arithmetic unit) drives and controls the camera based on a predetermined program stored in the ROM, and executes a series of photographing operations such as focus detection, photographing, image processing, and image recording. . The CPU 121 performs arithmetic processing related to focus detection and focus adjustment.

例えば、ＣＰＵ１２１は、後述するように、撮像素子１０７から得られる一対の像信号について相関演算を行って、これら一対の像信号の相対的な位置ずれを示す位相差を算出する。そして、ＣＰＵ１２１は当該位相差に基づいて結像光学系の焦点状態（デフォーカス量）を検出する。続いて、ＣＰＵ１２１は当該デフォーカス量に基づいて、合焦状態を得るための第３レンズ群１０５の移動量を算出する。なお、後述する焦点検出部および入射角受光特性依存値出力部がＣＰＵ１２１に内蔵されている。 For example, as will be described later, the CPU 121 performs a correlation operation on a pair of image signals obtained from the image sensor 107 and calculates a phase difference indicating a relative positional shift between the pair of image signals. Then, the CPU 121 detects the focus state (defocus amount) of the imaging optical system based on the phase difference. Subsequently, the CPU 121 calculates a movement amount of the third lens group 105 for obtaining a focused state based on the defocus amount. A focus detection unit and an incident angle light receiving characteristic dependent value output unit, which will be described later, are built in the CPU 121.

絞りシャッタ駆動回路１２８は、ＣＰＵ１２１の制御下で絞りシャッタアクチュエータ１１２を駆動制御して、絞り兼用シャッタ１０２の開口径を調節し撮影光量を調節するととともに、静止画撮影の際の露光時間を調節する。 The aperture shutter drive circuit 128 controls the aperture shutter actuator 112 under the control of the CPU 121 to adjust the aperture diameter of the aperture / shutter 102 to adjust the amount of photographing light and adjust the exposure time when taking a still image. .

フォーカス駆動回路１２６はＣＰＵ１２１の制御下で（例えば、ＣＰＵ１２１で得られた焦点検出結果に基づいて）、フォーカスアクチュエータ１１４を駆動制御して、第３レンズ群１０５を光軸に沿って進退駆動して焦点ずれ量を調節する。 The focus drive circuit 126 controls the focus actuator 114 to drive the third lens group 105 forward and backward along the optical axis under the control of the CPU 121 (for example, based on the focus detection result obtained by the CPU 121). Adjust the defocus amount.

撮像素子駆動回路１２４は、ＣＰＵ１２１の制御下で撮像素子１０７を駆動制御する。そして、撮像素子駆動回路１２４は撮像素子１０７の出力であるアナログ信号（画像信号）Ａ／Ｄ変換してデジタル信号としてＣＰＵ１２１に送る。 The image sensor driving circuit 124 drives and controls the image sensor 107 under the control of the CPU 121. Then, the image sensor driving circuit 124 performs A / D conversion on an analog signal (image signal) that is an output of the image sensor 107, and sends it to the CPU 121 as a digital signal.

ＣＰＵ１２１はユーザのズーム操作に応じてズーム駆動回路１２９を駆動制御する。そして、ズーム駆動回路１２９はＣＰＵ１２１の制御下で、ズームアクチュエータ１１１によって第１レンズ群１０１を光軸に沿って駆動する。環境光検出センサ１３０は撮影環境において外部から光（環境光）を受光して、当該環境光の色温度などの環境光特性を検出する。そして、環境光検出センサ１３０は環境光特性を示す環境光特性情報をＣＰＵ１２１に送る。 The CPU 121 drives and controls the zoom drive circuit 129 according to the zoom operation of the user. The zoom driving circuit 129 drives the first lens group 101 along the optical axis by the zoom actuator 111 under the control of the CPU 121. The ambient light detection sensor 130 receives light (environment light) from the outside in the photographing environment, and detects ambient light characteristics such as the color temperature of the ambient light. Then, the ambient light detection sensor 130 sends ambient light characteristic information indicating the ambient light characteristics to the CPU 121.

被写体照明用電子フラッシュ１１５は、例えば、キセノン管を用いた閃光照明装置である。なお、電子フラッシュ１１５として連続発光するＬＥＤを備えた照明装置を用いるようにしてもよい。ＡＦ補助光部１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して被写界に投影して、暗い被写体又は低コントラストの被写体に対する焦点検出を向上させる。 The subject illumination electronic flash 115 is, for example, a flash illumination device using a xenon tube. In addition, you may make it use the illuminating device provided with LED which light-emits continuously as the electronic flash 115. FIG. The AF auxiliary light unit 116 projects an image of a mask having a predetermined aperture pattern onto the object field via a light projection lens, and improves focus detection for a dark subject or a low-contrast subject.

電子フラッシュ制御回路１２２は、ＣＰＵ１２１の制御下で、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光回路１２３は、ＣＰＵ１２１の制御下で、焦点検出動作に同期してＡＦ補助光部１１６を点灯制御する。画像処理回路１２５は、ＣＰＵ１２１の制御下で、画像信号についてγ変換、カラー補間、およびＪＰＥＧ圧縮などの処理を行って画像データを生成する。 The electronic flash control circuit 122 controls lighting of the electronic flash 115 in synchronization with the photographing operation under the control of the CPU 121. The auxiliary light circuit 123 controls lighting of the AF auxiliary light unit 116 in synchronization with the focus detection operation under the control of the CPU 121. Under the control of the CPU 121, the image processing circuit 125 performs processing such as γ conversion, color interpolation, and JPEG compression on the image signal to generate image data.

表示部１３１は、例えば、ＬＣＤであり、表示部１３１には、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、および焦点検出の際の合焦状態表示画像などが表示される。操作スイッチ１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、および撮影モード選択スイッチなどで構成される。フラッシュメモリ１３３は、例えば、カメラ本体に着脱可能であり、撮影済みの画像が記録される。 The display unit 131 is, for example, an LCD, and the display unit 131 includes information on the shooting mode of the camera, a preview image before shooting, a confirmation image after shooting, a focus state display image at the time of focus detection, and the like. Is displayed. The operation switch 132 includes a power switch, a release (shooting trigger) switch, a zoom operation switch, a shooting mode selection switch, and the like. The flash memory 133 can be attached to and detached from the camera body, for example, and recorded images are recorded.

図２は、図１に示す撮像素子１０７の構成の一例を説明するための図である。そして、図２（ａ）は画素配列の一例を示す図であり、図２（ｂ）は図２（ａ）の一部分を拡大して示す図である。また、図２（ｃ）は図２（ｂ）に示すＡ−Ａ線に沿った断面図である。 FIG. 2 is a diagram for explaining an example of the configuration of the image sensor 107 shown in FIG. FIG. 2A is a diagram illustrating an example of a pixel arrangement, and FIG. 2B is a diagram illustrating an enlarged part of FIG. 2A. Moreover, FIG.2 (c) is sectional drawing along the AA line shown in FIG.2 (b).

図２（ａ）では、説明の便宜上、撮像素子１０７の画素配列が４行×４列で示されている（つまり、ｍ＝ｎ＝４である）。図２（ａ）に示す２行×２列の画素群２１０では、対角に対する２画素にＧ（緑）の分光感度を有する画素２１０Ｇを配置し、他の２画素にＲ（赤）の分光感度を有する画素２１０ＲとＢ（青）の分光感度を有する画素２１０Ｂとを配置したベイヤー配列が採用されている。 In FIG. 2A, for convenience of explanation, the pixel array of the image sensor 107 is shown in 4 rows × 4 columns (that is, m = n = 4). In the 2 × 2 pixel group 210 shown in FIG. 2A, a pixel 210G having a G (green) spectral sensitivity is arranged in two pixels with respect to the diagonal, and an R (red) spectrum is arranged in the other two pixels. A Bayer arrangement in which pixels 210R having sensitivity and pixels 210B having B (blue) spectral sensitivity are arranged is employed.

図２（ｂ）に示すように、画素２１０Ｇは瞳分割用の２つの副画素２０１ａおよび２０１ｂを有している。同様に、図示はしないが、画素２１０Ｒおよび２１０Ｂの各々も瞳分割用の２つの副画素を有している。これによって、画素２１０Ｒ、２１０Ｇ、および２１０Ｂのいずれにおいても撮像用画素および焦点検出用として用いることができる。 As shown in FIG. 2B, the pixel 210G has two sub-pixels 201a and 201b for pupil division. Similarly, although not shown, each of the pixels 210R and 210B has two sub-pixels for pupil division. Accordingly, any of the pixels 210R, 210G, and 210B can be used for imaging pixels and focus detection.

図２（ｃ）に示すように、画素２０１Ｇに備えられた副画素２０１ａおよび２０１ｂには、Ｇの分光感度を有するカラーフィルタ２０３が配置され、さらにカラーフィルタ２０３上にはマイクロレンズ（ＭＬ）２０２が配されている。図示のように、ｐ型半導体層２００に２つのｎ型半導体層が埋め込まれて、２つの副画素２０１ａおよび２０１ｂが形成される。なお、画素２０１Ｒおよび２０１Ｂの各々も画素２０１Ｇと同様に構成されている。 As shown in FIG. 2C, a color filter 203 having a spectral sensitivity of G is arranged in the sub-pixels 201a and 201b provided in the pixel 201G, and a micro lens (ML) 202 is further provided on the color filter 203. Is arranged. As illustrated, two n-type semiconductor layers are embedded in the p-type semiconductor layer 200 to form two sub-pixels 201a and 201b. Note that each of the pixels 201R and 201B is configured similarly to the pixel 201G.

ここでは、全ての画素に瞳分割用の副画素が配置されて焦点検出画素として用いることができる場合について説明するが、焦点検出画素を撮像素子１０７の一部に配置するようにしてもよい。 Here, a case will be described in which pupil division subpixels are arranged in all pixels and can be used as focus detection pixels. However, focus detection pixels may be arranged in a part of the image sensor 107.

図３は、図２に示す１つの画素による瞳分割を説明するための図である。なお、図３においては、ｐ型半導体層、副画素、およびＭＬがそれぞれ参照番号３００、３０１ａ、３０１ｂ、および３０２で示され、カラーフィルタは省略されている。 FIG. 3 is a diagram for explaining pupil division by one pixel shown in FIG. In FIG. 3, p-type semiconductor layers, subpixels, and ML are indicated by reference numerals 300, 301a, 301b, and 302, respectively, and the color filters are omitted.

図３に示す例では、２つの副画素３０１ａおよび３０１ｂはそれぞれｘ軸方向のプラス（＋）側およびｘ軸方向のマイナス（−）側に偏心している。これによって、１つのＭＬ３０２を用いて瞳分割が行われて、像信号Ａに係る射出瞳領域３０２ａおよび像信号Ｂに係る射出瞳領域３０２ｂを得ることができる。 In the example shown in FIG. 3, the two sub-pixels 301a and 301b are eccentric to the plus (+) side in the x-axis direction and the minus (−) side in the x-axis direction, respectively. Thus, pupil division is performed using one ML 302, and an exit pupil region 302a related to the image signal A and an exit pupil region 302b related to the image signal B can be obtained.

ここで、図２（ａ）に示すように、副画素３０１ａをｘ軸方向に規則的に配列して、副画素群３０１ａから出力される第１の像信号を像信号Ａ（結像光学系の異なる射出瞳領域を通過した対の光束から得られる像信号の一方）とする。また、副画素３０１ｂをｘ軸方向に規則的に配列して、副画素群３０１ｂから出力される第２の像信号を像信号Ｂ（結像光学系の異なる射出瞳領域を通過した対の光束から得られる像信号の他方）とする。 Here, as shown in FIG. 2A, the sub-pixels 301a are regularly arranged in the x-axis direction, and the first image signal output from the sub-pixel group 301a is changed to the image signal A (imaging optical system). One of the image signals obtained from a pair of light fluxes that have passed through different exit pupil regions. Further, the sub-pixels 301b are regularly arranged in the x-axis direction, and the second image signal output from the sub-pixel group 301b is converted into an image signal B (a pair of luminous fluxes that have passed through different exit pupil regions of the imaging optical system). The other of the image signals obtained from the above.

ＣＰＵ１２１は、相関演算によって像信号Ａと像信号Ｂとの相対的な像ずれ量に応じてデフォーカス量を算出して、当該デフォーカス量に基づいて結像光学系の焦点位置を焦点検出結果として求める。そして、前述したように、ＣＰＵ１２１は当該焦点検出結果に基づいてフォーカス駆動回路１２６を制御して、フォーカスアクチュエータ１１４によって第３レンズ群１０５を駆動して焦点ずれ量を調節する。 The CPU 121 calculates a defocus amount according to the relative image shift amount between the image signal A and the image signal B by correlation calculation, and determines the focus position of the imaging optical system based on the defocus amount. Asking. As described above, the CPU 121 controls the focus driving circuit 126 based on the focus detection result, and drives the third lens group 105 by the focus actuator 114 to adjust the defocus amount.

なお、ここでは、ｘ軸方向に輝度分布を有する被写体に対応する構成について説明したが、同様にしてｙ軸方向についても画素を展開することによって、ｙ軸方向に輝度分布を有する被写体にも対応することができる。また、ここでは、瞳分割を行うため、１つの画素に偏心させた２つの副画素を１次元方向に分割する例を示したが、瞳分割については、ｘおよびｙ軸方向に２次元的に分割して副画素を形成するようにしてもよい。 Here, the configuration corresponding to the subject having the luminance distribution in the x-axis direction has been described, but similarly the subject having the luminance distribution in the y-axis direction can also be handled by expanding the pixels in the y-axis direction. can do. Here, in order to perform pupil division, an example is shown in which two subpixels eccentric to one pixel are divided in a one-dimensional direction. However, pupil division is two-dimensionally in the x and y axis directions. Sub-pixels may be formed by dividing.

さらに、ここでは、瞳分割を行うため、１つのＭＬについて２つの副画素を位置づける例について説明したが、瞳分割については１つのＭＬについて偏心させた画素を１つ配置して、偏心方向の異なる画素を用いて瞳分割を行って、焦点検出を行うようにしてもよい。 Further, here, an example in which two subpixels are positioned for one ML in order to perform pupil division has been described. However, for pupil division, one eccentric pixel is arranged for one ML, and the eccentric directions are different. Focus detection may be performed by performing pupil division using pixels.

図４は、図２に示すＲＧＢの画素の各々について同一の光源（環境光）による入射角受光特性を説明するための図である。そして、図４（ａ）はＲ画素の入射角受光特性を示す図であり、図４（ｂ）はＧ画素の入射角受光特性を示す図である。そして、図４（ｃ）はＢ画素の入射角受光特性を示す図である。 FIG. 4 is a diagram for explaining incident angle light receiving characteristics of the same light source (ambient light) for each of the RGB pixels shown in FIG. FIG. 4A is a diagram illustrating the incident angle light receiving characteristics of the R pixel, and FIG. 4B is a diagram illustrating the incident angle light receiving characteristics of the G pixel. FIG. 4C shows the incident angle light receiving characteristics of the B pixel.

図４においては、カラーフィルタの相違による入射角受光特性の相違が示されており、画素の入射角受光特性は光の波長に応じて異なる。なお、入射角受光特性は点像分布関数又は瞳強度分布とも呼ばれる。 FIG. 4 shows the difference in the incident angle light receiving characteristics due to the difference in the color filters, and the incident angle light receiving characteristics of the pixels differ depending on the wavelength of the light. The incident angle light receiving characteristic is also called a point spread function or a pupil intensity distribution.

図４では、Ｒ画素、Ｇ画素、およびＢ画素について、Ａ像およびＢ像の入射角受光特性と線像の関係が示されており、Ａ像の入射角受光特性４０１ａ、４０３ａ、および４０５ａとＢ像の入射角受光特性４０１ｂ、４０３ｂ、および４０５ｂに応じてＡ像の線像４０２ａ、４０４ａ、および４０６ａとＢ像の線像４０２ｂ、４０４ｂ、および４０６ｂが得られる。 FIG. 4 shows the relationship between the incident angle light receiving characteristics of the A image and the B image and the line image for the R pixel, the G pixel, and the B pixel, and the incident angle light receiving characteristics 401a, 403a, and 405a of the A image The A image line images 402a, 404a, and 406a and the B image line images 402b, 404b, and 406b are obtained in accordance with the incident angle light receiving characteristics 401b, 403b, and 405b of the B image.

環境光によって波長分布が異なることは既知の事実であり、例えば、環境光が太陽光であると、その波長分布は長波長成分が多く存在する分布となる。一方、環境光がキセノン光源であると、その波長分布はＲ〜Ｂに亘って比較的一様に波長成分が存在する分布となる。 It is a known fact that the wavelength distribution differs depending on the ambient light. For example, when the ambient light is sunlight, the wavelength distribution is a distribution in which many long wavelength components exist. On the other hand, when the ambient light is a xenon light source, the wavelength distribution is a distribution in which wavelength components exist relatively uniformly from R to B.

所謂ベイヤー加算した輝度（Ｒ、Ｇ、Ｂに対してＹという）に関する入射角受光特性はＲＧＢが混在した信号であるので、Ｙに関する入射角受光特性は環境光によって変化してしまう。図４に示す入射角受光特性の場合には、環境光が太陽光であれば長波長成分が多いものの、短波長から長波長（ＢからＲ）に向かうに連れて徐々に波長成分が減少するので、ＧおよびＲの中間の入射角受光特性となる。一方、環境光がキセノン光源であれば、一様な波長分布であるので、ＲＧＢの平均的な又はＧに近い入射角受光特性となる。 Since the incident angle light reception characteristic regarding the so-called Bayer-added luminance (referred to as Y for R, G, and B) is a signal in which RGB is mixed, the incident angle light reception characteristic regarding Y changes depending on the ambient light. In the case of the incident angle light receiving characteristic shown in FIG. 4, if the ambient light is sunlight, the long wavelength component is large, but the wavelength component gradually decreases from the short wavelength toward the long wavelength (B to R). Therefore, the incident angle light receiving characteristic is intermediate between G and R. On the other hand, if the ambient light is a xenon light source, it has a uniform wavelength distribution, so that it has a light receiving characteristic with an average of RGB or near G.

ここで、入射角受光特性依存値を定義すると、この入射角受光特性依存値は入射角受光特性の変化に応じて変化する値であり、例えば、シェーディングおよびデフォーカス量換算係数（Ｋ値）などを総称するものである。 Here, when the incident angle light receiving characteristic dependent value is defined, the incident angle light receiving characteristic dependent value is a value that changes according to the change in the incident angle light receiving characteristic. For example, shading and defocus amount conversion coefficient (K value), etc. Are collectively referred to.

図５は、環境光に応じて入射角受光特性依存値を簡易的に求める手法を説明するための図である。 FIG. 5 is a diagram for explaining a method for simply obtaining the incident angle light receiving characteristic dependence value according to the ambient light.

ｘｙ色度図から容易に理解できるように、ＲＧＢを加算してＹを生成する際、その配合率を変更することによってｘｙ色度図の色を近似的に再現することができる。よって、ＲＧＢの配合率を変化させて、その入射角受光特性依存値を算出すれば様々な環境光に対応することができる。 As can be easily understood from the xy chromaticity diagram, when generating Y by adding RGB, the color of the xy chromaticity diagram can be approximately reproduced by changing the blending ratio. Therefore, it is possible to cope with various ambient light by changing the RGB mixing ratio and calculating the incident angle light receiving characteristic dependency value.

環境光検出センサ１３０によって特定された環境光が環境光Ａであるとする。環境光Ａにおいて入射角受光特性依存値に係るＲＧＢの配合率ａ：ｂ：ｃ（＝Ｒ：Ｇ：Ｂ）は予めサンプルデータとしてＣＰＵ１２１に記録されているものとする。なお、環境光検出センサ１３０の出力に応じて環境光に応じたＲＧＢの配合率を決定するようにしてもよい。そして、ＣＰＵ１２１は当該配合率に応じてＹに係る入射角受光特性依存値を算出して、環境光に応じた適切な入射角受光特性依存値を求める。 It is assumed that the environmental light specified by the environmental light detection sensor 130 is the environmental light A. It is assumed that the RGB blending ratio a: b: c (= R: G: B) related to the incident angle light receiving characteristic dependence value in the ambient light A is recorded in advance in the CPU 121 as sample data. Note that the RGB mixture ratio corresponding to the ambient light may be determined according to the output of the ambient light detection sensor 130. Then, the CPU 121 calculates an incident angle light receiving characteristic dependent value related to Y according to the blending ratio, and obtains an appropriate incident angle light receiving characteristic dependent value according to the ambient light.

図６は、シェーディングの発生原理およびシェーディングを説明するための図である。そして、図６（ａ）はシェーディングの発生原理を示す図であり、図６（ｂ）はシェーディングを示す図である。 FIG. 6 is a diagram for explaining the principle of occurrence of shading and shading. FIG. 6A is a diagram showing the principle of occurrence of shading, and FIG. 6B is a diagram showing shading.

図６（ａ）において、像信号Ａの入射角受光特性を６０１ａ、像信号Ｂの入射角受光特性を６０１ｂ、射出瞳枠（射出瞳形状）を６０２、像高毎の画素を６０３で表し、さらに、図６（ｂ）において、図６（ａ）に示す状態における像信号Ａのシェーディングを６０４ａ、図６（ａ）に示す状態における像信号Ｂのシェーディングを６０４ｂで表す。 In FIG. 6A, the incident angle light receiving characteristic of the image signal A is represented by 601a, the incident angle light receiving characteristic of the image signal B is represented by 601b, the exit pupil frame (exit pupil shape) is represented by 602, and the pixels for each image height are represented by 603, Further, in FIG. 6B, the shading of the image signal A in the state shown in FIG. 6A is represented by 604a, and the shading of the image signal B in the state shown in FIG. 6A is represented by 604b.

図６（ａ）に示す状態では、像高が−ｘ１の画素６０３は射出瞳枠６０２を通して瞳座標上の＋ｘ２の位置にある瞳を見ることになる。このため、入射角受光特性６０１ａと入射角受光特性６０１ｂとから容易に理解できるように、像信号Ａと像信号Ｂの感度とを比較すると、像信号Ｂの方が感度が良いことが分かる。 In the state shown in FIG. 6A, the pixel 603 having an image height of −x1 sees the pupil at the position of + x2 on the pupil coordinates through the exit pupil frame 602. Therefore, as can be easily understood from the incident angle light receiving characteristics 601a and the incident angle light receiving characteristics 601b, it can be seen that the sensitivity of the image signal B is higher when the sensitivity of the image signal A and the image signal B is compared.

一方、像高が＋ｘ１の画素６０３においては、射出瞳枠６０２を通して瞳座標上の−ｘ２の位置にある瞳を見ることになるので、像信号Ａと像信号Ｂとの感度を比較すると、像信号Ａの方が感度が良くなる。 On the other hand, in the pixel 603 whose image height is + x1, the pupil at the position of −x2 on the pupil coordinates is seen through the exit pupil frame 602. Therefore, when the sensitivity of the image signal A and the image signal B is compared, Signal A is more sensitive.

従って、図６（ａ）に示す状態におけるシェーディングは図６（ｂ）に示すシェーディング６０４ａおよび６０４ｂとなる。シェーディング６０４ａおよび６０４ｂは、射出瞳枠６０２の位置および大きさに応じて変化するので、射出瞳距離および絞り値が変化するとシェーディング６０４ａおよび６０４ｂも変化する。 Accordingly, the shading in the state shown in FIG. 6A becomes the shadings 604a and 604b shown in FIG. 6B. Since the shadings 604a and 604b change according to the position and size of the exit pupil frame 602, the shadings 604a and 604b change when the exit pupil distance and the aperture value change.

シェーディングの影響が出やすい状況として、例えば、射出瞳距離が短くかつ絞り値が大きい（絞り枠が小さい）場合がある。射出瞳距離が短いとシェーディングの影響が大きくなるのは、画素が配置されている像高に応じて瞳を見る位置の変化が大きくなるからである。また、絞り値が小さいとシェーディングの影響が大きくなるのは、画素が瞳を見る領域が狭くなるので、画素が配置される像高に応じて瞳の位置の影響が出やすくなるからである。 For example, there is a case where the exit pupil distance is short and the aperture value is large (the aperture frame is small). The reason why the influence of shading increases when the exit pupil distance is short is that the change in the position of viewing the pupil increases according to the image height at which the pixels are arranged. In addition, when the aperture value is small, the influence of shading becomes large because the region where the pixel sees the pupil becomes narrow, and the influence of the position of the pupil is likely to occur according to the image height where the pixel is arranged.

図６（ｂ）から容易に理解できるように、シェーディング６０４ａおよび６０４ｂは像高に応じて連続的に変化するので像高関数として表現することができる。このため、シェーディングの補正値（入射角受光特性依存値の１つである）も像高関数として表現が可能である。 As can be easily understood from FIG. 6B, since the shadings 604a and 604b continuously change according to the image height, they can be expressed as an image height function. For this reason, the shading correction value (which is one of the values depending on the incident angle light receiving characteristic) can also be expressed as an image height function.

前述したように、シェーディングは像高によって変化するばかりでなく、絞り値と射出瞳距離とに応じて変化するので、シェーディングの補正値も絞り値および射出瞳距離に応じて異なる。よって、レンズ交換式のカメラでシェーディング補正を行う際には、全ての補正値を記憶させようとすると膨大な記憶容量が必要となってしまう。 As described above, the shading not only changes depending on the image height, but also changes according to the aperture value and the exit pupil distance, so the shading correction value also differs depending on the aperture value and the exit pupil distance. Therefore, when shading correction is performed with an interchangeable lens camera, an enormous storage capacity is required to store all correction values.

また、入射角受光特性と射出瞳枠との関係からシェーディング補正をする都度、補正値を算出するようにしてもよいが、この場合には演算量が膨大となってしまう。 In addition, the correction value may be calculated every time shading correction is performed based on the relationship between the incident angle light receiving characteristic and the exit pupil frame, but in this case, the amount of calculation becomes enormous.

このような記憶容量の増加および演算量の増加を回避するため、例えば、次の式（１）および式（２）によって予め各条件毎（絞り値および射出瞳距離の組合せ）でシェーディングの補正値を算出して、その近似関数を求め、近似関数の係数のみをメモリに記憶する。 In order to avoid such an increase in storage capacity and an increase in calculation amount, for example, the correction value of shading for each condition (combination of aperture value and exit pupil distance) in advance by the following equations (1) and (2) Is calculated to obtain the approximate function, and only the coefficient of the approximate function is stored in the memory.

但し、Ｓ０Ａ、Ｓ１Ａ、Ｓ２Ａ、Ｓ３Ａ、Ｓ４Ａ、およびＳ５Ａは、Ａ像用のシェーディングの補正値を算出するための近似関数の係数であり、Ｓ０Ｂ、Ｓ１Ｂ、Ｓ２Ｂ、Ｓ３Ｂ、Ｓ４Ｂ、およびＳ５Ｂは、Ｂ像用のシェーディングの補正値を算出するための近似関数の係数である。 However, S0A, S1A, S2A, S3A, S4A, and S5A are coefficients of an approximate function for calculating the shading correction value for the A image, and S0B, S1B, S2B, S3B, S4B, and S5B are This is a coefficient of an approximate function for calculating a shading correction value for the B image.

なお、図２に示す撮像素子の構成では、ｙ軸方向は原点に対して略対称となるため、ｙ軸方向は偶関数として表される。 In the configuration of the image sensor shown in FIG. 2, the y-axis direction is substantially symmetrical with respect to the origin, and therefore the y-axis direction is expressed as an even function.

シェーディング補正値を環境光に応じて算出する際には、例えば、ＲＧＢ毎に上記のＳ０Ａ、Ｓ１Ａ、・・・、Ｓ４Ｂ、Ｓ５Ｂの近似関数の係数をメモリに記憶し、ＣＰＵ１２１は環境光に応じてＲＢＧの配合率をａ：ｂ：ｃ（＝Ｒ：Ｇ：Ｂ）の割合で加算して、Ｙの係数を算出してシェーディング補正値を得ることになる。 When calculating the shading correction value according to the ambient light, for example, the coefficients of the approximate functions of S0A, S1A,..., S4B, S5B are stored in the memory for each RGB, and the CPU 121 responds to the ambient light. Then, the blending ratio of RBG is added at a ratio of a: b: c (= R: G: B), and a Y coefficient is calculated to obtain a shading correction value.

なお、ＲＧＢ毎に像信号を取得して、ＲＧＢ毎にシェーディング補正を行って焦点検出を行った方が焦点検出精度は良いが、Ｙで焦点検出を行う場合と比較して演算規模が３倍に増加するので焦点検出に要する時間も増加してしまう。動く被写体に追従させるには、焦点検出に要する時間も焦点検出精度に大きく寄与するので、動く被写体における焦点検出精度を向上させるためには、焦点検出精度と焦点検出時間との双方を向上させる必要がある。 Note that the focus detection accuracy is better when the image signal is acquired for each RGB and the shading correction is performed for each RGB and the focus detection is performed, but the calculation scale is three times that of the case where the focus detection is performed with Y. Therefore, the time required for focus detection also increases. In order to follow a moving subject, the time required for focus detection greatly contributes to the focus detection accuracy. Therefore, in order to improve the focus detection accuracy in a moving subject, it is necessary to improve both the focus detection accuracy and the focus detection time. There is.

図７は、Ａ像およびＢ像の射出瞳における入射角受光特性と線像との関係を説明するための図である。そして、図７（ａ）は射出瞳枠によるケラレが存在しない場合の入射角受光特性と線像との関係を示す図であり、図７（ｂ）は射出瞳枠によるケラレが存在する場合の入射角受光特性と線像との関係を示す図である。 FIG. 7 is a diagram for explaining the relationship between the incident angle light receiving characteristics and the line images at the exit pupils of the A image and the B image. FIG. 7A is a diagram showing a relationship between the incident angle light receiving characteristic and the line image when there is no vignetting due to the exit pupil frame, and FIG. 7B is a diagram when vignetting due to the exit pupil frame exists. It is a figure which shows the relationship between an incident angle light reception characteristic and a line image.

図７において、Ａ像の１次元の入射角受光特性を７０１ａおよび７０３ａで示し、Ｂ像の１次元の入射角受光特性を７０１ｂおよび７０３ｂで示す。そして、射出瞳枠によるケラレがない場合のＡ像の線像を７０２ａで示し、射出瞳枠によるケラレがない場合のＢ像の線像を７０２ｂで示す。さらに、射出瞳枠７０９によるケラレがある場合のＡ像の線像を７０４ａで示し、射出瞳枠７０９によるケラレがある場合のＢ像の線像を７０４ｂで示す。なお、合焦点７０５と撮像素子の受光面７０７との距離はデフォーカス量７０８であり、瞳面は７０６で示されている。 In FIG. 7, the one-dimensional incident angle light receiving characteristics of the A image are indicated by 701a and 703a, and the one-dimensional incident angle light receiving characteristics of the B image are indicated by 701b and 703b. A line image of the A image when there is no vignetting due to the exit pupil frame is indicated by 702a, and a line image of the B image when there is no vignetting due to the exit pupil frame is indicated by 702b. Further, a line image of A image when vignetting is caused by the exit pupil frame 709 is indicated by 704a, and a line image of B image when vignetting is caused by the exit pupil frame 709 is indicated by 704b. The distance between the focal point 705 and the light receiving surface 707 of the image sensor is a defocus amount 708, and the pupil plane is indicated by 706.

図７（ａ）および図７（ｂ）に示すように、線像７０２ａ、７０２ｂ、７０４ａ、および７０４ｂは入射角受光特性７０１ａ、７０１ｂ、７０３ａ、および７０３ｂをデフォーカス量７０８に応じてスケール変換したものであるので、線像７０２ａ、７０２ｂ、７０４ａ、および７０４ｂは入射角受光特性７０１ａ、７０１ｂ、７０３ａ、および７０３ｂと相似形になる。 As shown in FIGS. 7A and 7B, the line images 702a, 702b, 704a, and 704b are obtained by scaling the incident angle light receiving characteristics 701a, 701b, 703a, and 703b according to the defocus amount 708. Therefore, the line images 702a, 702b, 704a, and 704b are similar to the incident angle light receiving characteristics 701a, 701b, 703a, and 703b.

通常、図７（ｂ）に示すように、瞳面７０６と受光面７０７との間に射出瞳枠７０９が存在するので、線像７０４ａおよび７０４ｂは射出瞳枠７０９の形状に影響を受ける。このため、線像７０４ａおよび７０４ｂは射出瞳距離と絞り枠との大きさによって形状が変化する。 Normally, as shown in FIG. 7B, since the exit pupil frame 709 exists between the pupil plane 706 and the light receiving surface 707, the line images 704a and 704b are affected by the shape of the exit pupil frame 709. For this reason, the shapes of the line images 704a and 704b change depending on the exit pupil distance and the size of the aperture frame.

焦点検出を行う際には、２像の並進方向のずれ量を、フォーカスレンズの光軸方向のずれ量（デフォーカス量）に換算するための換算係数（デフォーカス量換算係数）が用いられる。このデフォーカス量換算係数（入射角受光特性依存値の１つである）は線像の重心位置（光軸）に応じて算出されるので、シェーディングと同様にデフォーカス量換算係数は射出瞳距離および絞り値に応じてその値が異なる。 When performing focus detection, a conversion coefficient (defocus amount conversion coefficient) for converting the shift amount of the two images in the translation direction into a shift amount (defocus amount) in the optical axis direction of the focus lens is used. Since this defocus amount conversion coefficient (which is one of the incident angle light receiving characteristic dependent values) is calculated according to the center of gravity (optical axis) of the line image, the defocus amount conversion coefficient is the exit pupil distance as in the case of shading. The value varies depending on the aperture value.

デフォーカス量換算係数を環境光に応じて算出する際には、シェーディング補正と同様に、ＲＧＢ毎にデフォーカス量換算係数を予めメモリ記憶しておき、環境光に応じてＲＢＧの配合率をａ：ｂ：ｃ（＝Ｒ：Ｇ：Ｂ）の割合で加算してＹに係るデフォーカス量換算係数を算出すればよい。 When calculating the defocus amount conversion coefficient according to the ambient light, similarly to the shading correction, the defocus amount conversion coefficient is stored in advance in memory for each RGB, and the RBG blending ratio is set to a according to the ambient light. : B: c (= R: G: B) may be added to calculate the defocus amount conversion coefficient for Y.

図８は、図１に示すカメラにおける焦点検出の概要を説明するためのブロック図である。なお、図８に示す例では、図１に示す環境光検出センサが環境光検出部１３０とされ、結像光学系、光学的ローパスフィルタ１０６、撮像素子１０７、および撮像素子駆動回路１２４が撮像部１０７ａとされている。 FIG. 8 is a block diagram for explaining an outline of focus detection in the camera shown in FIG. In the example shown in FIG. 8, the ambient light detection sensor shown in FIG. 1 is the ambient light detection unit 130, and the imaging optical system, the optical low-pass filter 106, the image sensor 107, and the image sensor drive circuit 124 are included in the image sensor. 107a.

図示の例では、ＣＰＵ１２１は入射角受光特性依存値出力部１２１ａおよび焦点検出部１２１ｂを有しており、撮像部１０７ａによる撮像の結果得られた像信号が焦点検出部１２１ｂに送られる。環境光検出部１３０は環境光を検出してその検出結果を光源情報として入射角受光特性依存値出力部１２１ａに送る。入射角受光特性依存値出力部１２１ａは光源情報に基づいてカメラの撮影条件（例えば、絞り値および射出瞳距離）に応じた入射角受光特性依存値（シェーディング補正値又は補正係数およびデフォーカス量換算係数）を焦点検出部１２１ｂに送る。焦点検出部１２１ｂは入力された像信号と入射角受光特性依存値とに応じて焦点検出を行う。 In the illustrated example, the CPU 121 includes an incident angle light receiving characteristic dependent value output unit 121a and a focus detection unit 121b, and an image signal obtained as a result of imaging by the imaging unit 107a is sent to the focus detection unit 121b. The ambient light detection unit 130 detects ambient light and sends the detection result as light source information to the incident angle light receiving characteristic dependent value output unit 121a. The incident angle light receiving characteristic dependent value output unit 121a converts the incident angle light receiving characteristic dependent value (shading correction value or correction coefficient and defocus amount conversion) according to the shooting conditions (for example, aperture value and exit pupil distance) of the camera based on the light source information. Coefficient) to the focus detector 121b. The focus detection unit 121b performs focus detection according to the input image signal and the incident angle light receiving characteristic dependent value.

図９は、図１に示すカメラで行われる焦点検出の一例を説明するためのフローチャートである。なお、図９に示すフローチャートに係る処理は、ＣＰＵ１２１の制御下で行われる。 FIG. 9 is a flowchart for explaining an example of focus detection performed by the camera shown in FIG. Note that the processing according to the flowchart shown in FIG. 9 is performed under the control of the CPU 121.

焦点検出が開始されると、ＣＰＵ１２１は撮像素子駆動回路１２４を制御して撮像素子１０７によって像信号を取得する（ステップＳ９０１）。続いて、ＣＰＵ１２１は環境光検出センサ１３０で検出された環境光検出結果を得て環境光の種類を検出する（ステップＳ９０２）。そして、ＣＰＵ１２１は、入射角受光特性依存値出力部１２１ａによって環境光検出結果に基づいて入射角受光特性依存値を求めて当該入射角受光特性依存値を出力する（ステップＳ９０３）。 When focus detection is started, the CPU 121 controls the image sensor driving circuit 124 to acquire an image signal by the image sensor 107 (step S901). Subsequently, the CPU 121 obtains the ambient light detection result detected by the ambient light detection sensor 130 and detects the type of ambient light (step S902). Then, the CPU 121 obtains an incident angle light receiving characteristic dependent value based on the ambient light detection result by the incident angle light receiving characteristic dependent value output unit 121a, and outputs the incident angle light receiving characteristic dependent value (step S903).

次に、ＣＰＵ１２１は焦点検出部１２１ｂによって像信号と入射角受光特性依存値出力部１２１ａから出力された入射角受光特性依存値とに応じて焦点検出を行う（ステップＳ９０４）。そして、ＣＰＵ１２１は焦点検出が終了したか否かを判定する（ステップＳ９０５）。焦点検出が終了していないと（ステップＳ９０５において、ＮＯ）、ＣＰＵ１２１はステップＳ９０１の処理に戻って像信号を取得する。一方、焦点検出が終了すると（ステップＳ９０５において、ＹＥＳ）、ＣＰＵ１２１は処理を終了する。 Next, the CPU 121 performs focus detection according to the image signal and the incident angle light receiving characteristic dependent value output from the incident angle light receiving characteristic dependent value output unit 121a by the focus detecting unit 121b (step S904). Then, the CPU 121 determines whether or not focus detection has been completed (step S905). If focus detection has not ended (NO in step S905), the CPU 121 returns to the process in step S901 to acquire an image signal. On the other hand, when focus detection ends (YES in step S905), CPU 121 ends the process.

このように、本発明の実施の形態では、波長又は分光特性の異なる複数の入射角受光特性依存値から、環境光の種類に応じて配合率を変えて最適な入射角受光特性依存値を得て、当該入射角受光特性依存値に応じて焦点検出を行うようにしたので、高精度に焦点検出を行うことができる。 As described above, in the embodiment of the present invention, the optimum incident angle light receiving characteristic dependency value is obtained by changing the blending ratio according to the type of ambient light from a plurality of incident angle light receiving characteristic dependent values having different wavelengths or spectral characteristics. Thus, since focus detection is performed according to the incident angle light receiving characteristic dependence value, focus detection can be performed with high accuracy.

上述の説明から明らかなように、図１に示す例においては、環境光検出センサ１３０が環境光検出手段として機能し、ＣＰＵ１２１が出力手段および焦点検出手段として機能する。 As is clear from the above description, in the example shown in FIG. 1, the ambient light detection sensor 130 functions as an ambient light detection unit, and the CPU 121 functions as an output unit and a focus detection unit.

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。 As mentioned above, although this invention was demonstrated based on embodiment, this invention is not limited to these embodiment, Various forms of the range which does not deviate from the summary of this invention are also contained in this invention. .

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。 For example, the function of the above embodiment may be used as a control method, and this control method may be executed by the imaging apparatus. Further, a program having the functions of the above-described embodiments may be used as a control program, and the control program may be executed by a computer included in the imaging apparatus. The control program is recorded on a computer-readable recording medium, for example.

上記の制御方法および制御プログラムの各々は、少なくとも環境光検出ステップ、出力ステップ、および焦点検出ステップを有している。 Each of the above control method and control program has at least an ambient light detection step, an output step, and a focus detection step.

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various recording media, and the computer (or CPU, MPU, etc.) of the system or apparatus reads the program. To be executed.

１０７撮像素子
１２１ＣＰＵ
１２２電子フラッシュ制御回路
１２３補助光回路
１２４撮像素子駆動回路
１２５画像処理回路
１２６フォーカス駆動回路
１２８絞りシャッタ駆動回路
１２９ズーム駆動回路
１３０環境光検出センサ 107 Image sensor 121 CPU
122 Electronic Flash Control Circuit 123 Auxiliary Light Circuit 124 Image Sensor Drive Circuit 125 Image Processing Circuit 126 Focus Drive Circuit 128 Aperture Shutter Drive Circuit 129 Zoom Drive Circuit 130 Ambient Light Detection Sensor

Claims

複数の画素が２次元的マトリックス状に配列された撮像素子を有し、結像光学系を介して被写体を示す被写体像を前記撮像素子に結像して、前記撮像素子から前記被写体像に応じた画像信号を出力する撮像装置であって、
前記被写体を撮像する際の撮影環境における環境光を検出する環境光検出手段と、
前記環境光検出手段による環境光検出結果に応じて、前記画素が受光する光の入射角受光特性の変化に応じて変化する値である入射角受光特性依存値を出力する出力手段と、
前記結像光学系における互いに異なる射出瞳領域を通過した一対の光に応じて前記撮像素子から得られる一対の像信号と前記入射角受光特性依存値とに基づいて前記被写体に合焦する前記結像光学系の焦点位置を検出する焦点検出手段と、
を有することを特徴とする撮像装置。 A plurality of pixels have an image sensor arranged in a two-dimensional matrix, and a subject image representing a subject is formed on the image sensor via an imaging optical system, and the image sensor responds to the subject image. An image pickup apparatus that outputs an image signal,
Ambient light detection means for detecting ambient light in a shooting environment when imaging the subject;
An output means for outputting an incident angle light receiving characteristic dependent value that is a value that changes according to a change in the incident angle light receiving characteristic of the light received by the pixel according to the environmental light detection result by the environmental light detecting means;
The result of focusing on the subject based on a pair of image signals obtained from the imaging device and a value dependent on the incident angle light receiving characteristic in response to a pair of light passing through different exit pupil regions in the imaging optical system. Focus detection means for detecting the focus position of the image optical system;
An imaging device comprising:

前記環境光の波長又は色温度に応じて互いに異なる複数の前記入射角受光特性依存値を記憶する記憶手段を有し、
前記出力手段は、前記環境光検出結果に基づいて前記複数の入射角受光特性依存値の配合率を変化させて、当該配合率に応じた入射角受光特性依存値を出力することを特徴とする請求項１に記載の撮像装置。 Storage means for storing a plurality of incident angle light receiving characteristic dependent values different from each other according to the wavelength or color temperature of the ambient light,
The output means is configured to change a blending rate of the plurality of incident angle light receiving characteristic dependent values based on the ambient light detection result, and to output an incident angle light receiving characteristic dependent value according to the blending ratio. The imaging device according to claim 1.

前記入射角受光特性依存値は、シェーディングを補正するための補正係数であることを特徴とする請求項１又は２記載の撮像装置。 The imaging apparatus according to claim 1, wherein the incident angle light receiving characteristic dependence value is a correction coefficient for correcting shading.

前記入射角受光特性依存値はデフォーカス量を換算するための換算係数であることを特徴とする請求項１又は２記載の撮像装置。 The imaging apparatus according to claim 1, wherein the incident angle light receiving characteristic dependence value is a conversion coefficient for converting a defocus amount.

前記入射角受光特性依存値は絞り値と射出瞳距離に応じてその値が異なることを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。 The imaging apparatus according to any one of claims 1 to 4, wherein the incident angle light receiving characteristic dependent value differs depending on an aperture value and an exit pupil distance.

複数の画素が２次元的マトリックス状に配列された撮像素子を有し、結像光学系を介して被写体を示す被写体像を前記撮像素子に結像して、前記撮像素子から前記被写体像に応じた画像信号を出力する撮像装置の制御方法であって、
前記被写体を撮像する際の撮影環境における環境光を検出する環境光検出ステップと、
前記環境光検出ステップによる環境光検出結果に応じて、前記画素が受光する光の入射角受光特性の変化に応じて変化する値である入射角受光特性依存値を出力する出力ステップと、
前記結像光学系における互いに異なる射出瞳領域を通過した一対の光に応じて前記撮像素子から得られる一対の像信号と前記入射角受光特性依存値とに基づいて前記被写体に合焦する前記結像光学系の焦点位置を検出する焦点検出ステップと、
を有することを特徴とする制御方法。 A plurality of pixels have an image sensor arranged in a two-dimensional matrix, and a subject image representing a subject is formed on the image sensor via an imaging optical system, and the image sensor responds to the subject image. A method for controlling an imaging apparatus that outputs a received image signal,
An ambient light detection step for detecting ambient light in a shooting environment when imaging the subject;
An output step of outputting an incident angle light receiving characteristic dependent value that is a value that changes in accordance with a change in the incident angle light receiving characteristic of the light received by the pixel, according to the ambient light detection result of the ambient light detection step;
The result of focusing on the subject based on a pair of image signals obtained from the imaging device and a value dependent on the incident angle light receiving characteristic in response to a pair of light passing through different exit pupil regions in the imaging optical system. A focus detection step for detecting a focus position of the image optical system;
A control method characterized by comprising:

複数の画素が２次元的マトリックス状に配列された撮像素子を有し、結像光学系を介して被写体を示す被写体像を前記撮像素子に結像して、前記撮像素子から前記被写体像に応じた画像信号を出力する撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
前記被写体を撮像する際の撮影環境における環境光を検出する環境光検出ステップと、
前記環境光検出ステップによる環境光検出結果に応じて、前記画素が受光する光の入射角受光特性の変化に応じて変化する値である入射角受光特性依存値を出力する出力ステップと、
前記結像光学系における互いに異なる射出瞳領域を通過した一対の光に応じて前記撮像素子から得られる一対の像信号と前記入射角受光特性依存値とに基づいて前記被写体に合焦する前記結像光学系の焦点位置を検出する焦点検出ステップと、
を実行させることを特徴とする制御プログラム。 A plurality of pixels have an image sensor arranged in a two-dimensional matrix, and a subject image representing a subject is formed on the image sensor via an imaging optical system, and the image sensor responds to the subject image. A control program used in an imaging device that outputs a captured image signal,
In the computer provided in the imaging device,
An ambient light detection step for detecting ambient light in a shooting environment when imaging the subject;
An output step of outputting an incident angle light receiving characteristic dependent value that is a value that changes in accordance with a change in the incident angle light receiving characteristic of the light received by the pixel, according to the ambient light detection result of the ambient light detection step;
The result of focusing on the subject based on a pair of image signals obtained from the imaging device and a value dependent on the incident angle light receiving characteristic in response to a pair of light passing through different exit pupil regions in the imaging optical system. A focus detection step for detecting a focus position of the image optical system;
A control program characterized by causing