JP2014036262A - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP2014036262A
JP2014036262A JP2012175069A JP2012175069A JP2014036262A JP 2014036262 A JP2014036262 A JP 2014036262A JP 2012175069 A JP2012175069 A JP 2012175069A JP 2012175069 A JP2012175069 A JP 2012175069A JP 2014036262 A JP2014036262 A JP 2014036262A
Authority
JP
Japan
Prior art keywords
pixel
imaging
pixel value
interpolation
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012175069A
Other languages
Japanese (ja)
Inventor
Nobutaka Hirama
宣孝 平間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2012175069A priority Critical patent/JP2014036262A/en
Publication of JP2014036262A publication Critical patent/JP2014036262A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To optimally perform pixel interpolation for focus detection even if lens information cannot be obtained.SOLUTION: An imaging element 14 has a phase difference AF pixel and obtains a Bayer array image by imaging a subject image formed by a photographic lens 24. A non-volatile memory 12 stores the position of a pixel for focus detection and also stores a parameter group determined per lens condition. A lens communication detection unit 17 detects whether data communication with an interchangeable lens 15 is possible or not. An AF pixel interpolation unit 50 interpolates, if communication is not possible, a pixel value for focus detection with a pixel value for interpolation imaging corresponding to a pixel value for imaging for each of a plurality of parameters selected from the parameter group relative to reference image data imaging a surface light source with uniform luminance. A parameter estimation unit 19 estimates as an optimum a parameter corresponding to a pixel value for interpolation imaging with the minimum error between them by comparing a pixel value for interpolation imaging and a pixel value for peripheral imaging per parameter. The AF pixel interpolation unit 50 interpolates the pixel value for focus detection with the pixel value for interpolation imaging by use of the estimated parameter at the time of real photographing.

Description

本発明は、撮像装置に関する。   The present invention relates to an imaging apparatus.

従来、複数の撮像用画素を２次元状に配列した受光面の一部に焦点検出用の複数の画素を配列した撮像素子が知られている（特許文献１）。複数の撮像用画素は、複数の色成分の各々に対応する分光特性を有し、また、焦点検出用画素は、複数の撮像用画素とは異なる分光特性を有する。特許文献１に記載の画像処理装置では、焦点検出用画素の位置に対応する撮像用画素値を補間し、その後、撮像用画素値のうち欠落色成分の画素値を補間して３色の画像データを作る。   2. Description of the Related Art Conventionally, there has been known an imaging element in which a plurality of pixels for focus detection are arranged on a part of a light receiving surface in which a plurality of imaging pixels are arranged in a two-dimensional manner (Patent Document 1). The plurality of imaging pixels have spectral characteristics corresponding to each of the plurality of color components, and the focus detection pixels have spectral characteristics different from the plurality of imaging pixels. In the image processing apparatus described in Patent Literature 1, an image pickup pixel value corresponding to the position of a focus detection pixel is interpolated, and then a pixel value of a missing color component among the image pickup pixel values is interpolated to obtain a three-color image. Create data.

焦点検出用画素の位置に対応する撮像用画素値を補間する場合、撮像素子によって生成された画像のうち焦点検出用画素の近傍の撮像用画素の画素値を用いて焦点検出用画素の補間画素値を生成し、近傍の撮像用画素が焦点検出用画素と同じ分光特性を有した場合の画素値である評価画素値を算出する。   When interpolating an imaging pixel value corresponding to the position of the focus detection pixel, an interpolation pixel of the focus detection pixel using the pixel value of the imaging pixel near the focus detection pixel in the image generated by the imaging element A value is generated, and an evaluation pixel value, which is a pixel value when a nearby imaging pixel has the same spectral characteristics as the focus detection pixel, is calculated.

評価画素値は、加重係数とともに焦点検出用画素の近傍の複数の撮像用画素値を用いて加重和を求めることで算出している。加重係数は、焦点検出用画素の分光特性を複数の撮像用画素の各々の分光特性の加重和によって表すためパラメータであり、予め記憶部に記憶されている。   The evaluation pixel value is calculated by obtaining a weighted sum using a plurality of imaging pixel values in the vicinity of the focus detection pixel together with the weighting coefficient. The weighting coefficient is a parameter for representing the spectral characteristic of the focus detection pixel by the weighted sum of the spectral characteristics of the plurality of imaging pixels, and is stored in the storage unit in advance.

加重係数は、焦点検出用撮像画素の分光感度とその周囲の撮像用画素の分光感度によって異なる。また、加重係数は、撮像時に得られるレンズ条件、すなわち、絞り（Ｆ）値、及び射出瞳位置（ＰＯ値）に応じて光の集光が変化するため、レンズ条件毎に異なる値を使用することが望ましい。そこで、交換レンズにＣＰＵやメモリ、及び通信用接点等を設け、撮影時に設定されているＦ値や、予めメモリに記憶されているＰＯ値等のレンズ情報をカメラボディに送っている。   The weighting coefficient differs depending on the spectral sensitivity of the focus detection imaging pixel and the spectral sensitivity of the surrounding imaging pixels. In addition, the weighting coefficient varies depending on the lens conditions because the light collection changes according to the lens conditions obtained at the time of imaging, that is, the aperture (F) value and the exit pupil position (PO value). It is desirable. Therefore, the interchangeable lens is provided with a CPU, a memory, a communication contact, and the like, and lens information such as an F value set at the time of shooting and a PO value stored in the memory in advance is sent to the camera body.

特開２００９−３０３１９４号公報JP 2009-303194 A

しかしながら、ＣＰＵやメモリ等が内蔵されていない交換レンズの場合には、レンズ情報をカメラボディ側で認識できない。この場合には、例えば、予め用意しておいた固定値になっているパラメータを用いて処理を行っており、必ずしも最適なパラメータで補間されていないために、ＡＦ画素の補間がうまくいかないおそれがあった。   However, in the case of an interchangeable lens that does not incorporate a CPU, memory, or the like, lens information cannot be recognized on the camera body side. In this case, for example, processing is performed using parameters that are fixed values prepared in advance, and interpolation is not necessarily performed with optimal parameters. It was.

本発明は、レンズ情報を取得することができない交換レンズを使用する場合でも、ＡＦ画素の補間処理を最適に行うことができる撮像装置を提供することを目的とする。   An object of the present invention is to provide an imaging apparatus capable of optimally performing AF pixel interpolation processing even when an interchangeable lens that cannot acquire lens information is used.

本発明を例示する撮像装置の一態様は、複数の撮像用画素及び複数の焦点検出用画素を有し撮影レンズにより結像する被写体像を撮像する撮像素子と、前記焦点検出用画素の位置を各々記憶するＡＦ画素位置記憶手段と、前記撮像素子により撮像した画像データに対して前記焦点検出用画素の位置から得られる焦点検出用画素値をその周辺の撮像用画素の位置から得られる周辺撮像用画素値とレンズ条件毎に予め決められているパラメータ群の中から撮影時に取得するレンズ条件に基づいて決まるパラメータとを用いて前記撮像用画素値に対応する補間撮像用画素値に補間するとともにレンズ条件を撮影時に取得することができない場合には輝度分布が一様な被写体を前記撮像素子により撮像した基準画像データに含まれる前記焦点検出用画素値を前記パラメータ群の中から選択した複数のパラメータ毎に前記補間撮像用画素値に補間する画素補間手段と、前記画素補間手段から出力される前記パラメータ毎に補間した補間撮像用画素値と前記基準画像データに含まれる前記周辺撮像用画素値とを比較し比較結果に基づいて前記複数のパラメータの中から最適なパラメータを推定するパラメータ推定手段と、を備えたものである。   One embodiment of an imaging device illustrating the present invention includes an imaging element that has a plurality of imaging pixels and a plurality of focus detection pixels and that captures a subject image formed by a photographic lens, and positions of the focus detection pixels. Peripheral imaging obtained from the positions of the surrounding imaging pixels, the AF pixel position storage means for storing each, and the focus detection pixel value obtained from the position of the focus detection pixel for the image data captured by the imaging device And interpolating to the interpolated imaging pixel value corresponding to the imaging pixel value using a pixel value and a parameter determined based on a lens condition acquired at the time of imaging from among a predetermined parameter group for each lens condition When the lens condition cannot be acquired at the time of shooting, the focus detection image included in the reference image data obtained by imaging the subject having a uniform luminance distribution by the imaging device. A pixel interpolating means for interpolating the interpolated imaging pixel value for each of a plurality of parameters selected from the parameter group; an interpolated imaging pixel value interpolated for each of the parameters output from the pixel interpolating means; Parameter estimation means for comparing the peripheral imaging pixel values included in the reference image data and estimating an optimum parameter from the plurality of parameters based on a comparison result.

本発明によれば、レンズ情報を取得することができない交換レンズを装着しても焦点検出用画素補間に最適なパラメータを設定することができる。   According to the present invention, it is possible to set an optimum parameter for focus detection pixel interpolation even when an interchangeable lens that cannot acquire lens information is attached.

本発明の撮像装置の一態様である電子カメラの概略を示すブロック図である。It is a block diagram which shows the outline of the electronic camera which is one aspect | mode of the imaging device of this invention. 撮像素子の受光面に設けた位相差焦点検出用画素列を示す説明図である。It is explanatory drawing which shows the pixel row for phase difference focus detection provided in the light-receiving surface of an image pick-up element. 焦点検出用画素の要部を示す説明図である。It is explanatory drawing which shows the principal part of the pixel for focus detection. 電子カメラの動作手順の概略を示すフローチャートである。It is a flowchart which shows the outline of the operation | movement procedure of an electronic camera. パラメータ推定処理の動作手順を示すフローチャートである。It is a flowchart which shows the operation | movement procedure of a parameter estimation process. 輝度分布が一様な被写体を電子カメラで撮像する時に使用する原稿、及び照明等の一態様を示す斜視図である。FIG. 3 is a perspective view illustrating one aspect of a document, illumination, and the like used when an object with uniform luminance distribution is imaged with an electronic camera. 画素補間処理の動作手順を示すフローチャートである。It is a flowchart which shows the operation | movement procedure of a pixel interpolation process. ＡＦ画素、及び撮像用画素から得られる画素値を各画素位置に表した説明図である。It is explanatory drawing which represented the pixel value obtained from AF pixel and the pixel for imaging at each pixel position. 最も少ない誤差量を含む撮像用画素値データに対応するパラメータを推定する処理を概略的に示す説明図である。It is explanatory drawing which shows roughly the process which estimates the parameter corresponding to the pixel value data for imaging containing the least error amount. 凸構造を含む縦５画素の画像構造を縦断したときの画素値を示す説明図である。It is explanatory drawing which shows a pixel value when the vertical 5 pixel image structure containing a convex structure is cut | disconnected vertically. ＡＦ画素列に対して離れた位置に周辺撮像用画素列を設けた別の例を示す説明図である。It is explanatory drawing which shows another example which provided the peripheral imaging pixel row | line | column in the position distant from AF pixel row | line | column.

本発明を適用した電子カメラ１０は、図１に示すように、ＣＰＵ１１を備えている。ＣＰＵ１１には、不揮発性メモリ１２、及びワークメモリ１３が接続されており、不揮発性メモリ１２には、ＣＰＵ１１が種々の制御を行う際に参照される制御プログラムなどが格納されている。さらに、不揮発性メモリ１２には、詳しくは後述する撮像素子１４の種別毎の焦点検出用画素（ＡＦ画素）の位置情報、予め求めておいた画像処理プログラムに用いる各種閾値のデータや、焦点検出用画素値を撮像用画素値に補間するためのパラメータ（加重係数）等を記述したパラメータテーブル、及び各種判定用テーブル等を記憶する。   An electronic camera 10 to which the present invention is applied includes a CPU 11 as shown in FIG. A non-volatile memory 12 and a work memory 13 are connected to the CPU 11, and the non-volatile memory 12 stores a control program that is referred to when the CPU 11 performs various controls. Further, in the nonvolatile memory 12, position information of focus detection pixels (AF pixels) for each type of the image sensor 14, which will be described in detail later, various threshold data used for an image processing program obtained in advance, and focus detection A parameter table describing parameters (weighting coefficients) for interpolating the pixel values for imaging to the imaging pixel values, various determination tables, and the like are stored.

ＣＰＵ１１は、不揮発性メモリ１２に格納されている制御プログラムに従い、ワークメモリ１３を一時記憶作業領域として利用して各部の制御を行い、電子カメラ１０を構成する各部（回路）機能を作動させる。   The CPU 11 controls each part using the work memory 13 as a temporary storage work area according to a control program stored in the non-volatile memory 12 and operates each part (circuit) function constituting the electronic camera 10.

パラメータは、ＡＦ画素から得られる画素値を撮像用画素値に補間する画素補間処理を行う時に、撮影時のレンズ条件に応じたものが用いられる。撮影時のレンズ条件は、交換レンズ１５の種別毎に決められている射出瞳位置（ＰＯ値）、及び撮影時に決められる絞り（Ｆ）値となっている。   As the parameters, parameters corresponding to lens conditions at the time of photographing are used when performing pixel interpolation processing for interpolating pixel values obtained from AF pixels to imaging pixel values. The lens conditions at the time of shooting are an exit pupil position (PO value) determined for each type of the interchangeable lens 15 and an aperture (F) value determined at the time of shooting.

交換レンズ１５は、焦点距離や開放絞り（Ｆ）値等の異なる種別が複数用意されており、電子カメラ１０のマウント部に着脱自在に取り付けられる。また、交換レンズ１５には、単焦点の撮影レンズ２４以外に、図示していないがＣＰＵ、メモリ、及び通信用接点等を備え、カメラボディのＣＰＵ１１との間でデータ通信が行えるタイプがある。このように通信が行える交換レンズ１５を使用する場合、撮像時に得られるレンズ条件をＣＰＵ１１が自動的に取得することができる。なお、通信用接点等の有線通信の代わりに、無線通信で行うようにしてもよい。   The interchangeable lens 15 is provided with a plurality of different types such as a focal length and an open aperture (F) value, and is detachably attached to the mount portion of the electronic camera 10. In addition to the single-focus imaging lens 24, the interchangeable lens 15 includes a CPU (not shown), a memory, a communication contact, and the like, and can perform data communication with the CPU 11 of the camera body. When using the interchangeable lens 15 that can communicate in this way, the CPU 11 can automatically acquire the lens conditions obtained at the time of imaging. Note that wireless communication may be used instead of wired communication such as communication contacts.

また、交換レンズ１５には、カメラボディのマウント部に互換性を有していないものがある。そのため、変換アダプタ１６が提供されている。変換アダプタ１６は、第１及び第２マウント部、入力部、及び出力部を備えている。第１マウント部は、交換レンズ１５に着脱自在に取り付けられる。第２マウント部は、カメラボディに着脱自在に取り付けられる。入力部には、交換レンズ１５からレンズ情報が入力される。出力部は、入力部に入力されたレンズ情報をカメラボディのＣＰＵ１１に出力する。マウント部の互換性がない交換レンズ１５には、前述したと同じに、データ通信が可能なものと不可なものとがある。   Some interchangeable lenses 15 are not compatible with the mount portion of the camera body. Therefore, a conversion adapter 16 is provided. The conversion adapter 16 includes first and second mount parts, an input part, and an output part. The first mount portion is detachably attached to the interchangeable lens 15. The second mount part is detachably attached to the camera body. Lens information is input from the interchangeable lens 15 to the input unit. The output unit outputs the lens information input to the input unit to the CPU 11 of the camera body. As described above, the interchangeable lens 15 having incompatible mount portions includes those that can perform data communication and those that cannot.

このため、電子カメラ１０には、レンズ通信検出部１７、及びレンズ条件取得部１８を備えている。レンズ通信検出部１７は、変換アダプタ１６が装着されているか否かを検知し、変換アダプタ１６が装着されていないことを検出した場合には、交換レンズ１５が装着されているものと判断する。   For this reason, the electronic camera 10 includes a lens communication detection unit 17 and a lens condition acquisition unit 18. The lens communication detection unit 17 detects whether or not the conversion adapter 16 is attached, and determines that the interchangeable lens 15 is attached when detecting that the conversion adapter 16 is not attached.

その後、装着されている交換レンズ１５が通信可能か否かを検出する。レンズ条件取得部１８は、通信可能である場合、交換レンズ１５のＣＰＵとの間で通信してレンズ条件を取得してその情報をＣＰＵ１１に送る。ＣＰＵ１１は、パラメータ決定部２０を有し、パラメータ決定部２０は、撮影時に交換レンズ１５から自動的に取得するレンズ情報に基づいて、その時点の撮影時に最適な一つのパラメータを、前記不揮発性メモリ１２に予め記憶したパラメータテーブルを参照して自動的に決定する。   Thereafter, it is detected whether or not the interchangeable lens 15 attached can communicate. If communication is possible, the lens condition acquisition unit 18 communicates with the CPU of the interchangeable lens 15 to acquire lens conditions and sends the information to the CPU 11. The CPU 11 includes a parameter determination unit 20, and the parameter determination unit 20 stores one parameter that is optimal at the time of shooting based on the lens information automatically acquired from the interchangeable lens 15 at the time of shooting. 12 is automatically determined with reference to a parameter table stored in advance in the table 12.

通信が不可の交換レンズ１５を使用する場合には、レンズ条件を取得することができない。そこで、ＣＰＵ１１は、パラメータ推定部１９を備えている。パラメータ推定部１９は、均一輝度の面光源を撮像した基準画像データに基づいて、詳しくは後述するＡＦ画素補間部５０で複数のパラメータ毎に補間した撮像用画素値と、その焦点検出用画素の周辺の撮像用画素から得られる周辺撮像用画素値とを比較して、比較結果に基づいてその時点のレンズ条件で最適なパラメータを決める。   When the interchangeable lens 15 that cannot communicate is used, the lens condition cannot be acquired. Therefore, the CPU 11 includes a parameter estimation unit 19. The parameter estimation unit 19, based on the reference image data obtained by imaging the surface light source with uniform brightness, details the imaging pixel value interpolated for each of a plurality of parameters by the AF pixel interpolation unit 50 described later, and the focus detection pixel. The peripheral imaging pixel values obtained from the peripheral imaging pixels are compared, and the optimum parameter is determined based on the comparison result based on the lens conditions at that time.

操作部３７は、調整モード選択操作部を有する。調整モード選択操作部は、調整モードを選択するための操作部である。調整モードは、通信不可の交換レンズ１５を使用する時に選択されるモードであり、レンズ条件が分からない時にパラメータを推定する処理を実行する。通信不可の交換レンズ１５を使用する場合、ＣＰＵ１１は、調整モードが選択されることに応答して、例えば「輝度分布が一様な被写体を撮影してください。」等、基準被写体を撮影する指示を促すメッセージを表示部２１に表示するように制御して、輝度分布が一様な被写体（基準被写体）を撮像させ、撮像により取得した基準画像データに基づいて、次回の本撮影時点のレンズ条件に最適なパラメータを推定する。なお、ＣＰＵ１１は、交換レンズ１５との間で通信不可を検出することに応答して自動的に前記メッセージを表示するように制御してもよい。   The operation unit 37 includes an adjustment mode selection operation unit. The adjustment mode selection operation unit is an operation unit for selecting an adjustment mode. The adjustment mode is a mode that is selected when the interchangeable lens 15 that cannot communicate is used, and executes processing for estimating parameters when the lens conditions are unknown. In the case of using the interchangeable lens 15 that cannot communicate, the CPU 11 responds to the selection of the adjustment mode, for example, an instruction to shoot a reference subject such as “shoot a subject with a uniform luminance distribution”. The display unit 21 is controlled to display a message for prompting to image a subject (reference subject) having a uniform luminance distribution, and based on the reference image data acquired by the imaging, the lens conditions at the time of the next main photographing Estimate the optimal parameters. Note that the CPU 11 may control to automatically display the message in response to detecting that communication with the interchangeable lens 15 is not possible.

撮影レンズ２４から入射する被写体光は、ＣＣＤやＣＭＯＳ等の撮像素子１４の受光面に結像する。撮像素子駆動回路２５は、ＣＰＵ１１からの制御信号に基づいて撮像素子１４を駆動させる。撮像素子１４は、ベイヤー配列型単板撮像素子になっており、前面には原色透過フィルタ２６が取り付けられている。
原色透過フィルタ２６は、撮像素子１４の総画素数Ｎに対して、例えば、Ｇ（緑色）の解像度がＮ／２、Ｒ（赤色）及びＢ（青色）の解像度がＮ／４となる原色ベイヤー配列になっている。 Subject light incident from the photographing lens 24 forms an image on the light receiving surface of the image sensor 14 such as a CCD or CMOS. The image sensor drive circuit 25 drives the image sensor 14 based on a control signal from the CPU 11. The image sensor 14 is a Bayer array type single-plate image sensor, and a primary color transmission filter 26 is attached to the front surface.
The primary color transmission filter 26 is, for example, a primary color Bayer in which the resolution of G (green) is N / 2 and the resolution of R (red) and B (blue) is N / 4 with respect to the total number N of pixels of the image sensor 14. It is an array.

撮像素子１４の受光面に結像した被写体像は、アナログの画像信号に変換される。画像信号は、ＡＦＥ（Analog Front End）回路を構成するＣＤＳ２７、及びＡＭＰ２８に順に送られて所定のアナログ処理が施され、その後、Ａ／Ｄ（Analog/Digital変換器）２９においてデジタルの画像データに変換されてから画像処理部３０に送られる。   The subject image formed on the light receiving surface of the image sensor 14 is converted into an analog image signal. The image signal is sequentially sent to a CDS 27 and an AMP 28 constituting an AFE (Analog Front End) circuit, subjected to predetermined analog processing, and then converted into digital image data in an A / D (Analog / Digital converter) 29. After being converted, it is sent to the image processing unit 30.

画像処理部３０は、分離回路、ホワイトバランス処理回路、画素補間（デモザイキング）回路、マトリクス処理回路、非線形変換（γ補正）処理回路、及び輪郭強調処理回路等を備え、デジタルの画像データに対して、ホワイトバランス、画素補間、マトリクス、非線形変換（γ補正）、及び輪郭強調等の処理を施す。分離回路は、詳しくは後述する撮像用画素から出力される信号と、焦点検出用画素から出力される信号とを分離する。画素補間回路は、１画素当たり１色のベイヤー配列データを、１画素当たり３色からなる通常のカラー画像データに変換する。   The image processing unit 30 includes a separation circuit, a white balance processing circuit, a pixel interpolation (demosaicing) circuit, a matrix processing circuit, a non-linear transformation (γ correction) processing circuit, an edge enhancement processing circuit, and the like. Thus, processing such as white balance, pixel interpolation, matrix, nonlinear conversion (γ correction), and contour enhancement is performed. The separation circuit separates a signal output from an imaging pixel, which will be described in detail later, and a signal output from the focus detection pixel. The pixel interpolation circuit converts Bayer array data of one color per pixel into normal color image data composed of three colors per pixel.

画像処理部３０から出力される３色の画像データは、バス３１を通じてＳＤＲＡＭ３２に格納される。ＳＤＲＡＭ３２に格納した画像データは、ＣＰＵ１１の制御により読み出されて表示制御部３３に送られる。表示制御部３３は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部２１にスルー画像として出力する。   The three-color image data output from the image processing unit 30 is stored in the SDRAM 32 through the bus 31. The image data stored in the SDRAM 32 is read out under the control of the CPU 11 and sent to the display control unit 33. The display control unit 33 converts the input image data into a predetermined signal for display (for example, an NTSC color composite video signal), and outputs the converted signal to the display unit 21 as a through image.

また、シャッタレリーズに応答して取得した画像データは、ＳＤＲＡＭ３２から読み出した後に圧縮伸長処理部３４に送られ、ここで圧縮処理が施されてからメディアコントローラ３５を介して記録媒体であるカードメモリ３６に記録される。ＣＰＵ１１には、操作部３７が接続されている。操作部３７は、前述した調整モード選択操作部以外に、シャッタボタン、電源スイッチ、シャッタ速度設定部、絞り設定部、及びＩＳＯ感度設定部等を含む。   The image data acquired in response to the shutter release is read from the SDRAM 32 and then sent to the compression / decompression processing unit 34. After the compression processing is performed here, the card memory 36 which is a recording medium via the media controller 35. To be recorded. An operation unit 37 is connected to the CPU 11. The operation unit 37 includes a shutter button, a power switch, a shutter speed setting unit, an aperture setting unit, an ISO sensitivity setting unit, and the like in addition to the adjustment mode selection operation unit described above.

ＡＥ／ＡＦ検出部３９は、焦点検出用画素の信号に基づいて瞳分割型位相差検出方式によりデフォーカス量、及びデフォーカスの方向を検出する。ＣＰＵ１１は、ＡＥ／ＡＦ検出部３９で得られるデフォーカス量、及びデフォーカスの方向に基づいてドライバ４０を制御してレンズ駆動部４１を駆動して撮影レンズ２４のうち、フォーカスレンズを光軸方向で進退させて焦点調整を行う。   The AE / AF detection unit 39 detects the defocus amount and the defocus direction by the pupil division type phase difference detection method based on the focus detection pixel signal. The CPU 11 controls the driver 40 based on the defocus amount and the defocus direction obtained by the AE / AF detection unit 39 to drive the lens driving unit 41 to move the focus lens of the photographing lens 24 in the optical axis direction. Adjust the focus by moving forward and backward.

また、ＡＥ／ＡＦ検出部３９は、撮像用画素の信号に基づいて算出した輝度値（Ｂｖ）と、ＩＳＯ感度設定部で設定したＳｖ値とを用いて光値（Ｌｖ＝Ｓｖ＋Ｂｖ）を算出する。そして、ＡＥ／ＡＦ検出部３９は、露出値（Ｅｖ＝Ａｖ＋Ｔｖ）が光値（Ｌｖ）になるように絞り値とシャッタ速度とを決定する。そして、これに従ってＣＰＵ１１は、撮像素子１４の電子シャッタ、及びドライバ４２を介して絞り駆動部４３を駆動して交換レンズ１５に設けた絞り４４の口径を制御して適正な露光量を得る。   Further, the AE / AF detection unit 39 calculates a light value (Lv = Sv + Bv) by using the luminance value (Bv) calculated based on the image pickup pixel signal and the Sv value set by the ISO sensitivity setting unit. . Then, the AE / AF detection unit 39 determines the aperture value and the shutter speed so that the exposure value (Ev = Av + Tv) becomes the light value (Lv). In accordance with this, the CPU 11 drives the diaphragm drive unit 43 via the electronic shutter of the image sensor 14 and the driver 42 to control the aperture of the diaphragm 44 provided on the interchangeable lens 15 to obtain an appropriate exposure amount.

撮像素子１４は、その受光面上にある複数の撮像用画素の各々に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかの原色透過フィルタ２６がベイヤー配列型に設けられ、その上にマイクロレンズアレイが設けられたＣＣＤやＣＭＯＳの半導体イメージセンサ等を適宜選択して用いる。さらに、本実施形態の撮像素子１４は、受光面上の一部の領域に、水平走査方向に一次元的に配置された複数の焦点検出用画素（ＡＦ画素）を有する。なお、本実施形態では、各ＡＦ画素に原色透過フィルタ２６が設けられていない例として説明する。   The imaging device 14 is provided with a primary color transmission filter 26 of R (red), G (green), or B (blue) in a Bayer array type in each of a plurality of imaging pixels on the light receiving surface. A CCD or CMOS semiconductor image sensor with a microlens array provided thereon is appropriately selected and used. Furthermore, the image sensor 14 of the present embodiment has a plurality of focus detection pixels (AF pixels) arranged one-dimensionally in the horizontal scanning direction in a partial region on the light receiving surface. In the present embodiment, an example in which the primary color transmission filter 26 is not provided in each AF pixel will be described.

ＡＦ画素は、撮像レンズ２４の光学系の瞳の左側、又は右側を通過する光束を受光する２種別存在する位相差ＡＦ画素になっている。撮像素子１４は、撮像用画素群、及びＡＦ画素群からの画素信号を個別に読み出しすることができる。   The AF pixels are two types of phase difference AF pixels that receive light beams that pass through the left or right side of the pupil of the optical system of the imaging lens 24. The image sensor 14 can individually read out pixel signals from the imaging pixel group and the AF pixel group.

ＡＦ画素群は、図２に示すように、受光面１４ａのうちの水平走査方向に密に並べたＡＦ画素列（同図に示した直線）４７を、垂直走査方向に所定ピッチずつ離して規則的に配置して構成されている。ＡＦ画素列４７の間には、撮像用画素列が複数配されている。複数のＡＦ画素列４７のうちの最も上下にあるＡＦ画素列４７ａ，４７ｚは、焦点検出の必要性が低い受光面１４ａの四隅に含まれる部分が省略されて長さが短くなっている。   As shown in FIG. 2, in the AF pixel group, AF pixel rows (straight lines shown in the figure) 47 closely arranged in the horizontal scanning direction on the light receiving surface 14a are separated by a predetermined pitch in the vertical scanning direction. It is arranged and configured. A plurality of imaging pixel columns are arranged between the AF pixel columns 47. Among the plurality of AF pixel rows 47, the uppermost and lower AF pixel rows 47a and 47z are reduced in length by omitting the portions included in the four corners of the light receiving surface 14a where the necessity of focus detection is low.

各ＡＦ画素４６は、図３に示すように、セル中心（マイクロレンズの中心）から一方に偏ったセンサ開口部４６ａ，４６ｂを持ち、その偏りの方向に沿って１次元状に並べられている。隣接するセンサ開口部４６ａ，４６ｂは、偏りが互いに逆方向であり、その偏りの距離は同一である。センサ開口部４６ａを有するＡＦ画素４６は、ＲＧＢ原色ベイヤー配列中のＧ画素の代わりに置かれ、また、センサ開口部４６ｂを有するＡＦ画素４６は、ＲＧＢ原色ベイヤー配列中のＢ画素の代わりに置かれている。このようなセンサ開口部４６ａ，４６ｂをもつＡＦ画素４６によって瞳分割位相差ＡＦ方式を実現する。つまり、射出瞳を通る光束の中で撮影レンズ２４の光軸に対して対称な位置にある２つの部分光束を、センサ開口部４６ａをもつＡＦ画素４６とセンサ開口部４６ｂをもつＡＦ画素４６でそれぞれ受光すれば、これら２つのＡＦ画素４６から出力された信号の位相差によりデフォーカスの方向と、デフォーカス量とが分かる。これにより速やかなフォーカス合わせが可能になる。   As shown in FIG. 3, each AF pixel 46 has sensor openings 46a and 46b that are biased to one side from the cell center (the center of the microlens), and are arranged one-dimensionally along the direction of the bias. . The adjacent sensor openings 46a and 46b are biased in opposite directions, and the bias distance is the same. The AF pixel 46 having the sensor opening 46a is placed in place of the G pixel in the RGB primary color Bayer array, and the AF pixel 46 having the sensor opening 46b is placed in place of the B pixel in the RGB primary color Bayer array. It is. The pupil division phase difference AF method is realized by the AF pixel 46 having such sensor openings 46a and 46b. That is, of the two light fluxes passing through the exit pupil, two partial light fluxes that are symmetric with respect to the optical axis of the photographic lens 24 are separated by the AF pixel 46 having the sensor aperture 46a and the AF pixel 46 having the sensor aperture 46b. If each light is received, the defocus direction and the defocus amount can be known from the phase difference between the signals output from these two AF pixels 46. This enables quick focusing.

したがって、本実施形態におけるＡＦ画素４６の各々は、白色光の輝度に応じた左側、又は右側の瞳分割された検出信号を出力する。図３は、撮像素子１４によって撮像された画像データのうち、ＡＦ画素４６が配置された領域を中心とした画像データの一部を示す。それぞれのセルが１つの画素を表す。各セルの先頭の記号Ｒ、Ｇ及びＢは、各原色透過フィルタ２６を有する撮像用画素を示す。一方、記号Ｘ及びＹは、左側又は右側からの光束に感度を有するＡＦ画素を示し、それらが交互に水平走査方向に一次元的に配列されている。これらの記号に続く２桁の番号は画素の位置を示す。   Therefore, each AF pixel 46 in the present embodiment outputs a detection signal obtained by dividing the left or right pupil according to the luminance of white light. FIG. 3 shows a part of the image data centered on the area where the AF pixel 46 is arranged in the image data captured by the image sensor 14. Each cell represents one pixel. Symbols R, G, and B at the head of each cell indicate an imaging pixel having each primary color transmission filter 26. On the other hand, symbols X and Y indicate AF pixels that are sensitive to light beams from the left side or the right side, and they are alternately arranged one-dimensionally in the horizontal scanning direction. The two-digit number following these symbols indicates the pixel position.

画像処理部３０は、ＡＦ画素４６の画素値（ＡＦ画素値（焦点検出用画素値））を撮像用画素の画素値（補間撮像用画素値）に補間するＡＦ画素補間部（画素補間手段）５０を有し、ＡＦ画素値を補間撮像用画素値に補間した後に、ベイヤー配列からＲＧＢへの線形補間法による色補間を行う。   The image processing unit 30 interpolates the pixel value of the AF pixel 46 (AF pixel value (focus detection pixel value)) to the pixel value of the imaging pixel (interpolated imaging pixel value) (pixel interpolation means). 50, and after interpolating the AF pixel value to the interpolation imaging pixel value, color interpolation is performed by the linear interpolation method from the Bayer array to RGB.

ＡＦ画素補間部５０は、交換レンズ１５との間でレンズ通信が不可能である場合、又は調整モードが選択された場合、ＡＦ画素値を用いて画素補間をする画素補間処理を実行する。画素補間処理は、ＡＦ画素値（ホワイト（Ｗ）成分）から周囲の撮像用画素値（周辺撮像用画素値）を元に加重和で予測することで、そのＡＦ画素値を補間する。このとき、予め決められている複数のパラメータのうち、撮影時点のレンズ条件に応じた一つのパラメータ、すなわち詳しくは後述する加重係数を、画素の色成分毎に選択して用いる。   When the lens communication with the interchangeable lens 15 is impossible or when the adjustment mode is selected, the AF pixel interpolation unit 50 performs a pixel interpolation process that performs pixel interpolation using the AF pixel value. In the pixel interpolation process, the AF pixel value is interpolated by predicting with a weighted sum based on the surrounding imaging pixel value (peripheral imaging pixel value) from the AF pixel value (white (W) component). At this time, one parameter corresponding to the lens condition at the time of shooting, that is, a weighting coefficient described later in detail, is selected and used for each color component of the pixel among a plurality of predetermined parameters.

次に、上記構成の作用について図４を参照しながら説明する。ＣＰＵ１１は、電源スイッチのオンに応答して（Ｓ−１）、モード選択操作部で選択されているモードを監視する（Ｓ−２）。調整モードが選択されている場合には、パラメータ推定処理を実行する（Ｓ−２の「Ｙ」側）。調整モード以外の撮影モード場合には、その時点に取り付けられている交換レンズ１５との間でデータ通信が行えるか否かを判断する（Ｓ−２の「Ｎ」側）。ここで、本実施形態では、変換アダプタ１６を使用せずに装着することができるマウントに互換性のある交換レンズ１５は、データ通信が可能であり、また、変換アダプタ１６を使用するマウントに互換性のない交換レンズ１５に対しては、データ通信が可能なものと不可なものとがあると仮定して説明する。   Next, the operation of the above configuration will be described with reference to FIG. In response to turning on the power switch (S-1), the CPU 11 monitors the mode selected by the mode selection operation unit (S-2). When the adjustment mode is selected, parameter estimation processing is executed (“Y” side of S-2). In a shooting mode other than the adjustment mode, it is determined whether or not data communication can be performed with the interchangeable lens 15 attached at that time (“N” side of S-2). Here, in this embodiment, the interchangeable lens 15 compatible with the mount that can be mounted without using the conversion adapter 16 is capable of data communication and is compatible with the mount using the conversion adapter 16. Description will be made on the assumption that there are some interchangeable lenses 15 that are not capable of data communication and those that are not.

レンズ通信検出部１７は、パラメータ決定処理の実行指示に応答して、変換アダプタ１６が装着されているか否かを検知し（Ｓ−３）、その後、変換アダプタ１６の装着を検知した場合にはデータ通信が可能か否かを検出する（Ｓ−４）。変換アダプタ１６の装着を検知し、かつ交換レンズ１５との間でデータ通信が可能であることを検出した場合には（Ｓ−４の「Ｙ」側）、レンズ条件取得部１８を動作させてパラメータ決定処理を実行する（Ｓ−５）。また、変換アダプタ１６の装着を検知しない場合には（Ｓ−３の「Ｎ」側）、データ通信が可能な交換レンズ１５が装着されているとみなし、前述した同様にパラメータ決定処理を実行する（Ｓ−５）。   The lens communication detection unit 17 detects whether or not the conversion adapter 16 is attached in response to the instruction to execute the parameter determination process (S-3), and then detects that the conversion adapter 16 is attached. It is detected whether data communication is possible (S-4). When it is detected that the conversion adapter 16 is attached and data communication with the interchangeable lens 15 is possible ("Y" side of S-4), the lens condition acquisition unit 18 is operated. A parameter determination process is executed (S-5). If the attachment of the conversion adapter 16 is not detected (“N” side of S-3), it is assumed that the interchangeable lens 15 capable of data communication is attached, and the parameter determination process is executed in the same manner as described above. (S-5).

［パラメータ決定処理］
パラメータ決定処理は、交換レンズ１５から撮影時点のレンズ条件を取得し、取得したレンズ条件に基づいてパラメータを自動的に決定する処理である。
具体的には、レンズ条件取得部１８は、シャッタレリーズの半押し操作、又は全押し操作に応答して、レンズ条件の情報を交換レンズ１５のＣＰＵを介してメモリから自動的に読み出して取得する。取得したレンズ条件の情報は、交換レンズ１５の種別に応じたＰＯ値とＦ値（絞り値）とを含む。パラメータ決定部２０は、ＰＯ値とＦ値とに基づいて、その撮影時点で最適なパラメータを求める。パラメータは、予め不揮発性メモリ１２に記憶したパラメータテーブルに記述されている。パラメータテーブルには、例えば［表１］に示すように、横軸(行)にＰＯ値を、縦軸（列）にＦ値をとり、行列（マトリクス）の交点に、異なるパラメータ群を記述した形態となっている。パラメータテーブルは、画素の色成分毎に用意されている。パラメータテーブルから求めたパラメータは、ワークメモリ１３に一時的に記憶され、詳しくは後述する本撮影により取得した画像データに対して画素補間処理（Ｓ−８）を行う時に使用される。 [Parameter determination processing]
The parameter determination process is a process of acquiring the lens condition at the time of shooting from the interchangeable lens 15 and automatically determining the parameter based on the acquired lens condition.
Specifically, the lens condition acquisition unit 18 automatically reads and acquires lens condition information from the memory via the CPU of the interchangeable lens 15 in response to a half-pressing operation or full-pressing operation of the shutter release. . The acquired lens condition information includes a PO value and an F value (aperture value) corresponding to the type of the interchangeable lens 15. The parameter determination unit 20 obtains an optimum parameter at the time of shooting based on the PO value and the F value. The parameters are described in a parameter table stored in advance in the nonvolatile memory 12. In the parameter table, for example, as shown in [Table 1], the horizontal axis (row) has the PO value, the vertical axis (column) has the F value, and different parameter groups are described at the intersection of the matrix (matrix). It has a form. The parameter table is prepared for each color component of the pixel. The parameters obtained from the parameter table are temporarily stored in the work memory 13, and are used when pixel interpolation processing (S-8) is performed on image data acquired by actual photographing, which will be described in detail later.

Figure 2014036262
Figure 2014036262

変換アダプタ１６の装着を検知し、かつデータ通信が不可であると検出した場合には、パラメータ推定部１９が撮影時点のレンズ条件に応じたパラメータを推定するパラメータ推定処理を実行する（Ｓ−６）。パラメータ推定処理は、交換レンズ１５からレンズ条件を取得することができない時に、ＣＰＵ１１のパラメータ推定部１９で実行されるものであり、均一輝度の面光源を撮像素子１４により撮像した基準画像データに対して複数のパラメータ毎に画素補間処理を施して、パラメータ毎に補間した撮像用画素値（補間撮像用画素値）とそのＡＦ画素の周辺の撮像用画素の画素値（周辺撮像用画素値）とを比較し、比較結果に基づいて複数のパラメータの中から撮影時点のレンズ条件に最適な一つのパラメータを推定する処理である。なお、交換レンズ１５との間でデータ通信が不可である場合には、撮影レンズ２４の合焦と絞り４４とを自動的に制御できないため、ピント位置、シャッタ速度、及び絞り値を予め決めて撮影をするマニュアル撮影が行われる。   When it is detected that the conversion adapter 16 is attached and data communication is not possible, the parameter estimation unit 19 executes a parameter estimation process for estimating parameters according to the lens conditions at the time of shooting (S-6). ). The parameter estimation process is executed by the parameter estimation unit 19 of the CPU 11 when the lens condition cannot be obtained from the interchangeable lens 15, and for the reference image data obtained by imaging the surface light source having a uniform luminance with the imaging device 14. Pixel interpolation processing is performed for each of the plurality of parameters, and the pixel value for imaging (interpolation imaging pixel value) interpolated for each parameter and the pixel values of the imaging pixels around the AF pixel (peripheral imaging pixel value) , And a parameter that is optimal for the lens condition at the time of shooting is estimated from a plurality of parameters based on the comparison result. Note that when data communication with the interchangeable lens 15 is not possible, the focus of the photographing lens 24 and the aperture 44 cannot be controlled automatically, so the focus position, shutter speed, and aperture value are determined in advance. Manual shooting is performed.

パラメータを決定、又は推定した後に、本撮影が行われる（Ｓ−７）。本撮影により撮像素子１４から取得した画像データが画像処理部３０に取り込まれる。ＡＦ画素補間部５０は、取り込んだ画像データに含まれるＡＦ画素値を前記決定、又は推定したパラメータを用いて撮像用画素値に補間して記録用、又は再生用の画像データを生成する（Ｓ−８）。生成した画像データは、圧縮伸長処理部３４で圧縮された後に、カードメモリ３６に記録される（Ｓ−９）。   After the parameter is determined or estimated, actual photographing is performed (S-7). Image data acquired from the image sensor 14 by the main photographing is taken into the image processing unit 30. The AF pixel interpolation unit 50 generates image data for recording or reproduction by interpolating the AF pixel value included in the captured image data into the imaging pixel value using the determined or estimated parameter (S -8). The generated image data is compressed by the compression / decompression processor 34 and then recorded in the card memory 36 (S-9).

［パラメータ推定処理］
パラメータ推定部１９は、交換レンズ１５との間でデータ通信が不可の場合、又は調整モードが選択された場合、パラメータ推定処理を実行する。パラメータ推定処理では、マニュアル撮影により予め絞り値が設定されているものと仮定している。パラメータ推定部１９は、図５に示すように、「輝度分布が一様な被写体を撮影してください。」等、基準被写体を撮影する指示を促すメッセージを外部、例えば表示部２１に表示する（Ｓ−１０）。なお、スピーカを設けて音で外部表示してもよい。輝度分布が一様な被写体を撮影する具体的な方法としては、詳しくは図６に示すように、絵柄のない無地の透過性のチャート４８を、拡散板５１により均一な輝度で背後から照明し、そのチャート４８の像（基準被写体の像）を電子カメラ１０で撮像する。拡散版５１は、光源４９から放たれる光を均一に拡散する。 [Parameter estimation processing]
The parameter estimation unit 19 executes parameter estimation processing when data communication with the interchangeable lens 15 is not possible or when the adjustment mode is selected. In the parameter estimation process, it is assumed that an aperture value is set in advance by manual shooting. As shown in FIG. 5, the parameter estimation unit 19 displays a message prompting an instruction to shoot a reference subject, such as “Please shoot a subject with a uniform luminance distribution” on the outside, for example, the display unit 21 ( S-10). Note that a speaker may be provided and externally displayed with sound. As a specific method for photographing a subject having a uniform luminance distribution, as shown in detail in FIG. 6, a plain transparency chart 48 without a pattern is illuminated from the back with a uniform luminance by a diffusion plate 51. Then, the image of the chart 48 (image of the reference subject) is picked up by the electronic camera 10. The diffusion plate 51 uniformly diffuses the light emitted from the light source 49.

ＣＰＵ１１は、メッセージを外部表示した後に、撮影が行われたか否かを判定するためにシャッタボタンを監視する（Ｓ−１１）。撮影が行われたと判定した場合、ＣＰＵ１１は、シャッタレリーズに応答して画像処理部３０に取り込まれる基準画像データが均一な輝度か否かを判定する。均一な輝度でないと判定した場合は（Ｓ−１２の「Ｎ」側）、再度撮影をするようにメッセージを外部に表示する（Ｓ−１０）。均一な輝度であると判定した場合（Ｓ−１２の「Ｙ」側）、パラメータ推定部１９は、ＡＦ画素補間部５０を制御して基準画像データに対してパラメータを変えて画素補間処理を実行する（Ｓ−１３）。なお、均一な輝度か否かの判定としては、例えば基準画像データに対して、任意に分割した各領域の輝度値の平均値を算出し、各領域の平均値の最大値、及び最小値に基づいて均一性を判定するのが望ましい。   After displaying the message externally, the CPU 11 monitors the shutter button in order to determine whether shooting has been performed (S-11). If it is determined that shooting has been performed, the CPU 11 determines whether or not the reference image data captured by the image processing unit 30 has a uniform luminance in response to the shutter release. If it is determined that the brightness is not uniform (“N” side of S-12), a message is displayed outside so as to capture again (S-10). When it is determined that the luminance is uniform (“Y” side in S-12), the parameter estimation unit 19 controls the AF pixel interpolation unit 50 to change the parameter with respect to the reference image data and execute pixel interpolation processing. (S-13). In addition, as the determination of whether or not the brightness is uniform, for example, the average value of the brightness value of each area arbitrarily divided with respect to the reference image data is calculated, and the maximum value and the minimum value of the average value of each area are calculated. It is desirable to determine uniformity based on this.

ＡＦ画素補間部５０は、レンズ条件に基づいて決められているパラメータ群（［表１］に示すパラメータ群）のうち複数のパラメータを選択する。複数のパラメータを選択する方法としては、例えば［表１］にマトリクス状に示したパラメータ群のうちの左上から右下に向けた斜線上の交点に記述のパラメータを飛び飛びに選択してもよいし、前記マトリクス状のパラメータ群を複数の領域に分割し、分割した領域に含まれる複数のパラメータのうちの任意の一つを領域毎にそれぞれ選択してもよい。   The AF pixel interpolation unit 50 selects a plurality of parameters from a parameter group (parameter group shown in [Table 1]) determined based on the lens condition. As a method for selecting a plurality of parameters, for example, parameters described in a diagonal line from the upper left to the lower right of the parameter group shown in a matrix form in [Table 1] may be selected in a jumping manner. The matrix-like parameter group may be divided into a plurality of regions, and any one of a plurality of parameters included in the divided regions may be selected for each region.

ＡＦ画素補間部５０は、複数のパラメータを選択した後に、選択した複数のパラメータ毎に、基準画像データに含まれるＡＦ画素値を補間撮像用画素値に補間する画素補間処理を行う（Ｓ−１３）。パラメータ推定部１９は、パラメータ毎に複数のＡＦ画素値を補間した補間撮像用画素値を含む補間撮像用画素値データを取得し、補間撮像用画素値データに含まれる補間撮像用画素値と、補間対象のＡＦ画素の周辺にある撮像用画素から得られる画素値（周辺撮像用画素値）とを比較し（Ｓ−１４）、周辺撮像用画素値に対して補間撮像用画素値との差が最も少ない補間撮像用画素値データに対応するパラメータを選択し、選択したパラメータを撮影時点で好適なパラメータと推定してワークメモリ１３に記憶する（Ｓ−１５）。   After selecting a plurality of parameters, the AF pixel interpolation unit 50 performs pixel interpolation processing for interpolating the AF pixel values included in the reference image data into the interpolation imaging pixel values for each of the selected parameters (S-13). ). The parameter estimation unit 19 acquires interpolation imaging pixel value data including interpolation imaging pixel values obtained by interpolating a plurality of AF pixel values for each parameter, and includes interpolation imaging pixel values included in the interpolation imaging pixel value data; The pixel value (peripheral imaging pixel value) obtained from the imaging pixels around the AF pixel to be interpolated is compared (S-14), and the difference between the peripheral imaging pixel value and the interpolation imaging pixel value is compared. The parameter corresponding to the pixel value data for interpolation imaging with the least number is selected, and the selected parameter is estimated as a suitable parameter at the time of imaging and stored in the work memory 13 (S-15).

［パラメータ推定処理での画素補間処理］
ＡＦ画素補間部５０での画素補間処理を、図７を参照しながら説明する。なお、図７に示す画素補間処理は、本撮影時に取得する画像データに対して行う画素補間処理と同様であり、違いは、パラメータ推定処理の場合、詳しくは後述する閾値ｔｈ１、閾値ｔｈ２，閾値ｔｈ３の値をそれぞれ極めて大きい値に設定して、「Ｓ―２１」〜「Ｓ−２４」、及び「Ｓ−２６」〜「Ｓ−２９」の処理を必ず実行する点にある。 [Pixel interpolation processing in parameter estimation processing]
The pixel interpolation processing in the AF pixel interpolation unit 50 will be described with reference to FIG. Note that the pixel interpolation processing shown in FIG. 7 is the same as the pixel interpolation processing performed on the image data acquired at the time of actual photographing. The difference is the threshold value th1, threshold value th2, and threshold value described later in detail in the case of parameter estimation processing. The value of th3 is set to an extremely large value, and the processes of “S-21” to “S-24” and “S-26” to “S-29” are necessarily executed.

ここで、本実施形態では、撮像用画素の各々に設置される原色透過フィルタ２６がベイヤー配列のパターンであることから、図８に示すＡＦ画素列のうちの記号ＸのＡＦ画素の位置には緑色（Ｇ）の撮像用画素値が補間され、記号ＹのＡＦ画素の画素位置には青色（Ｂ）の撮像用画素値が補間される。以下の画素補間処理の説明では、図８に示すＹ４４の青色の撮像用画素値とＸ４５の緑色の撮像用画素値とにそれぞれ補間する場合について説明する。なお、他のＡＦ画素における撮像用画素値に補間する手順も同様である。   Here, in this embodiment, since the primary color transmission filter 26 installed in each of the imaging pixels is a Bayer array pattern, the position of the AF pixel of the symbol X in the AF pixel row shown in FIG. The green (G) imaging pixel value is interpolated, and the blue (B) imaging pixel value is interpolated at the pixel position of the AF pixel of symbol Y. In the following description of the pixel interpolation processing, a case will be described in which interpolation is performed for the Y44 blue imaging pixel value and the X45 green imaging pixel value shown in FIG. The procedure for interpolating to the imaging pixel values in other AF pixels is the same.

ＣＰＵ１１は、不揮発性メモリ１２から、撮像素子１４に関する情報に基づいたＡＦ画素の位置情報を読み出してＡＦ画素補間部５０に送る。ＡＦ画素補間部５０は、ＡＦ画素の位置を特定した後に、特定したＡＦ画素の周辺の撮像用画素値を用いて画素値の変化率である変動値が最小となる方向を求める。そして、変動の最も小さい方向にある撮像用画素値を用いてＡＦ画素値を補間する。   The CPU 11 reads out AF pixel position information based on information about the image sensor 14 from the nonvolatile memory 12 and sends the AF pixel position information to the AF pixel interpolation unit 50. After specifying the position of the AF pixel, the AF pixel interpolation unit 50 uses the imaging pixel values around the specified AF pixel to determine the direction in which the variation value, which is the change rate of the pixel value, is minimized. Then, the AF pixel value is interpolated using the imaging pixel value in the direction of the smallest fluctuation.

（最小となる変動値の方向を算出）
ＡＦ画素補間部５０は、図８に示すＸ４５及びＹ４４のＡＦ画素の画素値を撮像用画素値に補間するために、Ｘ４５及びＹ４４の周辺の撮像用画素の画素値を用いて４方向の画素値の変化率である方向変動Ｈ１〜Ｈ４の値を、［数１］〜［数４］に記載の式を用いてそれぞれ求める（Ｓ−１６）。なお、本実施形態における４方向とは、水平走査方向、垂直走査方向、水平走査方向に対して４５度及び１３５度方向である。 (Calculate the direction of the minimum fluctuation value)
The AF pixel interpolation unit 50 uses four pixel values of the surrounding pixels of X45 and Y44 to interpolate the pixel values of the X45 and Y44 AF pixels shown in FIG. The values of the direction fluctuations H1 to H4, which are the rate of change of the values, are obtained using the equations described in [Equation 1] to [Equation 4] (S-16). In this embodiment, the four directions are 45 degrees and 135 degrees with respect to the horizontal scanning direction, the vertical scanning direction, and the horizontal scanning direction.

［数１］
水平走査方向の方向変動Ｈ１＝
２×（｜Ｇ３４−Ｇ３６｜＋｜Ｇ５４−Ｇ５６｜）＋｜Ｒ３３−Ｒ３５｜＋｜Ｒ５３−Ｒ５５｜＋｜Ｂ２４−Ｂ２６｜＋｜Ｂ６４−Ｂ６６｜ [Equation 1]
Direction variation H1 in the horizontal scanning direction =
2 × (| G34-G36 | + | G54-G56 |) + | R33-R35 | + | R53-R55 | + | B24-B26 | + | B64-B66 |

［数２］
垂直走査方向の方向変動Ｈ２＝
２×（｜Ｇ３４−Ｇ５４｜＋｜Ｇ３６−Ｇ５６｜）＋｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜ [Equation 2]
Direction variation H2 in the vertical scanning direction =
2 × (| G34-G54 | + | G36-G56 |) + | R33-R53 | + | R35-R55 | + | B24-B64 | + | B26-B66 |

［数３］
水平走査方向に対して４５度の方向変動Ｈ３＝
２×（｜Ｇ２７−Ｇ３６｜＋｜Ｇ５４−Ｇ６３｜）＋｜Ｒ３５−Ｒ５３｜＋｜Ｒ３７−Ｒ５５｜＋｜Ｂ２６−Ｂ６２｜＋｜Ｂ２８−Ｂ６４｜ [Equation 3]
Directional variation H3 = 45 degrees with respect to the horizontal scanning direction =
2 × (| G27-G36 | + | G54-G63 |) + | R35-R53 | + | R37-R55 | + | B26-B62 | + | B28-B64 |

［数４］
水平走査方向に対して１３５度の方向変動Ｈ４＝
２×（｜Ｇ２３−Ｇ３４｜＋｜Ｇ５６−Ｇ６７｜）＋｜Ｒ３３−Ｒ５５｜＋｜Ｒ３５−Ｒ５７｜＋｜Ｂ２２−Ｂ６６｜＋｜Ｂ２４−Ｂ６８｜ [Equation 4]
Directional change H4 = 135 degrees with respect to the horizontal scanning direction =
2 × (| G23-G34 | + | G56-G67 |) + | R33-R55 | + | R35-R57 | + | B22-B66 | + | B24-B68 |

（最小変動値の方向に応じた周辺の撮像用画素値を用いてＡＦ画素の画素値を補間）
ＡＦ画素補間部５０は、ステップ（Ｓ−１６）で求めた方向変動Ｈ１〜Ｈ４のうち最も小さい値の方向変動の方向を選択し、その方向にある撮像用画素の画素値を用いて、ＡＦ画素Ｘ４５の位置でのＧの撮像用画素値ＧＸ４５及びＡＦ画素Ｙ４４の位置でのＢの撮像用画素値ＢＹ４４を［数５］〜［数８］のうちの選択した方向に対応する式を用いて求める（Ｓ−１７）。これにより、変動の小さい方向にある撮像用画素の画素値を用いることにより、より正確にＸ４５及びＹ４４等のＡＦ画素の位置での撮像用画素値を補間することが可能となる。 (Interpolate the pixel value of the AF pixel using the surrounding imaging pixel value according to the direction of the minimum variation value)
The AF pixel interpolation unit 50 selects the direction of the smallest direction variation among the direction variations H1 to H4 obtained in step (S-16), and uses the pixel value of the imaging pixel in that direction to perform AF. expression corresponding to the selected direction of the imaging pixel value B Y44 of B at the position of the imaging pixel value G X45 and AF pixel Y44 of G at the position of the pixel X45 equation 5] to [expression 8] (S-17). Thereby, by using the pixel value of the imaging pixel in the direction of small fluctuation, it becomes possible to more accurately interpolate the imaging pixel value at the position of the AF pixel such as X45 and Y44.

［数５］
方向変動Ｈ１が最小の場合
ＢＹ４４＝（Ｂ２４＋Ｂ６４）／２
ＧＸ４５＝（Ｇ３４＋Ｇ３６＋Ｇ５４＋Ｇ５６）／４ [Equation 5]
When the direction change H1 is the minimum, B Y44 = (B24 + B64) / 2
G X45 = (G34 + G36 + G54 + G56) / 4

［数６］
方向変動Ｈ２が最小の場合
ＢＹ４４＝（Ｂ２４＋Ｂ６４）／２
ＧＸ４５＝（Ｇ２５＋Ｇ６５）／２ [Equation 6]
When the direction change H2 is the minimum B Y44 = (B24 + B64) / 2
G X45 = (G25 + G65) / 2

［数７］
方向変動Ｈ３が最小の場合
ＢＹ４４＝（Ｂ２６＋Ｂ６２）／２
ＧＸ４５＝（Ｇ３６＋Ｇ５４）／２ [Equation 7]
When direction change H3 is the minimum, B Y44 = (B26 + B62) / 2
G X45 = (G36 + G54) / 2

［数８］
方向変動Ｈ４が最小の場合
ＢＹ４４＝（Ｂ２２＋Ｂ６６）／２
ＧＸ４５＝（Ｇ３４＋Ｇ５６）／２ [Equation 8]
When the direction change H4 is the minimum, B Y44 = (B22 + B66) / 2
G X45 = (G34 + G56) / 2

ＡＦ画素補間部５０は、ＡＦ画素の配列方向である水平走査方向において、ＡＦ画素の画素値の方向変動Ｈ５を、例えば、ＡＦ画素のＹ４４及びＸ４５の白色光の画素値Ｗ４４及びＷ４５と、［数９］に記載の式とを用いて算出する。   The AF pixel interpolating unit 50 changes the direction variation H5 of the pixel value of the AF pixel in the horizontal scanning direction that is the arrangement direction of the AF pixels, for example, the pixel values W44 and W45 of the white light of Y44 and X45 of the AF pixel, and [ It is calculated using the equation described in [Equation 9].

［数９］
Ｈ５＝｜Ｗ４４−Ｗ４５｜ [Equation 9]
H5 = | W44-W45 |

ＡＦ画素補間部５０は、その方向変動Ｈ５が閾値ｔｈ１を超えるか否かを判定する（Ｓ−１８）。ここで、パラメータ推定処理で行う画素補間処理では、閾値ｔｈ１を極めて大きい値に設定する。
したがって、パラメータ推定処理で行う画素補間処理では、方向変動Ｈ５が閾値ｔｈ１以下の場合（ＮＯ側）に該当するため、ＡＦ画素補間部５０は、（Ｓ−２０）へ移行する。 The AF pixel interpolation unit 50 determines whether or not the direction variation H5 exceeds the threshold th1 (S-18). Here, in the pixel interpolation process performed in the parameter estimation process, the threshold th1 is set to a very large value.
Therefore, since the pixel interpolation process performed in the parameter estimation process corresponds to the case where the direction variation H5 is equal to or less than the threshold th1 (NO side), the AF pixel interpolation unit 50 proceeds to (S-20).

ＡＦ画素補間部５０は、ステップ（Ｓ−１６）で求めた方向変動Ｈ２が閾値ｔｈ２を超えるか否かを判定する（Ｓ−２０）。ここで、パラメータ推定処理で行う画素補間処理では、閾値ｔｈ２を極めて大きい値に設定している。
したがって、パラメータ推定処理で行う画素補間処理では、方向変動Ｈ２が閾値ｔｈ２以下の場合（ＮＯ側）に該当するため、ＡＦ画素補間部５０は、（Ｓ−２１）へ移行する。 The AF pixel interpolation unit 50 determines whether or not the direction variation H2 obtained in step (S-16) exceeds the threshold th2 (S-20). Here, in the pixel interpolation process performed in the parameter estimation process, the threshold th2 is set to an extremely large value.
Therefore, since the pixel interpolation process performed in the parameter estimation process corresponds to the case where the direction variation H2 is equal to or less than the threshold th2 (NO side), the AF pixel interpolation unit 50 proceeds to (S-21).

ＡＦ画素補間部５０は、右側からの光束に感度を有するＹ４４等のＡＦ画素における平均画素値＜Ｗ４４＞等を、周辺にある色成分Ｒ、Ｇ及びＢの撮像用画素値を用いて算出する（Ｓ−２１）。具体的には、ステップ（Ｓ−１６）において、例えば、ＡＦ画素補間部５０が方向変動Ｈ２を最小であると判定した場合、Ｂの撮像用画素値は［数５］に記載の式にあるＢ２４とＢ６４とを用いる。一方、Ｒ及びＧの画素値については、Ｂの撮像用画素Ｂ２４とＢ６４との位置におけるＲ及びＧの画素値を、［数１０］に記載の４つの式を用いて補間計算する。   The AF pixel interpolation unit 50 calculates the average pixel value <W44> and the like in AF pixels such as Y44 that are sensitive to the light flux from the right side, using the imaging pixel values of the surrounding color components R, G, and B. (S-21). Specifically, in step (S-16), for example, when the AF pixel interpolating unit 50 determines that the direction variation H2 is the minimum, the imaging pixel value of B is in the equation described in [Equation 5]. B24 and B64 are used. On the other hand, for the R and G pixel values, the R and G pixel values at the positions of the B imaging pixels B24 and B64 are interpolated using the four equations described in [Equation 10].

［数１０］
(1)ＲＢ２４＝（Ｒ１３＋Ｒ１５＋Ｒ３３＋Ｒ３５）／４
(2)ＧＢ２４＝（Ｇ１４＋Ｇ２３＋Ｇ２５＋Ｇ３４）／４
(3)ＲＢ６４＝（Ｒ５３＋Ｒ５５＋Ｒ７３＋Ｒ７５）／４
(4)ＧＢ６４＝（Ｇ５４＋Ｇ６３＋Ｇ６５＋Ｇ７４）／４ [Equation 10]
(1) R B24 = (R13 + R15 + R33 + R35) / 4
(2) G B24 = (G14 + G23 + G25 + G34) / 4
(3) R B64 = (R53 + R55 + R73 + R75) / 4
(4) G B64 = (G54 + G63 + G65 + G74) / 4

パラメータ推定部１９は、パラメータテーブル［表１］を参照して、複数の異なるパラメータを選択し、選択したパラメータ（以下、「加重係数」）をワークメモリ１３にいったん記憶しておき、選択した加重係数を適宜ワークメモリ１３から読み出してＡＦ画素補間部５０に送る（Ｓ−２１）。読み出した加重係数は、画素の色成分毎に用意されている。ＡＦ画素補間部５０は、撮像用画素Ｂ２４及びＢ６４の位置における白色光の画素値Ｗ２４及びＷ６４を、読み出した加重係数、すなわち、Ｒ、Ｇ及びＧの加重係数ＷＲ、ＷＧ、及びＷＢを用いて、［数１１］に記載の式の加重和によって算出する。   The parameter estimation unit 19 refers to the parameter table [Table 1], selects a plurality of different parameters, temporarily stores the selected parameters (hereinafter “weighting coefficients”) in the work memory 13, and selects the selected weights. The coefficients are read from the work memory 13 as appropriate and sent to the AF pixel interpolation unit 50 (S-21). The read weighting coefficient is prepared for each color component of the pixel. The AF pixel interpolating unit 50 uses the read weighting coefficients, that is, the weighting coefficients WR, WG, and WB of R, G, and G, for the white light pixel values W24 and W64 at the positions of the imaging pixels B24 and B64. , [Equation 11].

［数１１］
Ｗ２４＝ＷＲ×ＲＢ２４＋ＷＧ×ＧＢ２４＋ＷＢ×Ｂ２４
Ｗ６４＝ＷＲ×ＲＢ６４＋ＷＧ×ＧＢ６４＋ＷＢ×Ｂ６４ [Equation 11]
W24 = WR × R B24 + WG × G B24 + WB × B24
W64 = WR × R B64 + WG × G B64 + WB × B64

そして、ＡＦ画素補間部５０は、Ｙ４４における白色光の平均画素値＜Ｗ４４＞＝（Ｗ２４＋Ｗ６４）／２を算出する（Ｓ−２２）。
ＡＦ画素補間部５０は、左側からの光束に感度を有するＸ４５等のＡＦ画素における白色光の平均画素値＜Ｗ４５＞等を、ステップ（Ｓ−２２）の場合と同様に、近傍にある色成分Ｒ、Ｇ及びＢの撮像用画素値を用いて算出する（Ｓ−２３）。ステップ（Ｓ−１７）において、ＡＦ画素補間部５０が方向変動Ｈ２を最小であると判定した場合、Ｇの撮像用画素値は、［数６］に記載の式にあるＧ２５とＧ６５とを用いる。一方、Ｒ及びＢの画素値については、Ｇの撮像用画素Ｇ２５とＧ６５との位置におけるＲ及びＢの画素値を［数１２］に記載の４つの式を用いて補間計算する。 Then, the AF pixel interpolation unit 50 calculates the average pixel value <W44> = (W24 + W64) / 2 of white light in Y44 (S-22).
The AF pixel interpolating unit 50 calculates the average pixel value <W45> of white light in the AF pixel such as X45 having sensitivity to the light beam from the left side, as in the case of step (S-22), and the adjacent color components. Calculation is performed using the R, G, and B imaging pixel values (S-23). In step (S-17), when the AF pixel interpolating unit 50 determines that the direction variation H2 is the minimum, the G imaging pixel value uses G25 and G65 in the equation described in [Equation 6]. . On the other hand, for the R and B pixel values, the R and B pixel values at the positions of the G imaging pixels G25 and G65 are interpolated using the four equations described in [Equation 12].

［数１２］
(1)ＲＧ２５＝（Ｒ１５＋Ｒ３５）／２
(2)ＢＧ２５＝（Ｂ２４＋Ｂ２６）／２
(3)ＲＧ６５＝（Ｒ５５＋Ｒ７５）／２
(4)ＢＧ６５＝（Ｂ６４＋Ｇ６６）／２ [Equation 12]
(1) R G25 = (R15 + R35) / 2
(2) B G25 = (B24 + B26) / 2
(3) R G65 = (R55 + R75) / 2
(4) B G65 = (B64 + G66) / 2

そして、ＡＦ画素補間部５０は、撮像用画素Ｇ２５及びＧ６５の位置における画素値Ｗ２５及びＷ６５を、［数１３］に記載の式の加重和によって算出する。   Then, the AF pixel interpolation unit 50 calculates the pixel values W25 and W65 at the positions of the imaging pixels G25 and G65 by using the weighted sum of the formula described in [Equation 13].

［数１３］
Ｗ２５＝ＷＲ×ＲＧ２５＋ＷＧ×Ｇ２５＋ＷＢ×ＢＧ２５
Ｗ６５＝ＷＲ×ＲＧ６４＋ＷＧ×Ｇ２５＋ＷＢ×ＢＧ６５
そして、画像処理部３０は、Ｘ４５における白色光の平均画素値＜Ｗ４５＞＝（Ｗ２５＋Ｗ６５）／２を算出する（Ｓ−２３）。 [Equation 13]
W25 = WR × R G25 + WG × G25 + WB × B G25
W65 = WR × R G64 + WG × G25 + WB × B G65
Then, the image processing unit 30 calculates the average pixel value <W45> = (W25 + W65) / 2 of white light at X45 (S-23).

ＡＦ画素補間部５０は、撮像素子２の各ＡＦ画素における白色光の画素値の高周波成分を、（Ｓ−２２）及び（Ｓ−２３）において求めた白色光の平均画素値を用いて求める（Ｓ−２４）。ＡＦ画素補間部５０は、撮像素子１４の各ＡＦ画素値から、各ＡＦ画素の位置における白色光の平均画素値を最初に求める。つまり、各ＡＦ画素値は、左側又は右側からの光束を瞳分割した値である。したがって、各ＡＦ画素値を得るためには、左側及び右側からの光束の画素値を互いに加算する必要がある。そこで、本実施形態のＡＦ画素補間部５０は、ＡＦ画素の画素値、及び隣接するＡＦ画素の画素値を用いて、例えば、ＡＦ画素Ｙ４４やＸ４５の位置における白色光の平均画素値を［数１４］に記載の式を用いて算出する。   The AF pixel interpolation unit 50 obtains the high-frequency component of the pixel value of white light in each AF pixel of the image sensor 2 using the average pixel value of white light obtained in (S-22) and (S-23) ( S-24). The AF pixel interpolation unit 50 first obtains an average pixel value of white light at the position of each AF pixel from each AF pixel value of the image sensor 14. That is, each AF pixel value is a value obtained by dividing the light flux from the left side or the right side into pupils. Therefore, in order to obtain each AF pixel value, it is necessary to add pixel values of light beams from the left side and the right side to each other. Therefore, the AF pixel interpolation unit 50 of the present embodiment uses the pixel value of the AF pixel and the pixel value of the adjacent AF pixel, for example, to calculate the average pixel value of white light at the position of the AF pixel Y44 or X45 [several 14].

［数１４］
＜Ｗ４４＞’＝Ｗ４４＋（Ｗ４３＋Ｗ４５）／２
＜Ｗ４５＞’＝Ｗ４５＋（Ｗ４４＋Ｗ４６）／２ [Formula 14]
<W44>'= W44 + (W43 + W45) / 2
<W45>'= W45 + (W44 + W46) / 2

なお、ステップ（Ｓ−２４）で説明した［数１４］において、ＡＦ画素の配列方向に隣接するＡＦ画素の画素値を用いて、各ＡＦ画素の位置における白色光の画素値を算出するので、配列方向に強い変動がある場合には、高周波成分の計算が不正確になり、白色光の画素値の配列方向の解像力が失われるおそれがある。そこで、前述したステップ（Ｓ−１８）では、配列方向に強い変動がある場合に、高周波成分の付加を中止するようにしている。   In [Expression 14] described in step (S-24), the pixel value of the white light at the position of each AF pixel is calculated using the pixel value of the AF pixel adjacent in the arrangement direction of the AF pixels. When there is a strong variation in the arrangement direction, the calculation of the high frequency component becomes inaccurate, and the resolution of the white light pixel values in the arrangement direction may be lost. Therefore, in step (S-18) described above, when there is a strong variation in the arrangement direction, the addition of the high frequency component is stopped.

その後、ＡＦ画素補間部５０は、［数１５］に記載の式から、Ｙ４４及びＸ４５の位置における白色光の高周波成分ＨＦＹ４４及びＨＦＸ４５を求める。   Thereafter, the AF pixel interpolation unit 50 obtains high-frequency components HFY44 and HFX45 of white light at the positions of Y44 and X45 from the equation described in [Equation 15].

［数１５］
ＨＦＹ４４＝＜Ｗ４４＞’−＜Ｗ４４＞
ＨＦＸ４５＝＜Ｗ４５＞’−＜Ｗ４５＞ [Equation 15]
HFY44 = <W44>'-<W44>
HFX45 = <W45>'-<W45>

ＡＦ画素補間部５０は、ステップ（Ｓ−２４）で求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦの前記画素値に占める割合が、閾値ｔｈ３より小さいか否かを判定する（Ｓ−２５）。ここで、パラメータ推定処理で行う画素補間処理では、閾値ｔｈ３を極めて大きい値に設定している。したがって、パラメータ推定処理で行う画素補間処理では、高周波成分ＨＦが閾値ｔｈ３以上の場合（ＮＯ側）に該当し、ＡＦ画素補間部５０は、ステップ（Ｓ−２６）へ移行する。   The AF pixel interpolation unit 50 determines whether or not the ratio of the high-frequency component HF of the pixel value of white light at the position of each AF pixel obtained in step (S-24) to the pixel value is smaller than the threshold th3. (S-25). Here, in the pixel interpolation process performed in the parameter estimation process, the threshold th3 is set to a very large value. Therefore, the pixel interpolation process performed in the parameter estimation process corresponds to the case where the high frequency component HF is equal to or greater than the threshold th3 (NO side), and the AF pixel interpolation unit 50 proceeds to step (S-26).

ＡＦ画素補間部５０は、Ｙ４４やＸ４５の近傍における各色成分Ｒ、Ｇ又はＢの撮像用画素値の色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを算出する（Ｓ−２６）。ここで、色変動ＶＧｒ及びＶＧｂは、Ｒ又はＢの撮像用画素の位置におけるＧの色変動を示す。ＡＦ画素補間部５０は、［数１６］に記載の２つの式に基づいて、色変動ＶＲとＶＧｒとを求める。   The AF pixel interpolation unit 50 calculates the color fluctuations VR, VGr, VB, and VGb of the imaging pixel values of each color component R, G, or B in the vicinity of Y44 and X45 (S-26). Here, the color variations VGr and VGb indicate the G color variation at the position of the R or B imaging pixel. The AF pixel interpolation unit 50 obtains the color fluctuations VR and VGr based on the two equations described in [Equation 16].

［数１６］
(1)ＶＲ ＝｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｒ３７−Ｒ５７｜
(2)ＶＧｒ＝｜（Ｇ３２＋Ｇ３４）／２−（Ｇ５２＋Ｇ５４）／２｜＋｜（Ｇ３４＋Ｇ３６）／２−（Ｇ５４＋Ｇ５６）／２｜＋｜（Ｇ３６＋Ｇ３８）／２−（Ｇ５６＋Ｇ５８）／２｜ [Equation 16]
(1) VR = | R33-R53 | + | R35-R55 | + | R37-R57 |
(2) VGr = | (G32 + G34) / 2− (G52 + G54) / 2 | + | (G34 + G36) / 2− (G54 + G56) / 2 | + | (G36 + G38) / 2− (G56 + G58) / 2 |

なお、本実施形態のＡＦ画素補間部５０は、Ｒの撮像用画素の位置Ｒ３３、Ｒ３５、Ｒ３７、Ｒ５３、Ｒ５５及びＲ５７におけるＧの画素値の平均値を求めてからＶＧｒの値を計算する。   The AF pixel interpolation unit 50 of the present embodiment calculates the value of VGr after obtaining the average value of the G pixel values at the R imaging pixel positions R33, R35, R37, R53, R55, and R57.

一方、ＡＦ画素補間部５０は、［数１７］に記載の２つの式に基づいて、色変動ＶＢとＶＧｂとを求める。   On the other hand, the AF pixel interpolation unit 50 obtains the color fluctuations VB and VGb based on the two expressions described in [Equation 17].

［数１７］
(1)ＶＢ ＝｜Ｂ２２−Ｂ６２｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜
(2)ＶＧｂ＝｜（Ｇ２１＋Ｇ２３）／２−（Ｇ６１＋Ｇ６３）／２｜＋｜（Ｇ２３＋Ｇ２５）／２−（Ｇ６３＋Ｇ６５）／２｜＋｜（Ｇ２５＋Ｇ２７）／２−（Ｇ６５＋Ｇ６７）／２｜ [Equation 17]
(1) VB = | B22−B62 | + | B24−B64 | + | B26−B66 |
(2) VGb = | (G21 + G23) / 2− (G61 + G63) / 2 | + | (G23 + G25) / 2− (G63 + G65) / 2 | + | (G25 + G27) / 2− (G65 + G67) / 2 |

なお、本実施形態のＡＦ画素補間部５０は、Ｂの撮像用画素の位置Ｂ２２、Ｂ２４、Ｂ２６、Ｂ６２、Ｂ６４及びＢ６６におけるＧの画素値の平均値を求めてからＶＧｂの値を計算する。   Note that the AF pixel interpolation unit 50 of the present embodiment calculates the value of VGb after obtaining the average value of the G pixel values at the positions B22, B24, B26, B62, B64, and B66 of the B imaging pixels.

ＡＦ画素補間部５０は、ステップ（Ｓ−２６）で算出した色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを用いて、色成分Ｇ及びＢの色変動率ＫＷＧ、及びＫＷＢを算出する（Ｓ−２７）。まず、ＡＦ画素補間部５０は、色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂから［数１８］に記載の３つの式から色変動ＶＲ２、ＶＧ２及びＶＢ２を求める。   The AF pixel interpolation unit 50 calculates the color variation rates KWG and KWB of the color components G and B using the color variations VR, VGr, VB, and VGb calculated in step (S-26) (S-27). . First, the AF pixel interpolation unit 50 obtains the color variations VR2, VG2, and VB2 from the three formulas described in [Equation 18] from the color variations VR, VGr, VB, and VGb.

［数１８］
(1)ＶＲ２＝（ＶＲ＋α）×（ＶＧｂ＋α）
(2)ＶＢ２＝（ＶＢ＋α）×（ＶＧｒ＋α）
(3)ＶＧ２＝（ＶＧｂ＋α）×（ＶＧｒ＋α） [Equation 18]
(1) VR2 = (VR + α) × (VGb + α)
(2) VB2 = (VB + α) × (VGr + α)
(3) VG2 = (VGb + α) × (VGr + α)

ここで、αは、色変動率の値を安定させるための適当な定数であり、例えば、１２ビット画像を処理する場合には、α＝２５６程度の値にすれば良い。
そして、画像処理部３０は、色変動ＶＲ２、ＶＧ２及びＶＢ２を用いて、［数１９］に記載の式により白色光における色変動ＶＷを算出する。 Here, α is an appropriate constant for stabilizing the value of the color variation rate. For example, when processing a 12-bit image, α may be set to about 256.
Then, the image processing unit 30 calculates the color variation VW in white light using the color variations VR2, VG2, and VB2 according to the equation described in [Equation 19].

［数１９］
ＶＷ＝ＶＲ２＋ＶＧ２＋ＶＢ２
よって、ＡＦ画素補間部５０は、色変動率ＫＷＧ及びＫＷＢを［数２０］から算出する。 [Equation 19]
VW = VR2 + VG2 + VB2
Therefore, the AF pixel interpolation unit 50 calculates the color variation rates K WG and K WB from [Equation 20].

［数２０］
ＫＷＢ＝ＶＧ２／ＶＷ
ＫＷＢ＝ＶＢ２／ＶＷ [Equation 20]
K WB = VG2 / VW
K WB = VB2 / VW

ＡＦ画素補間部５０は、ステップ（Ｓ−２４）において求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦと、ステップ（Ｓ−２７）で算出した色変動率ＫＷＧ及びＫＷＢとを用いて、各ＡＦ画素の位置における色成分Ｇ及びＢの画素値の高周波成分を［数２１］に記載の式から算出する（Ｓ−２８）。 The AF pixel interpolation unit 50 uses the high frequency component HF of the pixel value of white light at the position of each AF pixel obtained in step (S-24), and the color variation rates K WG and K WB calculated in step (S-27). Are used to calculate the high-frequency components of the pixel values of the color components G and B at the position of each AF pixel from the equation described in [Equation 21] (S-28).

［数２１］
ＨＦＢＹ４４＝ＨＦＹ４４×ＫＷＢ
ＨＦＧＸ４５＝ＨＦＸ４５×ＫＷＧ [Equation 21]
HFB Y44 = HF Y44 × K WB
HFG X45 = HF X45 × K WG

ＡＦ画素補間部５０は、ステップ（Ｓ−２８）で求めた各ＡＦ画素における各色成分の高周波成分を、ステップ（Ｓ−１７）で補間して求めた撮像用画素値に付加する（Ｓ−２９）。   The AF pixel interpolation unit 50 adds the high-frequency component of each color component in each AF pixel obtained in step (S-28) to the imaging pixel value obtained by interpolation in step (S-17) (S-29). ).

なお、ＡＦ画素の配列方向に変動はなくても、各色成分の撮像用画素の分光特性の加重和とＡＦ画素の分光特性とのズレ等に起因して、画素値の高周波成分が若干の誤差を持つ。垂直走査方向（ＡＦ画素の配列方向に交わる方向）に画像の大きな変動がない場合には、高周波成分を付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じる恐れがある。そこで、ステップ（Ｓ−２０）では、そのような場合、高周波成分の付加を抑制する。また、算出された高周波成分が充分小さい場合には、それを付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じるおそれがある。このため、（Ｓ−２０）では、そのような場合に高周波成分の付加を抑制するようにしている。   Even if there is no change in the arrangement direction of the AF pixels, the high-frequency component of the pixel value has a slight error due to a shift between the weighted sum of the spectral characteristics of the imaging pixels of each color component and the spectral characteristics of the AF pixels. have. When there is no large fluctuation of the image in the vertical scanning direction (direction intersecting the AF pixel arrangement direction), the accuracy of the interpolation value is sufficient without adding a high-frequency component. There is a risk that a false structure resulting from Therefore, in step (S-20), in such a case, addition of a high frequency component is suppressed. In addition, when the calculated high frequency component is sufficiently small, the accuracy of the interpolation value is sufficient even if it is not added, and there is a possibility that a false structure due to an error may be caused by adding the high frequency component. For this reason, in (S-20), addition of a high frequency component is suppressed in such a case.

ＣＰＵ１１は、例えば、［数２２］に記載の式に基づいて、Ｙ４４及びＸ４５の撮像用画素値Ｂ’及びＧ’をそれぞれ算出する。   For example, the CPU 11 calculates the imaging pixel values B ′ and G ′ of Y44 and X45 based on the formula described in [Equation 22], respectively.

［数２２］
Ｂ’Ｙ４４＝ＢＹ４４＋ＨＦＢＹ４４
Ｇ’Ｘ４５＝ＧＸ４５＋ＨＦＧＸ４５ [Equation 22]
B ′ Y44 = B Y44 + HFB Y44
G ′ X45 = G X45 + HFG X45

ＡＦ画素補間部５０は、［数２２］に記載の式に基づいて、Ｙ４４やＸ４５等のＡＦ画素の位置において補間して求めたＢ’Ｙ４４及びＧ’Ｘ４５等の画素値を、それぞれの位置における補間撮像用画素値とした補間撮像用画素値データを、第１のパラメータに対応付けしてワークメモリ１３に記憶しておく。同様にして残りの複数のパラメータ毎に画素補間処理を行って、パラメータ毎に補間撮像用画素値データを導き出してワークメモリ１３に記憶しておく。 The AF pixel interpolating unit 50 calculates pixel values such as B ′ Y44 and G ′ X45 obtained by interpolation at the positions of AF pixels such as Y44 and X45 based on the formulas described in [Equation 22] at the respective positions. The pixel value data for interpolation imaging as the pixel value for interpolation imaging in is stored in the work memory 13 in association with the first parameter. Similarly, pixel interpolation processing is performed for each of the remaining plurality of parameters, and pixel value data for interpolation imaging is derived for each parameter and stored in the work memory 13.

（パラメータ推定）
パラメータ推定部１９は、パラメータ毎に導き出した補間撮像用画素値データをワークメモリ１３から読み出し、補間撮像用画素値データに含まれる補間撮像用画素値と周辺撮像用画素値とを比較していく。例えば、図８で説明したＡＦ画素Ｙ４４の位置において補間して求めた補間撮像用画素値Ｂ’Ｙ４４と、そのＡＦ画素の位置Ｙ４４に対する周辺撮像用画素位置Ｂ２４，Ｂ６４の画素値とを比較する。ここで、周辺撮像用画素位置Ｂ２４，Ｂ６４の画素値は、平均値とする。ＡＦ画素Ｘ４５の位置において補間して求めた補間撮像用画素値Ｇ’Ｘ４５と、そのＡＦ画素の位置Ｘ４５に対する周辺撮像用画素値（周辺撮像用画素値Ｇ２５と周辺撮像用画素値Ｇ６５との平均値）とを比較して誤差量（差分）を求める。残りの補間撮像用画素値に対しても周辺撮像用画素値とを比較していき、誤差量を求める。補間撮像用画素値データ毎に比べて誤差量が最も少ない補間撮像用画素値データに応じたパラメータを選択する。ここで、補間撮像用画素値データの誤差量としては、ＡＦ画素のトータルの誤差量としてもよいし、平均値としてもよい。図９に示す例では、パラメータＡ，Ｂ，Ｃ・・・毎に補間画像用画素値データを導き出し、そして、比較結果により誤差量Ｘ、Ｚ、Ｙ・・・のうちの最も少ない誤差量（差分）を含む補間撮像用画素値データに対応するパラメータを、撮影時点で最適なパラメータとして推定する。推定したパラメータは、ワークメモリ１３に記憶しておく。 (Parameter estimation)
The parameter estimation unit 19 reads out the interpolation imaging pixel value data derived for each parameter from the work memory 13, and compares the interpolation imaging pixel value included in the interpolation imaging pixel value data with the peripheral imaging pixel value. . For example, the interpolated imaging pixel value B ′ Y44 obtained by interpolation at the position of the AF pixel Y44 described in FIG. 8 is compared with the pixel values of the peripheral imaging pixel positions B24 and B64 with respect to the position Y44 of the AF pixel. . Here, the pixel values of the peripheral imaging pixel positions B24 and B64 are average values. The interpolated imaging pixel value G ′ X45 obtained by interpolation at the position of the AF pixel X45 and the peripheral imaging pixel value for the AF pixel position X45 (the average of the peripheral imaging pixel value G25 and the peripheral imaging pixel value G65) Value) and an error amount (difference) is obtained. The remaining interpolation imaging pixel values are also compared with the peripheral imaging pixel values to obtain an error amount. The parameter corresponding to the pixel value data for interpolation imaging having the smallest amount of error compared to each pixel value data for interpolation imaging is selected. Here, the error amount of the pixel value data for interpolation imaging may be the total error amount of the AF pixels or may be an average value. In the example shown in FIG. 9, pixel value data for interpolated images is derived for each parameter A, B, C..., And the smallest error amount (X, Z, Y... The parameter corresponding to the pixel value data for interpolation imaging including (difference) is estimated as the optimum parameter at the time of imaging. The estimated parameters are stored in the work memory 13.

［本撮影時の画素補間処理］
本撮影時の画素補間処理では、パラメータ推定部１９で推定したパラメータ、又はパラメータ決定部２０で決定したパラメータを用いて、本撮影時に取得した画像データに対して、前述したと同様に画素補間処理を行う。
違う点は、図７で説明した「Ｓ−１８」での判定で、方向変動Ｈ５が閾値ｔｈ１を超える場合（ＹＥＳ側）、ＡＦ画素補間部５０は、ステップ（Ｓ−１７）で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素値とし、画像データを更新する。画像処理部３０は、更新した画像データに対して１画素当たり３色の画素値に補間して３色の画像データを生成し、３色の画像データを、バス３１を介してＳＤＲＡＭ３２に記録する（Ｓ−１９）。ここで、本撮影時に行う画素補間処理では、閾値ｔｈ１は、例えば、１２ビット画像を処理する場合、５１２程度の値にすれば良い。 [Pixel interpolation processing during actual shooting]
In the pixel interpolation processing at the time of actual photographing, the pixel interpolation processing is performed on the image data acquired at the time of actual photographing using the parameters estimated by the parameter estimating unit 19 or the parameters determined by the parameter determining unit 20 as described above. I do.
The difference is that in the determination at “S-18” described in FIG. 7, when the direction variation H5 exceeds the threshold th1 (YES side), the AF pixel interpolating unit 50 determines the B obtained in step (S-17). The interpolated value of Y44 and G X45 is used as the pixel value for imaging in Y44 and X45, and the image data is updated. The image processing unit 30 interpolates the updated image data into three color pixel values per pixel to generate three color image data, and records the three color image data in the SDRAM 32 via the bus 31. (S-19). Here, in the pixel interpolation processing performed at the time of actual photographing, for example, when processing a 12-bit image, the threshold value th1 may be set to a value of about 512.

また、方向変動Ｈ２が閾値ｔｈ２を超える場合（ＹＥＳ側）、ＡＦ画素補間部５０は、ステップ（Ｓ−１７）で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素値とし、画像データを更新する。画像処理部３０は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス３１を介してＳＤＲＡＭ３２に格納する（Ｓ−１９）。ここで、本撮影時に行う画素補間処理では、閾値ｔｈ２は、例えば、１２ビット画像を処理する場合、６４程度の値にすれば良い。 Further, if the directional fluctuation H2 is greater than the threshold value th2 (YES side), AF pixel interpolation unit 50, the step (S-17) at the determined B Y44 and imaging pixel values at Y44 and X45 interpolated values of G X45 The image data is updated. The image processing unit 30 performs three-color pixel interpolation on the updated image data to generate three-color image data, and stores the three-color image data in the SDRAM 32 via the bus 31 (S-19). ). Here, in the pixel interpolation processing performed at the time of actual photographing, the threshold th2 may be set to a value of about 64 when processing a 12-bit image, for example.

さらに、閾値ｔｈ３より高周波成分ＨＦが小さい場合（ＹＥＳ側）、ＡＦ画素補間部５０は、ステップＳ−２２及びＳ−２３で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素値とし、画像データを更新する。画像処理部３０は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス３１介してＳＤＲＡＭ３２に格納する（Ｓ−１９）。なお、閾値ｔｈ３としては、本実施形態では、例えば、１０％程度が望ましい。また、閾値ｔｈ３の値についての説明は、後の加重係数ＷＲ、ＷＧ及びＷＢの説明とともに行う。 Further, if the threshold th3 high-frequency component HF is smaller (YES side), the AF pixel interpolation unit 50, for imaging in Y44 and X45 interpolated values of B Y44 and G X45 calculated in step S-22 and S-23 Image data is updated using pixel values. The image processing unit 30 performs three-color pixel interpolation on the updated image data to generate three-color image data, and stores the three-color image data in the SDRAM 32 via the bus 31 (S-19). . In this embodiment, the threshold th3 is preferably about 10%, for example. The description of the threshold value th3 will be made together with the description of the weighting factors WR, WG and WB later.

ＡＦ画素補間部５０は、［数２２］に記載の式に基づいて、Ｙ４４やＸ４５等のＡＦ画素の位置において補間して求めたＢ’Ｙ４４及びＧ’Ｘ４５等の画素値を、それぞれの位置における補間撮像用画素値として、本撮影時に取得した画像データを更新する。画像処理部３０は、更新した画像データに対して３色に画素補間等を施して最終的な３色毎の画像データを生成してＳＤＲＡＭ３２に格納する。 The AF pixel interpolating unit 50 calculates pixel values such as B ′ Y44 and G ′ X45 obtained by interpolation at the positions of AF pixels such as Y44 and X45 based on the formulas described in [Equation 22] at the respective positions. The image data acquired at the time of the actual photographing is updated as the pixel value for interpolation imaging at. The image processing unit 30 performs pixel interpolation or the like for the three colors on the updated image data, generates final image data for each of the three colors, and stores the image data in the SDRAM 32.

図１０は、本実施形態の効果が発揮される画像構造の一例を表す。同図は凸構造（明るい線あるいは点）を含む縦５画素の画像構造を縦断した図であり、横軸は垂直走査方向（ｙ座標）であり縦軸は光量または画素値である。そして、凸構造がちょうど水平走査方向に配列されたＡＦ画素列上にある。   FIG. 10 shows an example of an image structure in which the effect of the present embodiment is exhibited. This figure is a vertical section of an image structure of five vertical pixels including a convex structure (bright lines or dots), the horizontal axis is the vertical scanning direction (y coordinate), and the vertical axis is the light quantity or the pixel value. The convex structure is just on the AF pixel row arranged in the horizontal scanning direction.

図１０に示す○印は、Ｇの撮像用画素で撮像された画素値である。ただし、ＡＦ画素の位置にはＧの撮像用画素が存在しないので、その位置でのＧの画素値は得られない。従って、丁度ＡＦ画素の位置に凸構造がある場合には、ＡＦ画素の近傍のＧの撮像用画素の画素値からだけでは、同図の凸構造を再現できない。実際、前述したステップ（Ｓ−１７）において、ＡＦ画素の近傍のＧの撮像用画素の画素値を用いてＡＦ画素の位置で補間して求めたＧの画素値（図１０の●印）は、凸構造を再現していない。   The circles shown in FIG. 10 are pixel values captured by the G imaging pixels. However, since there is no G imaging pixel at the position of the AF pixel, the G pixel value at that position cannot be obtained. Therefore, when there is a convex structure at the position of the AF pixel, the convex structure shown in the figure cannot be reproduced only from the pixel values of the G imaging pixels in the vicinity of the AF pixel. Actually, in the above-described step (S-17), the G pixel value (marked with ● in FIG. 10) obtained by interpolating at the position of the AF pixel using the pixel value of the G imaging pixel in the vicinity of the AF pixel is The convex structure is not reproduced.

一方、ＡＦ画素の位置では、白色光の画素値が得られる。ただし、通常の画素は瞳の全領域を通過する光を受光するのに対し、ＡＦ画素は瞳の右側あるいは左側を通過する光のみを受光するので、瞳分割の異なる隣接するＡＦ画素を加算することにより通常の（瞳の全領域を通過した光の）白色光の画素値が算出される（［数１４］）。   On the other hand, the pixel value of white light is obtained at the position of the AF pixel. However, normal pixels receive light that passes through the entire pupil region, whereas AF pixels receive only light that passes through the right or left side of the pupil, so adjacent AF pixels with different pupil divisions are added. Thus, the pixel value of the normal white light (of the light that has passed through the entire area of the pupil) is calculated ([Equation 14]).

また、ＡＦ画素の近傍のＧの撮像用画素の位置に、他の色成分Ｒ及びＢを補間生成して、色成分Ｒ、Ｇ及びＢの加重和を求めることにより、多くの場合には充分な精度で白色光の画素値を求めることができる（［数１１］及び［数１３］）。   In addition, it is sufficient in many cases by interpolating and generating other color components R and B at the position of the G imaging pixel in the vicinity of the AF pixel to obtain a weighted sum of the color components R, G and B. The pixel value of white light can be obtained with high accuracy ([Equation 11] and [Equation 13]).

図１０に示す□印は、そのようにして求めた白色光の画素値の分布である。多くの場合、白色光の画素値の高周波成分と、色成分Ｇの画素値の高周波成分とは比例するので、白色光の画素値から算出した高周波成分は、Ｇの画素値の凸構造成分の情報を持つ。よって、白色光の画素値の高周波成分に基づいてＧの画素値の高周波成分を求め、その値を●印のデータに加えることにより、☆印のＧの画素値が得られ、凸構造を再現する（［数２１］）。   The squares shown in FIG. 10 are distributions of pixel values of white light obtained in this way. In many cases, since the high-frequency component of the white light pixel value is proportional to the high-frequency component of the color component G pixel value, the high-frequency component calculated from the white light pixel value is the convex structure component of the G pixel value. Have information. Therefore, the high-frequency component of the G pixel value is obtained based on the high-frequency component of the white light pixel value, and the value is added to the data of the ● mark to obtain the G pixel value of the ☆ mark and reproduce the convex structure ([Equation 21]).

上記各実施形態では、ＡＦ画素の配列方向を水平走査方向としたが、本発明はこれに限定されず、ＡＦ画素は垂直走査方向又はその他の方向に配列されていても良い。
また、上記各実施形態では、ＡＦ画素の各々は左側又は右側からの光束を瞳分割する焦点検出画素としたが、本発明はこれに限定されず、ＡＦ画素の各々は左側及び右側からの光束を瞳分割する画素を有する焦点検出画素でも良い。 In each of the above embodiments, the arrangement direction of the AF pixels is the horizontal scanning direction. However, the present invention is not limited to this, and the AF pixels may be arranged in the vertical scanning direction or other directions.
In each of the above embodiments, each AF pixel is a focus detection pixel that divides the light beam from the left or right side into pupils, but the present invention is not limited to this, and each AF pixel has a light beam from the left and right sides. Focus detection pixels having pixels that divide the pupil may be used.

上記各実施形態では、図２で説明したＡＦ画素４６に、原色透過フィルタ２６を設置していない例として説明している。しかしながら、本発明ではこれに限らず、ＡＦ画素４６に、例えば減光（ＮＤ）フィルタや緑（Ｇ）フィルタを設置してもよい。ＡＦ画素４６に緑フィルタを設置する場合には、ＡＦ画素から緑フィルタを通した透過光の輝度に応じた検出信号が出力されるので、その信号を画素値として用いればよい。   In each of the embodiments described above, the AF pixel 46 described with reference to FIG. 2 is described as an example in which the primary color transmission filter 26 is not installed. However, the present invention is not limited to this. For example, a neutral density (ND) filter or a green (G) filter may be installed in the AF pixel 46. When a green filter is installed in the AF pixel 46, a detection signal corresponding to the luminance of the transmitted light that has passed through the green filter is output from the AF pixel, and the signal may be used as the pixel value.

上記各実施形態では、図８で説明したＡＦ画素列４７に対して周辺撮像用画素列を、周辺撮像用画素列５２，５３として説明しているが、本発明ではこれらに限らず、図１１に示すように、ＡＦ画素列４７から垂直走査方向に遠く離れたＧ／Ｂ画素列である周辺撮像用画素列５４，５５としてもよい。また、ＡＦ画素列としては、Ｇ／Ｂ画素列に対応する列に設けるに限らず、Ｇ／Ｒ画素列に対応する列に設けてもよい。   In each of the above-described embodiments, the peripheral imaging pixel columns are described as the peripheral imaging pixel columns 52 and 53 with respect to the AF pixel column 47 described in FIG. As shown in FIG. 5, the peripheral imaging pixel rows 54 and 55 which are G / B pixel rows far away from the AF pixel row 47 in the vertical scanning direction may be used. Further, the AF pixel column is not limited to the column corresponding to the G / B pixel column, and may be provided in the column corresponding to the G / R pixel column.

さらに、上記各実施形態では、本発明を電子カメラ１０として説明しているが、カメラ付き携帯電話やスマートフォン等の撮像装置としてもよい。また、本発明の記憶手段としては、不揮発性メモリ１２の代わりに、外部から交換可能なカードメモリとしてもよい。   Furthermore, in each said embodiment, although this invention is demonstrated as the electronic camera 10, it is good also as imaging devices, such as a mobile telephone with a camera, and a smart phone. The storage means of the present invention may be a card memory exchangeable from the outside, instead of the nonvolatile memory 12.

１０ 電子カメラ
１４ 撮像素子
１９ パラメータ推定部
２０ パラメータ決定部
５０ ＡＦ画素補間部 DESCRIPTION OF SYMBOLS 10 Electronic camera 14 Image pick-up element 19 Parameter estimation part 20 Parameter determination part 50 AF pixel interpolation part

Claims (7)

複数の撮像用画素及び複数の焦点検出用画素を有し撮影レンズにより結像する被写体像を撮像する撮像素子と、
前記焦点検出用画素の位置を各々記憶するＡＦ画素位置記憶手段と、
前記撮像素子により撮像した画像データに対して、前記焦点検出用画素の位置から得られる焦点検出用画素値を、その周辺の撮像用画素の位置から得られる周辺撮像用画素値と、レンズ条件毎に予め決められているパラメータ群の中から撮影時に取得するレンズ条件に基づいて決まるパラメータとを用いて、前記撮像用画素値に対応する補間撮像用画素値に補間する画素補間手段と、
を備える撮像装置において、
前記画素補間手段は、前記レンズ条件を撮影時に取得することができない場合、輝度分布が一様な被写体を前記撮像素子により撮像した基準画像データに含まれる前記焦点検出用画素値を、前記パラメータ群の中から選択した複数のパラメータ毎に前記補間撮像用画素値に補間するとともに、
前記画素補間手段から出力される前記パラメータ毎に補間した補間撮像用画素値と、前記基準画像データに含まれる前記周辺撮像用画素値とを比較し、比較結果に基づいて前記パラメータ群の中から最適なパラメータを推定するパラメータ推定手段を備える、ことを特徴とする撮像装置。 An image sensor that has a plurality of imaging pixels and a plurality of focus detection pixels and images a subject image formed by a photographic lens;
AF pixel position storage means for storing the position of each focus detection pixel;
The focus detection pixel value obtained from the position of the focus detection pixel, the peripheral imaging pixel value obtained from the surrounding imaging pixel position, and the lens condition for the image data captured by the imaging element. A pixel interpolation means for interpolating into an interpolation imaging pixel value corresponding to the imaging pixel value using a parameter determined based on a lens condition acquired at the time of shooting from among a predetermined parameter group;
In an imaging apparatus comprising:
If the lens condition cannot be acquired at the time of shooting, the pixel interpolation means uses the focus detection pixel value included in the reference image data obtained by capturing an image of a subject having a uniform luminance distribution by the image sensor as the parameter group. And interpolating to the interpolation imaging pixel value for each of a plurality of parameters selected from,
The interpolated imaging pixel value interpolated for each parameter output from the pixel interpolating means is compared with the peripheral imaging pixel value included in the reference image data, and based on the comparison result, the parameter value is selected from the parameter group. An imaging apparatus comprising: parameter estimation means for estimating an optimum parameter. 請求項１に記載の撮像装置において、
前記パラメータ推定手段は、パラメータ毎に補間した補間撮像用画素値データのうちの前記補間撮像用画素値と前記周辺撮像用画素値との差分が最も少ない補間撮像用画素値データに応じたパラメータを推定することを特徴とする撮像装置。 The imaging device according to claim 1,
The parameter estimation means sets a parameter corresponding to the interpolation imaging pixel value data having the smallest difference between the interpolation imaging pixel value and the surrounding imaging pixel value among the interpolation imaging pixel value data interpolated for each parameter. An imaging apparatus characterized by estimating. 請求項１又は２に記載の撮像装置において、
前記レンズ条件が得られない時に使用する調整モードを選択するためのモード選択手段と、
前記モード選択手段により前記調整モードを選択した時に、輝度分布が一様な被写体を撮像する旨のメッセージを外部に出力する指示手段と、
前記指示手段で前記指示を出力した後に、前記画素補間手段、及び前記パラメータ推定手段とを動作させる制御手段と、
を備えることを特徴とする撮像装置。 The imaging device according to claim 1 or 2,
Mode selection means for selecting an adjustment mode to be used when the lens conditions cannot be obtained;
An instruction means for outputting a message to the outside to image a subject having a uniform luminance distribution when the adjustment mode is selected by the mode selection means;
Control means for operating the pixel interpolation means and the parameter estimation means after outputting the instructions by the instruction means;
An imaging apparatus comprising: 請求項１から３のいずれか１項に記載の撮像装置において、
前記パラメータ推定手段で推定したパラメータを記憶する記憶手段を備えることを特徴とする撮像装置。 The imaging device according to any one of claims 1 to 3,
An imaging apparatus comprising storage means for storing parameters estimated by the parameter estimation means. 請求項１から４のいずれか１項に記載の撮像装置において、
前記パラメータは、射出瞳距離と絞り値とで決まる加重係数となっていることを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 4,
The imaging apparatus, wherein the parameter is a weighting coefficient determined by an exit pupil distance and an aperture value. 請求項５に記載の撮像装置において、
前記加重係数を、射出瞳距離と絞り値とに対応付けしたテーブルを記憶する記憶手段と、
前記テーブルに記述の加重係数群の中からレンズ条件が取得することができない時に前記画素補間手段で用いる複数の加重係数を選択する選択手段と、
を備えることを特徴とする撮像装置。 The imaging apparatus according to claim 5,
Storage means for storing a table in which the weighting factor is associated with an exit pupil distance and an aperture value;
A selection unit that selects a plurality of weighting factors used by the pixel interpolation unit when lens conditions cannot be acquired from the weighting factor group described in the table;
An imaging apparatus comprising: 請求項１から６のいずれか１項に記載の撮像装置において、
前記パラメータは、画素の色成分毎に決められていることを特徴とする撮像装置。 The imaging device according to any one of claims 1 to 6,
The image pickup apparatus, wherein the parameter is determined for each color component of a pixel.
JP2012175069A 2012-08-07 2012-08-07 Imaging device Pending JP2014036262A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012175069A JP2014036262A (en) 2012-08-07 2012-08-07 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012175069A JP2014036262A (en) 2012-08-07 2012-08-07 Imaging device

Publications (1)

Publication Number Publication Date
JP2014036262A true JP2014036262A (en) 2014-02-24

Family

ID=50285012

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012175069A Pending JP2014036262A (en) 2012-08-07 2012-08-07 Imaging device

Country Status (1)

Country Link
JP (1) JP2014036262A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014141561A1 (en) * 2013-03-13 2014-09-18 富士フイルム株式会社 Imaging device, signal processing method, and signal processing program
WO2018003281A1 (en) * 2016-06-29 2018-01-04 ソニー株式会社 Imaging device, control method, and program
WO2018012094A1 (en) * 2016-07-13 2018-01-18 ソニー株式会社 Image processing device, and image processing method
JP2018173571A (en) * 2017-03-31 2018-11-08 パナソニックＩｐマネジメント株式会社 Camera device and shake correction method
CN113596441A (en) * 2021-08-17 2021-11-02 深圳市上融科技有限公司 Optical axis adjusting device, method, system and readable storage medium

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014141561A1 (en) * 2013-03-13 2014-09-18 富士フイルム株式会社 Imaging device, signal processing method, and signal processing program
JP5866478B2 (en) * 2013-03-13 2016-02-17 富士フイルム株式会社 Imaging apparatus, signal processing method, and signal processing program
WO2018003281A1 (en) * 2016-06-29 2018-01-04 ソニー株式会社 Imaging device, control method, and program
CN109417597A (en) * 2016-06-29 2019-03-01 索尼公司 Imaging device, control method and program
JPWO2018003281A1 (en) * 2016-06-29 2019-04-18 ソニー株式会社 Image pickup apparatus, control method and program
US10999515B2 (en) 2016-06-29 2021-05-04 Sony Corporation Imaging device, control method, and program
WO2018012094A1 (en) * 2016-07-13 2018-01-18 ソニー株式会社 Image processing device, and image processing method
US10750084B2 (en) 2016-07-13 2020-08-18 Sony Corporation Image processing apparatus and image processing method
JP2018173571A (en) * 2017-03-31 2018-11-08 パナソニックＩｐマネジメント株式会社 Camera device and shake correction method
CN113596441A (en) * 2021-08-17 2021-11-02 深圳市上融科技有限公司 Optical axis adjusting device, method, system and readable storage medium

Similar Documents

Publication Publication Date Title
JP6040594B2 (en) Imaging apparatus, image processing apparatus, and image processing program
JP5994778B2 (en) Flare determination device, imaging device, and flare determination program
JP5200955B2 (en) Image processing apparatus, imaging apparatus, and image processing program
JP5371331B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
JP5298638B2 (en) Image processing apparatus, imaging apparatus, correction coefficient calculation method, and image processing program
JP6021465B2 (en) Image processing apparatus and image processing apparatus control method
JP2007282108A (en) Imaging apparatus, camera and image processing method
JP2006165975A (en) Image pickup element, image pickup device and image processing method
JP2014036262A (en) Imaging device
JP5183348B2 (en) Imaging device
JP2007195122A (en) Imaging apparatus, image processor and image processing method
JP5786355B2 (en) Defocus amount detection device and electronic camera
JP5834542B2 (en) Imaging apparatus, image processing apparatus, program, and recording medium
JP5359553B2 (en) Image processing apparatus, imaging apparatus, and image processing program
JP2013125046A (en) Imaging device and camera system
JP2012239133A (en) Image processing device and image processing program, and electronic camera
JP2013013006A (en) Imaging apparatus, manufacturing method of the same, image processor, program and recording medium
JP2013247597A (en) Image processing apparatus, imaging apparatus, and image processing program
JP5412945B2 (en) Imaging device, image processing apparatus, imaging apparatus, and image processing program
JP2014164236A (en) Imaging device
JP5228929B2 (en) Image processing apparatus, imaging apparatus, and image processing program
US20230292004A1 (en) Image processing apparatus, measurement method, and storage medium for measuring distance from image
JP2007201780A (en) Imaging apparatus, image processing apparatus and method
JP2024000839A (en) Imaging device and image processing method
JP2023073618A (en) Solid-state imaging apparatus with synchronization code