JP5625286B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP5625286B2
JP5625286B2 JP2009190413A JP2009190413A JP5625286B2 JP 5625286 B2 JP5625286 B2 JP 5625286B2 JP 2009190413 A JP2009190413 A JP 2009190413A JP 2009190413 A JP2009190413 A JP 2009190413A JP 5625286 B2 JP5625286 B2 JP 5625286B2
Authority
JP
Japan
Prior art keywords
pixel
defective
focus detection
imaging
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009190413A
Other languages
Japanese (ja)
Other versions
JP2011044820A (en
JP2011044820A5 (en
Inventor
日下　洋介
洋介 日下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2009190413A priority Critical patent/JP5625286B2/en
Publication of JP2011044820A publication Critical patent/JP2011044820A/en
Publication of JP2011044820A5 publication Critical patent/JP2011044820A5/ja
Application granted granted Critical
Publication of JP5625286B2 publication Critical patent/JP5625286B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置に関する。   The present invention relates to an imaging apparatus.

撮像素子における欠陥撮像画素の補正データとして、欠陥撮像画素の周囲のｎ×ｎの領域における撮像画素のデータのメディアンを採用する撮像装置が知られている。（たとえば、特許文献１参照）。   2. Description of the Related Art An imaging device that employs a median of imaging pixel data in an n × n region around a defective imaging pixel as correction data for a defective imaging pixel in an imaging element is known. (For example, refer to Patent Document 1).

特開平４−２３５４７２号公報JP-A-4-235472

しかしながら、撮像画素と瞳分割型の焦点検出画素を混載する撮像素子を備えた撮像装置に対して、特許文献１に記載の撮像画素に適した欠陥画素補正処理を一律に適用した場合には、欠陥画素補正処理に撮像画素の画素信号と瞳分割型の焦点検出画素の画素信号とが混合することとなり、欠陥画素のデータが不適切に補正されてしまうという問題がある。欠陥画素が焦点検出画素の場合、正確な焦点検出を行うことができなくなる可能性がある。欠陥画素が撮像画素の場合は、画像品質が劣化する可能性がある。   However, when the defective pixel correction process suitable for the imaging pixel described in Patent Document 1 is uniformly applied to an imaging apparatus including an imaging element in which the imaging pixel and the pupil-division focus detection pixel are mounted together, In the defective pixel correction process, the pixel signal of the imaging pixel and the pixel signal of the pupil division type focus detection pixel are mixed, and there is a problem that the data of the defective pixel is corrected inappropriately. If the defective pixel is a focus detection pixel, accurate focus detection may not be performed. When the defective pixel is an imaging pixel, the image quality may be deteriorated.

請求項１の発明による撮像装置は、像を形成する光束を射出する光学系と、前記光束を受光して画素信号を出力する複数の撮像画素と、瞳分割型の複数の焦点検出画素とを二次元配列に従って配置した撮像素子と、前記複数の撮像画素に含まれる欠陥撮像画素の画素信号を、当該欠陥撮像画素の周囲の前記複数の撮像画素の画素信号に基づき第１の欠陥画素補正処理により補正するとともに、前記複数の焦点検出画素に含まれる欠陥焦点検出画素の画素信号を、当該欠陥焦点検出画素の周囲の前記複数の焦点検出画素の画素信号に基づき第２の欠陥画素補正処理により補正する第１の欠陥画素補正処理手段と、前記複数の撮像画素に含まれる欠陥撮像画素の画素信号を、前記第１の欠陥画素補正処理よりも精度が低い第３の欠陥画素補正処理により補正する第２の欠陥画素補正処理手段と、前記第１の欠陥画素補正処理により補正された前記欠陥撮像画素の画素信号を含む前記複数の撮像画素の画素信号に基づいて第１の画像信号を生成し、前記第３の欠陥画素補正処理により補正された前記欠陥撮像画素の画素信号を含む前記複数の撮像画素の画素信号に基づいて第２の画像信号を生成する画像生成手段と、撮影動作の開始前には、前記第２の欠陥画素補正処理手段に前記第３の欠陥画素補正処理による補正を行わせると共に前記画像生成手段に第２の画像信号を生成させ、撮影動作の開始後には、前記第１の欠陥画素補正処理手段に前記第１の欠陥画素補正処理による補正を行わせると共に前記画像生成手段に前記第２の画像信号を生成させる制御手段と、前記第１の欠陥画素補正処理手段により補正された前記欠陥焦点検出画素の画素信号を含む前記複数の焦点検出画素の画素信号に基づいて、前記光学系の焦点調節状態を検出する焦点検出手段と、前記欠陥撮像画素および前記欠陥焦点検出画素の欠陥画素位置を示す欠陥画素位置情報と、前記欠陥画素位置に配置されるのが前記欠陥撮像画素であるか前記欠陥焦点検出画素であるかに応じて前記第１の欠陥画素補正処理または前記第２の欠陥画素補正処理を指定する欠陥画素補正処理情報と、前記欠陥画素位置の周囲に配置され、前記第１の欠陥画素補正処理または前記第２の欠陥画素補正処理に用いられる複数の非欠陥撮像画素または複数の非欠陥焦点検出画素の位置を、前記欠陥画素位置を基準とした相対的な画素位置情報として指定する補正用画素位置情報と、を前記欠陥撮像画素および前記欠陥焦点検出画素毎に記憶する欠陥画素情報記憶手段と、を備え、前記第１の欠陥画素補正処理手段は、前記欠陥撮像画素および前記欠陥焦点検出画素毎に記憶された前記欠陥画素位置情報と前記補正用画素位置情報とに基づき定められる前記複数の非欠陥撮像画素の画素信号または前記複数の非欠陥焦点検出画素の画素信号に対して前記欠陥画素補正処理情報に基づき定められる前記第１の欠陥画素補正処理または前記第２の欠陥画素補正処理を施すことを特徴とする。
請求項２の発明による撮像装置は、像を形成する光束を射出する光学系と、第１、第２及び第３の分光感度特性をそれぞれ有し、前記光束をそれぞれ受光して画素信号をそれぞれ出力する第１、第２及び第３の撮像画素が所定の配列規則に従って２次元状に配列される撮像画素と、前記光学系の一対の瞳領域を通過した一対の光束を受光し、前記一対の光束による一対の像が前記光学系の焦点調節状態に応じて相対的にずれる方向に配列されると共に前記撮像画素の一部に置換して配置される複数の焦点検出画素からなる焦点検出画素列と、を有する撮像素子と、前記複数の撮像画素に含まれる欠陥撮像画素の画素信号を、当該欠陥撮像画素の周囲の複数の周囲画素の画素信号に基づき第１の欠陥画素補正処理により補正すると共に、前記焦点検出画素列に含まれる欠陥焦点検出画素の画素信号を、当該欠陥焦点検出画素の周囲の複数の周囲画素の画素信号に基づき第２の欠陥画素補正処理により補正する欠陥画素補正処理手段と、前記欠陥画素補正処理手段により補正された前記欠陥撮像画素の画素信号を含む前記複数の撮像画素の画素信号に基づいて、画像信号を生成する画像生成手段と、前記欠陥画素補正処理手段により補正された前記欠陥焦点検出画素の画素信号を含む前記焦点検出画素列の画素信号に基づいて、前記光学系の焦点調節状態を検出する焦点検出手段と、前記欠陥撮像画素および前記欠陥焦点検出画素の欠陥画素位置を示す欠陥画素位置情報と、前記第１の欠陥画素補正処理に用いられる前記欠陥撮像画素の周囲の複数の周囲画素の位置情報として、当該欠陥撮像画素と所定の位置関係にある周囲画素の位置を当該欠陥撮像画素位置を基準として表す欠陥撮像画素補正用の画素位置情報と、前記第２の欠陥画素補正処理に用いられる前記欠陥焦点検出画素の周囲の複数の周囲画素の位置情報として、当該欠陥焦点検出画素が属する前記焦点検出画素列内の、当該欠陥焦点検出画素近傍の焦点検出画素の位置を前記欠陥焦点検出画素位置を基準として表す欠陥焦点検出画素補正用の画素位置情報と、を前記欠陥撮像画素および前記欠陥焦点検出画素毎に記憶する欠陥画素情報記憶手段と、を備え、前記欠陥撮像画素補正用の画素位置情報は、前記所定の位置関係にある周囲画素が前記焦点検出画素を含む場合には、当該焦点検出画素の位置情報を含まず、前記欠陥画素補正処理手段は、前記欠陥画素情報記憶手段に記憶された前記欠陥画素位置情報に対応する前記欠陥撮像画素の画素信号を、当該欠陥撮像画素に対して前記欠陥画素情報記憶手段に記憶された前記欠陥撮像画素補正用の画素位置情報に対応する前記周囲画素の画素信号に基づき前記第１の欠陥画素補正処理により補正すると共に、前記欠陥画素情報記憶手段に記憶された前記欠陥画素位置情報に対応する前記欠陥焦点検出画素の画素信号を、当該欠陥焦点検出画素に対して前記欠陥画素情報記憶手段に記憶された前記欠陥焦点検出画素補正用の画素位置情報に対応する前記周囲画素の画素信号に基づき前記第２の欠陥画素補正処理により補正し、前記焦点検出画素列は、マイクロレンズと光電変換部とを有すると共に前記光電変換部が前記一対の光束の一方を受光する第１焦点検出画素と、マイクロレンズと光電変換部とを有すると共に当該光電変換部が前記一対の光束の他方を受光する第２焦点検出画素とが交互に配列されたものであり、前記欠陥焦点検出画素が前記第１焦点検出画素である場合に、当該欠陥焦点検出画素に対して前記欠陥画素情報記憶手段に記憶された前記欠陥焦点検出画素補正用の画素位置情報は、前記第１焦点検出画素の位置情報であり、前記欠陥焦点検出画素が前記第２焦点検出画素である場合に、当該欠陥焦点検出画素に対して前記欠陥画素情報記憶手段に記憶された前記欠陥焦点検出画素補正用の画素位置情報は、前記第２焦点検出画素の位置情報であることを特徴とする。
請求項３の発明による撮像装置は、像を形成する光束を射出する光学系と、第１、第２及び第３の分光感度特性をそれぞれ有し、前記光束をそれぞれ受光して画素信号をそれぞれ出力する第１、第２及び第３の撮像画素が所定の配列規則に従って２次元状に配列される撮像画素と、前記光学系の一対の瞳領域を通過した一対の光束を受光し、前記一対の光束による一対の像が前記光学系の焦点調節状態に応じて相対的にずれる方向に配列されると共に前記撮像画素の一部に置換して配置される複数の焦点検出画素からなる焦点検出画素列と、を有する撮像素子と、前記複数の撮像画素に含まれる欠陥撮像画素の画素信号を、当該欠陥撮像画素の周囲の複数の周囲画素の画素信号に基づき第１の欠陥画素補正処理により補正すると共に、前記焦点検出画素列に含まれる欠陥焦点検出画素の画素信号を、当該欠陥焦点検出画素の周囲の複数の周囲画素の画素信号に基づき第２の欠陥画素補正処理により補正する欠陥画素補正処理手段と、前記欠陥画素補正処理手段により補正された前記欠陥撮像画素の画素信号を含む前記複数の撮像画素の画素信号に基づいて、画像信号を生成する画像生成手段と、前記欠陥画素補正処理手段により補正された前記欠陥焦点検出画素の画素信号を含む前記焦点検出画素列の画素信号に基づいて、前記光学系の焦点調節状態を検出する焦点検出手段と、前記欠陥撮像画素および前記欠陥焦点検出画素の欠陥画素位置を示す欠陥画素位置情報と、前記第１の欠陥画素補正処理に用いられる前記欠陥撮像画素の周囲の複数の周囲画素の位置情報として、当該欠陥撮像画素と所定の位置関係にある周囲画素の位置を当該欠陥撮像画素位置を基準として表す欠陥撮像画素補正用の画素位置情報と、前記第２の欠陥画素補正処理に用いられる前記欠陥焦点検出画素の周囲の複数の周囲画素の位置情報として、当該欠陥焦点検出画素が属する前記焦点検出画素列内の、当該欠陥焦点検出画素近傍の焦点検出画素の位置を前記欠陥焦点検出画素位置を基準として表す欠陥焦点検出画素補正用の画素位置情報と、を前記欠陥撮像画素および前記欠陥焦点検出画素毎に記憶する欠陥画素情報記憶手段と、を備え、前記欠陥撮像画素補正用の画素位置情報は、前記所定の位置関係にある周囲画素が前記焦点検出画素を含む場合には、当該焦点検出画素の位置情報を含まず、前記欠陥画素補正処理手段は、前記欠陥画素情報記憶手段に記憶された前記欠陥画素位置情報に対応する前記欠陥撮像画素の画素信号を、当該欠陥撮像画素に対して前記欠陥画素情報記憶手段に記憶された前記欠陥撮像画素補正用の画素位置情報に対応する前記周囲画素の画素信号に基づき前記第１の欠陥画素補正処理により補正すると共に、前記欠陥画素情報記憶手段に記憶された前記欠陥画素位置情報に対応する前記欠陥焦点検出画素の画素信号を、当該欠陥焦点検出画素に対して前記欠陥画素情報記憶手段に記憶された前記欠陥焦点検出画素補正用の画素位置情報に対応する前記周囲画素の画素信号に基づき前記第２の欠陥画素補正処理により補正し、前記焦点検出画素列の焦点検出画素の各々は、マイクロレンズと前記マイクロレンズを通過した前記一対の光束をそれぞれ受光する一対の光電変換部とを有し、前記一対の光電変換部は、前記一対の光束による一対の像が前記光学系の焦点調節状態に応じて相対的にずれる方向に配列され、前記欠陥焦点検出画素に対して前記欠陥画素情報記憶手段に記憶された前記欠陥焦点検出画素補正用の画素位置情報は、当該欠陥焦点検出画素の両隣に位置する焦点検出画素であることを特徴とする。 An imaging apparatus according to a first aspect of the present invention includes: an optical system that emits a light beam that forms an image; a plurality of imaging pixels that receive the light beam and output a pixel signal; and a plurality of pupil-division focus detection pixels. First defective pixel correction processing based on pixel signals of the plurality of imaging pixels around the defective imaging pixel, with respect to the imaging elements arranged according to the two-dimensional array and the pixel signals of the defective imaging pixels included in the plurality of imaging pixels And the pixel signals of the defective focus detection pixels included in the plurality of focus detection pixels are corrected by the second defective pixel correction process based on the pixel signals of the plurality of focus detection pixels around the defect focus detection pixels. first and defective pixel correction unit, the pixel signal of the defective imaging pixels included in the plurality of imaging pixels, the first defect pixel correction processing third defective pixel correction process is less accurate than the correction A second defective pixel correcting means for further correcting the first image signal based on the pixel signals of the plurality of imaging pixel including the pixel signal of the defective imaging pixel corrected by the first defective pixel correction process It generates an image generating means for generating a second image signal based on the pixel signals of the plurality of imaging pixel including the pixel signal of the defective imaging pixel corrected by the third defective pixel correction processing, photographing Before the start of the operation, the second defective pixel correction processing unit is caused to perform correction by the third defective pixel correction processing and the image generation unit is caused to generate a second image signal. includes control means for generating said second image signal to the image generating means together to perform correction by the first defective pixel correction process to the first defective pixel correction processing means, the first defective pixel Focus detection means for detecting a focus adjustment state of the optical system based on pixel signals of the plurality of focus detection pixels including pixel signals of the defective focus detection pixels corrected by the positive processing means, the defect imaging pixels, and Defect pixel position information indicating a defective pixel position of the defective focus detection pixel, and the first defect depending on whether the defective imaging pixel or the defective focus detection pixel is disposed at the defective pixel position. Defective pixel correction processing information for designating pixel correction processing or the second defective pixel correction processing, and arranged around the defective pixel position, are used for the first defective pixel correction processing or the second defective pixel correction processing. Correction pixel position information that specifies the position of a plurality of non-defective imaging pixels or a plurality of non-defective focus detection pixels used as relative pixel position information based on the defective pixel position And defective pixel information storage means for storing each of the defective imaging pixels and the defective focus detection pixels, and the first defective pixel correction processing means is provided for each of the defective imaging pixels and the defective focus detection pixels. The defective pixel correction process for the pixel signals of the plurality of non-defective imaging pixels or the pixel signals of the plurality of non-defective focus detection pixels determined based on the stored defective pixel position information and the correction pixel position information The first defective pixel correction process or the second defective pixel correction process determined based on the information is performed.
An image pickup apparatus according to a second aspect of the present invention has an optical system that emits a light beam that forms an image, and first, second, and third spectral sensitivity characteristics, and each receives the light beam and outputs a pixel signal. The first, second, and third imaging pixels to be output are two-dimensionally arranged according to a predetermined arrangement rule, and a pair of light beams that have passed through a pair of pupil regions of the optical system are received, and the pair A focus detection pixel composed of a plurality of focus detection pixels arranged in a direction in which a pair of images by the luminous flux of the optical system is relatively shifted according to the focus adjustment state of the optical system and replaced with a part of the imaging pixel And a pixel signal of a defective imaging pixel included in the plurality of imaging pixels is corrected by a first defective pixel correction process based on pixel signals of a plurality of surrounding pixels around the defective imaging pixel. And A defective pixel correction processing unit that corrects a pixel signal of a defective focus detection pixel included in the detection pixel column by a second defective pixel correction process based on pixel signals of a plurality of surrounding pixels around the defective focus detection pixel; Based on the pixel signals of the plurality of imaging pixels including the pixel signal of the defective imaging pixel corrected by the defective pixel correction processing unit, an image generation unit that generates an image signal and the correction by the defective pixel correction processing unit Focus detection means for detecting a focus adjustment state of the optical system based on a pixel signal of the focus detection pixel row including a pixel signal of the defective focus detection pixel, and a defective pixel of the defective imaging pixel and the defective focus detection pixel As the defective pixel position information indicating the position and the positional information of a plurality of surrounding pixels around the defective imaging pixel used for the first defective pixel correction processing, Pixel position information for defective imaging pixel correction that represents the position of surrounding pixels in a predetermined positional relationship with the imaging pixel with reference to the position of the defective imaging pixel, and the defective focus detection pixel used for the second defective pixel correction processing As the position information of a plurality of surrounding pixels, the position of the focus detection pixel in the vicinity of the defect focus detection pixel in the focus detection pixel column to which the defect focus detection pixel belongs is expressed as the reference. Pixel position information for defect focus detection pixel correction, and defective pixel information storage means for storing each of the defect imaging pixels and the defect focus detection pixels, and the pixel position information for defect imaging pixel correction is When the surrounding pixels in the predetermined positional relationship include the focus detection pixel, the defect pixel correction processing unit does not include the position information of the focus detection pixel, and the defective pixel information is not included. A pixel position for correcting the defective imaging pixel stored in the defective pixel information storage unit with respect to the defective imaging pixel; and a pixel signal of the defective imaging pixel corresponding to the defective pixel position information stored in the information storage unit. A pixel of the defective focus detection pixel corresponding to the defective pixel position information stored in the defective pixel information storage unit and corrected by the first defective pixel correction processing based on the pixel signal of the surrounding pixels corresponding to the information The second defective pixel correction based on the pixel signal of the surrounding pixels corresponding to the pixel position information for the defective focus detection pixel correction stored in the defective pixel information storage unit with respect to the defective focus detection pixel corrected by the processing, the focus detection pixel row, focus first the photoelectric conversion portion receives one of the pair of light beams and having a microlens and a photoelectric conversion unit A detection pixel, a microlens, and a photoelectric conversion unit, and the photoelectric conversion unit is alternately arranged with second focus detection pixels that receive the other of the pair of light beams. In the case of the first focus detection pixel, the defect focus detection pixel correction pixel position information stored in the defect pixel information storage unit for the defect focus detection pixel is the position of the first focus detection pixel. Information, and when the defective focus detection pixel is the second focus detection pixel, the defect focus detection pixel correction pixel position information stored in the defective pixel information storage unit with respect to the defect focus detection pixel Is the position information of the second focus detection pixel .
An image pickup apparatus according to a third aspect of the present invention includes an optical system that emits a light beam that forms an image, and first, second, and third spectral sensitivity characteristics. The first, second, and third imaging pixels to be output are two-dimensionally arranged according to a predetermined arrangement rule, and a pair of light beams that have passed through a pair of pupil regions of the optical system are received, and the pair A focus detection pixel composed of a plurality of focus detection pixels arranged in a direction in which a pair of images by the luminous flux of the optical system is relatively shifted according to the focus adjustment state of the optical system and replaced with a part of the imaging pixel And a pixel signal of a defective imaging pixel included in the plurality of imaging pixels is corrected by a first defective pixel correction process based on pixel signals of a plurality of surrounding pixels around the defective imaging pixel. And A defective pixel correction processing unit that corrects a pixel signal of a defective focus detection pixel included in the detection pixel column by a second defective pixel correction process based on pixel signals of a plurality of surrounding pixels around the defective focus detection pixel; Based on the pixel signals of the plurality of imaging pixels including the pixel signal of the defective imaging pixel corrected by the defective pixel correction processing unit, an image generation unit that generates an image signal and the correction by the defective pixel correction processing unit Focus detection means for detecting a focus adjustment state of the optical system based on a pixel signal of the focus detection pixel row including a pixel signal of the defective focus detection pixel, and a defective pixel of the defective imaging pixel and the defective focus detection pixel As the defective pixel position information indicating the position and the positional information of a plurality of surrounding pixels around the defective imaging pixel used for the first defective pixel correction processing, Pixel position information for defective imaging pixel correction that represents the position of surrounding pixels in a predetermined positional relationship with the imaging pixel with reference to the position of the defective imaging pixel, and the defective focus detection pixel used for the second defective pixel correction processing As the position information of a plurality of surrounding pixels, the position of the focus detection pixel in the vicinity of the defect focus detection pixel in the focus detection pixel column to which the defect focus detection pixel belongs is expressed as the reference. Pixel position information for defect focus detection pixel correction, and defective pixel information storage means for storing each of the defect imaging pixels and the defect focus detection pixels, and the pixel position information for defect imaging pixel correction is When the surrounding pixels in the predetermined positional relationship include the focus detection pixel, the defect pixel correction processing unit does not include the position information of the focus detection pixel, and the defective pixel information is not included. A pixel position for correcting the defective imaging pixel stored in the defective pixel information storage unit with respect to the defective imaging pixel; and a pixel signal of the defective imaging pixel corresponding to the defective pixel position information stored in the information storage unit. A pixel of the defective focus detection pixel corresponding to the defective pixel position information stored in the defective pixel information storage unit and corrected by the first defective pixel correction processing based on the pixel signal of the surrounding pixels corresponding to the information The second defective pixel correction based on the pixel signal of the surrounding pixels corresponding to the pixel position information for the defective focus detection pixel correction stored in the defective pixel information storage unit with respect to the defective focus detection pixel corrected by processing each of the focus detection pixel of the focus detection pixel column to receive the pair of the light beam passing through the microlenses and microlens respectively A pair of photoelectric conversion units, wherein the pair of photoelectric conversion units are arranged in a direction in which a pair of images by the pair of light beams are relatively shifted according to a focus adjustment state of the optical system, and the defect focus detection The pixel position information for correcting the defective focus detection pixel stored in the defective pixel information storage unit with respect to the pixel is a focus detection pixel located on both sides of the defective focus detection pixel .

本発明によれば、撮像画素と瞳分割型の焦点検出画素を混載する撮像素子を備えた撮像装置において、欠陥画素のデータの不適切な補正を防止することが可能になる。   ADVANTAGE OF THE INVENTION According to this invention, in the imaging device provided with the image pick-up element which mounts an imaging pixel and a pupil division type focus detection pixel together, it becomes possible to prevent the correction | amendment of the data of a defective pixel inappropriately.

第１の実施の形態のデジタルスチルカメラの構成を示す横断面図である。It is a cross-sectional view which shows the structure of the digital still camera of 1st Embodiment. 交換レンズの撮影画面上における焦点検出位置を示す図である。It is a figure which shows the focus detection position on the imaging | photography screen of an interchangeable lens. 撮像素子の詳細な構成を示す正面図である。It is a front view which shows the detailed structure of an image pick-up element. 撮像素子の詳細な構成を示す正面図である。It is a front view which shows the detailed structure of an image pick-up element. 撮像画素と焦点検出画素のマイクロレンズの形状を示す図である。It is a figure which shows the shape of the micro lens of an imaging pixel and a focus detection pixel. 撮像画素の正面図である。It is a front view of an imaging pixel. 緑画素、赤画素および青画素の分光特性を示す図である。It is a figure which shows the spectral characteristics of a green pixel, a red pixel, and a blue pixel. 焦点検出画素の分光特性を示す図である。It is a figure which shows the spectral characteristic of a focus detection pixel. 焦点検出画素の正面図である。It is a front view of a focus detection pixel. 撮像画素の断面図である。It is sectional drawing of an imaging pixel. 焦点検出画素の断面図である。It is sectional drawing of a focus detection pixel. 撮像画素が受光する撮影光束の様子を説明するための図である。It is a figure for demonstrating the mode of the imaging light beam which an imaging pixel receives. 焦点検出画素が受光する撮影光束の様子を説明するための図である。It is a figure for demonstrating the mode of the imaging light beam which a focus detection pixel receives. 撮像素子の回路構成を簡略化して示す図である。It is a figure which simplifies and shows the circuit structure of an image pick-up element. 撮像画素および焦点検出画素における１つの光電変換部に対する基本回路構成を示す図である。It is a figure which shows the basic circuit structure with respect to one photoelectric conversion part in an imaging pixel and a focus detection pixel. 撮像素子の動作タイミングチャートである。It is an operation | movement timing chart of an image pick-up element. デジタルスチルカメラの撮像動作を示すフローチャートである。It is a flowchart which shows the imaging operation of a digital still camera. 一対のデータのずらし量ｋに対する相関量Ｃ（ｋ）の関係を示す図である。It is a figure which shows the relationship of the correlation amount C (k) with respect to the shift amount k of a pair of data. 欠陥画素補正処理を行う際の画素データおよび処理の内容についての概念図である。It is a conceptual diagram about the pixel data at the time of performing a defective pixel correction process, and the content of the process. 欠陥画素を除いた５×５画素のマトリックスを２４ビットで表した図である。It is the figure which represented the matrix of 5x5 pixels except a defective pixel with 24 bits. 欠陥画素を中心とした５×５の領域を示した図である。It is the figure which showed the 5 * 5 area | region centering on a defective pixel. 欠陥画素を中心とした５×５の領域を示した図である。It is the figure which showed the 5 * 5 area | region centering on a defective pixel. 欠陥画素を中心とした５×５の領域を示した図である。It is the figure which showed the 5 * 5 area | region centering on a defective pixel. 欠陥画素を中心とした５×５の領域を示した図である。It is the figure which showed the 5 * 5 area | region centering on a defective pixel. 欠陥画素を中心とした５×５の領域を示した図である。It is the figure which showed the 5 * 5 area | region centering on a defective pixel. 欠陥画素を中心とした５×５の領域を示した図である。It is the figure which showed the 5 * 5 area | region centering on a defective pixel. 欠陥画素を中心とした５×５の領域を示した図である。It is the figure which showed the 5 * 5 area | region centering on a defective pixel. 欠陥画素補正処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of a defective pixel correction process. 撮像素子の詳細な構成を示す正面図である。It is a front view which shows the detailed structure of an image pick-up element. 撮像素子の詳細な構成を示す正面図である。It is a front view which shows the detailed structure of an image pick-up element. 焦点検出画素の正面図である。It is a front view of a focus detection pixel. 焦点検出画素の断面図である。It is sectional drawing of a focus detection pixel. 交換レンズの撮影画面上における焦点検出位置を示す図である。It is a figure which shows the focus detection position on the imaging | photography screen of an interchangeable lens. 撮像素子の詳細な構成を示す正面図である。It is a front view which shows the detailed structure of an image pick-up element. 撮像素子の詳細な構成を示す正面図である。It is a front view which shows the detailed structure of an image pick-up element. 焦点検出画素の正面図である。It is a front view of a focus detection pixel. 欠陥画素を中心とした５×５の領域を示した図である。It is the figure which showed the 5 * 5 area | region centering on a defective pixel. 欠陥画素を中心とした５×５の領域を示した図である。It is the figure which showed the 5 * 5 area | region centering on a defective pixel. 欠陥画素を中心とした５×５の領域を示した図である。It is the figure which showed the 5 * 5 area | region centering on a defective pixel. 欠陥画素を中心とした５×５の領域を示した図である。It is the figure which showed the 5 * 5 area | region centering on a defective pixel. 欠陥画素を中心とした５×５の領域を示した図である。It is the figure which showed the 5 * 5 area | region centering on a defective pixel. 欠陥画素を中心とした５×５の領域を示した図である。It is the figure which showed the 5 * 5 area | region centering on a defective pixel. 交換レンズの撮影画面上における焦点検出位置を示す図である。It is a figure which shows the focus detection position on the imaging | photography screen of an interchangeable lens. 撮像素子の詳細な構成を示す正面図である。It is a front view which shows the detailed structure of an image pick-up element. 撮像素子の詳細な構成を示す正面図である。It is a front view which shows the detailed structure of an image pick-up element. 欠陥画素を中心とした５×５の領域を示した図である。It is the figure which showed the 5 * 5 area | region centering on a defective pixel. 欠陥画素を中心とした５×５の領域を示した図である。It is the figure which showed the 5 * 5 area | region centering on a defective pixel. 撮像素子の詳細な構成を示す正面図である。It is a front view which shows the detailed structure of an image pick-up element.

−−−第１の実施の形態−−−
第１の実施の形態の撮像装置として、レンズ交換式のデジタルスチルカメラを例に挙げて説明する。図１は第１の実施の形態のデジタルスチルカメラの構成を示す横断面図である。本実施の形態のデジタルスチルカメラ２０１は、交換レンズ２０２とカメラボディ２０３とから構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。 --- First embodiment ---
A lens interchangeable digital still camera will be described as an example of the imaging apparatus according to the first embodiment. FIG. 1 is a cross-sectional view showing the configuration of the digital still camera according to the first embodiment. A digital still camera 201 according to the present embodiment includes an interchangeable lens 202 and a camera body 203, and the interchangeable lens 202 is attached to the camera body 203 via a mount unit 204. An interchangeable lens 202 having various photographing optical systems can be attached to the camera body 203 via a mount unit 204.

交換レンズ２０２は、レンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は、不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置２０６は、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う。また、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報（デフォーカス量や絞り値など）の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。   The interchangeable lens 202 includes a lens 209, a zooming lens 208, a focusing lens 210, a diaphragm 211, a lens drive control device 206, and the like. The lens drive control device 206 includes a microcomputer (not shown), a memory, a drive control circuit, and the like. The lens drive control unit 206 performs drive control for adjusting the focus of the focusing lens 210 and adjusting the aperture diameter of the aperture 211, and detecting the states of the zooming lens 208, the focusing lens 210, and the aperture 211. Further, transmission of lens information and reception of camera information (defocus amount, aperture value, etc.) are performed by communication with a body drive control device 214 described later. The aperture 211 forms an aperture having a variable aperture diameter at the center of the optical axis in order to adjust the amount of light and the amount of blur.

カメラボディ２０３は、撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９、バッファメモリ２２０、欠陥画素情報記憶メモリ２２１などを備えている。撮像素子２１２には、撮像画素が二次元状（行と列）に配置されるとともに、焦点検出位置（焦点検出エリア）に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。   The camera body 203 includes an image sensor 212, a body drive control device 214, a liquid crystal display element drive circuit 215, a liquid crystal display element 216, an eyepiece lens 217, a memory card 219, a buffer memory 220, a defective pixel information storage memory 221 and the like. . In the image sensor 212, image pickup pixels are two-dimensionally arranged (rows and columns), and focus detection pixels are incorporated in portions corresponding to focus detection positions (focus detection areas). Details of the image sensor 212 will be described later.

ボディ駆動制御装置２１４は、マイクロコンピューター、メモリ、駆動制御回路などから構成され、撮像素子２１２の駆動制御と、撮像素子２１２からの画素信号の読み出しおよび欠陥画素補正処理と、焦点検出画素の画素信号に基づく焦点検出演算と、交換レンズ２０２の焦点調節とを繰り返し行うとともに、画像信号の処理と記録、デジタルスチルカメラ２０１の動作制御などを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報の送信を行う。   The body drive control device 214 includes a microcomputer, a memory, a drive control circuit, and the like, and performs drive control of the image sensor 212, readout of pixel signals from the image sensor 212, correction of defective pixels, and pixel signals of focus detection pixels. The focus detection calculation based on the above and the focus adjustment of the interchangeable lens 202 are repeated, and image signal processing and recording, operation control of the digital still camera 201, and the like are performed. The body drive control device 214 communicates with the lens drive control device 206 through the electrical contact 213 to receive lens information and transmit camera information.

液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２から読み出されたスルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。   The liquid crystal display element 216 functions as an electric view finder (EVF). The liquid crystal display element driving circuit 215 displays the through image read from the image sensor 212 on the liquid crystal display element 216, and the photographer can observe the through image through the eyepiece lens 217. The memory card 219 is an image storage that stores an image captured by the image sensor 212.

バッファメモリ２２０は、撮像素子２１２から読み出された画素信号を一時的に保持するメモリである。撮像素子２１２からは行順次に画素信号が読み出され、数行分の画素信号のデータがバッファメモリ２２０に保持される。欠陥画素情報記憶メモリ２２１は撮像素子２１２の欠陥画素に関する情報を記憶するメモリである。欠陥画素とは受光光量に対して異常な画素信号を発生する画素のことであって、例えば、いわゆる白キズ、黒キズとなる画素である。製造時において撮像素子２１２をカメラボディ２０１に組み込む際に、所定の一様照明状態を撮像素子２１２上に形成し、所定水準の画素信号が得られなかった画素を欠陥画素と認定する。該欠陥画素の位置情報（行、列）と該欠陥画素の種類とに応じた欠陥画素補正処理の種類および欠陥画素補正処理に用いる周囲の画素の位置に関する情報が、欠陥画素情報記憶メモリ２２１に記憶される。   The buffer memory 220 is a memory that temporarily holds pixel signals read from the image sensor 212. Pixel signals are read out from the image sensor 212 in row order, and data of pixel signals for several rows is held in the buffer memory 220. The defective pixel information storage memory 221 is a memory that stores information regarding defective pixels of the image sensor 212. A defective pixel is a pixel that generates an abnormal pixel signal with respect to the amount of received light, and is, for example, a pixel that becomes a so-called white defect or black defect. When the image sensor 212 is incorporated into the camera body 201 at the time of manufacture, a predetermined uniform illumination state is formed on the image sensor 212, and a pixel for which a pixel signal of a predetermined level is not obtained is recognized as a defective pixel. Information regarding the type of defective pixel correction processing corresponding to the position information (row, column) of the defective pixel and the type of the defective pixel and the position of surrounding pixels used for the defective pixel correction processing are stored in the defective pixel information storage memory 221. Remembered.

交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、撮像画素および焦点検出画素の画素信号がバッファメモリ２２０を介してボディ駆動制御装置２１４へ送られる。   A subject image is formed on the light receiving surface of the image sensor 212 by the light beam that has passed through the interchangeable lens 202. This subject image is photoelectrically converted by the image sensor 212, and the pixel signals of the imaging pixels and focus detection pixels are sent to the body drive control device 214 via the buffer memory 220.

ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの画素信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２の撮像画素の画素信号を処理して画像データを生成し、メモリカード２１９に格納するとともに、撮像素子２１２から読み出されたスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。   The body drive control device 214 calculates the defocus amount based on the pixel signal from the focus detection pixel of the image sensor 212 and sends this defocus amount to the lens drive control device 206. In addition, the body drive control device 214 processes the pixel signal of the imaging pixel of the imaging element 212 to generate image data, stores the image data in the memory card 219, and displays the through image signal read from the imaging element 212 on the liquid crystal display. The image is sent to the element driving circuit 215 and the through image is displayed on the liquid crystal display element 216. Further, the body drive control device 214 sends aperture control information to the lens drive control device 206 to control the aperture of the aperture 211.

レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。   The lens drive controller 206 updates the lens information according to the focusing state, zooming state, aperture setting state, aperture opening F value, and the like. Specifically, the positions of the zooming lens 208 and the focusing lens 210 and the aperture value of the aperture 211 are detected, and lens information is calculated according to these lens positions and aperture values, or a lookup prepared in advance. Lens information corresponding to the lens position and aperture value is selected from the table.

レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。   The lens drive control device 206 calculates a lens drive amount based on the received defocus amount, and drives the focusing lens 210 to the in-focus position according to the lens drive amount. Further, the lens drive control device 206 drives the diaphragm 211 in accordance with the received diaphragm value.

図２は、交換レンズ２０２の撮影画面上における焦点検出位置（焦点検出エリア）を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央（光軸上）および上下左右の５箇所に焦点検出エリア１０１〜１０５が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。焦点検出エリア１０１、１０２、１０３においては焦点検出画素が水平方向に配列され、焦点検出エリア１０４、１０５においては焦点検出画素が水平方向に配列される。   FIG. 2 is a diagram showing a focus detection position (focus detection area) on the shooting screen of the interchangeable lens 202, and an image is sampled on the shooting screen when a focus detection pixel column on the image sensor 212 described later performs focus detection. An example of a region (focus detection area, focus detection position) to be performed is shown. In this example, focus detection areas 101 to 105 are arranged at the center (on the optical axis) on the rectangular shooting screen 100 and at five locations on the top, bottom, left, and right. Focus detection pixels are linearly arranged in the longitudinal direction of the focus detection area indicated by a rectangle. In the focus detection areas 101, 102, and 103, focus detection pixels are arranged in the horizontal direction, and in the focus detection areas 104 and 105, focus detection pixels are arranged in the horizontal direction.

図３、図４は撮像素子２１２の詳細な構成を示す正面図である。図３は、図２における焦点検出エリア１０１、１０２、１０３の近傍を拡大した画素配列の詳細を示し、図４は、図２における焦点検出エリア１０４、１０５の近傍を拡大した画素配列の詳細を示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列される。撮像画素３１０は赤画素（Ｒ）、緑画素（Ｇ）、青画素（Ｂ）からなり、ベイヤー配列の配置規則によって配置されている。図４においては、垂直方向の焦点検出用に撮像画素と同一の画素サイズを有する垂直方向焦点検出用の焦点検出画素３１３、３１４が交互に、本来緑画素と赤画素とが連続的に配置されるべき垂直方向の直線上に連続して配列される。同じく、図３においては、水平方向の焦点検出用に撮像画素と同一の画素サイズを有する水平方向焦点検出用の焦点検出画素３１５、３１６が交互に、本来緑画素と青画素とが連続的に配置されるべき水平方向の直線上に連続して配列される。   3 and 4 are front views showing a detailed configuration of the image sensor 212. FIG. 3 shows details of the pixel array in which the vicinity of the focus detection areas 101, 102, 103 in FIG. 2 is enlarged, and FIG. 4 shows details of the pixel array in which the vicinity of the focus detection areas 104, 105 in FIG. Show. Imaging pixels 310 are densely arranged on the imaging element 212 in a two-dimensional square lattice pattern. The imaging pixel 310 includes a red pixel (R), a green pixel (G), and a blue pixel (B), and is arranged according to a Bayer arrangement rule. In FIG. 4, focus detection pixels 313 and 314 for vertical focus detection having the same pixel size as the imaging pixels for focus detection in the vertical direction are alternately arranged, and originally green pixels and red pixels are continuously arranged. It is arranged continuously on the vertical straight line to be. Similarly, in FIG. 3, focus detection pixels 315 and 316 for horizontal focus detection having the same pixel size as the imaging pixels for horizontal focus detection are alternately arranged, and originally green pixels and blue pixels are continuously formed. They are arranged continuously on a horizontal straight line to be arranged.

図５は、撮像画素と焦点検出画素とのマイクロレンズ１０の形状を示す図である。撮像画素と焦点検出画素とのマイクロレンズ１０の形状は、元々、画素サイズより大きな円形のマイクロレンズ９から画素サイズに対応した正方形の形状で切り出した形状をしている。マイクロレンズ１０の光軸を通る対角線の方向の断面と、マイクロレンズ１０の光軸を通る水平線の方向の断面とは、それぞれ図５に（ａ）、（ｂ）で示す形状になっている。   FIG. 5 is a diagram illustrating the shape of the microlens 10 including the imaging pixels and the focus detection pixels. The shape of the microlens 10 of the imaging pixel and the focus detection pixel is originally a shape cut out from a circular microlens 9 larger than the pixel size in a square shape corresponding to the pixel size. The cross section in the direction of the diagonal line passing through the optical axis of the microlens 10 and the cross section in the direction of the horizontal line passing through the optical axis of the microlens 10 have shapes shown in FIGS.

撮像画素３１０は、図６に示すように矩形のマイクロレンズ１０、後述の遮光マスクで受光領域を正方形に制限された光電変換部１１、および色フィルタ（不図示）から構成される。色フィルタは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図７に示す特性を有している。撮像素子２１２には、各色フィルタを備えた撮像画素３１０がベイヤー配列されている。   As shown in FIG. 6, the imaging pixel 310 includes a rectangular microlens 10, a photoelectric conversion unit 11 whose light receiving area is limited to a square by a light shielding mask described later, and a color filter (not shown). There are three types of color filters, red (R), green (G), and blue (B). Each spectral sensitivity has the characteristics shown in FIG. In the image pickup device 212, image pickup pixels 310 having respective color filters are arranged in a Bayer array.

焦点検出画素３１３、３１４、３１５、３１６には全ての色に対して焦点検出を行うために全ての可視光を透過する白色フィルタが設けられており、その白色フィルタの分光感度特性は図１０に示される。つまり、図７に示す緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性となり、そのような分光感度特性に対応する光波長領域は、緑画素、赤画素および青画素が高い分光感度を示す光波長領域を包括している。   The focus detection pixels 313, 314, 315, and 316 are provided with white filters that transmit all visible light in order to perform focus detection for all colors. The spectral sensitivity characteristics of the white filters are shown in FIG. Indicated. That is, the spectral sensitivity characteristic is obtained by adding the spectral sensitivity characteristics of the green pixel, the red pixel, and the blue pixel shown in FIG. 7, and the light wavelength regions corresponding to such spectral sensitivity characteristics are the green pixel, the red pixel, and the blue pixel. Includes a light wavelength region exhibiting high spectral sensitivity.

図９は焦点検出画素の正面図である。焦点検出画素３１３は、図９(ａ)に示すように矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の上半分（正方形を水平線で２等分した場合の上半分）に制限された光電変換部１３、および白色フィルタ（不図示）とから構成される。   FIG. 9 is a front view of the focus detection pixel. As shown in FIG. 9A, the focus detection pixel 313 is limited to the upper half of a square (upper half when the square is divided into two equal parts by a horizontal line) with a rectangular microlens 10 and a light shielding mask described later. And a photoelectric filter 13 and a white filter (not shown).

また、焦点検出画素３１４は、図９(ｂ)に示すように、矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の下半分（正方形を水平線で２等分した場合の下半分）に制限された光電変換部１４、および白色フィルタ（不図示）とから構成される。   Further, as shown in FIG. 9B, the focus detection pixel 314 has a light receiving area of the lower half of the square with the rectangular microlens 10 and a light shielding mask described later (the lower half when the square is divided into two equal parts by a horizontal line). The photoelectric conversion unit 14 is limited to 2 and a white filter (not shown).

焦点検出画素３１３と焦点検出画素３１４とをマイクロレンズ１０を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部１３と１４が垂直方向に並んでいる。   When the focus detection pixel 313 and the focus detection pixel 314 are displayed so as to overlap each other with the microlens 10 as a reference, the photoelectric conversion units 13 and 14 whose light receiving areas are limited by the light shielding mask are arranged in the vertical direction.

また図９（ａ）、（ｂ）において、正方形を半分にした受光領域の部分に正方形を半分にした残りの部分（破線部分）を加えると、撮像画素の受光領域と同じサイズの正方形となる。   In FIGS. 9A and 9B, when the remaining portion (broken line portion) obtained by halving the square is added to the light receiving region portion obtained by halving the square, a square having the same size as the light receiving region of the imaging pixel is obtained. .

焦点検出画素３１５は、図９(ｃ)に示すように、矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の左半分（正方形を垂直線で２等分した場合の左半分）に制限された光電変換部１５、および白色フィルタ（不図示）とから構成される。   As shown in FIG. 9C, the focus detection pixel 315 has a light receiving area in the left half of a square (left half when the square is divided into two equal parts by a vertical line) using a rectangular microlens 10 and a light shielding mask described later. It is composed of a limited photoelectric conversion unit 15 and a white filter (not shown).

また、焦点検出画素３１６は、図９(ｄ)に示すように、矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の右半分（正方形を垂直線で２等分した場合の右半分）に制限された光電変換部１６、および白色フィルタ（不図示）とから構成される。   Further, as shown in FIG. 9D, the focus detection pixel 316 includes a rectangular microlens 10 and a light shielding mask, which will be described later, in which the light receiving area is a right half of a square (a right half when a square is divided into two equal parts by a vertical line). ) And a white color filter (not shown).

焦点検出画素３１５の正面図と焦点検出画素３１６の正面図とをマイクロレンズ１０を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部１５と１６が水平方向に並んでいる。   When the front view of the focus detection pixel 315 and the front view of the focus detection pixel 316 are displayed so as to overlap each other with the microlens 10 as a reference, the photoelectric conversion units 15 and 16 in which the light receiving area is limited by the light shielding mask are arranged in the horizontal direction. Yes.

また図９（ｃ）、（ｄ）において、正方形を半分にした受光領域の部分に正方形を半分にした残りの部分（破線部分）を加えると、撮像画素の受光領域と同じサイズの正方形となる。   9C and 9D, when the remaining part (broken line part) obtained by halving the square is added to the light receiving area part obtained by halving the square, a square having the same size as the light receiving area of the imaging pixel is obtained. .

図１０は、垂直方向の直線で撮像画素配列の断面をとった場合の撮像画素３１０の断面図である。撮像画素３１０では撮像用の光電変換部１１の上に近接して遮光マスク３０が形成され、光電変換部１１は、遮光マスク３０の開口部３０ａを通過した光を受光する。遮光マスク３０の上には平坦化層３１が形成され、その上に色フィルタ３８が形成される。色フィルタ３８の上には平坦化層３２が形成され、その上にマイクロレンズ１０が形成される。マイクロレンズ１０により開口部３０ａの形状が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。   FIG. 10 is a cross-sectional view of the image pickup pixel 310 when the cross section of the image pickup pixel array is taken along a straight line in the vertical direction. In the imaging pixel 310, a light shielding mask 30 is formed in proximity to the imaging photoelectric conversion unit 11, and the photoelectric conversion unit 11 receives light that has passed through the opening 30 a of the light shielding mask 30. A planarizing layer 31 is formed on the light shielding mask 30, and a color filter 38 is formed thereon. A planarizing layer 32 is formed on the color filter 38, and the microlens 10 is formed thereon. The shape of the opening 30 a is projected forward by the microlens 10. The photoelectric conversion unit 11 is formed on the semiconductor circuit substrate 29.

図１１は、垂直方向の直線で焦点検出画素３１３、３１４からなる焦点検出画素配列の断面をとった場合の焦点検出画素３１３、３１４の断面図である。焦点検出画素３１３、３１４では焦点検出用の光電変換部１３，１４の上に近接して遮光マスク３０が形成され、光電変換部１３，１４は、遮光マスク３０の開口部３０ｂ、３０ｃを通過した光を受光する。遮光マスク３０の上には平坦化層３１が形成され、その上に白色フィルタ３４が形成される。白色フィルタ３４の上には平坦化層３２が形成され、その上にマイクロレンズ１０が形成される。マイクロレンズ１０により開口部３０ｂ、３０ｃの形状が前方に投影される。光電変換部１３，１４は半導体回路基板２９上に形成される。   FIG. 11 is a cross-sectional view of the focus detection pixels 313 and 314 when a cross section of the focus detection pixel array including the focus detection pixels 313 and 314 is taken along a straight line in the vertical direction. In the focus detection pixels 313 and 314, a light shielding mask 30 is formed in proximity to the focus detection photoelectric conversion units 13 and 14, and the photoelectric conversion units 13 and 14 have passed through the openings 30 b and 30 c of the light shielding mask 30. Receives light. A planarizing layer 31 is formed on the light shielding mask 30, and a white filter 34 is formed thereon. A planarizing layer 32 is formed on the white filter 34, and the microlens 10 is formed thereon. The shapes of the openings 30b and 30c are projected forward by the microlens 10. The photoelectric conversion units 13 and 14 are formed on the semiconductor circuit substrate 29.

焦点検出画素３１５、３１６の構造も焦点検出画素３１３、３１４の構造を９０度回転しただけであって、基本的に図１１に示す焦点検出画素の構造と同様である。   The structure of the focus detection pixels 315 and 316 is only the structure of the focus detection pixels 313 and 314 rotated by 90 degrees, and is basically the same as the structure of the focus detection pixels shown in FIG.

図１２は、図３、図４、図１０に示す撮像画素３１０が受光する撮影光束の様子を説明するための図であって、垂直方向の直線で撮像画素配列の断面をとっている。   FIG. 12 is a diagram for explaining the state of the imaging light beam received by the imaging pixel 310 shown in FIGS. 3, 4, and 10, and takes a cross-section of the imaging pixel array along a straight line in the vertical direction.

撮像素子上に配列された全ての撮像画素の光電変換部１１は、光電変換部１１に近接して配置された前記遮光マスク開口３０ａを通過した光束を受光する。遮光マスク開口３０ａの形状は、各撮像画素のマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の全撮像画素共通な領域９５に投影される。   The photoelectric conversion units 11 of all the imaging pixels arranged on the imaging element receive the light flux that has passed through the light shielding mask opening 30a disposed in the vicinity of the photoelectric conversion unit 11. The shape of the light-shielding mask opening 30a is projected by the microlens 10 of each imaging pixel onto a region 95 common to all imaging pixels on the exit pupil 90 that is separated from the microlens 10 by the distance measuring pupil distance d.

従って各撮像画素の光電変換部１１は、領域９５と各撮像画素のマイクロレンズ１０を通過する光束７１を受光し、領域９５を通過して各撮像画素のマイクロレンズ１０へ向う光束７１によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。   Therefore, the photoelectric conversion unit 11 of each imaging pixel receives the light beam 71 that passes through the region 95 and the microlens 10 of each imaging pixel, and passes through the region 95 to the microlens 10 of each imaging pixel, and the microbeams 71 pass through each micropixel 10. A signal corresponding to the intensity of the image formed on the lens 10 is output.

図１３は、図４、図１１に示す焦点検出画素３１３，３１４が受光する焦点検出光束の様子を図１２と比較して説明するための図であって、垂直方向の直線で焦点検出画素配列の断面をとっている。   FIG. 13 is a diagram for explaining the state of the focus detection light beam received by the focus detection pixels 313 and 314 shown in FIGS. 4 and 11 in comparison with FIG. 12, and the focus detection pixel array is represented by a straight line in the vertical direction. The cross section is taken.

撮像素子上に配列された全ての焦点検出画素の光電変換部１３，１４は、光電変換部１３，１４に近接して配置された前記遮光マスク開口３０ｂ、３０ｃを通過した光束を受光する。遮光マスク開口３０ｂの形状は、各焦点検出画素３１３のマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の焦点検出画素３１３に全てに共通した領域９３に投影される。同じく、遮光マスク開口３０ｃの形状は、各焦点検出画素３１４のマイクロレンズ１０により、マイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の焦点検出画素３１４に全てに共通した領域９４に投影される。一対の領域９３，９４を測距瞳と呼ぶ。   The photoelectric conversion units 13 and 14 of all the focus detection pixels arranged on the image sensor receive the light flux that has passed through the light shielding mask openings 30b and 30c disposed in proximity to the photoelectric conversion units 13 and 14. The shape of the light-shielding mask opening 30b is projected onto a region 93 that is common to all focus detection pixels 313 on the exit pupil 90 separated from the microlens 10 by the distance measurement pupil distance d by the microlens 10 of each focus detection pixel 313. . Similarly, the shape of the light-shielding mask opening 30c is an area 94 common to all the focus detection pixels 314 on the exit pupil 90 separated from the microlens 10 by the distance measurement pupil distance d by the microlens 10 of each focus detection pixel 314. Projected. The pair of areas 93 and 94 is called a distance measuring pupil.

従って各焦点検出画素３１３の光電変換部１３は、測距瞳９３と各撮像画素のマイクロレンズ１０を通過する光束７３を受光し、測距瞳９３を通過して各撮像画素のマイクロレンズ１０へ向う光束７３によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。また、各焦点検出画素３１４の光電変換部１４は、測距瞳９４と各撮像画素のマイクロレンズ１０を通過する光束７４を受光し、測距瞳９４を通過して各撮像画素のマイクロレンズ１０へ向う光束７４によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。   Accordingly, the photoelectric conversion unit 13 of each focus detection pixel 313 receives the light beam 73 passing through the distance measuring pupil 93 and the micro lens 10 of each imaging pixel, and passes through the distance measuring pupil 93 to the micro lens 10 of each imaging pixel. A signal corresponding to the intensity of the image formed on each microlens 10 is output by the light beam 73 directed. The photoelectric conversion unit 14 of each focus detection pixel 314 receives the light beam 74 passing through the distance measuring pupil 94 and the micro lens 10 of each imaging pixel, passes through the distance measuring pupil 94, and the micro lens 10 of each imaging pixel. A signal corresponding to the intensity of the image formed on each microlens 10 is output by the light flux 74 toward the head.

一対の焦点検出画素３１３，３１４が受光する光束７３，７４が通過する射出瞳９０上の測距瞳９３と９４を統合した領域は、撮像画素３１０が受光する光束７１が通過する射出瞳９０上の領域９５と一致する。射出瞳９０上において光束７３，７４は光束７１に対して相補的な関係になっている。   A region where the distance measuring pupils 93 and 94 on the exit pupil 90 through which the light beams 73 and 74 received by the pair of focus detection pixels 313 and 314 pass is integrated on the exit pupil 90 through which the light beam 71 received by the imaging pixel 310 passes. This corresponds to the area 95 of FIG. On the exit pupil 90, the light beams 73 and 74 have a complementary relationship with the light beam 71.

上述した一対の焦点検出画素３１３、３１４を交互にかつ直線状に多数配置する。各焦点検出画素の光電変換部の出力を測距瞳９３および測距瞳９４に対応した一対の出力グループにまとめることによって、測距瞳９３と測距瞳９４をそれぞれ通過する一対の光束が焦点検出画素配列上（垂直方向）に形成する一対の像の強度分布に関する情報が得られる。この情報に対して、後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔と測距瞳距離の比例関係に応じた変換演算を行うことによって、焦点検出位置（垂直方向）における予定結像面と結像面の偏差（デフォーカス量）が算出される。   A large number of the pair of focus detection pixels 313 and 314 described above are alternately and linearly arranged. By combining the output of the photoelectric conversion unit of each focus detection pixel into a pair of output groups corresponding to the distance measuring pupil 93 and the distance measuring pupil 94, a pair of light beams passing through the distance measuring pupil 93 and the distance measuring pupil 94 are in focus. Information about the intensity distribution of a pair of images formed on the detection pixel array (vertical direction) is obtained. By applying an image shift detection calculation process (correlation calculation process, phase difference detection process) described later to this information, the image shift amount of a pair of images is detected by a so-called pupil division type phase difference detection method. Furthermore, by performing a conversion operation according to the proportional relationship between the distance between the center of gravity of the pair of distance measurement pupils and the distance measurement pupil distance, the deviation between the planned image formation surface and the image formation surface at the focus detection position (vertical direction) is performed. (Defocus amount) is calculated.

焦点検出画素３１５、３１６が受光する焦点検出光束も焦点検出画素３１３、３１４の受光する一対の焦点検出光束７３，７４を９０度回転しただけであって、基本的に図１３に示す光束と同様であり、測距瞳９３、９４を９０度回転した一対の測距瞳が設定される。一対の焦点検出画素３１５、３１６を交互にかつ直線状に多数配置する。各焦点検出画素の光電変換部の出力を一対の測距瞳に対応した一対の出力グループにまとめることによって、一対の測距瞳をそれぞれ通過する一対の光束が焦点検出画素配列上（水平方向）に形成する一対の像の強度分布に関する情報が得られる。この情報に基づき、焦点検出位置（水平方向）における予定結像面と結像面の偏差（デフォーカス量）が算出される。   The focus detection light beams received by the focus detection pixels 315 and 316 are merely the same as the light beams shown in FIG. 13 except that the pair of focus detection light beams 73 and 74 received by the focus detection pixels 313 and 314 are rotated by 90 degrees. A pair of distance measurement pupils obtained by rotating the distance measurement pupils 93 and 94 by 90 degrees are set. A large number of pairs of focus detection pixels 315 and 316 are arranged alternately and linearly. By combining the outputs of the photoelectric conversion units of the focus detection pixels into a pair of output groups corresponding to the pair of distance measurement pupils, a pair of light fluxes passing through the pair of distance measurement pupils are arranged on the focus detection pixel array (horizontal direction). Information on the intensity distribution of the pair of images formed in the image is obtained. Based on this information, the deviation (defocus amount) between the planned imaging plane and the imaging plane at the focus detection position (horizontal direction) is calculated.

撮像素子２１２はＣＭＯＳイメージセンサーとして構成される。図１４に撮像素子２１２の回路構成概念図を示す。撮像素子２１２の回路構成を、水平方向８画素×垂直方向４画素のレイアウトに簡略化して説明する。図１４は、図２の水平方向の焦点検出エリア１０１，１０２、１０３に対応して描かれており、水平方向に焦点検出画素３１５，３１６が同一の行に配置されている。垂直方向の焦点検出エリア１０４、１０５には、焦点検出画素３１３，３１４が、垂直方向に配置され、かつ互いに異なる行に配置される。   The image sensor 212 is configured as a CMOS image sensor. FIG. 14 is a conceptual diagram of a circuit configuration of the image sensor 212. The circuit configuration of the image sensor 212 will be described in a simplified manner with a layout of 8 pixels in the horizontal direction and 4 pixels in the vertical direction. FIG. 14 is drawn corresponding to the focus detection areas 101, 102, and 103 in the horizontal direction of FIG. 2, and the focus detection pixels 315 and 316 are arranged in the same row in the horizontal direction. In the focus detection areas 104 and 105 in the vertical direction, focus detection pixels 313 and 314 are arranged in the vertical direction and in different rows.

２行目には、焦点検出画素３１５、３１６が配置されている。図１４では、“○”で示す中央の４つの焦点検出画素３１５、３１６が、複数の焦点検出画素を代表して示されており、左右の２つずつの撮像画素３１０（“□”で示す）が、焦点検出画素の左右に配置された複数の撮像画素を代表して示されている。   In the second row, focus detection pixels 315 and 316 are arranged. In FIG. 14, the four focus detection pixels 315 and 316 at the center indicated by “◯” are shown as representative of a plurality of focus detection pixels, and two left and right imaging pixels 310 (indicated by “□”). ) Is shown representatively of a plurality of imaging pixels arranged on the left and right of the focus detection pixel.

１行目、３行目、４行目には、撮像画素３１０のみが配置されている。図１４では、１行目、３行目、４行目の撮像画素３１０が、焦点検出画素が配置された行の上下の複数の撮像画素のみからなる行を代表して示されている。   Only the imaging pixels 310 are arranged in the first, third, and fourth lines. In FIG. 14, the imaging pixels 310 in the first row, the third row, and the fourth row are shown as representative rows including a plurality of imaging pixels above and below the row in which the focus detection pixels are arranged.

図１４において、ラインメモリ３２０は、１行分の画素の画素信号をサンプルホールドして一時的に保持するバッファであり、垂直信号線５０１に出力されている同一行の画素信号を垂直走査回路が発する制御信号ΦＨ１に基づいてサンプルホールドする。なお、ラインメモリ３２０に保持される画素信号は、制御信号ΦＳ１〜ΦＳ４の立ち上がりに同期してリセットされる。   In FIG. 14, a line memory 320 is a buffer that samples and holds pixel signals of pixels for one row and temporarily holds them, and a vertical scanning circuit outputs pixel signals of the same row output to the vertical signal line 501. Sample and hold based on the control signal ΦH1 to be emitted. The pixel signal held in the line memory 320 is reset in synchronization with the rise of the control signals ΦS1 to ΦS4.

撮像画素３１０および焦点検出画素３１５、３１６からの画素信号の出力は、垂直走査回路が発生する制御信号（ΦＳ１〜ΦＳ４）により行ごとに独立に制御される。制御信号（ΦＳ１〜ΦＳ４）により選択された行の画素の画素信号は、垂直信号線５０１に出力される。   Output of pixel signals from the imaging pixel 310 and the focus detection pixels 315 and 316 is independently controlled for each row by a control signal (ΦS1 to ΦS4) generated by the vertical scanning circuit. The pixel signals of the pixels in the row selected by the control signals (ΦS1 to ΦS4) are output to the vertical signal line 501.

ラインメモリ３２０に保持された画素信号は、水平走査回路が発生する制御信号（ΦＶ１〜ΦＶ８）により、順次、出力回路３３０に転送され、出力回路３３０において、設定された増幅度で増幅されて外部に出力される。   The pixel signals held in the line memory 320 are sequentially transferred to the output circuit 330 by the control signals (ΦV1 to ΦV8) generated by the horizontal scanning circuit, and are amplified by the set amplification degree in the output circuit 330 to be externally transmitted. Is output.

撮像画素３１０および焦点検出画素３１５、３１６は、画素信号がサンプルホールドされた後、垂直走査回路が発生する制御信号（ΦＲ１〜ΦＲ４）によりリセットされ、制御信号ΦＲ１〜ΦＲ４の立ち下がりで次回の画素信号出力のための電荷蓄積を開始する。   The imaging pixel 310 and the focus detection pixels 315 and 316 are reset by the control signals (ΦR1 to ΦR4) generated by the vertical scanning circuit after the pixel signal is sampled and held, and the next pixel is detected at the falling edge of the control signals ΦR1 to ΦR4. Charge accumulation for signal output is started.

制御信号φＳｙｎｃは垂直同期信号であって、フレーム毎に外部に出力される。また、制御信号ΦＳ１〜ΦＳ４、制御信号ΦＲ１〜ΦＲ４も外部に出力される。   The control signal φSync is a vertical synchronization signal and is output to the outside for each frame. Further, control signals ΦS1 to ΦS4 and control signals ΦR1 to ΦR4 are also output to the outside.

図１５は、図１４に示す撮像素子２１２の撮像画素３１０および焦点検出画素３１５、３１６の詳細回路図である。光電変換部はフォトダイオード（ＰＤ）で構成される。ＰＤで蓄積された電荷は浮遊拡散層（フローティングディフュージョン：ＦＤ）に蓄積される。ＦＤは増幅ＭＯＳトランジスタ（ＡＭＰ）のゲートに接続されており、ＡＭＰはＦＤに蓄積された電荷の量に応じた信号を発生する。   FIG. 15 is a detailed circuit diagram of the imaging pixel 310 and the focus detection pixels 315 and 316 of the imaging device 212 shown in FIG. The photoelectric conversion unit is composed of a photodiode (PD). The charge accumulated in the PD is accumulated in a floating diffusion layer (floating diffusion: FD). The FD is connected to the gate of the amplification MOS transistor (AMP), and the AMP generates a signal corresponding to the amount of charge accumulated in the FD.

ＦＤ部は、リセットＭＯＳトランジスタ５１０を介し、電源電圧Ｖｄｄに接続されている。制御信号ΦＲｎ（ΦＲ１〜ΦＲ３）によりリセットＭＯＳトランジスタ５１０がＯＮとなると、ＦＤおよびＰＤに溜まった電荷がクリアされ、リセット状態となる。   The FD portion is connected to the power supply voltage Vdd via the reset MOS transistor 510. When the reset MOS transistor 510 is turned on by the control signal ΦRn (ΦR1 to ΦR3), the charges accumulated in the FD and PD are cleared and the reset state is set.

ＡＭＰの出力は、行選択ＭＯＳトランジスタ５１２を介して垂直出力線５０１に接続されている。制御信号ΦＳｎ（ΦＳ１〜ΦＳ３）により行選択ＭＯＳトランジスタ５１２がＯＮとなると、ＡＭＰの出力が垂直出力線５０１に出力される。   The output of AMP is connected to a vertical output line 501 through a row selection MOS transistor 512. When the row selection MOS transistor 512 is turned on by the control signal ΦSn (ΦS1 to ΦS3), the output of the AMP is output to the vertical output line 501.

図１６は、図１４に示す撮像素子２１２の動作タイミングチャートである。ＣＭＯＳイメージセンサーにおいては、いわゆるローリングシャッタ動作により、画素のリセット、露光、信号の読み出しが以下のように各行毎に順次行われる。   FIG. 16 is an operation timing chart of the image sensor 212 shown in FIG. In a CMOS image sensor, pixel reset, exposure, and signal readout are sequentially performed for each row as described below by a so-called rolling shutter operation.

撮像素子２１２からの全画素の信号の出力（１フレーム分の画像信号の出力）に同期して、垂直同期信号φＳｙｎｃが発せられる。１行目の撮像画素３１０は、垂直同期信号φＳｙｎｃに同期して垂直走査回路が発する制御信号ΦＳ１により選択され、選択された撮像画素３１０の画素信号は垂直信号線５０１に出力される。制御信号ΦＳ１と同期して発せられる制御信号ΦＨ１により垂直信号線５０１に出力された１行目の画素信号は、ラインメモリ３２０に一時的に保持される。   A vertical synchronization signal φSync is generated in synchronization with the output of all pixel signals from the image sensor 212 (output of image signals for one frame). The imaging pixel 310 in the first row is selected by a control signal ΦS1 generated by the vertical scanning circuit in synchronization with the vertical synchronization signal φSync, and the pixel signal of the selected imaging pixel 310 is output to the vertical signal line 501. The pixel signal of the first row output to the vertical signal line 501 by the control signal ΦH1 generated in synchronization with the control signal ΦS1 is temporarily held in the line memory 320.

ラインメモリ３２０に保持された１行目の撮像画素３１０の画素信号は、水平走査回路から順次発せられる制御信号ΦＶ１〜ΦＶ８にしたがって出力回路３３０に転送され、出力回路３３０において、設定された増幅度で増幅されて外部に出力される。   The pixel signals of the imaging pixels 310 in the first row held in the line memory 320 are transferred to the output circuit 330 according to the control signals ΦV1 to ΦV8 sequentially issued from the horizontal scanning circuit, and the set amplification degree is set in the output circuit 330. Is amplified and output to the outside.

１行目の撮像画素３１０の画素信号のラインメモリ３２０への転送が終了した時点で、リセット回路より発せられる制御信号ΦＲ１により１行目の撮像画素３１０がリセットされ、制御信号ΦＲ１の立ち下がりで１行目の撮像画素３１０の次の電荷蓄積が開始される。   When the transfer of the pixel signal of the imaging pixel 310 in the first row to the line memory 320 is completed, the imaging pixel 310 in the first row is reset by the control signal ΦR1 issued from the reset circuit, and at the falling edge of the control signal ΦR1. The next charge accumulation of the imaging pixels 310 in the first row is started.

１行目の撮像画素３１０の画素信号の、出力回路３３０からの出力が終了した時点で、２行目の撮像画素３１０および焦点検出画素３１５，３１６は、垂直走査回路が発する制御信号ΦＳ２により選択され、選択された撮像画素３１０の画素信号は垂直信号線５０１に出力される。   When the output of the pixel signal of the imaging pixel 310 in the first row from the output circuit 330 is completed, the imaging pixel 310 and the focus detection pixels 315 and 316 in the second row are selected by the control signal ΦS2 generated by the vertical scanning circuit. Then, the pixel signal of the selected imaging pixel 310 is output to the vertical signal line 501.

以下、同様にして２行目の撮像画素３１０および焦点検出画素３１５，３１６の画素信号の保持および撮像画素３１０のリセット、画素信号の出力および次の電荷蓄積の開始が行われる。続いて３行目、４行目の撮像画素３１０の画素信号の保持および撮像画素３１０のリセット、撮像画素３１０の画素信号の出力および次の電荷蓄積の開始が行われる。全ての画素の画素信号の出力が終了すると、再び１行目に戻って上記動作が周期的に繰り返される。   Thereafter, similarly, the pixel signals of the imaging pixels 310 and the focus detection pixels 315 and 316 in the second row are held, the imaging pixels 310 are reset, the pixel signals are output, and the next charge accumulation is started. Subsequently, the pixel signals of the imaging pixels 310 in the third row and the fourth row are held, the imaging pixels 310 are reset, the pixel signals of the imaging pixels 310 are output, and the next charge accumulation is started. When the output of the pixel signals of all the pixels is completed, the operation returns to the first row again and the above operation is repeated periodically.

ｎ行目の撮像画素３１０および焦点検出画素３１５，３１６のリセット動作は、制御信号φＲｎの立ち上がりから立ち下がりまでの時間に行われ、ｎ行目の撮像画素３１０および焦点検出画素３１５，３１６の露光動作は、制御信号φＲｎの立ち下がりから、制御信号φＳｎの立ち上がりまでの時間（露光時間、蓄積時間）に行われ、ｎ行目の撮像画素３１０および焦点検出画素３１５，３１６の信号読み出し動作は、制御信号φＳｎの立ち上がりから制御信号φＳｎ+1の立ち上がりまでの時間に行われる。   The reset operation of the n-th imaging pixel 310 and the focus detection pixels 315 and 316 is performed during the time from the rise to the fall of the control signal φRn, and the exposure of the n-th imaging pixel 310 and the focus detection pixels 315 and 316 is performed. The operation is performed during the time (exposure time, accumulation time) from the falling edge of the control signal φRn to the rising edge of the control signal φSn. The signal readout operation of the imaging pixels 310 and the focus detection pixels 315 and 316 in the n-th row is as follows. The time is from the rise of the control signal φSn to the rise of the control signal φSn + 1.

図１７は、デジタルスチルカメラ２０１の撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップＳ１００でデジタルスチルカメラ２０１の電源がオンされると、ステップＳ１１０以降の撮像動作を開始する。ステップＳ１１０において、撮像素子２１２は、一定周期で撮像動作を繰り返す動作モード（例えば１秒間に６０フレームを出力する）に設定される。そして１フレーム分の全画素データを読み出すとともに、欠陥画素に対して欠陥画素補正処理を施す。欠陥画素補正処理の詳細は後述する。続くステップＳ１２０では、撮像画素３１０のデータから一部を間引きしたデータを液晶表示素子２１６に表示（ライブビュー表示）させる。ステップＳ１３０では焦点検出画素３１３、３１４、３１５、３１６のデータに基づき５つの焦点検出エリア１０１〜１０５において焦点検出を行い、最終的に１つのデフォーカス量を算出する。デフォーカス量の信頼性が低い場合、またはデフォーカス量の算出が不能であった場合は、焦点検出不能となる。ステップＳ１３０におけるデフォーカス量の算出処理の詳細については後述する。   FIG. 17 is a flowchart showing the imaging operation of the digital still camera 201. When the power of the digital still camera 201 is turned on in step S100, the body drive control device 214 starts an imaging operation after step S110. In step S110, the image sensor 212 is set to an operation mode (for example, outputting 60 frames per second) that repeats the imaging operation at a constant cycle. Then, all pixel data for one frame is read out, and defective pixel correction processing is performed on the defective pixels. Details of the defective pixel correction processing will be described later. In the subsequent step S120, data obtained by partially thinning out the data of the imaging pixel 310 is displayed on the liquid crystal display element 216 (live view display). In step S130, focus detection is performed in the five focus detection areas 101 to 105 based on the data of the focus detection pixels 313, 314, 315, and 316, and finally one defocus amount is calculated. When the reliability of the defocus amount is low, or when the defocus amount cannot be calculated, the focus cannot be detected. Details of the defocus amount calculation processing in step S130 will be described later.

ステップＳ１４０で、合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合は、ステップＳ１５０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させる。その後、ステップＳ１１０へ戻って上述した動作を繰り返す。   In step S140, it is checked whether or not the focus is close, that is, whether or not the calculated absolute value of the defocus amount is within a predetermined value. If it is determined that the focus is not close, the process proceeds to step S150, the defocus amount is transmitted to the lens drive controller 206, and the focusing lens 210 of the interchangeable lens 202 is driven to the focus position. Then, it returns to step S110 and repeats the operation | movement mentioned above.

なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近までの間でスキャン駆動させる。その後、ステップＳ１１０へ戻って上述した動作を繰り返す。   Even when focus detection is impossible, the process branches to this step, a scan drive command is transmitted to the lens drive control device 206, and the focusing lens 210 of the interchangeable lens 202 is driven to scan from infinity to the nearest. Then, it returns to step S110 and repeats the operation | movement mentioned above.

ステップＳ１４０で合焦近傍であると判定された場合はステップＳ１６０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップＳ１１０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップＳ１７０へ進み、レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）にする。絞り制御が終了した時点で、撮像素子２１２に被写体輝度に応じた露光時間による撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１３、３１４、３１５、３１６から画像データを読み出すとともに、欠陥画素に対して欠陥画素補正処理を施す。欠陥画素補正処理の詳細は後述する。   If it is determined in step S140 that the focus is close, the process proceeds to step S160, and it is determined whether or not a shutter release has been performed by operating a shutter button (not shown). If it is determined that the shutter release has not been performed, the process returns to step S110 and the above-described operation is repeated. On the other hand, if it is determined that the shutter release has been performed, the process proceeds to step S170, where an aperture adjustment command is transmitted to the lens drive control unit 206, and the aperture value of the interchangeable lens 202 is controlled by a control F value (F set by the photographer or automatically). Value). When the aperture control is completed, the image pickup device 212 is caused to perform an image pickup operation with an exposure time corresponding to the subject luminance, and image data is acquired from the image pickup pixel 310 of the image pickup device 212 and all the focus detection pixels 313, 314, 315, and 316. While reading, the defective pixel correction process is performed on the defective pixel. Details of the defective pixel correction processing will be described later.

ステップＳ１８０において、焦点検出画素列の各画素位置における仮想的な撮像画素のデータを焦点検出画素３１３、３１４、３１５、３１６の周囲の撮像画素３１０のデータと焦点検出画素３１３、３１４、３１５、３１６のデータに基づいて画素補間する。例えば特願２００７−２６４５５７に開示された画素補間処理を行う。続くステップＳ１９０では、撮像画素３１０のデータおよび補間された仮想的な撮像画素のデータからなる画像データをメモリーカード２１９に記憶し、ステップＳ１１０へ戻って上述した動作を繰り返す。   In step S180, the data of the virtual imaging pixels at the respective pixel positions of the focus detection pixel row are changed to the data of the imaging pixels 310 around the focus detection pixels 313, 314, 315, and 316 and the focus detection pixels 313, 314, 315, and 316. Pixel interpolation is performed based on the data. For example, the pixel interpolation processing disclosed in Japanese Patent Application No. 2007-264557 is performed. In the subsequent step S190, image data composed of the data of the imaging pixel 310 and the interpolated virtual imaging pixel data is stored in the memory card 219, and the process returns to step S110 to repeat the above-described operation.

次に、図１７のステップＳ１３０で用いられる一般的な像ズレ検出演算処理（相関演算処理、位相差検出処理）の詳細について説明する。簡単のため１つの焦点検出エリアの焦点検出画素配列に対する処理を記載するが、もう他の焦点検出エリアにおける処理も同様である。   Next, details of general image shift detection calculation processing (correlation calculation processing, phase difference detection processing) used in step S130 of FIG. 17 will be described. For the sake of simplicity, the processing for the focus detection pixel array in one focus detection area will be described, but the processing in the other focus detection areas is the same.

焦点検出画素３１３、３１４、または焦点検出画素３１５、３１６が検出する一対の像は、測距瞳がレンズの絞り開口により口径蝕を受けて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。   In the pair of images detected by the focus detection pixels 313 and 314 or the focus detection pixels 315 and 316, the distance measurement pupil may be vignetted by the aperture of the lens and the light amount balance may be lost. Is subjected to a correlation calculation capable of maintaining the image shift detection accuracy.

焦点検出画素列から読み出された一対のデータ列（Ａ１１〜Ａ１Ｍ、Ａ２１〜Ａ２Ｍ：Ｍはデータ数）に対し、特開２００７−３３３７２０号公報に開示された相関演算式（１）を用い、相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝Σ｜Ａ１ｎ×Ａ２ｎ＋１＋ｋ−Ａ２ｎ＋ｋ×Ａ１ｎ＋１｜ （１） For a pair of data strings (A1 1 to A1 M , A2 1 to A2 M : M is the number of data) read out from the focus detection pixel string, a correlation calculation formula (1) disclosed in Japanese Patent Laid-Open No. 2007-333720 ) To calculate the correlation amount C (k).
C (k) = Σ | A1 n × A2 n + 1 + k -A2 n + k × A1 n + 1 | (1)

式（１）において、Σ演算はｎについて累積されるが、ｎのとる範囲は、像ずらし量ｋに応じてＡ１ｎ、Ａ１ｎ＋１、Ａ２ｎ＋ｋ、Ａ２ｎ＋１＋ｋのデータが存在する範囲に限定される。像ずらし量ｋは整数であり、データ列のデータ間隔を単位とした相対的ずらし量である。 In equation (1), the Σ operation is accumulated for n, but the range taken by n is limited to a range in which data of A1 n , A1 n + 1 , A2 n + k , A2 n + 1 + k exists according to the image shift amount k. . The image shift amount k is an integer and is a relative shift amount with the data interval of the data string as a unit.

式（１）の演算結果は、図１８（ａ）に示すように、一対のデータの相関が高いシフト量（図１８（ａ）ではｋ＝ｋｊ＝２）において相関量Ｃ（ｋ）が極小（小さいほど相関度が高い）になる。式（２）〜（５）による３点内挿の手法を用いて連続的な相関量に対する極小値Ｃ（ｋｓ）を与えるずらし量ｋｓを求める。
ｋｓ＝ｋｊ＋Ｄ／ＳＬＯＰ （２）
Ｃ（ｋｓ）＝ Ｃ（ｋｊ）−｜Ｄ｜ （３）
Ｄ＝｛Ｃ（ｋｊ−１）-Ｃ（ｋｊ＋１）｝／２ （４）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋｊ＋１）−Ｃ（ｋｊ），Ｃ（ｋｊ−１）-Ｃ（ｋｊ）｝ （５） As shown in FIG. 18A, the calculation result of the expression (1) indicates that the correlation amount C (k) is the amount of shift with high correlation between a pair of data (k = k j = 2 in FIG. 18A). Minimal (the smaller the value, the higher the degree of correlation). The shift amount k s that gives the minimum value C (k s ) with respect to the continuous correlation amount is obtained using the three-point interpolation method according to the equations (2) to (5).
k s = k j + D / SLOP (2)
C (k s ) = C (k j ) − | D | (3)
D = {C (k j −1) −C (k j +1)} / 2 (4)
SLOP = MAX {C (k j +1) −C (k j ), C (k j −1) −C (k j )} (5)

式（２）で算出されたずらし量ｋｓの信頼性があるかどうかは、以下のようにして判定される。図１８（ｂ）に示すように、一対のデータの相関度が低い場合は、内挿された相関量の極小値Ｃ（ｋｓ）の値が大きくなる。したがって、Ｃ（ｋｓ）が所定の閾値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｋｓをキャンセルする。 Whether or not the shift amount k s calculated by Expression (2) is reliable is determined as follows. As shown in FIG. 18 (b), when a low level of correlation between the pair of data, the value of the minimum value C of the interpolated correlation quantity (k s) is increased. Therefore, when C (k s ) is equal to or greater than a predetermined threshold, it is determined that the calculated shift amount is not reliable, and the calculated shift amount k s is canceled.

あるいは、Ｃ（ｋｓ）をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ（ｋｓ）を除した値が所定値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｋｓをキャンセルする。 Alternatively, in order to normalize C (k s ) with the contrast of data, when the value obtained by dividing C (k s ) by SLOP that is proportional to the contrast is equal to or greater than a predetermined value, the calculated shift amount It is determined that the reliability is low, and the calculated shift amount k s is canceled.

あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｋｓをキャンセルする。 Alternatively, when SLOP that is a value proportional to the contrast is equal to or smaller than a predetermined value, it is determined that the subject has low contrast and the reliability of the calculated shift amount is low, and the calculated shift amount k s is canceled. .

図１８（ｃ）に示すように、一対のデータの相関度が低く、ずらし量の範囲ｋｍｉｎ〜ｋｍａｘの間で相関量Ｃ（ｋ）の落ち込みがない場合は、極小値Ｃ（ｋｓ）を求めることができず、このような場合は焦点検出不能と判定する。 As shown in FIG. 18 (c), the low level of correlation between the pair of data when there is no drop in correlation quantity C (k) is between the shift amount in the range k min to k max, the minimum value C (k s In such a case, it is determined that the focus cannot be detected.

算出されたずらし量ｋｓの信頼性があると判定された場合は、式（６）により像ズレ量ｓｈｆｔに換算される。
ｓｈｆｔ＝ＰＹ×ｋｓ （６） If it is determined that the calculated shift amount k s is reliable, it is converted into the image shift amount shft by Equation (6).
shft = PY × k s (6)

式（６）において、ＰＹは焦点検出画素３１３、３１４、または焦点検出画素３１５、３１６の画素ピッチの２倍（検出ピッチ）である。式（６）で算出された像ずらし量に所定の変換係数Ｋｄを乗じて、式（７）に表されるようにデフォーカス量ｄｅｆへ変換する。なお、変換係数Ｋｄは、焦点検出画素３１３、３１４、または焦点検出画素３１５、３１６が受光する一対の焦点検出光束の開き角に応じた値であって、測距瞳距離ｄを一対の測距瞳の重心間隔で除算した値である。
ｄｅｆ＝Ｋｄ×ｓｈｆｔ （７） In Expression (6), PY is twice the pixel pitch (detection pitch) of the focus detection pixels 313 and 314 or the focus detection pixels 315 and 316. The image shift amount calculated by Expression (6) is multiplied by a predetermined conversion coefficient Kd , and converted to a defocus amount def as represented by Expression (7). Note that the conversion coefficient K d is a value corresponding to the opening angle of the pair of focus detection light beams received by the focus detection pixels 313 and 314 or the focus detection pixels 315 and 316, and the distance measurement pupil distance d is determined as a pair of measurement distances. It is the value divided by the center of gravity distance of the distance pupil.
def = Kd × shft (7)

図１９は、ボディ駆動制御装置２１４が、欠陥画素情報記憶メモリ２２１に格納された欠陥画素情報に基づき、バッファメモリ２２０に一時的に格納された撮像素子２１２からの画素信号（画素データ）に対して欠陥画素補正処理を行う際の画素データおよび処理の内容についての概念図である。   In FIG. 19, the body drive control device 214 responds to the pixel signal (pixel data) from the image sensor 212 temporarily stored in the buffer memory 220 based on the defective pixel information stored in the defective pixel information storage memory 221. It is a conceptual diagram about the pixel data at the time of performing a defective pixel correction process, and the content of the process.

撮像素子２１２において、行及び列方向に配置された撮像画素３１０および焦点検出画素３１３、３１４、３１５、３１６の画素データは、ローリングシャッタ方式で行順次に読み出される。図１９では、一番上の行から下方に向かって行順次に読み出される。   In the image sensor 212, pixel data of the imaging pixels 310 and the focus detection pixels 313, 314, 315, and 316 arranged in the row and column directions are read out in a row sequence by a rolling shutter method. In FIG. 19, the data are read sequentially from the top row downward.

撮像素子２１２から読み出された１行分の画素データは、６行分（Ｌ１〜Ｌ６）のラインメモリを備えたバッファメモリ２２０に、ラインメモリＬ１からＦＩＦＯ（First In First Out）方式で格納されていく。すなわち、ラインメモリＬ１に全ての画素データが揃うと、ラインメモリＬ６に格納された１行分の画素データは廃棄され、ラインメモリＬ１〜Ｌ５に格納された５行分の画素データがラインメモリＬ２〜Ｌ６にシフトする。すなわち、バッファメモリ２２０には撮像素子２１２から読み出された５行分の完全な画素データが常時揃っていることになる。この５行分のデータの領域が撮像素子の画素データの読み出しの進行に応じて、上辺から下辺に移動していく。バッファメモリＬ４はバッファメモリ中心行である。   The pixel data for one row read from the image sensor 212 is stored in a buffer memory 220 having line memories for six rows (L1 to L6) from the line memory L1 by the FIFO (First In First Out) method. To go. That is, when all the pixel data is collected in the line memory L1, the pixel data for one row stored in the line memory L6 is discarded, and the pixel data for five rows stored in the line memories L1 to L5 is replaced with the line memory L2. Shift to ~ L6. That is, complete pixel data for five rows read from the image sensor 212 is always provided in the buffer memory 220. The data area for the five rows moves from the upper side to the lower side as the pixel data of the image sensor is read. The buffer memory L4 is a buffer memory central row.

カメラボディ２０１の組み立て時において、撮像素子２１２を所定輝度で一様照明して画素データを読み出し、該画素データに基づき白キズ画素（画素出力が飽和する画素または画素感度が所定閾値以上の画素）、黒キズ画素（画素出力が不足する画素または画素感度が所定閾値以下の画素）等の欠陥画素を抽出して、該欠陥画素の位置情報（行、列のアドレスで表される欠陥画素位置情報）が、欠陥画素情報記憶メモリ２２１に格納される。さらに該位置情報に付随して、該欠陥画素が撮像画素３１０であるか焦点検出画素３１３、３１４、３１５、３１６であるかに応じて定められる欠陥画素補正処理の種類についての情報（欠陥画素補正処理情報）が、欠陥画素情報記憶メモリ２２１に格納される。具体的には、欠陥画素が撮像画素３１０の場合には、欠陥画素補正処理はメディアンフィルタ処理（図１９では、「Ｍ」として表す）であり、焦点検出画素３１３、３１４、３１５、３１６の場合は、平均処理（図１９では、「Ａ」として表す）である。さらに、欠陥位置情報に付随して、該欠陥画素を中心とした５×５画素の領域において該欠陥画素に施される欠陥画素補正処理に用いられる画素の位置を表す位置情報（補正用画素位置情報）が、欠陥画素情報記憶メモリ２２１に格納される。具体的には、図２０のように欠陥画素を除いた５×５画素のマトリックスを２４ビットで表した場合、欠陥画素補正処理に用いられる画素のビットを１、欠陥画素補正処理に用いられない画素のビットを０とした２４ビットデータで補正用画素位置情報を表す。例えば、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の周囲に別の欠陥画素や焦点検出画素３１３、３１４、３１５、３１６がない場合には、図１９に示すように、５×５画素の領域のうち“○”で示した画素が欠陥画素補正処理に用いられる。この場合、「０ｘＣＣＣ５５５」で表される２４ビットデータが補正用画素位置情報となる。   At the time of assembling the camera body 201, the image sensor 212 is uniformly illuminated with a predetermined luminance to read out pixel data, and based on the pixel data, white flaw pixels (pixels whose pixel output is saturated or pixels whose pixel sensitivity is equal to or higher than a predetermined threshold) , Extract defective pixels such as black scratched pixels (pixels with insufficient pixel output or pixels with a pixel sensitivity equal to or lower than a predetermined threshold), and position information of the defective pixels (defective pixel position information represented by row and column addresses) ) Is stored in the defective pixel information storage memory 221. Further, accompanying the position information, information about the type of defective pixel correction processing (defective pixel correction) determined depending on whether the defective pixel is the imaging pixel 310 or the focus detection pixels 313, 314, 315, and 316 Processing information) is stored in the defective pixel information storage memory 221. Specifically, when the defective pixel is the imaging pixel 310, the defective pixel correction process is a median filter process (indicated as “M” in FIG. 19), and in the case of the focus detection pixels 313, 314, 315, and 316. Is an averaging process (represented as “A” in FIG. 19). Further, in addition to the defect position information, position information (correction pixel position) indicating the position of the pixel used for the defective pixel correction processing applied to the defective pixel in a 5 × 5 pixel area centered on the defective pixel. Information) is stored in the defective pixel information storage memory 221. Specifically, when a 5 × 5 pixel matrix excluding defective pixels is represented by 24 bits as shown in FIG. 20, the pixel bit used for the defective pixel correction processing is 1, and is not used for the defective pixel correction processing. The correction pixel position information is represented by 24-bit data in which the pixel bit is 0. For example, if the defective pixel is the imaging pixel 310 (green pixel) and there are no other defective pixels or focus detection pixels 313, 314, 315, 316 around the defective pixel, as shown in FIG. Pixels indicated by “◯” in the × 5 pixel region are used for the defective pixel correction processing. In this case, 24-bit data represented by “0xCCC555” is the correction pixel position information.

ボディ駆動制御装置２１４は、バッファメモリ２２０のバッファメモリ中心行Ｖｎを検出するとともに、列Ｈを第１列から最終列まで走査しながら欠陥画素補正処理を行う。例えば、行Ｖｎ、列Ｈｍで表される画素位置が欠陥画素情報記憶メモリ２２１に欠陥画素位置情報として登録されているか否かを調べる。欠陥画素位置情報として登録されていなければ、バッファメモリ２２０に格納されている画素中心行Ｖｎ、列Ｈｍで表される画素位置の画素データをそのまま欠陥画素補正処理なしで画素データとして読み込む。欠陥画素位置情報として登録されている場合には、その欠陥画素位置情報に付随して欠陥画素情報記憶メモリ２２１に格納されている欠陥画素補正処理情報と補正用画素位置情報とに基づき、バッファメモリ２２０に格納されている画素中心行Ｖｎ、列Ｈｍで表される画素位置の画素を中心とした５×５の画素データに対して欠陥画素補正処理を施して補正画素データとする。   The body drive control device 214 detects the buffer memory center row Vn of the buffer memory 220 and performs defective pixel correction processing while scanning the column H from the first column to the last column. For example, it is checked whether or not the pixel position represented by row Vn and column Hm is registered in the defective pixel information storage memory 221 as defective pixel position information. If not registered as defective pixel position information, the pixel data at the pixel position represented by the pixel center row Vn and column Hm stored in the buffer memory 220 is read as pixel data without any defective pixel correction processing. If registered as defective pixel position information, a buffer memory is created based on defective pixel correction processing information and correction pixel position information stored in the defective pixel information storage memory 221 in association with the defective pixel position information. The defective pixel correction process is performed on the 5 × 5 pixel data centered on the pixel at the pixel position represented by the pixel center row Vn and column Hm stored in 220 to obtain corrected pixel data.

補正用画素位置情報は欠陥画素の周囲の状況に応じて変更される。図２１（ａ）は、欠陥画素が撮像画素３１０（赤画素）であり、かつ該欠陥画素の周囲に別の欠陥画素や焦点検出画素３１３、３１４、３１５、３１６がない場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２１（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する赤画素となる。   The correction pixel position information is changed according to the situation around the defective pixel. FIG. 21A shows the defective pixel when the defective pixel is the imaging pixel 310 (red pixel) and there are no other defective pixels or focus detection pixels 313, 314, 315, and 316 around the defective pixel. A 5 × 5 region centered is shown. The correction pixel used in the defective pixel correction process is a red pixel existing in a 5 × 5 pixel area centered on the defective pixel, as indicated by “◯” in FIG.

図２２（ａ）は、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の１行下に焦点検出画素３１５、３１６（行方向に配列した一対の焦点検出画素３１５、３１６をＡ１、Ａ２で示す）が行方向に配列されている場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２２（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する緑画素となる。   In FIG. 22A, the defective pixel is the imaging pixel 310 (green pixel), and the focus detection pixels 315 and 316 (a pair of focus detection pixels 315 and 316 arranged in the row direction are arranged in A1 below the defective pixel. , A2) is a 5 × 5 region centered on the defective pixel when arranged in the row direction. The correction pixels used in the defective pixel correction processing are green pixels existing in a 5 × 5 pixel area centered on the defective pixel, as indicated by “◯” in FIG.

図２３（ａ）は、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の１列左に焦点検出画素３１３、３１４（列方向に配列した一対の焦点検出画素３１３、３１４をＡ３、Ａ４で示す）が列方向に配列されている場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２３（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する緑画素となる。   In FIG. 23A, the defective pixel is the imaging pixel 310 (green pixel), and the focus detection pixels 313 and 314 (a pair of focus detection pixels 313 and 314 arranged in the column direction are arranged on the left side of the defective pixel by A3. , A4) is a 5 × 5 region centered on the defective pixel when arranged in the column direction. The correction pixels used in the defective pixel correction process are green pixels existing in a 5 × 5 pixel area centered on the defective pixel, as indicated by “◯” in FIG.

図２４（ａ）は、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の１列右側から焦点検出画素３１５、３１６が行方向に配列されている場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２４（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する緑画素となる。   In FIG. 24A, the defective pixel is the imaging pixel 310 (green pixel), and the focus detection pixels 315 and 316 are arranged in the row direction from the right side of one column of the defective pixel. 5 × 5 area is shown. The correction pixel used in the defective pixel correction process is a green pixel existing in a 5 × 5 pixel area centered on the defective pixel, as indicated by “◯” in FIG.

図２５（ａ）は欠陥画素が焦点検出画素３１５または３１６（Ａ１）であり、焦点検出画素３１５、３１６が行方向に配列されている場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２５（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する焦点検出画素３１５または３１６（Ａ１）となる。   FIG. 25A shows a 5 × 5 region centered on the defective pixel when the defective pixel is the focus detection pixel 315 or 316 (A1) and the focus detection pixels 315 and 316 are arranged in the row direction. Show. The correction pixels used in the defective pixel correction processing are focus detection pixels 315 or 316 (A1) existing in a 5 × 5 pixel area centered on the defective pixel, as indicated by “◯” in FIG. )

図２６（ａ）は欠陥画素が焦点検出画素３１３または３１４（Ａ３）であり、焦点検出画素３１３、３１４が列方向に配列されている場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２６（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する焦点検出画素３１３または３１４（Ａ３）となる。   FIG. 26A shows a 5 × 5 region centered on the defective pixel when the defective pixel is the focus detection pixel 313 or 314 (A3) and the focus detection pixels 313 and 314 are arranged in the column direction. Show. The correction pixels used in the defective pixel correction processing are focus detection pixels 313 or 314 (A3) existing in a 5 × 5 pixel area centered on the defective pixel, as indicated by “◯” in FIG. )

図２７（ａ）は欠陥画素が焦点検出画素３１５または３１６（Ａ１）であり、行方向に配列している焦点検出画素３１５、３１６の左端の焦点検出画素３１５または３１６が欠陥画素であった場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２７（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する焦点検出画素３１５または３１６（Ａ１）となる。   In FIG. 27A, the defective pixel is the focus detection pixel 315 or 316 (A1), and the focus detection pixel 315 or 316 at the left end of the focus detection pixels 315 and 316 arranged in the row direction is a defective pixel. A 5 × 5 region centering on the defective pixel is shown. The correction pixels used in the defective pixel correction processing are focus detection pixels 315 or 316 (A1) existing in a 5 × 5 pixel area centered on the defective pixel, as indicated by “◯” in FIG. )

図２８を用いて、図１７のステップＳ１１０およびステップＳ１７０における欠陥画素補正処理の詳細を説明する。本欠陥画素補間処理はボディ駆動制御装置２１４により実行される。ステップＳ２００で行Ｖを１行目にリセットする。ステップＳ２１０で行Ｖがバッファメモリ中心行になるのを待機する。ステップＳ２２０で列Ｈを１列目にリセットする。ステップＳ２３０で行Ｖ、列Ｈで表される画素位置の画素を中心とした５×５のバッファメモリ領域を設定する。   The details of the defective pixel correction processing in step S110 and step S170 in FIG. 17 will be described with reference to FIG. This defective pixel interpolation process is executed by the body drive control device 214. In step S200, row V is reset to the first row. In step S210, the process waits for line V to become the buffer memory central line. In step S220, column H is reset to the first column. In step S230, a 5 × 5 buffer memory area centered on the pixel at the pixel position represented by row V and column H is set.

ステップＳ２４０で行Ｖ、列Ｈで表される画素位置が欠陥画素位置情報として欠陥画素情報に登録されているか否かを判定する。欠陥画素位置情報として登録されていない場合は、ステップＳ２９０で、５×５画素のバッファメモリ領域の中心位置の画素データを、行Ｖ、列Ｈで表される画素位置での画素データとして読み出し、ステップＳ３００に進む。   In step S240, it is determined whether or not the pixel positions represented by row V and column H are registered in the defective pixel information as defective pixel position information. If not registered as defective pixel position information, the pixel data at the center position of the 5 × 5 pixel buffer memory area is read out as pixel data at the pixel position represented by row V and column H in step S290, Proceed to step S300.

欠陥画素位置情報として登録されている場合は、該画素位置における欠陥画素の欠陥画素補正処理の種類を特定し、メディアンフィルタ処理の場合はステップＳ２７０に進む。補正用画素位置情報に応じて５×５のバッファメモリ領域内で補正に使用される画素データのメディアンを算出して画素データとし、ステップＳ３００に進む。   If registered as defective pixel position information, the type of defective pixel correction processing of the defective pixel at the pixel position is specified, and in the case of median filter processing, the process proceeds to step S270. In accordance with the correction pixel position information, the median of the pixel data used for correction in the 5 × 5 buffer memory area is calculated as pixel data, and the process proceeds to step S300.

平均処理の場合は、ステップＳ２８０に進み、補正用画素位置情報に応じて５×５のバッファメモリ領域内で補正に使用される画素データの平均値を算出して画素データとし、ステップＳ３００に進む。   In the case of the average process, the process proceeds to step S280, and the average value of the pixel data used for correction in the 5 × 5 buffer memory area is calculated according to the correction pixel position information to obtain pixel data, and the process proceeds to step S300. .

ステップＳ３００において、列Ｈをインクリメントする。ステップＳ３１０では、列Ｈが最終列を超えたか否かを判定し、超えていない場合は、ステップＳ２３０に戻って上記処理を繰り返す。最終列を超えた場合は、ステップＳ３２０において、行Ｖをインクリメントする。ステップＳ３３０では、行Ｖが最終行を超えたか否かを判定し、超えていない場合は、ステップＳ２１０に戻って上記処理を繰り返す。最終行を超えた場合は、１フレーム分の欠陥画素の補正処理を終了する。   In step S300, column H is incremented. In step S310, it is determined whether or not the column H exceeds the final column. If not, the process returns to step S230 and the above process is repeated. If the final column is exceeded, the row V is incremented in step S320. In step S330, it is determined whether or not the row V exceeds the final row. If not, the processing returns to step S210 and the above processing is repeated. If the last row is exceeded, the correction process for defective pixels for one frame is terminated.

なお、１行分の欠陥画素補正処理の実行時間は、撮像素子２１２からの１行分の画素データ読み出し時間より短くなるように設計される。   Note that the execution time of the defective pixel correction process for one row is designed to be shorter than the pixel data read time for one row from the image sensor 212.

また、カメラボディ２０３に組み込まれる撮像素子２１２は、予め欠陥画素の状態に応じて選別されており、全ての欠陥画素に対し該欠陥画素を中心とした５×５の領域において欠陥画素補正に用いられる補正用の画素が必ず所定個数以上存在する。すなわち、その所定個数を判定水準とすることにより、欠陥画素の密度が高く、欠陥画素補正処理が不能になってしまうような撮像素子２１２は欠陥品として排除される。例えば、正常な撮像素子２１２において、欠陥画素が撮像画素３１０の場合、該欠陥画素を中心とした５×５の領域には、欠陥画素補正に用いられる補正用の撮像画素３１０が３個以上存在するものとする。欠陥画素が焦点検出画素３１３、３１４、３１５、３１６の場合（ただし、焦点検出画素配列の端および端から２番目の焦点検出画素を除く）、該欠陥画素を中心とした５×５の領域においては、欠陥画素補正に用いられる補正用の焦点検出画素が２個以上存在するものとする。換言すると、同種類の焦点検出画素が連続して欠陥画素であることは無いこととなる。このようにして、焦点検出画素３１３、３１４、３１５、３１６に対する判定水準を撮像画素３１０に対する判定水準よりも厳しくすることにより、撮像素子２１２が選別される。こうして選別された撮像素子２１２においては、撮像画素３１０に比して、焦点検出画素３１３、３１４、３１５、３１６のうちのいずれか１種類の画素の配置密度が相対的に低い場合であっても、該焦点検出画素の画素信号の品質を維持することができるとともに、焦点検出精度の劣化を防止することができる。   Further, the image sensor 212 incorporated in the camera body 203 is selected in advance according to the state of the defective pixel, and is used for defective pixel correction in a 5 × 5 region centering on the defective pixel for all defective pixels. There are always a predetermined number or more of correction pixels. That is, by setting the predetermined number as the determination level, the image sensor 212 that has a high density of defective pixels and makes the defective pixel correction process impossible is excluded as a defective product. For example, in the normal imaging device 212, when the defective pixel is the imaging pixel 310, there are three or more imaging pixels 310 for correction used for defect pixel correction in a 5 × 5 region centered on the defective pixel. It shall be. In the case where the defective pixel is the focus detection pixel 313, 314, 315, or 316 (however, excluding the end of the focus detection pixel array and the second focus detection pixel from the end), in a 5 × 5 region centered on the defective pixel It is assumed that there are two or more focus detection pixels for correction used for defect pixel correction. In other words, focus detection pixels of the same type are not continuously defective pixels. In this manner, the image sensor 212 is selected by making the determination level for the focus detection pixels 313, 314, 315, and 316 stricter than the determination level for the imaging pixel 310. In the image pickup device 212 thus selected, even when the arrangement density of any one of the focus detection pixels 313, 314, 315, and 316 is relatively lower than that of the image pickup pixel 310. The quality of the pixel signal of the focus detection pixel can be maintained, and the deterioration of the focus detection accuracy can be prevented.

−−−変形例−−−
以上説明した実施形態において、欠陥画素補正処理に用いる画素の領域を、欠陥画素を中心とした５×５画素の領域として説明したが、Ｎ×Ｎ画素（Ｎ＞５）の領域であっても構わない。ただし、焦点検出画素３１３、３１４、３１５、３１６の欠陥画素補正処理に用いる焦点検出画素は、欠陥焦点検出画素と同種類の２個の焦点検出画素であって、かつ欠陥焦点検出画素に最近接するものとする。 ---- Modified example ---
In the embodiment described above, the pixel area used for the defective pixel correction process has been described as a 5 × 5 pixel area centered on the defective pixel, but even if it is an N × N pixel (N> 5) area, I do not care. However, the focus detection pixels used for the defective pixel correction processing of the focus detection pixels 313, 314, 315, and 316 are two focus detection pixels of the same type as the defect focus detection pixels and are closest to the defect focus detection pixels. Shall.

以上説明した実施形態において、欠陥画素補正処理に用いる画素の領域を、欠陥画素を中心とした５×５画素の領域とし、該領域内で欠陥画素補正処理に用いる画素の、欠陥画素を基準とした相対的な位置を補正用画素位置情報として記憶しているので、５×５画素の領域内に別の欠陥画素が存在する場合にも対応できる。また、欠陥画素が撮像画素３１０であるか焦点検出画素３１３、３１４、３１５、３１６であるかに否かに関わらず対応することもできる。あるいは、欠陥画素が撮像領域の端にあった場合や、近傍に他の種類の画素がある場合にも対応することができる。さらには、撮像素子の中央と周辺とにおいて、撮像画素３１０の欠陥画素補正処理に用いる撮像画素の範囲を変えたいような場合にも対応することができる。   In the embodiment described above, the pixel area used for the defective pixel correction process is a 5 × 5 pixel area centered on the defective pixel, and the defective pixel of the pixel used for the defective pixel correction process in the area is used as a reference. Since the relative position is stored as correction pixel position information, a case where another defective pixel exists in the 5 × 5 pixel region can be handled. Further, it is possible to cope with the defective pixel regardless of whether it is the imaging pixel 310 or the focus detection pixels 313, 314, 315, and 316. Alternatively, it is possible to cope with a case where a defective pixel is at the end of the imaging region or a case where there is another type of pixel in the vicinity. Furthermore, it is possible to cope with a case where it is desired to change the range of the imaging pixels used for the defective pixel correction processing of the imaging pixel 310 between the center and the periphery of the imaging element.

以上説明した実施形態においては、欠陥画素に施す欠陥画素補正処理の種類を、欠陥画素位置に付随して、欠陥画素毎に、欠陥画素情報記憶メモリ２２１に記憶している。そのため、複数種類の欠陥画素補正処理を、画素信号読み出しシーケンスに同期してスムースに行うことが可能になるとともに、同一種類の画素においても、撮像素子の中央と周辺とにおいて、欠陥画素補正処理の種類を変えたいような場合にも対応することができる。   In the embodiment described above, the type of defective pixel correction processing to be performed on the defective pixel is stored in the defective pixel information storage memory 221 for each defective pixel along with the defective pixel position. Therefore, it is possible to perform a plurality of types of defective pixel correction processing smoothly in synchronization with the pixel signal readout sequence, and even with the same type of pixel, defective pixel correction processing is performed at the center and the periphery of the image sensor. It is also possible to respond to cases where you want to change the type.

以上説明した実施形態において、撮像画素３１０の欠陥画素補正処理としてメディアンフィルタを用いる理由は、像の２次元的な構造の違いに依らず比較的簡易に良好な補正性能が得られるためである。また、焦点検出画素３１３、３１４、３１５、３１６の欠陥画素補正処理として最近接の焦点検出画素の平均処理を用いる理由は以下のとおりである。すなわち、焦点検出画素の場合は、焦点検出画素の配列方向における最近接の焦点検出画素との相関が高く、最近接の焦点検出画素のみを欠陥画素補正処理に用いることで焦点検出精度の劣化を防ぐためである。焦点検出画素３１３、３１４、３１５、３１６の欠陥画素補正処理としてメディアンフィルタを用いた場合には、欠陥焦点検出画素から位置的に離れた焦点検出画素の信号が欠陥焦点検出画素の補正値として用いられる場合があり、このような場合には焦点検出精度が低下する場合がある。   In the embodiment described above, the reason why the median filter is used as the defective pixel correction process of the image pickup pixel 310 is that good correction performance can be obtained relatively easily regardless of the difference in the two-dimensional structure of the image. The reason why the average processing of the closest focus detection pixels is used as the defective pixel correction processing of the focus detection pixels 313, 314, 315, and 316 is as follows. That is, in the case of the focus detection pixel, the correlation with the closest focus detection pixel in the arrangement direction of the focus detection pixels is high, and only the closest focus detection pixel is used for the defective pixel correction process, thereby reducing the focus detection accuracy. This is to prevent it. When the median filter is used as the defective pixel correction process for the focus detection pixels 313, 314, 315, and 316, the signal of the focus detection pixel that is positioned far from the defective focus detection pixel is used as the correction value for the defective focus detection pixel. In such a case, focus detection accuracy may be reduced.

以上説明した実施形態においては、撮像画素３１０の欠陥画素補正処理としてメディアンフィルタを用い、焦点検出画素３１３、３１４、３１５、３１６の欠陥画素補正処理として最近接の焦点検出画素の一次元的な平均処理を用いているが、これに限定されるわけではない。   In the embodiment described above, the median filter is used as the defective pixel correction process of the imaging pixel 310, and the one-dimensional average of the closest focus detection pixels is used as the defective pixel correction process of the focus detection pixels 313, 314, 315, and 316. Although processing is used, the present invention is not limited to this.

例えば、撮像画素３１０の欠陥画素補正処理として、２次元的な平均処理や、２次元的なスプライン補間・ラグランジェ補間などの数値計算法を採用することが可能である。また、焦点検出画素３１３、３１４、３１５、３１６の欠陥画素補正処理として、２個の最近接の焦点検出画素およびその隣の２個の焦点検出画素の合計４個の焦点検出画素を用いた一次元的なスプライン補間を用いることもできる。   For example, as the defective pixel correction process of the imaging pixel 310, a numerical calculation method such as a two-dimensional averaging process or a two-dimensional spline interpolation / Lagrange interpolation can be employed. Further, as defective pixel correction processing of the focus detection pixels 313, 314, 315, and 316, primary using a total of four focus detection pixels including two closest focus detection pixels and two adjacent focus detection pixels. Original spline interpolation can also be used.

以上説明した実施形態においては、撮像画素３１０の欠陥画素補正処理としてメディアンフィルタを用いるが、デジタルスチルカメラ２０１の動作シーケンスに応じて欠陥画素補正処理の種類を変更するようにしてもよい。例えば、図１７の動作フローチャートにおいて、シャッターレリーズ前に電子ビューファインダー表示を繰り返し行っている間（ライブビュー動作モード）は、欠陥画素補正処理の精度は視認性に及ぼす影響が小さいので、撮像画素３１０の欠陥画素補正処理として比較的軽い処理である前置または後置画素置き換え処理を採用することにより処理負荷を軽減する。シャッターレリーズ後の欠陥画素補正処理としてはメディアンフィルタ処理を採用して画像品質を維持するようにしてもよい。   In the embodiment described above, the median filter is used as the defective pixel correction process of the imaging pixel 310, but the type of the defective pixel correction process may be changed according to the operation sequence of the digital still camera 201. For example, in the operation flowchart of FIG. 17, while the electronic viewfinder display is repeatedly performed before the shutter release (live view operation mode), the accuracy of the defective pixel correction processing has little influence on the visibility. The processing load is reduced by adopting a pre- or post-pixel replacement process which is a relatively light process as the defective pixel correction process. As the defective pixel correction process after the shutter release, a median filter process may be employed to maintain the image quality.

図１７の動作フローチャートにおいては、欠陥画素補正処理（ステップＳ１７０）の後に焦点検出画素位置における仮想的な撮像画素の画素信号を補間する処理（ステップＳ１８０）を行っているが、画素補間処理（ステップＳ１８０）の後に仮想的な撮像画素の画素信号を用いて再度欠陥画素補正処理をすることにより、さらに欠陥画素補正処理性能を向上させることができる。   In the operation flowchart of FIG. 17, after the defective pixel correction process (step S170), a process (step S180) of interpolating the pixel signal of the virtual imaging pixel at the focus detection pixel position is performed. By performing the defective pixel correction process again using the pixel signal of the virtual imaging pixel after S180), the defective pixel correction processing performance can be further improved.

図１７のステップＳ１３０で用いられる一般的な像ズレ検出演算処理（相関演算処理）として数式１を用いた演算を示したが、その他の演算を用いることもできる。例えば焦点検出画素列から読み出された一対のデータ列（Ａ１１〜Ａ１Ｍ、Ａ２１〜Ａ２Ｍ：Ｍはデータ数）に対し相関演算式（８）を用い、相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝−Σ｛（Ａ１ｎ−Ａ１ａｖ）×（Ａ２ｎ＋ｋ−Ａ２ａｖ））／（Ａ１ｄｅｖ×Ａ２ｄｅｖ）｝ （８） Although the calculation using Formula 1 is shown as the general image shift detection calculation process (correlation calculation process) used in step S130 of FIG. 17, other calculations can also be used. For example, the correlation calculation expression (8) is used for a pair of data strings (A1 1 to A1 M , A2 1 to A2 M : M is the number of data) read from the focus detection pixel string, and the correlation amount C (k) is calculated. Calculate.
C (k) = − Σ {(A1 n −A1 av ) × (A2 n + k −A2 av )) / (A1 dev × A2 dev )} (8)

Σ演算はｎについて累積される。Ａ１ａｖおよびＡ１ｄｅｖは、ｎが累積される区間におけるＡ１ｎの平均値および標準偏差である。Ａ２ａｖおよびＡ２ｄｅｖは、ｎが累積される区間におけるＡ２ｎ＋ｋの平均値および標準偏差である。 The Σ operation is accumulated for n. A1 av and A1 dev are the average value and standard deviation of A1 n in the interval where n is accumulated. A2 av and A2 dev are the average value and standard deviation of A2 n + k in the interval where n is accumulated.

像ずらし量ｋは整数であり、データ列のデータ間隔を単位とした相対的ずらし量である。   The image shift amount k is an integer and is a relative shift amount with the data interval of the data string as a unit.

式（８）の演算結果は、一対のデータの相関が高いずらし量において相関量Ｃ（ｋ）が極小となるので、式（２）〜（５）による３点内挿の手法を用いて連続的な相関量に対する極小値Ｃ（ｋｓ）を与えるずらし量ｋｓを求めることができる。 The calculation result of Expression (8) is continuous using the three-point interpolation method according to Expressions (2) to (5) because the correlation amount C (k) is minimized when the shift amount of the pair of data is high. The shift amount k s that gives the minimum value C (k s ) with respect to the general correlation amount can be obtained.

式（２）〜（５）の代わりに２次関数を仮定した３点内挿の手法に基づく式（９）を用いて連続的な相関量に対する極小値Ｃ（ｋｓ）を与えるずらし量ｋｓを求めるようにしてもよい。
ｋｓ＝ｋｊ＋Ｄ／｛Ｃ（ｋｊ＋１）＋Ｃ（ｋｊ−１）−２×Ｃ（ｋｊ））｝ （９） A shift amount k that gives a minimum value C (k s ) with respect to a continuous correlation amount using Equation (9) based on a three-point interpolation method assuming a quadratic function instead of Equations (2) to (5) s may be obtained.
k s = k j + D / {C (k j +1) + C (k j −1) −2 × C (k j ))} (9)

−−−第２の実施の形態−−−
図３、図４に示す撮像素子２１２の部分拡大図では、各画素に１つの光電変換部を有する一対の焦点検出画素３１３，３１４および一対の焦点検出画素３１５，３１６を備える例を示したが、ひとつの焦点検出画素内に一対の光電変換部を備えるようにしてもよい。図２９、図３０は図３、図４に対応した撮像素子２１２の部分拡大図であり、焦点検出画素３１１および３１２は一対の光電変換部を備える。 --- Second Embodiment ---
In the partial enlarged view of the image sensor 212 shown in FIGS. 3 and 4, an example is shown in which a pair of focus detection pixels 313 and 314 and a pair of focus detection pixels 315 and 316 each having one photoelectric conversion unit are provided. A pair of photoelectric conversion units may be provided in one focus detection pixel. FIGS. 29 and 30 are partially enlarged views of the image sensor 212 corresponding to FIGS. 3 and 4. The focus detection pixels 311 and 312 include a pair of photoelectric conversion units.

図３１（ａ）に示す焦点検出画素３１１は、図９（ａ）、（ｂ）に示す焦点検出画素３１３と焦点検出画素３１４のペアに相当した機能を果たし、図３１（ｂ）に示す焦点検出画素３１２は、図９（ｃ）、（ｄ）に示す焦点検出画素３１５と焦点検出画素３１６のペアに相当した機能を果たす。焦点検出画素３１１、３１２は、図３１（ａ）、（ｂ）に示すように、マイクロレンズ１０と一対の光電変換部１３，１４および一対の光電変換部１５，１６から構成される。焦点検出画素３１１、３１２には白色フィルタが配置されており、その分光感度特性は、光電変換を行うフォトダイオードの分光感度と、赤外カットフィルタ（不図示）の分光感度特性とを総合した分光感度特性（図８参照）となる。つまり、図７に示す緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性となり、その焦点検出画素３１１、３１２が高い分光感度を示す光波長領域は、緑画素、赤画素および青画素が高い分光感度を示す光波長領域を包括している。   The focus detection pixel 311 shown in FIG. 31A functions as a pair of the focus detection pixel 313 and the focus detection pixel 314 shown in FIGS. 9A and 9B, and the focus detection pixel shown in FIG. The detection pixel 312 performs a function corresponding to the pair of the focus detection pixel 315 and the focus detection pixel 316 shown in FIGS. As shown in FIGS. 31A and 31B, the focus detection pixels 311 and 312 include a microlens 10, a pair of photoelectric conversion units 13 and 14, and a pair of photoelectric conversion units 15 and 16. White filters are arranged in the focus detection pixels 311 and 312, and the spectral sensitivity characteristics of the focus detection pixels 311 and 312 are a spectrum obtained by combining the spectral sensitivity of a photodiode that performs photoelectric conversion and the spectral sensitivity characteristics of an infrared cut filter (not shown). Sensitivity characteristics (see FIG. 8) are obtained. That is, the spectral sensitivity characteristic is obtained by adding the spectral sensitivity characteristics of the green pixel, the red pixel, and the blue pixel shown in FIG. 7, and the light wavelength region in which the focus detection pixels 311 and 312 exhibit high spectral sensitivity is the green pixel, red The optical wavelength region in which the pixel and the blue pixel exhibit high spectral sensitivity is included.

図３２は図３１（ａ）に示した焦点検出画素３１１の断面図であって、光電変換部１３，１４の上に近接して遮光マスク３０が形成され、光電変換部１３，１４は、遮光マスク３０の開口部３０ｄを通過した光を受光する。遮光マスク３０の上には平坦化層３１が形成され、その上に白色フィルタ３４が形成される。白色フィルタ３４の上には平坦化層３２が形成され、その上にマイクロレンズ１０が形成される。マイクロレンズ１０により開口部３０ｄに制限された光電変換部１３，１４の形状が前方に投影されて、一対の測距瞳を形成する。光電変換部１３，１４は半導体回路基板２９上に形成される。   FIG. 32 is a cross-sectional view of the focus detection pixel 311 shown in FIG. 31A, in which a light-shielding mask 30 is formed in proximity to the photoelectric conversion units 13 and 14, and the photoelectric conversion units 13 and 14 Light that has passed through the opening 30d of the mask 30 is received. A planarizing layer 31 is formed on the light shielding mask 30, and a white filter 34 is formed thereon. A planarizing layer 32 is formed on the white filter 34, and the microlens 10 is formed thereon. The shape of the photoelectric conversion units 13 and 14 limited to the opening 30d by the microlens 10 is projected forward to form a pair of distance measuring pupils. The photoelectric conversion units 13 and 14 are formed on the semiconductor circuit substrate 29.

焦点検出画素３１２の構造も焦点検出画素３１１の構造を９０度回転しただけであって、基本的に図３２に示す焦点検出画素３１１の構造と同様である。   The structure of the focus detection pixel 312 is only the structure of the focus detection pixel 311 rotated by 90 degrees, and is basically the same as the structure of the focus detection pixel 311 shown in FIG.

上記のような構成の焦点検出画素３１１，３１２を備えた撮像素子においても、本発明を適用することが可能である。例えば、焦点検出画素３１１の１つが欠陥画素である場合には、欠陥焦点検出画素３１１の光電変換部１３，１４の信号は、その欠陥焦点検出画素の上下の焦点検出画素３１１の光電変換部１３，１４の信号をそれぞれ平均することにより欠陥画素補正処理される。   The present invention can also be applied to an image sensor including the focus detection pixels 311 and 312 having the above-described configuration. For example, when one of the focus detection pixels 311 is a defective pixel, the signals of the photoelectric conversion units 13 and 14 of the defective focus detection pixel 311 are the photoelectric conversion units 13 of the focus detection pixels 311 above and below the defective focus detection pixel. , 14 are averaged to perform defective pixel correction processing.

−−−第３の実施の形態−−−
図３３は、交換レンズ２０２の撮影画面上における焦点検出位置（焦点検出エリア）を示す図であり、撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央および上下左右の５箇所に焦点検出エリア１０１〜１０５、ならびに撮影画面１００の対角線方向に焦点検出エリア１０６〜１０９が配置される。焦点検出エリア１０６〜１０９においては、長方形で示す焦点検出エリアの長手方向に、焦点検出画素が斜め右上がり４５度方向および斜め左上がり４５度方向に直線的に配列される。 --- Third embodiment ---
FIG. 33 is a diagram illustrating a focus detection position (focus detection area) on the imaging screen of the interchangeable lens 202, and an area in which an image is sampled on the imaging screen when the focus detection pixel row on the image sensor 212 performs focus detection. An example of (focus detection area, focus detection position) is shown. In this example, focus detection areas 101 to 105 are arranged at five locations on the rectangular shooting screen 100 and up and down, left and right, and focus detection areas 106 to 109 are arranged in the diagonal direction of the shooting screen 100. In the focus detection areas 106 to 109, the focus detection pixels are linearly arranged in the longitudinal direction of the focus detection area indicated by the rectangle in the obliquely upward 45 ° direction and the obliquely upward 45 ° direction.

図３４、図３５は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０６、１０８および焦点検出エリア１０７、１０９の近傍を拡大して示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列される。撮像画素３１０は、赤画素（Ｒ）、緑画素（Ｇ）、青画素（Ｂ）からなり、ベイヤー配列の配置規則によって配置されている。焦点検出エリア１０６、１０８に対応する位置には、撮像画素３１０と同一の画素サイズを有し、白色フィルタを備えた焦点検出画素３２３、３２４が、交互に本来緑画素が連続的に配置されるべき斜め右上がり４５度方向の直線上に連続して配列される。これとともに、焦点検出エリア１０７、１０９に対応する位置には、撮像画素３１０と同一の画素サイズを有し、白色フィルタを備えた焦点検出画素３２５、３２６が、交互に本来緑画素が連続的に配置されるべき斜め左上がり４５度方向の直線上に連続して配列される。焦点検出画素３２３、３２４および焦点検出画素３２５、３２６は、本来緑画素が配置される画素位置に配置される。   FIGS. 34 and 35 are front views showing the detailed configuration of the image sensor 212, and show the vicinity of the focus detection areas 106 and 108 and the focus detection areas 107 and 109 on the image sensor 212 in an enlarged manner. Imaging pixels 310 are densely arranged on the imaging element 212 in a two-dimensional square lattice pattern. The imaging pixel 310 includes a red pixel (R), a green pixel (G), and a blue pixel (B), and is arranged according to a Bayer arrangement rule. At the positions corresponding to the focus detection areas 106 and 108, focus detection pixels 323 and 324 having the same pixel size as the imaging pixel 310 and provided with a white filter are originally alternately arranged with green pixels. It is continuously arranged on a straight line in the direction of 45 degrees to the right. At the same time, at the positions corresponding to the focus detection areas 107 and 109, the focus detection pixels 325 and 326 having the same pixel size as that of the imaging pixel 310 and provided with the white filter are alternately continuously green. They are arranged continuously on a straight line in the direction of 45 degrees obliquely to the left. The focus detection pixels 323 and 324 and the focus detection pixels 325 and 326 are arranged at pixel positions where green pixels are originally arranged.

焦点検出画素３２３は、図３６(ａ)に示すように、矩形のマイクロレンズ１０、遮光マスクで受光領域を正方形の半分（正方形を左上がり４５度方向の対角線で２等分した場合の右上半分）に制限された光電変換部２３、および白色フィルタ（不図示）から構成される。   As shown in FIG. 36A, the focus detection pixel 323 includes a rectangular microlens 10 and a light-shielding mask that divides the light-receiving area into a half of a square (the upper right half when the square is divided into two equal parts by a diagonal line in the 45 ° upward direction). ) And a white color filter (not shown).

また、焦点検出画素３２４は、図３６(ｂ)に示すように、矩形のマイクロレンズ１０、遮光マスクで受光領域を正方形の半分（正方形を左上がり４５度方向の対角線で２等分した場合の左下半分）に制限された光電変換部２４、および白色フィルタ（不図示）から構成される。   Further, as shown in FIG. 36 (b), the focus detection pixel 324 has a rectangular microlens 10 and a light-shielding mask that divides the light-receiving region into half a square (a square is divided into two equal parts by a diagonal line in the 45 ° upward direction). The photoelectric conversion unit 24 is limited to the lower left half) and a white filter (not shown).

焦点検出画素３２３と焦点検出画素３２４とをマイクロレンズ１０を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部２３と２４とが右上がり斜め４５度方向に並んでいる。   When the focus detection pixel 323 and the focus detection pixel 324 are displayed so as to overlap each other with the microlens 10 as a reference, the photoelectric conversion units 23 and 24 in which the light receiving area is limited by the light shielding mask are arranged in a 45 ° upward diagonal direction. .

また、図３６（ａ）、（ｂ）において、正方形を半分にした受光領域の部分に正方形を半分にした残りの部分（破線部分）を加えると、撮像画素の受光領域と同じサイズの正方形となる。   In FIGS. 36 (a) and 36 (b), when the remaining part (broken line part) obtained by halving the square is added to the light receiving area part obtained by halving the square, a square having the same size as the light receiving area of the imaging pixel is obtained. Become.

焦点検出画素３２５は、図３６(ｃ)に示すように、矩形のマイクロレンズ１０、遮光マスクで受光領域を正方形の半分（正方形を右上がり４５度方向の対角線で２等分した場合の左上半分）に制限された光電変換部２５、および白色フィルタ（不図示）から構成される。   As shown in FIG. 36C, the focus detection pixel 325 includes a rectangular microlens 10 and a light-shielding mask that divides the light-receiving area into a half of a square (the upper left half when the square is divided into two equal parts by a diagonal line in the 45 ° upward direction). ) And a white color filter (not shown).

また、焦点検出画素３２６は、図３６(ｄ)に示すように矩形のマイクロレンズ１０、遮光マスクで受光領域を正方形の半分（正方形を右上がり４５度方向の対角線で２等分した場合の右下半分）に制限された光電変換部２６、および白色フィルタ（不図示）から構成される。   Further, as shown in FIG. 36 (d), the focus detection pixel 326 has a rectangular microlens 10 and a light-shielding mask that divides the light-receiving region into a half of a square (a square when the square is divided into two equal parts by a diagonal line in the 45 ° upward direction). The photoelectric conversion unit 26 is limited to the lower half) and a white filter (not shown).

焦点検出画素３２５と焦点検出画素３２６とをマイクロレンズ１０を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部２５と２６とが左上がり斜め４５度方向に並んでいる。   When the focus detection pixel 325 and the focus detection pixel 326 are displayed so as to overlap each other with the microlens 10 as a reference, the photoelectric conversion units 25 and 26 whose light receiving areas are limited by the light shielding mask are arranged in a 45 ° upward diagonal direction. .

また、図３６（ｃ）、（ｄ）において、正方形を半分にした受光領域の部分に正方形を半分にした残りの部分（破線部分）を加えると、撮像画素の受光領域と同じサイズの正方形となる。   In addition, in FIGS. 36C and 36D, when the remaining part (broken line part) obtained by halving the square is added to the light receiving area part obtained by halving the square, a square having the same size as the light receiving area of the imaging pixel is obtained. Become.

上記のような斜め方向に配列された焦点検出画素を備えた撮像素子２１２においても、本発明を適用することが可能である。   The present invention can also be applied to the image sensor 212 including the focus detection pixels arranged in the oblique direction as described above.

図３７（ａ）は、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の右下に隣接して焦点検出画素３２３、３２４（一対の焦点検出画素３２３、３２４をＡ５、Ａ６で示す）が右上がりに配列されている場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図３７（ｂ）において、“○”で示す緑画素である。   In FIG. 37A, the defective pixel is the imaging pixel 310 (green pixel), and the focus detection pixels 323 and 324 (a pair of focus detection pixels 323 and 324 are denoted by A5 and A6) adjacent to the lower right of the defective pixel. (Shown) shows an area of 5 × 5 pixels centered on the defective pixel in the case where the pixels are arranged in the upward direction. The correction pixel used in the defective pixel correction process is a green pixel indicated by “◯” in FIG.

図３８（ａ）は、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の左下に隣接して焦点検出画素３２５、３２６（一対の焦点検出画素３２５、３２６をＡ７、Ａ８で示す）が左上がりに配列されている場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図３８ （ｂ）に“○”で示す緑画素である。   In FIG. 38A, the defective pixel is the imaging pixel 310 (green pixel), and the focus detection pixels 325 and 326 (a pair of focus detection pixels 325 and 326 are indicated by A7 and A8 adjacent to the lower left of the defective pixel). ) Shows an area of 5 × 5 pixels centered on the defective pixel in the case of being arranged to the left. The correction pixels used in the defective pixel correction process are green pixels indicated by “◯” in FIG.

図３９（ａ）は、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素が斜め右上がり方向に配列している焦点検出画素３２３、３２４の左下端の焦点検出画素の斜め左下にある場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図３９（ｂ）に“○”で示す緑画素である。   In FIG. 39 (a), the defective pixel is the imaging pixel 310 (green pixel), and the defective pixel is located diagonally to the lower left of the focus detection pixels at the lower left corner of the focus detection pixels 323 and 324 arranged in the diagonally upward direction. An area of 5 × 5 pixels centering on the defective pixel in a certain case is shown. The correction pixels used in the defective pixel correction process are green pixels indicated by “◯” in FIG.

図４０（ａ）は、欠陥画素が焦点検出画素３２３（Ａ５）であり、焦点検出画素３２３、３２４が斜め右上がり方向に配列している場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図４０（ｂ）に“○”で示す焦点検出画素３２３（Ａ５）である。   In FIG. 40A, when the defective pixel is the focus detection pixel 323 (A5), and the focus detection pixels 323 and 324 are arranged obliquely upward to the right, 5 × 5 pixels centering on the defective pixel are shown. Indicates the area. The correction pixels used in the defective pixel correction process are focus detection pixels 323 (A5) indicated by “◯” in FIG.

図４１（ａ）は、欠陥画素が焦点検出画素３２５（Ａ７）であり、焦点検出画素３２５、３２６が斜め左上がり方向に配列している場合における該欠陥画素を中心とした５×５画素の領域の領域を示している。、欠陥画素補正処理に用いられる補正用画素は、図４１（ｂ）に“○”で示す焦点検出画素３２５（Ａ７）である。   In FIG. 41A, when the defective pixel is the focus detection pixel 325 (A7) and the focus detection pixels 325 and 326 are arranged in the diagonally left upward direction, 5 × 5 pixels centering on the defective pixel are shown. The area of the area is shown. The correction pixels used in the defective pixel correction process are focus detection pixels 325 (A7) indicated by “◯” in FIG.

図４２（ａ）は、欠陥画素が焦点検出画素３２３（Ａ５）であり、斜め右上がり方向に配列している焦点検出画素３２３、３２４の左下端の焦点検出画素が欠陥画素であった場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図４２（ｂ）に“○”で示す焦点検出画素３２３（Ａ５）となる。   FIG. 42A shows a case where the defective pixel is the focus detection pixel 323 (A5), and the focus detection pixels at the lower left corners of the focus detection pixels 323 and 324 arranged in the diagonally upward direction are defective pixels. A 5 × 5 pixel area centered on the defective pixel is shown. The correction pixels used in the defective pixel correction process are focus detection pixels 323 (A5) indicated by “◯” in FIG.

−−−第４の実施の形態−−−
図４３は、交換レンズ２０２の撮影画面上における焦点検出位置（焦点検出エリア）を示す図であり、撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央および上下左右の５箇所に焦点検出エリア１１１〜１１５、ならびに撮影画面１００の対角方向の４カ所に焦点検出エリア１１６〜１１９が配置される。焦点検出エリア１１１〜１１５においては、水平方向および垂直方向に配列した焦点検出画素配列が、互いに十字型を形成するように交差している。焦点検出エリア１１６〜１１９においては、斜め右上がり方向および斜め左上がり方向に配列した焦点検出画素配列が、Ｘ型を形成するように交差している。 --- Fourth embodiment ---
FIG. 43 is a diagram showing a focus detection position (focus detection area) on the imaging screen of the interchangeable lens 202, and an area in which an image is sampled on the imaging screen when the focus detection pixel array on the image sensor 212 performs focus detection. An example of (focus detection area, focus detection position) is shown. In this example, focus detection areas 111 to 115 are arranged at five locations on the center of the rectangular shooting screen 100 and up and down, left and right, and focus detection areas 116 to 119 are arranged at four locations in the diagonal direction of the shooting screen 100. In the focus detection areas 111 to 115, the focus detection pixel arrays arranged in the horizontal direction and the vertical direction cross each other so as to form a cross shape. In the focus detection areas 116 to 119, the focus detection pixel arrays arranged in the diagonally upward and diagonally upward directions intersect so as to form an X-type.

図４４、図４５は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１１１、１１２、１１３および焦点検出エリア１１６、１１８の近傍を拡大して示す。   44 and 45 are front views showing a detailed configuration of the image sensor 212, and show the enlarged vicinity of the focus detection areas 111, 112, 113 and the focus detection areas 116, 118 on the image sensor 212.

図４４において、水平方向の焦点検出画素３１５、３１６の配列と垂直方向の焦点検出画素３１３、３１４の配列とが交差する交差位置には、水平方向の焦点検出画素３１５が配置される。交差位置にあるべき垂直方向の焦点検出画素３１４の画素信号は、該交差位置を挟む最近接の２つの垂直方向の焦点検出画素３１４の画素信号の平均により求められる。   In FIG. 44, horizontal focus detection pixels 315 are arranged at intersections where the horizontal focus detection pixels 315 and 316 and the vertical focus detection pixels 313 and 314 intersect. The pixel signal of the vertical focus detection pixel 314 that should be at the intersection position is obtained by averaging pixel signals of the two closest vertical focus detection pixels 314 that sandwich the intersection position.

図４５において、斜め右上がり方向の焦点検出画素３２３、３２４の配列と斜め左上がり方向の焦点検出画素３２５、３２６の配列とが交差する交差位置には、右上がり方向の焦点検出画素３２３が配置される。交差位置にあるべき斜め左上がり方向の焦点検出画素３２５の画素信号は、該交差位置を挟む最近接の２つの斜め左上がりの焦点検出画素３２５の画素信号の平均により求められる。   In FIG. 45, focus detection pixels 323 in the upward right direction are arranged at intersections where the arrays of focus detection pixels 323 and 324 in the diagonally upward direction intersect with the arrays of focus detection pixels 325 and 326 in the diagonally upward direction. Is done. The pixel signal of the focus detection pixel 325 in the diagonally left upward direction that should be at the intersection position is obtained by averaging the pixel signals of the two closest diagonally upward focus detection pixels 325 sandwiching the intersection position.

上記のような交差した焦点検出画素配列を有する撮像素子においても、本発明を適用することが可能である。   The present invention can also be applied to an image sensor having the intersecting focus detection pixel array as described above.

図４６（ａ）は欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の左下で水平方向の焦点検出画素３１５、３１６と垂直方向の焦点検出画素３１３、３１４とが交差している場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図４６（ｂ）において、“○”で示す緑画素である。   In FIG. 46A, the defective pixel is the imaging pixel 310 (green pixel), and the horizontal focus detection pixels 315 and 316 intersect with the vertical focus detection pixels 313 and 314 at the lower left of the defective pixel. An area of 5 × 5 pixels centering on the defective pixel is shown. The correction pixel used in the defective pixel correction process is a green pixel indicated by “◯” in FIG.

図４７（ａ）は欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の２画素下で斜め右上がり方向の焦点検出画素３２３、３２４と斜め左上がり方向の焦点検出画素３２５、３２６とが交差している場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図４７（ｂ）において、“○”で示す緑画素である。   In FIG. 47A, the defective pixel is the imaging pixel 310 (green pixel), and the focus detection pixels 323 and 324 in the diagonally upward direction and the focus detection pixels 325 and 326 in the diagonally upward direction are two pixels below the defective pixel. A region of 5 × 5 pixels centering on the defective pixel is shown. The correction pixel used in the defective pixel correction process is a green pixel indicated by “◯” in FIG. 47B.

−−−第５の実施の形態−−−
図３、図４に示す撮像素子２１２の部分拡大図では、各画素に１つの光電変換部を有する一対の焦点検出画素３１５，３１６および一対の焦点検出画素３１３，３１４を、１行または１列に交互に配列する例を示した。しかし、一対の焦点検出画素３１５，３１６および一対の焦点検出画素３１３，３１４を、２行または２列に連続して配列するようにしてもよい。図４８は、撮像素子２１２の部分拡大図であり、焦点検出画素３１５が１行に連続して配置されるとともに、焦点検出画素３１６が隣接した１行に連続して配置される。このように焦点検出画素３１５、３１６を配列することにより、焦点検出画素３１５および焦点検出画素３１６がそれぞれ像を検出するサンプリング間隔が短くなり、焦点検出精度が向上する。 --- Fifth embodiment ---
3 and 4, the pair of focus detection pixels 315 and 316 and the pair of focus detection pixels 313 and 314 each having one photoelectric conversion unit are arranged in one row or one column. An example of alternating arrangement was shown. However, the pair of focus detection pixels 315 and 316 and the pair of focus detection pixels 313 and 314 may be continuously arranged in two rows or two columns. FIG. 48 is a partially enlarged view of the image sensor 212. The focus detection pixels 315 are continuously arranged in one row, and the focus detection pixels 316 are continuously arranged in one adjacent row. By arranging the focus detection pixels 315 and 316 in this manner, the sampling intervals at which the focus detection pixel 315 and the focus detection pixel 316 detect images are shortened, and the focus detection accuracy is improved.

上記のような構成の焦点検出画素配列を備えた撮像素子２１２においても、本発明を適用することが可能である。例えば、焦点検出画素３１５の１つが欠陥画素である場合には、欠陥焦点検出画素３１５の画素信号は、その欠陥焦点検出画素の左右の焦点検出画素３１５の画素信号を平均することにより欠陥画素補正処理される。   The present invention can also be applied to the image sensor 212 having the focus detection pixel array configured as described above. For example, if one of the focus detection pixels 315 is a defective pixel, the pixel signal of the defective focus detection pixel 315 is corrected by defective pixel correction by averaging the pixel signals of the left and right focus detection pixels 315 of the defective focus detection pixel. It is processed.

−−−変形例−−−
上述した実施形態における撮像素子２１２では、焦点検出画素が白色フィルタを備えた例を示したが、撮像画素と同じ色フィルタ（例えば緑フィルタ）を備えるようにした場合にも本発明を適用することができる。 ---- Modified example ---
In the image pickup device 212 in the above-described embodiment, the example in which the focus detection pixel includes the white filter has been described. However, the present invention is also applied to the case where the same color filter as the image pickup pixel (for example, the green filter) is provided. Can do.

上述した実施形態における撮像素子では、撮像画素がベイヤー配列の色フィルタを備えた例を示した。しかし、色フィルタの構成や配列はこれに限定されることはなく、補色フィルタ（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列やベイヤー配列以外の配列にも本発明を適用することができる。また色フィルタを備えないモノクロの撮像素子にも適用することができる。   In the image sensor according to the above-described embodiment, an example in which the imaging pixel includes a color filter with a Bayer array is shown. However, the configuration and arrangement of the color filters are not limited to this, and the present invention can be applied to arrangements other than the arrangement of complementary color filters (green: G, yellow: Ye, magenta: Mg, cyan: Cy) and the Bayer arrangement. Can be applied. Further, the present invention can also be applied to a monochrome image sensor that does not include a color filter.

上述した実施形態においては、撮像素子２１２と光学系との間に光学要素を何も配置していないが、適宜必要な光学要素を挿入することが可能である。例えば、赤外カットフィルタや光学的ローパスフィルタ、ハーフミラーなどを設置してもよい。   In the above-described embodiment, no optical element is disposed between the image sensor 212 and the optical system, but a necessary optical element can be appropriately inserted. For example, an infrared cut filter, an optical low-pass filter, a half mirror, or the like may be installed.

上述した実施形態においては、撮像素子２１２をＣＭＯＳイメージセンサーとしているが、ＣＣＤなどの他のタイプの撮像素子であってもよい。   In the above-described embodiment, the image sensor 212 is a CMOS image sensor, but may be another type of image sensor such as a CCD.

なお、撮像装置としては、上述したような、カメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムスチルカメラに限定されない。例えば、レンズ一体型のデジタルスチルカメラ、フィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。   Note that the imaging apparatus is not limited to the digital still camera or the film still camera having the configuration in which the interchangeable lens is mounted on the camera body as described above. For example, the present invention can also be applied to a lens-integrated digital still camera, film still camera, or video camera. Furthermore, the present invention can be applied to a small camera module built in a mobile phone, a surveillance camera, a visual recognition device for a robot, an in-vehicle camera, and the like.

９、１０ マイクロレンズ、
１１、１３、１４、１５、１６、２３、２４、２５、２６ 光電変換部、
２９ 半導体回路基板、
３０ 遮光マスク、３０ａ、３０ｂ、３０ｃ、３０ｄ 開口部、
３１、３２ 平坦化層、３４ 白色フィルタ、３８ 色フィルタ、
７１、７３、７４ 光束、
９０ 射出瞳、９１ 交換レンズの光軸、９３、９４ 測距瞳、９５ 領域、
１００ 撮影画面、
１０１、１０２、１０３、１０４、１０５、１０６、１０７、１０８、１０９、１１１、１１２、１１３、１１４、１１５、１１６、１１７、１１８、１１９ 焦点検出エリア、
２０１ デジタルスチルカメラ、２０２ 交換レンズ、２０３ カメラボディ、
２０４ マウント部、２０６ レンズ駆動制御装置、
２０８ ズーミング用レンズ、２０９ レンズ、２１０ フォーカシング用レンズ、
２１１ 絞り、２１２ 撮像素子、２１３ 電気接点、
２１４ ボディ駆動制御装置、
２１５ 液晶表示素子駆動回路、２１６ 液晶表示素子、２１７ 接眼レンズ、
２１９ メモリカード、２２０ バッファメモリ、２２１ 欠陥画素情報記憶メモリ、
３１０ 撮像画素、
３１１、３１２、３１３、３１４、３１５、３１６、３２３、３２４、３２５、３２６ 焦点検出画素、
３２０ ラインメモリ、３３０ 出力回路、５０１ 垂直出力線、
５１０ リセットＭＯＳトランジスタ、５１２ 行選択ＭＯＳトランジスタ 9, 10 micro lens,
11, 13, 14, 15, 16, 23, 24, 25, 26 photoelectric conversion unit,
29 Semiconductor circuit board,
30 shading mask, 30a, 30b, 30c, 30d opening,
31, 32 Flattening layer, 34 White filter, 38 color filter,
71, 73, 74 luminous flux,
90 Exit pupil, 91 Optical axis of interchangeable lens, 93, 94 Distance pupil, 95 area,
100 shooting screen,
101, 102, 103, 104, 105, 106, 107, 108, 109, 111, 112, 113, 114, 115, 116, 117, 118, 119 Focus detection area,
201 digital still camera, 202 interchangeable lens, 203 camera body,
204 mount unit, 206 lens drive control device,
208 zooming lens, 209 lens, 210 focusing lens,
211 Aperture, 212 Image sensor, 213 Electrical contact,
214 body drive control device,
215 liquid crystal display element driving circuit, 216 liquid crystal display element, 217 eyepiece,
219 memory card, 220 buffer memory, 221 defective pixel information storage memory,
310 imaging pixels,
311, 312, 313, 314, 315, 316, 323, 324, 325, 326 focus detection pixels,
320 line memory, 330 output circuit, 501 vertical output line,
510 reset MOS transistor, 512 row selection MOS transistor

Claims (5)

像を形成する光束を射出する光学系と、
前記光束を受光して画素信号を出力する複数の撮像画素と、瞳分割型の複数の焦点検出画素とを二次元配列に従って配置した撮像素子と、
前記複数の撮像画素に含まれる欠陥撮像画素の画素信号を、当該欠陥撮像画素の周囲の前記複数の撮像画素の画素信号に基づき第１の欠陥画素補正処理により補正するとともに、前記複数の焦点検出画素に含まれる欠陥焦点検出画素の画素信号を、当該欠陥焦点検出画素の周囲の前記複数の焦点検出画素の画素信号に基づき第２の欠陥画素補正処理により補正する第１の欠陥画素補正処理手段と、
前記複数の撮像画素に含まれる欠陥撮像画素の画素信号を、前記第１の欠陥画素補正処理よりも精度が低い第３の欠陥画素補正処理により補正する第２の欠陥画素補正処理手段と、
前記第１の欠陥画素補正処理により補正された前記欠陥撮像画素の画素信号を含む前記複数の撮像画素の画素信号に基づいて第１の画像信号を生成し、前記第３の欠陥画素補正処理により補正された前記欠陥撮像画素の画素信号を含む前記複数の撮像画素の画素信号に基づいて第２の画像信号を生成する画像生成手段と、
撮影動作の開始前には、前記第２の欠陥画素補正処理手段に前記第３の欠陥画素補正処理による補正を行わせると共に前記画像生成手段に第２の画像信号を生成させ、撮影動作の開始後には、前記第１の欠陥画素補正処理手段に前記第１の欠陥画素補正処理による補正を行わせると共に前記画像生成手段に前記第２の画像信号を生成させる制御手段と、
前記第１の欠陥画素補正処理手段により補正された前記欠陥焦点検出画素の画素信号を含む前記複数の焦点検出画素の画素信号に基づいて、前記光学系の焦点調節状態を検出する焦点検出手段と、
前記欠陥撮像画素および前記欠陥焦点検出画素の欠陥画素位置を示す欠陥画素位置情報と、前記欠陥画素位置に配置されるのが前記欠陥撮像画素であるか前記欠陥焦点検出画素であるかに応じて前記第１の欠陥画素補正処理または前記第２の欠陥画素補正処理を指定する欠陥画素補正処理情報と、前記欠陥画素位置の周囲に配置され、前記第１の欠陥画素補正処理または前記第２の欠陥画素補正処理に用いられる複数の非欠陥撮像画素または複数の非欠陥焦点検出画素の位置を、前記欠陥画素位置を基準とした相対的な画素位置情報として指定する補正用画素位置情報と、を前記欠陥撮像画素および前記欠陥焦点検出画素毎に記憶する欠陥画素情報記憶手段と、を備え、
前記第１の欠陥画素補正処理手段は、前記欠陥撮像画素および前記欠陥焦点検出画素毎に記憶された前記欠陥画素位置情報と前記補正用画素位置情報とに基づき定められる前記複数の非欠陥撮像画素の画素信号または前記複数の非欠陥焦点検出画素の画素信号に対して前記欠陥画素補正処理情報に基づき定められる前記第１の欠陥画素補正処理または前記第２の欠陥画素補正処理を施すことを特徴とする撮像装置。 An optical system that emits a light beam that forms an image;
An imaging device in which a plurality of imaging pixels that receive the light flux and output a pixel signal and a plurality of pupil division type focus detection pixels are arranged according to a two-dimensional array;
The pixel signals of the defective imaging pixels included in the plurality of imaging pixels are corrected by a first defective pixel correction process based on the pixel signals of the plurality of imaging pixels around the defective imaging pixels, and the plurality of focus detections First defective pixel correction processing means for correcting a pixel signal of a defective focus detection pixel included in a pixel by a second defective pixel correction process based on pixel signals of the plurality of focus detection pixels around the defective focus detection pixel When,
Second defective pixel correction processing means for correcting pixel signals of defective imaging pixels included in the plurality of imaging pixels by a third defective pixel correction process having a lower accuracy than the first defective pixel correction process;
A first image signal is generated based on the pixel signals of the plurality of imaging pixels including the pixel signal of the defective imaging pixel corrected by the first defective pixel correction processing , and the third defective pixel correction processing Image generating means for generating a second image signal based on the pixel signals of the plurality of imaging pixels including the corrected pixel signal of the defective imaging pixel ;
Before the start of the photographing operation, the second defective pixel correction processing unit is caused to perform correction by the third defective pixel correction processing, and the image generation unit is caused to generate a second image signal to start the photographing operation. And a control unit that causes the first defective pixel correction processing unit to perform correction by the first defective pixel correction processing and causes the image generation unit to generate the second image signal.
Focus detection means for detecting a focus adjustment state of the optical system based on pixel signals of the plurality of focus detection pixels including pixel signals of the defective focus detection pixels corrected by the first defective pixel correction processing means; ,
According to the defective pixel position information indicating the defective pixel position of the defective imaging pixel and the defective focus detection pixel, and whether the defective imaging pixel or the defective focus detection pixel is disposed at the defective pixel position. The defective pixel correction processing information for designating the first defective pixel correction processing or the second defective pixel correction processing is arranged around the defective pixel position, and the first defective pixel correction processing or the second defective pixel correction processing is arranged. Correction pixel position information that designates the positions of a plurality of non-defective imaging pixels or a plurality of non-defective focus detection pixels used in the defective pixel correction process as relative pixel position information with reference to the defective pixel position; Comprising defective pixel information storage means for storing each of the defective imaging pixels and the defective focus detection pixels,
The first defective pixel correction processing means includes the plurality of non-defective imaging pixels determined based on the defective pixel position information and the correction pixel position information stored for each of the defective imaging pixel and the defective focus detection pixel. The first defective pixel correction processing or the second defective pixel correction processing determined based on the defective pixel correction processing information is performed on the pixel signal of the first pixel signal or the pixel signals of the plurality of non-defective focus detection pixels. An imaging device. 像を形成する光束を射出する光学系と、
第１、第２及び第３の分光感度特性をそれぞれ有し、前記光束をそれぞれ受光して画素信号をそれぞれ出力する第１、第２及び第３の撮像画素が所定の配列規則に従って２次元状に配列される撮像画素と、前記光学系の一対の瞳領域を通過した一対の光束を受光し、前記一対の光束による一対の像が前記光学系の焦点調節状態に応じて相対的にずれる方向に配列されると共に前記撮像画素の一部に置換して配置される複数の焦点検出画素からなる焦点検出画素列と、を有する撮像素子と、
前記複数の撮像画素に含まれる欠陥撮像画素の画素信号を、当該欠陥撮像画素の周囲の複数の周囲画素の画素信号に基づき第１の欠陥画素補正処理により補正すると共に、前記焦点検出画素列に含まれる欠陥焦点検出画素の画素信号を、当該欠陥焦点検出画素の周囲の複数の周囲画素の画素信号に基づき第２の欠陥画素補正処理により補正する欠陥画素補正処理手段と、
前記欠陥画素補正処理手段により補正された前記欠陥撮像画素の画素信号を含む前記複数の撮像画素の画素信号に基づいて、画像信号を生成する画像生成手段と、
前記欠陥画素補正処理手段により補正された前記欠陥焦点検出画素の画素信号を含む前記焦点検出画素列の画素信号に基づいて、前記光学系の焦点調節状態を検出する焦点検出手段と、
前記欠陥撮像画素および前記欠陥焦点検出画素の欠陥画素位置を示す欠陥画素位置情報と、前記第１の欠陥画素補正処理に用いられる前記欠陥撮像画素の周囲の複数の周囲画素の位置情報として、当該欠陥撮像画素と所定の位置関係にある周囲画素の位置を当該欠陥撮像画素位置を基準として表す欠陥撮像画素補正用の画素位置情報と、前記第２の欠陥画素補正処理に用いられる前記欠陥焦点検出画素の周囲の複数の周囲画素の位置情報として、当該欠陥焦点検出画素が属する前記焦点検出画素列内の、当該欠陥焦点検出画素近傍の焦点検出画素の位置を前記欠陥焦点検出画素位置を基準として表す欠陥焦点検出画素補正用の画素位置情報と、を前記欠陥撮像画素および前記欠陥焦点検出画素毎に記憶する欠陥画素情報記憶手段と、を備え、
前記欠陥撮像画素補正用の画素位置情報は、前記所定の位置関係にある周囲画素が前記焦点検出画素を含む場合には、当該焦点検出画素の位置情報を含まず、
前記欠陥画素補正処理手段は、前記欠陥画素情報記憶手段に記憶された前記欠陥画素位置情報に対応する前記欠陥撮像画素の画素信号を、当該欠陥撮像画素に対して前記欠陥画素情報記憶手段に記憶された前記欠陥撮像画素補正用の画素位置情報に対応する前記周囲画素の画素信号に基づき前記第１の欠陥画素補正処理により補正すると共に、前記欠陥画素情報記憶手段に記憶された前記欠陥画素位置情報に対応する前記欠陥焦点検出画素の画素信号を、当該欠陥焦点検出画素に対して前記欠陥画素情報記憶手段に記憶された前記欠陥焦点検出画素補正用の画素位置情報に対応する前記周囲画素の画素信号に基づき前記第２の欠陥画素補正処理により補正し、
前記焦点検出画素列は、マイクロレンズと光電変換部とを有すると共に前記光電変換部が前記一対の光束の一方を受光する第１焦点検出画素と、マイクロレンズと光電変換部とを有すると共に当該光電変換部が前記一対の光束の他方を受光する第２焦点検出画素とが交互に配列されたものであり、
前記欠陥焦点検出画素が前記第１焦点検出画素である場合に、当該欠陥焦点検出画素に対して前記欠陥画素情報記憶手段に記憶された前記欠陥焦点検出画素補正用の画素位置情報は、前記第１焦点検出画素の位置情報であり、
前記欠陥焦点検出画素が前記第２焦点検出画素である場合に、当該欠陥焦点検出画素に対して前記欠陥画素情報記憶手段に記憶された前記欠陥焦点検出画素補正用の画素位置情報は、前記第２焦点検出画素の位置情報であることを特徴とする撮像装置。 An optical system that emits a light beam that forms an image;
The first, second, and third imaging pixels having first, second, and third spectral sensitivity characteristics, respectively receiving the luminous flux and outputting pixel signals, respectively, are two-dimensional according to a predetermined arrangement rule. A pair of light beams that have passed through a pair of pupil regions of the optical system, and a pair of images formed by the pair of light beams are relatively displaced depending on a focus adjustment state of the optical system. A focus detection pixel array composed of a plurality of focus detection pixels arranged in place of and part of the imaging pixels.
The pixel signals of the defective imaging pixels included in the plurality of imaging pixels are corrected by the first defective pixel correction process based on the pixel signals of the plurality of surrounding pixels around the defective imaging pixels, and the focus detection pixel array Defective pixel correction processing means for correcting pixel signals of the defective focus detection pixels included by the second defective pixel correction processing based on pixel signals of a plurality of surrounding pixels around the defective focus detection pixels;
Image generating means for generating an image signal based on pixel signals of the plurality of imaging pixels including pixel signals of the defective imaging pixels corrected by the defective pixel correction processing means;
A focus detection unit that detects a focus adjustment state of the optical system based on a pixel signal of the focus detection pixel column including a pixel signal of the defective focus detection pixel corrected by the defective pixel correction processing unit;
As defective pixel position information indicating a defective pixel position of the defective imaging pixel and the defective focus detection pixel, and positional information of a plurality of surrounding pixels around the defective imaging pixel used in the first defective pixel correction processing, Defect imaging pixel correction pixel position information that represents the positions of surrounding pixels that are in a predetermined positional relationship with the defective imaging pixel with reference to the defective imaging pixel position, and the defective focus detection used in the second defective pixel correction processing As position information of a plurality of surrounding pixels around the pixel, the position of the focus detection pixel in the vicinity of the defect focus detection pixel in the focus detection pixel column to which the defect focus detection pixel belongs is used as a reference for the position of the defect focus detection pixel. Pixel position information for defect focus detection pixel correction to represent, and defective pixel information storage means for storing for each of the defect imaging pixels and the defect focus detection pixels,
The pixel position information for correcting the defective imaging pixel does not include the position information of the focus detection pixel when the surrounding pixels in the predetermined positional relationship include the focus detection pixel.
The defective pixel correction processing unit stores a pixel signal of the defective imaging pixel corresponding to the defective pixel position information stored in the defective pixel information storage unit with respect to the defective imaging pixel in the defective pixel information storage unit. The defective pixel position corrected by the first defective pixel correction process based on the pixel signal of the surrounding pixels corresponding to the pixel position information for correcting the defective imaging pixel, and stored in the defective pixel information storage unit The pixel signal of the defective focus detection pixel corresponding to the information is stored in the pixel position information for correcting the defect focus detection pixel stored in the defective pixel information storage unit with respect to the defective focus detection pixel. Correcting by the second defective pixel correction process based on the pixel signal ;
The focus detection pixel array includes a microlens and a photoelectric conversion unit, and the photoelectric conversion unit includes a first focus detection pixel that receives one of the pair of light beams, a microlens, and a photoelectric conversion unit. The conversion unit is alternately arranged with second focus detection pixels that receive the other of the pair of light beams,
When the defect focus detection pixel is the first focus detection pixel, the defect focus detection pixel correction pixel position information stored in the defect pixel information storage unit with respect to the defect focus detection pixel is the first focus detection pixel. 1 focus detection pixel position information,
When the defect focus detection pixel is the second focus detection pixel, the defect focus detection pixel correction pixel position information stored in the defect pixel information storage unit with respect to the defect focus detection pixel is the first focus detection pixel. An imaging apparatus characterized by being position information of a bifocal detection pixel . 像を形成する光束を射出する光学系と、
第１、第２及び第３の分光感度特性をそれぞれ有し、前記光束をそれぞれ受光して画素信号をそれぞれ出力する第１、第２及び第３の撮像画素が所定の配列規則に従って２次元状に配列される撮像画素と、前記光学系の一対の瞳領域を通過した一対の光束を受光し、前記一対の光束による一対の像が前記光学系の焦点調節状態に応じて相対的にずれる方向に配列されると共に前記撮像画素の一部に置換して配置される複数の焦点検出画素からなる焦点検出画素列と、を有する撮像素子と、
前記複数の撮像画素に含まれる欠陥撮像画素の画素信号を、当該欠陥撮像画素の周囲の複数の周囲画素の画素信号に基づき第１の欠陥画素補正処理により補正すると共に、前記焦点検出画素列に含まれる欠陥焦点検出画素の画素信号を、当該欠陥焦点検出画素の周囲の複数の周囲画素の画素信号に基づき第２の欠陥画素補正処理により補正する欠陥画素補正処理手段と、
前記欠陥画素補正処理手段により補正された前記欠陥撮像画素の画素信号を含む前記複数の撮像画素の画素信号に基づいて、画像信号を生成する画像生成手段と、
前記欠陥画素補正処理手段により補正された前記欠陥焦点検出画素の画素信号を含む前記焦点検出画素列の画素信号に基づいて、前記光学系の焦点調節状態を検出する焦点検出手段と、
前記欠陥撮像画素および前記欠陥焦点検出画素の欠陥画素位置を示す欠陥画素位置情報と、前記第１の欠陥画素補正処理に用いられる前記欠陥撮像画素の周囲の複数の周囲画素の位置情報として、当該欠陥撮像画素と所定の位置関係にある周囲画素の位置を当該欠陥撮像画素位置を基準として表す欠陥撮像画素補正用の画素位置情報と、前記第２の欠陥画素補正処理に用いられる前記欠陥焦点検出画素の周囲の複数の周囲画素の位置情報として、当該欠陥焦点検出画素が属する前記焦点検出画素列内の、当該欠陥焦点検出画素近傍の焦点検出画素の位置を前記欠陥焦点検出画素位置を基準として表す欠陥焦点検出画素補正用の画素位置情報と、を前記欠陥撮像画素および前記欠陥焦点検出画素毎に記憶する欠陥画素情報記憶手段と、を備え、
前記欠陥撮像画素補正用の画素位置情報は、前記所定の位置関係にある周囲画素が前記焦点検出画素を含む場合には、当該焦点検出画素の位置情報を含まず、
前記欠陥画素補正処理手段は、前記欠陥画素情報記憶手段に記憶された前記欠陥画素位置情報に対応する前記欠陥撮像画素の画素信号を、当該欠陥撮像画素に対して前記欠陥画素情報記憶手段に記憶された前記欠陥撮像画素補正用の画素位置情報に対応する前記周囲画素の画素信号に基づき前記第１の欠陥画素補正処理により補正すると共に、前記欠陥画素情報記憶手段に記憶された前記欠陥画素位置情報に対応する前記欠陥焦点検出画素の画素信号を、当該欠陥焦点検出画素に対して前記欠陥画素情報記憶手段に記憶された前記欠陥焦点検出画素補正用の画素位置情報に対応する前記周囲画素の画素信号に基づき前記第２の欠陥画素補正処理により補正し、
前記焦点検出画素列の焦点検出画素の各々は、マイクロレンズと前記マイクロレンズを通過した前記一対の光束をそれぞれ受光する一対の光電変換部とを有し、
前記一対の光電変換部は、前記一対の光束による一対の像が前記光学系の焦点調節状態に応じて相対的にずれる方向に配列され、
前記欠陥焦点検出画素に対して前記欠陥画素情報記憶手段に記憶された前記欠陥焦点検出画素補正用の画素位置情報は、当該欠陥焦点検出画素の両隣に位置する焦点検出画素であることを特徴とする撮像装置。 An optical system that emits a light beam that forms an image;
The first, second, and third imaging pixels having first, second, and third spectral sensitivity characteristics, respectively receiving the luminous flux and outputting pixel signals, respectively, are two-dimensional according to a predetermined arrangement rule. A pair of light beams that have passed through a pair of pupil regions of the optical system, and a pair of images formed by the pair of light beams are relatively displaced depending on a focus adjustment state of the optical system. A focus detection pixel array composed of a plurality of focus detection pixels arranged in place of and part of the imaging pixels.
The pixel signals of the defective imaging pixels included in the plurality of imaging pixels are corrected by the first defective pixel correction process based on the pixel signals of the plurality of surrounding pixels around the defective imaging pixels, and the focus detection pixel array Defective pixel correction processing means for correcting pixel signals of the defective focus detection pixels included by the second defective pixel correction processing based on pixel signals of a plurality of surrounding pixels around the defective focus detection pixels;
Image generating means for generating an image signal based on pixel signals of the plurality of imaging pixels including pixel signals of the defective imaging pixels corrected by the defective pixel correction processing means;
A focus detection unit that detects a focus adjustment state of the optical system based on a pixel signal of the focus detection pixel column including a pixel signal of the defective focus detection pixel corrected by the defective pixel correction processing unit;
As defective pixel position information indicating a defective pixel position of the defective imaging pixel and the defective focus detection pixel, and positional information of a plurality of surrounding pixels around the defective imaging pixel used in the first defective pixel correction processing, Defect imaging pixel correction pixel position information that represents the positions of surrounding pixels that are in a predetermined positional relationship with the defective imaging pixel with reference to the defective imaging pixel position, and the defective focus detection used in the second defective pixel correction processing As position information of a plurality of surrounding pixels around the pixel, the position of the focus detection pixel in the vicinity of the defect focus detection pixel in the focus detection pixel column to which the defect focus detection pixel belongs is used as a reference for the position of the defect focus detection pixel. Pixel position information for defect focus detection pixel correction to represent, and defective pixel information storage means for storing for each of the defect imaging pixels and the defect focus detection pixels,
The pixel position information for correcting the defective imaging pixel does not include the position information of the focus detection pixel when the surrounding pixels in the predetermined positional relationship include the focus detection pixel.
The defective pixel correction processing unit stores a pixel signal of the defective imaging pixel corresponding to the defective pixel position information stored in the defective pixel information storage unit with respect to the defective imaging pixel in the defective pixel information storage unit. The defective pixel position corrected by the first defective pixel correction process based on the pixel signal of the surrounding pixels corresponding to the pixel position information for correcting the defective imaging pixel, and stored in the defective pixel information storage unit The pixel signal of the defective focus detection pixel corresponding to the information is stored in the pixel position information for correcting the defect focus detection pixel stored in the defective pixel information storage unit with respect to the defective focus detection pixel. Correcting by the second defective pixel correction process based on the pixel signal ;
Each of the focus detection pixels of the focus detection pixel row includes a microlens and a pair of photoelectric conversion units that respectively receive the pair of light beams that have passed through the microlens.
The pair of photoelectric conversion units are arranged in a direction in which a pair of images by the pair of light beams are relatively shifted according to a focus adjustment state of the optical system,
The defect focal point detection pixel correction pixel position information stored in the defective pixel information storage unit with respect to the defective focal point detection pixel is a focal point detection pixel located on both sides of the defective focal point detection pixel. An imaging device. 請求項２または３に記載の撮像装置において、
前記第１の欠陥画素補正処理は、前記欠陥画素情報記憶手段に記憶された前記欠陥撮像画素補正用の画素位置情報に対応する前記周囲画素の画素信号に対するメディアンフィルタ処理であることを特徴とする撮像装置。 In the imaging device according to claim 2 or 3 ,
The first defective pixel correction process is a median filter process for a pixel signal of the surrounding pixels corresponding to the pixel position information for the defective imaging pixel correction stored in the defective pixel information storage unit. Imaging device. 請求項２または３に記載の撮像装置において、
前記第２の欠陥画素補正処理は、前記欠陥画素情報記憶手段に記憶された前記欠陥焦点検出画素補正用の画素位置情報に対応する前記周囲画素の画素信号に対する平均処理であることを特徴とする撮像装置。
In the imaging device according to claim 2 or 3 ,
The second defective pixel correction process is an average process for pixel signals of the surrounding pixels corresponding to the defective focus detection pixel correction pixel position information stored in the defective pixel information storage unit. Imaging device.
JP2009190413A 2009-08-19 2009-08-19 Imaging device Expired - Fee Related JP5625286B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009190413A JP5625286B2 (en) 2009-08-19 2009-08-19 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009190413A JP5625286B2 (en) 2009-08-19 2009-08-19 Imaging device

Publications (3)

Publication Number Publication Date
JP2011044820A JP2011044820A (en) 2011-03-03
JP2011044820A5 JP2011044820A5 (en) 2012-10-25
JP5625286B2 true JP5625286B2 (en) 2014-11-19

Family

ID=43831935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009190413A Expired - Fee Related JP5625286B2 (en) 2009-08-19 2009-08-19 Imaging device

Country Status (1)

Country Link
JP (1) JP5625286B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5817154B2 (en) * 2011-03-10 2015-11-18 株式会社ニコン Imaging device
JP5867806B2 (en) * 2011-09-16 2016-02-24 株式会社リコー Imaging device and object identification device using the same
JP5634614B2 (en) * 2011-09-29 2014-12-03 富士フイルム株式会社 Imaging device and imaging apparatus
JP5943596B2 (en) * 2011-12-19 2016-07-05 キヤノン株式会社 Imaging device
JP6027777B2 (en) * 2012-04-06 2016-11-16 キヤノン株式会社 Pixel information management device and imaging device using the same
JP5968025B2 (en) * 2012-04-11 2016-08-10 キヤノン株式会社 IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
CN106133575B (en) 2014-03-25 2019-05-14 富士胶片株式会社 Photographic device and focusing control method
JP6602109B2 (en) * 2015-08-28 2019-11-06 キヤノン株式会社 Control device, imaging device, control method, program, and storage medium

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3480739B2 (en) * 1992-09-11 2003-12-22 株式会社東芝 Solid-state imaging device
JP3980782B2 (en) * 1999-02-03 2007-09-26 富士フイルム株式会社 Imaging control apparatus and imaging control method
JP2001016504A (en) * 1999-06-30 2001-01-19 Toshiba Corp Defective pixel correcting circuit and its correcting method
US6724945B1 (en) * 2000-05-24 2004-04-20 Hewlett-Packard Development Company, L.P. Correcting defect pixels in a digital image
JP4054184B2 (en) * 2001-10-03 2008-02-27 オリンパス株式会社 Defective pixel correction device
JP2006217113A (en) * 2005-02-02 2006-08-17 Funai Electric Co Ltd Electronic camera and method of inspecting electronic camera
JP4754939B2 (en) * 2005-11-01 2011-08-24 オリンパス株式会社 Image processing device
JP5029274B2 (en) * 2007-10-10 2012-09-19 株式会社ニコン Imaging device
JP5180795B2 (en) * 2007-12-10 2013-04-10 キヤノン株式会社 Imaging apparatus and control method thereof

Also Published As

Publication number Publication date
JP2011044820A (en) 2011-03-03

Similar Documents

Publication Publication Date Title
US8063978B2 (en) Image pickup device, focus detection device, image pickup apparatus, method for manufacturing image pickup device, method for manufacturing focus detection device, and method for manufacturing image pickup apparatus
US8243189B2 (en) Image sensor and imaging apparatus
US7863550B2 (en) Focus detection device and focus detection method based upon center position of gravity information of a pair of light fluxes
JP4867552B2 (en) Imaging device
JP5045350B2 (en) Imaging device and imaging apparatus
JP6149369B2 (en) Image sensor
JP5625286B2 (en) Imaging device
JP4946313B2 (en) Imaging device
JP5256711B2 (en) Imaging device and imaging apparatus
JP5895355B2 (en) Imaging device
JP5454223B2 (en) camera
CN103444185B (en) Color image element and imaging device
JP4867566B2 (en) Imaging device, focus detection device, and imaging device
JP5817154B2 (en) Imaging device
JP2009122524A (en) Focus detecting device and imaging apparatus
JP5699480B2 (en) Focus detection device and camera
JP5211590B2 (en) Image sensor and focus detection apparatus
JPWO2012127701A1 (en) Color imaging device, imaging device, and imaging program
JP5609098B2 (en) Imaging device
JP5278123B2 (en) Imaging device
JP5962830B2 (en) Focus detection device
JP5804104B2 (en) Focus adjustment device
JP2010091848A (en) Focus detecting apparatus and imaging apparatus
JP5724208B2 (en) Imaging device
JP6760424B2 (en) Focus adjuster

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120910

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140915

R150 Certificate of patent or registration of utility model

Ref document number: 5625286

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees