JP2012160807A - Imaging apparatus, electronic apparatus, and imaging method - Google Patents
Imaging apparatus, electronic apparatus, and imaging method Download PDFInfo
- Publication number
- JP2012160807A JP2012160807A JP2011017521A JP2011017521A JP2012160807A JP 2012160807 A JP2012160807 A JP 2012160807A JP 2011017521 A JP2011017521 A JP 2011017521A JP 2011017521 A JP2011017521 A JP 2011017521A JP 2012160807 A JP2012160807 A JP 2012160807A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- imaging
- solid
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、撮像装置、電子機器、撮像方法に関する。特に、本発明は、欠陥画素に起因して撮像画像の画像品質が低下することを防止可能な、撮像装置、電子機器、撮像方法に関する。 The present invention relates to an imaging apparatus, an electronic apparatus, and an imaging method. In particular, the present invention relates to an imaging apparatus, an electronic apparatus, and an imaging method that can prevent the image quality of a captured image from being deteriorated due to defective pixels.
デジタルカメラなどの電子機器は、固体撮像素子を含む。たとえば、固体撮像素子として、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｃｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサ、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型イメージセンサを含む。 Electronic equipment such as a digital camera includes a solid-state image sensor. For example, the solid-state imaging device includes a CMOS (Complementary Metal Oxide Semiconductor) type image sensor and a CCD (Charge Coupled Device) type image sensor.
固体撮像素子では、複数の画素がマトリクス状に配列された画素領域が、半導体基板の面に設けられている。複数の画素のそれぞれにおいては、光電変換部が設けられている。光電変換部は、たとえば、フォトダイオードであり、入射光を受光面で受光し光電変換することによって信号電荷を生成する。 In a solid-state imaging device, a pixel region in which a plurality of pixels are arranged in a matrix is provided on the surface of a semiconductor substrate. A photoelectric conversion unit is provided in each of the plurality of pixels. The photoelectric conversion unit is, for example, a photodiode, and generates signal charges by receiving incident light on a light receiving surface and performing photoelectric conversion.
複数の画素中においては、半導体の局所的な結晶欠陥などによる欠陥画素が存在する場合があり、この欠陥画素では他の欠陥がない画素に比べて感度が低下して、信号強度が低い信号が出力される場合がある。このため、撮像画像に白キズなどの不具合が発生するために、画像品質が低下する場合がある。 In a plurality of pixels, there may be a defective pixel due to a local crystal defect of a semiconductor, etc., and this defective pixel has a lower sensitivity than a pixel having no other defect and a signal with low signal intensity. May be output. For this reason, since defects such as white scratches occur in the captured image, the image quality may deteriorate.
このような欠陥画素による不具合を解消するために、欠陥補正を実施することが提案されている（たとえば、特許文献１参照）。 In order to eliminate such defects caused by defective pixels, it has been proposed to perform defect correction (see, for example, Patent Document 1).
図２４は、欠陥補正の一例を示す図である。図２４においては、画素Ｐの配列を示している。 FIG. 24 is a diagram illustrating an example of defect correction. In FIG. 24, the arrangement of the pixels P is shown.
図２４に示すように、画素Ｐは、水平方向ｘと垂直方向ｙとのそれぞれに複数が配列されている。画素Ｐは、赤色の波長帯域の光を受光する赤色画素Ｒと、緑色の波長帯域の光を受光する緑色画素Ｇと、青色の波長帯域の光を受光する青色画素Ｂとを含む。 As shown in FIG. 24, a plurality of pixels P are arranged in each of the horizontal direction x and the vertical direction y. The pixel P includes a red pixel R that receives light in the red wavelength band, a green pixel G that receives light in the green wavelength band, and a blue pixel B that receives light in the blue wavelength band.
赤色画素Ｒと緑色画素Ｇと青色画素Ｂとのそれぞれは、図２４に示すように、ベイヤー配列ＢＨで配列されている。すなわち、緑色画素Ｇが市松状になるように、対角方向へ並んで配置されている。そして、赤色画素Ｒと青色画素Ｂとが、複数の緑色画素Ｇにおいて、対角方向に並ぶように配置されている。 Each of the red pixel R, the green pixel G, and the blue pixel B is arranged in a Bayer array BH as shown in FIG. That is, the green pixels G are arranged in a diagonal direction so as to have a checkered pattern. The red pixel R and the blue pixel B are arranged in a plurality of green pixels G so as to be aligned in a diagonal direction.
このとき、図２４（ａ）において太線で囲って示しているように、複数の画素Ｐのうち、たとえば、一つの青色画素Ｂが欠陥画素ＫＰとして形成される場合がある。 At this time, as indicated by a bold line in FIG. 24A, for example, one blue pixel B among the plurality of pixels P may be formed as the defective pixel KP.
このような場合に欠陥補正を実施する際には、図２４（ａ）に示すように、欠陥画素ＫＰの隣りに位置する他の隣接画素ＲＰ（破線で示したもの）から出力された画素データに基づいて得られるデータを、その欠陥画素ＫＰから出力された画素データとする。つまり、欠陥画素ＫＰの周辺に位置する隣接画素ＲＰから得られる画素データを用いて、その欠陥画素ＫＰの画素データを補間により得る。たとえば、複数の青色画素Ｂのうち、欠陥画素ＫＰとして存在するものに対して水平方向ｘおよび垂直方向ｙに隣接する隣接画素ＲＰから出力された画素データを加算平均したデータを生成する。そして、そのデータを欠陥画素ＫＰから出力された画素データとして置換することで、欠陥補正を実施する。 When performing defect correction in such a case, as shown in FIG. 24A, pixel data output from another adjacent pixel RP (shown by a broken line) located adjacent to the defective pixel KP. The data obtained on the basis of is used as pixel data output from the defective pixel KP. That is, pixel data of the defective pixel KP is obtained by interpolation using pixel data obtained from the adjacent pixel RP located around the defective pixel KP. For example, data obtained by averaging the pixel data output from the adjacent pixels RP adjacent in the horizontal direction x and the vertical direction y to a pixel existing as the defective pixel KP among the plurality of blue pixels B is generated. Then, defect correction is performed by replacing the data with pixel data output from the defective pixel KP.
しかしながら、この場合には、その補正後の欠陥画素ＫＰの画素データは、別の位置の画素Ｐから得た画素データを用いて形成されており、実際には、その欠陥画素ＫＰの部分の情報が不足していることになる。このため、撮像画像においては、解像度が低下し、画像品質の向上が十分でない場合がある。 However, in this case, the pixel data of the defective pixel KP after the correction is formed by using pixel data obtained from the pixel P at another position, and in fact, information on the portion of the defective pixel KP. Will be lacking. For this reason, in the captured image, the resolution is lowered, and the image quality may not be sufficiently improved.
特に、暗時における撮影のように露光時間が長く、長時間の電荷蓄積を行うときには、このような不具合の発生が顕在化する場合がある。たとえば、夜空の星を撮影する場合には、上記の補正によって、星による高輝度部分が低輝度になって、画像内に表示されなくなる場合があり、画像品質が低下する。 In particular, the occurrence of such a problem may become apparent when the exposure time is long and charge accumulation is performed for a long time, such as when shooting in the dark. For example, when shooting a star in the night sky, the above-described correction may cause a high-luminance portion of the star to become low-luminance and not be displayed in the image, resulting in a reduction in image quality.
また、図２４（ｂ）に示すように、欠陥画素ＫＰが連続的に複数並ぶように存在しており、（ａ）において隣接画素ＲＰとした画素Ｐが欠陥画素ＫＰである場合には、上記の欠陥補正をしたとしても十分な補正が行われず、画像品質の向上が容易でない場合がある。 Also, as shown in FIG. 24B, when there are a plurality of defective pixels KP arranged continuously, and the pixel P that is the adjacent pixel RP in FIG. 24A is a defective pixel KP, Even if the defect correction is performed, sufficient correction is not performed, and it may be difficult to improve the image quality.
また、欠陥画素ＫＰが存在する部分が大きい場合を不良チップとして廃棄すると、製品歩留まりが悪化する場合がある。 Further, when the portion where the defective pixel KP is large is discarded as a defective chip, the product yield may be deteriorated.
このように、撮像装置においては、欠陥画素に起因して、撮像画像の画像品質や製品歩留まり等を向上させることが困難な場合がある。 As described above, in the imaging apparatus, it may be difficult to improve the image quality of the captured image, the product yield, and the like due to defective pixels.
したがって、本発明は、撮像画像の画像品質等を向上可能な、撮像装置、電子機器、撮像方法を提供する。 Therefore, the present invention provides an imaging device, an electronic device, and an imaging method that can improve the image quality and the like of a captured image.
本発明の撮像装置は、被写体を撮像する画素が撮像面に複数設けられた固体撮像素子と、前記固体撮像素子から出力された信号について信号処理を実施する信号処理部とを有し、前記固体撮像素子は、前記被写体について第１画像を取得するように、第１の位置で第１の撮像を実施すると共に、前記撮像面において前記複数の画素に含まれる欠陥画素が前記第１の位置とは異なる第２の位置で前記被写体について第２画像を取得するように、第２の撮像を実施し、前記信号処理部は、前記第１画像と前記第２画像とについて前記被写体に対して互いに同じ位置になるように位置合わせをした状態で、前記第１画像と前記第２画像とについて画素ごとに信号を加算することによって、前記欠陥画素による欠陥データを補正する欠陥補正処理を実施して撮像画像を生成する。 The imaging apparatus of the present invention includes a solid-state imaging device in which a plurality of pixels for imaging a subject are provided on an imaging surface, and a signal processing unit that performs signal processing on a signal output from the solid-state imaging device. The imaging device performs a first imaging at a first position so as to obtain a first image of the subject, and defective pixels included in the plurality of pixels on the imaging surface are defined as the first position. The second imaging is performed so that the second image is acquired for the subject at a different second position, and the signal processing unit is configured to mutually apply the subject to the subject with respect to the first image and the second image. A defect correction process for correcting defect data due to the defective pixel is performed by adding a signal for each pixel with respect to the first image and the second image in a state where the positions are aligned. It generates a captured image by.
本発明の電子機器は、被写体を撮像する画素が撮像面に複数設けられた固体撮像素子と、前記固体撮像素子から出力された信号について信号処理を実施する信号処理部とを有し、前記固体撮像素子は、前記被写体について第１画像を取得するように、第１の位置で第１の撮像を実施すると共に、前記撮像面において前記複数の画素に含まれる欠陥画素が前記第１の位置とは異なる第２の位置で前記被写体について第２画像を取得するように、第２の撮像を実施し、前記信号処理部は、前記第１画像と前記第２画像とについて前記被写体に対して互いに同じ位置になるように位置合わせをした状態で、前記第１画像と前記第２画像とについて画素ごとに信号を加算することによって、前記欠陥画素による欠陥データを補正する欠陥補正処理を実施して撮像画像を生成する。 The electronic apparatus according to the present invention includes a solid-state imaging device in which a plurality of pixels for imaging a subject are provided on an imaging surface, and a signal processing unit that performs signal processing on a signal output from the solid-state imaging device, The imaging device performs a first imaging at a first position so as to obtain a first image of the subject, and defective pixels included in the plurality of pixels on the imaging surface are defined as the first position. The second imaging is performed so that the second image is acquired for the subject at a different second position, and the signal processing unit is configured to mutually apply the subject to the subject with respect to the first image and the second image. A defect correction process for correcting defect data due to the defective pixel is performed by adding a signal for each pixel with respect to the first image and the second image in a state where the positions are aligned. It generates a captured image by.
本発明の撮像方法は、複数の画素が撮像面に設けられた固体撮像素子が、第１の位置にある状態で、被写体について第１の撮像を実施することで第１画像を取得する工程と、前記固体撮像素子が、前記第１の位置とは異なる第２の位置にある状態で、前記被写体について第２の撮像を実施することで第２画像を取得する工程と、前記第１画像と前記第２画像とについて前記被写体に対して互いに同じ位置になるように位置合わせをした状態で、前記第１画像と前記第２画像とについて画素ごとに信号を加算することによって、前記欠陥画素による欠陥データを補正する欠陥補正処理を実施して撮像画像を生成する工程と
を含む。
The imaging method of the present invention includes a step of acquiring a first image by performing a first imaging on a subject in a state where a solid-state imaging device having a plurality of pixels provided on an imaging surface is at a first position; Obtaining a second image by performing second imaging on the subject in a state where the solid-state imaging device is in a second position different from the first position; and By adding signals for each pixel of the first image and the second image in a state where the second image and the subject are aligned with each other at the same position, And performing a defect correction process for correcting defect data to generate a captured image.
本発明においては、複数の画素が撮像面に設けられた固体撮像素子が、第１の位置にある状態で、被写体について第１の撮像を実施して第１画像を取得する。そして、その固体撮像素子が第１の位置とは異なる第２の位置にある状態で、その被写体について第２の撮像を実施することで第２画像を取得する。そして、第１画像と第２画像とについて、その被写体に対して互いに同じ位置になるように位置合わせをした状態で、第１画像と第２画像とについて画素ごとに信号を加算する。これによって、欠陥画素による欠陥データを補正する欠陥補正処理を実施して撮像画像を生成する。 In the present invention, with the solid-state imaging device having a plurality of pixels provided on the imaging surface in the first position, the first imaging is performed on the subject to acquire the first image. Then, in a state where the solid-state imaging device is at a second position different from the first position, the second image is acquired for the subject to acquire a second image. Then, signals are added pixel by pixel for the first image and the second image in a state where the first image and the second image are aligned so as to be in the same position with respect to the subject. As a result, a defect correction process for correcting defect data by defective pixels is performed to generate a captured image.
本発明によれば、撮像画像の画像品質等を向上可能な、撮像装置、電子機器、撮像方法を提供することができる。 According to the present invention, it is possible to provide an imaging device, an electronic apparatus, and an imaging method that can improve the image quality of a captured image.
本発明の実施形態について、図面を参照して説明する。 Embodiments of the present invention will be described with reference to the drawings.
なお、説明は、下記の順序で行う。
１．実施形態１（固体撮像素子を素子移動部が移動させる場合）
２．実施形態２（周辺の隣接画素のデータを用いて欠陥画素データを補正する場合）
３．実施形態３（欠陥画素の位置のある画素データをゲインアップ後、欠陥補正する場合）
４．実施形態４（固体撮像素子を素子移動部が移動させず、手ブレで移動する場合）
５．その他
The description will be given in the following order.
1. Embodiment 1 (When an element moving part moves a solid-state image sensor)
2. Embodiment 2 (when correcting defective pixel data using data of neighboring neighboring pixels)
3. Embodiment 3 (When defect data is corrected after gain-up of pixel data with a defective pixel position)
4). Embodiment 4 (in the case where the element moving unit does not move the solid-state imaging device, but moves due to camera shake)
5. Other
＜１．実施形態１＞
（１）装置構成
（１−１）撮像装置の全体構成
図１は、本発明の実施形態１において、デジタルカメラ４００の要部構成を模式的に示す構成図である。
<1.
(1) Device Configuration (1-1) Overall Configuration of Imaging Device FIG. 1 is a configuration diagram schematically showing the main configuration of a digital camera 400 in
図１に示すように、デジタルカメラ４００は、カメラ本体部４１０と、撮影レンズ部４２０とを含む。
As shown in FIG. 1, the digital camera 400 includes a
カメラ本体部４１０は、図１に示すように、固体撮像素子１と、制御部４３と、信号処理部４４と、素子移動部４５とを有し、これらの各部を筐体の内部に収容している。
As shown in FIG. 1, the
カメラ本体部４１０において、固体撮像素子１は、撮影レンズ部４２０の光軸に対して撮像面ＰＳが垂直になるように配置されている。固体撮像素子１は、撮影レンズ部４２０を介して被写体像として入射する入射光Ｈを、撮像面ＰＳで受光し光電変換することによって、信号電荷を生成する。固体撮像素子１は、制御部４３から出力される制御信号に基づいて駆動し、各画素から信号電荷を読み出して画素データとして出力する。固体撮像素子１の詳細な構成については後述する。
In the camera
カメラ本体部４１０において、制御部４３は、たとえば、操作部（図示なし）に入力された操作データに基づいて、各種の制御信号を固体撮像素子１と信号処理部４４と素子移動部４５とに出力し、各部を駆動させる。制御部４３は、ＣＰＵなどの演算処理装置（図示なし）と、ＲＡＭ，ＲＯＭなどの記憶装置（図示なし）とを含み、記録装置で記憶されたプログラムを演算処理装置が用いて、各部の制御を実施する。
In the
カメラ本体部４１０において、信号処理部４４は、制御部４３から出力された制御信号に基づいて、固体撮像素子１から出力された画素データについて信号処理を実施する。信号処理部４４は、記録装置（図示なし）で記憶されたプログラムを演算処理装置（図示なし）が用いて、信号処理を実施する。信号処理部４４は、記録装置（図示なし）が記憶した画素データによるＲＡＷ画像について、演算処理装置（図示なし）がデモザイク処理などの現像処理を実施する。これにより、被写体像についてデジタルカラー画像を撮像画像として生成し、そのカラー画像データを記録装置（図示なし）が記憶する。
In the camera
カメラ本体部４１０において、素子移動部４５は、制御部４３から出力された制御信号に基づいて、固体撮像素子１を移動させる。ここでは、素子移動部４５は、固体撮像素子１の撮像面ＰＳ（ｘｙ面）に沿った方向に固体撮像素子１を移動させる。たとえば、素子移動部４５は、圧電素子やコイルを用いた素子などのアクチュエータを含み、水平方向ｘと垂直方向ｙとのそれぞれに、固体撮像素子１を移動させる。たとえば、素子移動部４５は、固体撮像素子１の撮像面ＰＳに設置されたローパスフィルタ（図示なし）の表面に付着するダストを落とすために、カメラの電源がオフされるときに固体撮像素子１を振動させる。つまり、アンチダスト機能を発揮させるために、素子移動部４５が設けられている。
In the camera
撮影レンズ部４２０は、結像レンズや絞り（図示なし）などの光学部材を含み、入射する被写体像による光を、固体撮像素子１の撮像面ＰＳへ集光するように設けられている。
The photographing
詳細については後述するが、本実施形態において撮像画像を生成する際には、デジタルカメラ４００は、まず、制御部４３が固体撮像素子１を制御することによって、被写体について１回目の撮像を実施する。そして、その１回目の撮像の実施で得た第１画像のデータを信号処理部４４の記録装置（図示なし）が記憶する。
つぎに、制御部４３が素子移動部４５を制御することによって、固体撮像素子１を移動する。つまり、本実施形態では、アンチダスト機能を発揮させるために素子移動部４５を用いる以外に、第２の撮像前に固体撮像素子１を移動させる手段として素子移動部４５を用いる。
つぎに、制御部４３が固体撮像素子１を制御することによって、１回目の撮像が実施した位置と異なる位置で、その被写体について２回目の撮像を実施する。そして、その２回目の撮像を実施で得た第２画像のデータを信号処理部４４の記録装置（図示なし）が記憶する。
このように、２回、シャッターを切って、同一の被写体について連続的に撮影し、２枚の画像を得る。
つぎに、制御部４３が信号処理部４４を制御することによって、１回目の撮像による第１画像と、２回目の撮像による第２画像とを、信号処理部４４が加算する処理を実施する。これにより、固体撮像素子１において欠陥画素として存在する画素Ｐから得られた画素データが補正され、最終画像が生成される。
Although details will be described later, when generating a captured image in the present embodiment, the digital camera 400 first performs imaging of the subject for the first time by the
Next, the
Next, when the
In this way, the shutter is released twice and the same subject is continuously photographed to obtain two images.
Next, when the
（１−２）固体撮像素子の構成
デジタルカメラ４００を構成する各部の詳細について説明する。
(1-2) Configuration of Solid-State Image Sensor Details of each unit constituting the digital camera 400 will be described.
図２は、本発明の実施形態１において、固体撮像素子１の全体構成を示す上面図である。
FIG. 2 is a top view showing the overall configuration of the solid-
本実施形態の固体撮像素子１は、たとえば、ＣＭＯＳ型イメージセンサであり、図２に示すように、半導体基板１０１を含む。この半導体基板１０１は、たとえば、単結晶シリコンで形成されており、図２に示すように、半導体基板１０１においては、画素領域ＰＡと、周辺領域ＳＡとが設けられている。
The solid-
（ａ）画素領域ＰＡ
画素領域ＰＡは、図２に示すように、矩形形状であり、複数の画素Ｐが水平方向ｘと垂直方向ｙとのそれぞれに、配置されている。つまり、画素領域ＰＡには、画素Ｐがマトリクス状に並んでいる。
(A) Pixel area PA
As shown in FIG. 2, the pixel area PA has a rectangular shape, and a plurality of pixels P are arranged in each of the horizontal direction x and the vertical direction y. That is, the pixels P are arranged in a matrix in the pixel area PA.
画素領域ＰＡにおいて、画素Ｐは、入射光Ｈを受光して信号電荷を生成するように構成されている。そして、その生成した信号電荷が、画素トランジスタ（図示なし）によって読み出されて出力される。画素Ｐの詳細な構成については、後述する。 In the pixel area PA, the pixel P is configured to receive the incident light H and generate a signal charge. Then, the generated signal charge is read and output by a pixel transistor (not shown). A detailed configuration of the pixel P will be described later.
本実施形態では、画素領域ＰＡは、有効画素領域ＰＡ１と、オプティカル・ブラック領域ＰＡ２とを含む。 In the present embodiment, the pixel area PA includes an effective pixel area PA1 and an optical black area PA2.
画素領域ＰＡにおいて、有効画素領域ＰＡ１は、画素Ｐが、いわゆる有効画素として配置されている。つまり、有効画素領域ＰＡ１では、画素Ｐの上方が開口しており、上方から入射した入射光Ｈを画素Ｐが受光する。 In the pixel area PA, in the effective pixel area PA1, the pixel P is arranged as a so-called effective pixel. That is, in the effective pixel area PA1, the upper side of the pixel P is opened, and the pixel P receives incident light H incident from above.
この有効画素領域ＰＡ１では、実効画素領域ＰＡ１１が設定されており、その実効画素領域ＰＡ１１に配置された有効画素から出力される信号を画素データとして用いて、撮像画像が生成される。具体的には、有効画素領域ＰＡ１の周辺部分以外が、実効画素領域ＰＡ１１として設定される。つまり、有効画素領域ＰＡ１において実効画素領域ＰＡ１１以外の有効画素は、入射光の受光によって映像信号を出力可能ではあるが、通常、撮像画像の生成に用いられない。 In this effective pixel area PA1, an effective pixel area PA11 is set, and a captured image is generated using a signal output from the effective pixel arranged in the effective pixel area PA11 as pixel data. Specifically, the area other than the peripheral part of the effective pixel area PA1 is set as the effective pixel area PA11. That is, in the effective pixel area PA1, effective pixels other than the effective pixel area PA11 can output a video signal by receiving incident light, but are not normally used for generating a captured image.
画素領域ＰＡにおいて、オプティカル・ブラック領域ＰＡ２は、図２に示すように、たとえば、有効画素領域ＰＡ１の周囲に設けられている。 In the pixel area PA, the optical black area PA2 is provided, for example, around the effective pixel area PA1, as shown in FIG.
オプティカル・ブラック領域ＰＡ２では、画素Ｐが、いわゆるオプティカル・ブラック（ＯＢ）画素として配列されている。つまり、オプティカル・ブラック領域ＰＡ２では、画素Ｐの上方に遮光膜（図示なし）が設けられており、画素Ｐに入射光が直接的に入射しないように構成されている。そして、オプティカル・ブラック領域ＰＡ２は、画素Ｐから黒レベルの基準信号が出力される。この画素Ｐから出力される黒レベルの基準信号は、暗電流などのノイズ成分を除去するように、有効画素から出力された信号について補正処理をする際に用いられる。 In the optical black area PA2, the pixels P are arranged as so-called optical black (OB) pixels. That is, in the optical black area PA2, a light-shielding film (not shown) is provided above the pixel P so that incident light does not directly enter the pixel P. In the optical black area PA2, a black level reference signal is output from the pixel P. The black level reference signal output from the pixel P is used when correcting the signal output from the effective pixel so as to remove noise components such as dark current.
（ｂ）周辺領域ＳＡ
周辺領域ＳＡは、図２に示すように、画素領域ＰＡの周囲に位置している。そして、この周辺領域ＳＡにおいては、周辺回路が設けられている。
(B) Surrounding area SA
As shown in FIG. 2, the peripheral area SA is located around the pixel area PA. In the peripheral area SA, peripheral circuits are provided.
具体的には、図２に示すように、垂直駆動回路１３と、カラム回路１４と、水平駆動回路１５と、外部出力回路１７と、タイミングジェネレータ（ＴＧ）１８と、シャッター駆動回路１９とが、周辺回路として設けられている。各部は、制御部４３（図１参照）から入力される制御信号に基づいて駆動し、撮像動作が実行される。
Specifically, as shown in FIG. 2, a
垂直駆動回路１３は、図２に示すように、周辺領域ＳＡにおいて、画素領域ＰＡの側部に設けられており、画素領域ＰＡの画素Ｐを行単位で選択して駆動させるように構成されている。
As shown in FIG. 2, the
カラム回路１４は、図２に示すように、周辺領域ＳＡにおいて、画素領域ＰＡの下端部に設けられており、列単位で画素Ｐから出力される信号について信号処理を実施する。ここでは、カラム回路１４は、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ；相関二重サンプリング）回路（図示なし）を含み、固定パターンノイズを除去する信号処理を実施する。
As shown in FIG. 2, the
水平駆動回路１５は、図２に示すように、カラム回路１４に電気的に接続されている。水平駆動回路１５は、たとえば、シフトレジスタを含み、カラム回路１４において画素Ｐの列ごとに保持されている信号を、順次、外部出力回路１７へ出力させる。
The
外部出力回路１７は、図２に示すように、カラム回路１４に電気的に接続されており、カラム回路１４から出力された信号について信号処理を実施後、外部へ出力する。外部出力回路１７は、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路１７ａとＡＤＣ回路１７ｂとを含む。外部出力回路１７においては、ＡＧＣ回路１７ａが信号にゲインをかけた後に、ＡＤＣ回路１７ｂがアナログ信号からデジタル信号へ変換して、外部へ出力する。
As shown in FIG. 2, the
タイミングジェネレータ１８は、図２に示すように、垂直駆動回路１３、カラム回路１４、水平駆動回路１５，外部出力回路１７，シャッター駆動回路１９のそれぞれに電気的に接続されている。タイミングジェネレータ１８は、各種のタイミング信号を生成し、垂直駆動回路１３、カラム回路１４、水平駆動回路１５，外部出力回路１７，シャッター駆動回路１９に出力することで、各部について駆動制御を行う。
As shown in FIG. 2, the
シャッター駆動回路１９は、画素Ｐを行単位で選択して、画素Ｐにおける露光時間を調整するように構成されている。
The
（１−３）画素の構成
画素Ｐの詳細な構成について説明する。
(1-3) Pixel Configuration A detailed configuration of the pixel P will be described.
図３〜図５は、本発明の実施形態１において、画素Ｐの要部を示す図である。
3 to 5 are diagrams showing the main part of the pixel P in
ここで、図３は、画素領域ＰＡの有効画素領域ＰＡ１に設けられた画素Ｐの断面を示している。つまり、図３では、有効画素として設けられた画素Ｐの断面を示している。 Here, FIG. 3 shows a cross section of the pixel P provided in the effective pixel area PA1 of the pixel area PA. That is, FIG. 3 shows a cross section of the pixel P provided as an effective pixel.
そして、図４は、画素Ｐの回路図を示している。 FIG. 4 shows a circuit diagram of the pixel P.
そして、図５は、画素Ｐの上面を示している。図３では、図５に示すＹ１−Ｙ２部分およびＸ１−Ｘ２部分の断面について示している。 FIG. 5 shows the upper surface of the pixel P. FIG. 3 shows a cross section of the Y1-Y2 portion and the X1-X2 portion shown in FIG.
画素領域ＰＡのオプティカル・ブラック領域ＰＡ２の詳細については、図示を省略しているが、オプティカル・ブラック領域ＰＡ２では、図３，図４で示す有効画素領域ＰＡ１の画素Ｐに対して、カラーフィルタＣＦ，オンチップレンズＭＬが設けられていない。オプティカル・ブラック領域ＰＡ２では、上述したように、画素Ｐに入射する入射光Ｈを遮光する遮光膜（図示なし）が設けられている。この点を除いて、オプティカル・ブラック領域ＰＡ２では、有効画素領域ＰＡ１と同様に、各部が構成されている。 Although details of the optical black area PA2 of the pixel area PA are not shown, in the optical black area PA2, the color filter CF is applied to the pixel P of the effective pixel area PA1 shown in FIGS. , The on-chip lens ML is not provided. In the optical black area PA2, as described above, a light shielding film (not shown) that shields the incident light H incident on the pixel P is provided. Except for this point, each part of the optical black area PA2 is configured in the same manner as the effective pixel area PA1.
各図に示すように、画素Ｐは、フォトダイオード２１と、画素トランジスタＴｒとを含む。ここで、画素トランジスタＴｒは、転送トランジスタ２２と、増幅トランジスタ２３と、選択トランジスタ２４と、リセットトランジスタ２５とを含み、フォトダイオード２１から信号電荷を読み出すように構成されている。
As shown in each figure, the pixel P includes a
本実施形態においては、図３に示すように、半導体基板１０１の表面側（図では上面側）に、転送トランジスタ２２などの画素トランジスタＴｒが設けられている。そして、その半導体基板１０１の表面側には、配線層１１１が設けられている。そして、その表面側とは反対側の裏面側（図では下面側）から入射する入射光Ｈを、フォトダイオード２１が受光面ＪＳで受光するように設けられている。つまり、本実施形態の固体撮像素子１は、「裏面照射型」のＣＭＯＳイメージセンサである。
In the present embodiment, as shown in FIG. 3, a pixel transistor Tr such as a
画素Ｐを構成する各部について下記に示す。 Each part constituting the pixel P will be described below.
（ａ）フォトダイオード２１
画素Ｐにおいて、フォトダイオード２１は、図３に示すように、入射光Ｈを受光面ＪＳで受光し、光電変換することによって、信号電荷を生成して蓄積するように構成されている。
(A)
In the pixel P, as shown in FIG. 3, the
ここでは、フォトダイオード２１は、単結晶シリコン半導体である半導体基板１０１内に設けられている。フォトダイオード２１は、ｎ型電荷蓄積領域１０１ｎａ，１０１ｎｂを含み、ｎ型電荷蓄積領域１０１ｎａ，１０１ｎｂが、半導体基板１０１のｐ型半導体領域１０１ｐａ，１０１ｐｂ内に設けられている。つまり、ｐ型半導体領域１０１ｐａとｎ型電荷蓄積領域１０１ｎａ，１０１ｎｂとが、半導体基板１０１において裏面側（図３では、下面）から表面側（図３では、上面）へ向かって、順次、形成されている。また、ｎ型電荷蓄積領域１０１ｎａ，１０１ｎｂにおいては、半導体基板１０１の裏面側から表面側へ向かって、不純物濃度が高くなるように形成されている。そして、ｎ型電荷蓄積領域１０１ｎａ，１０１ｎｂにおいて、半導体基板１０１の表面側には、ｐ型半導体領域１０１ｐａ，１０１ｐｂよりも不純物濃度が高いｐ型半導体領域１０１ｐｃが、正孔蓄積層として設けられている。このように、フォトダイオード２１は、いわゆるＨＡＤ（Ｈａｌｌ Ａｃｕｍｕｌａｔｅｄ Ｄｉｏｄｅ）構造で形成されている。
Here, the
（ｂ）画素トランジスタＴｒ
画素Ｐにおいて、画素トランジスタＴｒは、図３〜図５に示すように、転送トランジスタ２２と、増幅トランジスタ２３と、選択トランジスタ２４と、リセットトランジスタ２５とを含み、信号電荷を読み出して信号として出力する。
(B) Pixel transistor Tr
In the pixel P, as shown in FIGS. 3 to 5, the pixel transistor Tr includes a
ここでは、画素トランジスタＴｒを構成する各トランジスタ２２〜２５は、図３に示すように、半導体基板１０１の表面側に設けられている。各トランジスタ２２〜２５は、たとえば、ＮチャネルのＭＯＳトランジスタとして構成されている。たとえば、各トランジスタ２２〜２５は、半導体基板１０１において画素Ｐの間を分離する領域に、活性化領域（図示なし）が形成されており、ゲート電極が、たとえば、ポリシリコンを用いて形成されている。
Here, the
画素トランジスタＴｒにおいて、転送トランジスタ２２は、図４に示すように、フォトダイオード２１で生成された信号電荷を、増幅トランジスタ２３のゲートへ電気信号として出力するように構成されている。具体的には、転送トランジスタ２２は、転送線２６からゲートに転送信号ＴＧが与えられることによって、フォトダイオード２１において蓄積された信号電荷を、フローティング・ディフュージョンＦＤに転送する。フローティング・ディフュージョンＦＤにおいては、電荷から電圧に変換されて、増幅トランジスタ２３のゲートへ電気信号として入力される。
In the pixel transistor Tr, the
画素トランジスタＴｒにおいて、増幅トランジスタ２３は、図４に示すように、フローティング・ディフュージョンＦＤにおいて、電荷から電圧へ変換された電気信号を増幅して出力するように構成されている。具体的には、増幅トランジスタ２３では、ゲートが、フローティング・ディフュージョンＦＤと配線によって電気的に接続されている。また、増幅トランジスタ２３では、ドレインに電源電位Ｖｄｄが印加されている。また、ソースが選択トランジスタ２４のドレインに電気的に接続されている。増幅トランジスタ２３は、選択トランジスタ２４が選択信号によってオン状態になったときには、定電流が供給されソースフォロアとして動作する。このため、増幅トランジスタ２３では、フローティング・ディフュージョンＦＤにおいて、電荷から電圧へ変換された電気信号が増幅される。
In the pixel transistor Tr, as shown in FIG. 4, the
画素トランジスタＴｒにおいて、選択トランジスタ２４は、図４に示すように、選択トランジスタ２４は、選択信号が入力された際に、増幅トランジスタ２３から出力された電気信号を、垂直信号線（図示なし）へ出力するように構成されている。具体的には、選択トランジスタ２４は、選択信号ＳＥＬが供給されるアドレス線２８にゲートが電気的に接続されている。そして、選択トランジスタ２４は、選択信号ＳＥＬが供給されてオン状態になった際に、上記のように増幅トランジスタ２３によって増幅された出力信号を、垂直信号線２７に出力する。
In the pixel transistor Tr, as shown in FIG. 4, the
画素トランジスタＴｒにおいて、リセットトランジスタ２５は、図４に示すように、リセットトランジスタ２５は、増幅トランジスタ２３のゲート電位をリセットするように構成されている。具体的には、リセットトランジスタ２５は、リセット信号ＲＳＴが供給されるリセット線２９にゲートが接続されている。また、リセットトランジスタ２５は、ドレインに電源電位Ｖｄｄが印加されている。また、ソースがフローティング・ディフュージョンＦＤに電気的に接続されている。そして、リセットトランジスタ２５は、リセット線２９からリセット信号ＲＳＴがゲートに供給されオン状態になった際に、フローティング・ディフュージョンＦＤを介して、増幅トランジスタ２３のゲート電位を、電源電圧ＶＤＤにリセットする。
In the pixel transistor Tr, the
（ｃ）その他の部材
上記の他に、図３に示すように、画素Ｐにおいては、半導体基板１０１の裏面側（図３では下面側）に、カラーフィルタＣＦとオンチップレンズＭＬとが設けられている。
(C) Other Members In addition to the above, as shown in FIG. 3, in the pixel P, the color filter CF and the on-chip lens ML are provided on the back surface side (the lower surface side in FIG. 3) of the
図６は、本発明の実施形態１において、カラーフィルタＣＦを示す上面図である。
FIG. 6 is a top view showing the color filter CF in
カラーフィルタＣＦは、図６に示すように、レッドフィルタ層ＣＦＲと、グリーンフィルタ層ＣＦＧと、ブルーフィルタ層ＣＦＢとを含む。レッドフィルタ層ＣＦＲと、グリーンフィルタ層ＣＦＧと、ブルーフィルタ層ＣＦＢとのそれぞれは、隣接して配置されており、いずれかが、複数の画素Ｐのそれぞれに対応して設けられている。 As shown in FIG. 6, the color filter CF includes a red filter layer CFR, a green filter layer CFG, and a blue filter layer CFB. Each of the red filter layer CFR, the green filter layer CFG, and the blue filter layer CFB is disposed adjacent to each other, and one of them is provided corresponding to each of the plurality of pixels P.
ここでは、図６に示すように、レッドフィルタ層ＣＦＲと、グリーンフィルタ層ＣＦＧと、ブルーフィルタ層ＣＦＢとのそれぞれが、ベイヤー配列で並ぶように配置されている。すなわち、複数のグリーンフィルタ層ＣＦＧが市松状になるように、対角方向へ並んで配置されている。そして、レッドフィルタ層ＣＦＲとブルーフィルタ層ＣＦＢとが、複数のグリーンフィルタ層ＣＦＧにおいて、対角方向に並ぶように配置されている。たとえば、カラーフィルタＣＦは、着色顔料とフォトレジスト樹脂とを含む塗布液を、スピンコート法などのコーティング方法によって塗布して塗膜を形成後、リソグラフィ技術によって、その塗膜をパターン加工して形成される。 Here, as shown in FIG. 6, the red filter layer CFR, the green filter layer CFG, and the blue filter layer CFB are arranged so as to be arranged in a Bayer array. That is, the plurality of green filter layers CFG are arranged in a diagonal direction so as to have a checkered pattern. The red filter layer CFR and the blue filter layer CFB are arranged so as to be aligned diagonally in the plurality of green filter layers CFG. For example, the color filter CF is formed by applying a coating liquid containing a color pigment and a photoresist resin by a coating method such as a spin coating method to form a coating film, and then patterning the coating film by a lithography technique. Is done.
オンチップレンズＭＬは、図３に示すように、中心が縁よりも厚く形成された凸型レンズであり、カラーフィルタＣＦを介して、入射光Ｈをフォトダイオード２１の受光面ＪＳへ集光するように構成されている。たとえば、オンチップレンズＭＬは、スチレン樹脂、アクリル樹脂、ノボラック樹脂などの透明な有機材料を用いて形成されている。この他に、ＳｉＯ２，ＳｉＮ，ＳｉＯＮ，ＳｉＣＮなどのように透明な無機材料を用いて形成しても良い。
As shown in FIG. 3, the on-chip lens ML is a convex lens whose center is formed thicker than the edge, and condenses incident light H onto the light receiving surface JS of the
また、図３に示すように、半導体基板１０１の表面においては、画素トランジスタＴｒを被覆するように、配線層１１１が設けられている。この配線層１１１においては、各素子に電気的に接続された複数の配線１１１ｈが、絶縁層１１１ｚ内を構成する複数の層間絶縁膜（図示なし）の間に設けられている。つまり、層間絶縁膜（図示なし）と配線１１１ｈとを交互に積み重ねることで、配線層１１１が形成されている。各配線１１１ｈは、画素トランジスタＴｒに電気的に接続する転送線，アドレス線，垂直信号線，リセット線などの配線として機能するように積層して形成されている。また、配線層１１１において半導体基板１０１が設けられた面とは反対側の面には、支持基板（図示なし）が貼り合わされており、補強されている。
Further, as shown in FIG. 3, a
（２）動作
上記のデジタルカメラ４００の動作について説明する。
(2) Operation The operation of the digital camera 400 will be described.
図７は、本発明の実施形態１において、デジタルカメラ４００の動作の概要を示すフロー図である。 FIG. 7 is a flowchart showing an outline of the operation of the digital camera 400 in the first embodiment of the present invention.
（ａ）１回目の撮像（ＳＴ１１）
撮像画像を生成する際には、まず、図７に示すように、１回目の撮像を実施する。
(A) First imaging (ST11)
When generating a captured image, first, as shown in FIG. 7, the first imaging is performed.
ここでは、デジタルカメラ４００においては、制御部４３が固体撮像素子１に制御信号を送信し、固体撮像素子１の動作を制御して、被写体について１回目の撮像を実施する。そして、その１回目の撮像を実施で得た第１画像のデータを信号処理部４４の記録装置（図示なし）が記憶する（図１参照）。
Here, in the digital camera 400, the
つまり、固体撮像素子１が第１の位置にある状態で、被写体について、この第１の撮像を実施することで、第１画像を取得する。
That is, the first image is acquired by performing the first imaging on the subject in a state where the solid-
図８は、本発明の実施形態１において、デジタルカメラ４００において撮像を実施する際に、画素Ｐの画素トランジスタＴｒへ送信する制御信号を示すタイミングチャートである。 FIG. 8 is a timing chart illustrating a control signal transmitted to the pixel transistor Tr of the pixel P when the digital camera 400 performs imaging in the first embodiment of the present invention.
図８において、（ａ）は、選択トランジスタ２４のゲートへ入力する選択信号ＳＥＬを示している。そして、（ｂ）は、転送トランジスタ２２のゲートへ入力する転送信号ＴＧを示している。そして、（ｃ）は、リセットトランジスタ２５のゲートへ入力するリセット信号ＲＳＴを示している（図４参照）。
8A shows a selection signal SEL input to the gate of the
図８に示すように、撮像を実施する際には、第１の時点Ｔ１において、ハイレベルの選択信号ＳＥＬおよびリセット信号ＲＳＴを送信し、選択トランジスタ２４およびリセットトランジスタ２５をオン状態にする。これにより、増幅トランジスタ２３のゲート電位をリセットする（図４参照）。
As shown in FIG. 8, when imaging is performed, at a first time point T1, a high-level selection signal SEL and a reset signal RST are transmitted, and the
そして、図８に示すように、第２の時点Ｔ２においては、リセット信号ＲＳＴをローレベルとして、リセットトランジスタ２５をオフ状態にする。そして、この後、リセットレベルに対応した電圧を、出力信号として、カラム回路１４へ読み出す（図２，図４参照）。
Then, as shown in FIG. 8, at the second time point T2, the reset signal RST is set to the low level, and the
そして、図８に示すように、第３の時点Ｔ３においては、ハイレベルの転送信号ＴＧを送信し、転送トランジスタ２２をオン状態にする。これにより、フォトダイオード２１で蓄積された信号電荷を、フローティング・ディフュージョンＦＤへ転送する（図４参照）。
Then, as shown in FIG. 8, at the third time point T3, a high-level transfer signal TG is transmitted, and the
そして、図８に示すように、第４の時点Ｔ４においては、転送信号ＴＧをローレベルとし、転送トランジスタ２２をオフ状態にする。そして、この後、その転送された信号電荷の量に応じた信号レベルの電圧を、出力信号として、カラム回路１４へ読み出す（図２，図４参照）。
As shown in FIG. 8, at the fourth time point T4, the transfer signal TG is set to the low level, and the
そして、図８に示すように、第５の時点Ｔ５においては、転送信号ＴＧおよびリセット信号ＲＳＴをハイレベルとして、転送トランジスタ２２およびリセットトランジスタ２５をオン状態にする（図４参照）。
Then, as shown in FIG. 8, at the fifth time point T5, the transfer signal TG and the reset signal RST are set to the high level, and the
その後、図８に示すように、第６の時点Ｔ６においては、選択信号ＳＥＬ、転送信号ＴＧ、および、リセット信号ＲＳＴをローレベルとして、選択トランジスタ２４、転送トランジスタ２２、および、リセットトランジスタ２５をオフ状態にする（図４参照）。
Thereafter, as shown in FIG. 8, at the sixth time point T6, the selection signal SEL, the transfer signal TG, and the reset signal RST are set to the low level, and the
カラム回路１４においては、先に読み出したリセットレベルの信号と、後に読み出した信号レベルの信号とを差分処理して信号を蓄積する（図２，図４参照）。これにより、画素Ｐごとに設けられた各トランジスタのＶｔｈのバラツキ等によって発生する固定的なパターンノイズが、キャンセルされる。
In the
上記のように画素Ｐを駆動する動作は、各トランジスタ２２，２４，２５の各ゲートが、水平方向ｘに並ぶ複数の画素Ｐからなる行単位で接続されていることから、その行単位に並ぶ複数の画素Ｐについて同時に行われる。
In the operation of driving the pixels P as described above, the gates of the
具体的には、上述した垂直駆動回路１３によって供給される選択信号によって、水平ライン（画素行）単位で垂直な方向に順次選択される。そして、タイミングジェネレータ１８から出力される各種タイミング信号によって各画素Ｐのトランジスタが制御される。これにより、各画素における信号が垂直信号線２７を通して画素Ｐの列毎にカラム回路１４に読み出される（図２，図４参照）。
Specifically, the selection is sequentially performed in the vertical direction in units of horizontal lines (pixel rows) by the selection signal supplied by the
そして、カラム回路１４で蓄積された信号が、水平駆動回路１５によって選択されて、外部出力回路１７へ順次出力される。そして、この撮像で得た信号を第１画像のデータとして信号処理部４４の記録装置（図示なし）が記憶する（図２参照）。
The signals accumulated in the
（ｂ）固体撮像素子の移動（ＳＴ２１）
つぎに、図７に示すように、固体撮像素子１を移動する。
(B) Movement of solid-state imaging device (ST21)
Next, as shown in FIG. 7, the solid-
ここでは、制御部４３が素子移動部４５に制御信号を送信して制御することで、素子移動部４５が固体撮像素子１を移動する。
Here, the
図９，図１０は、本発明の実施形態１において、撮像時における固体撮像素子１を示す上面図である。
9 and 10 are top views showing the solid-
図９，図１０においては、図２の上面図において有効画素領域ＰＡ１の部分を示しており、説明の都合で、水平方向ｘと垂直方向ｙとのそれぞれに６つの画素Ｐが実効画素領域ＰＡ１１に含まれると仮定した場合を示している。 9 and 10 show the effective pixel area PA1 in the top view of FIG. 2. For convenience of description, six pixels P are provided in each of the horizontal direction x and the vertical direction y in the effective pixel area PA11. It is assumed that it is included in.
ここで、図９は、１回目の撮像が実施された際の固体撮像素子１を示しており、図１０は、２回目の撮像が実施された際の固体撮像素子１を示している。また、図１０では、１回目の撮像が実施された際の固体撮像素子１について、破線で示している。
Here, FIG. 9 shows the solid-
図９，図１０に示すように、画素Ｐは、水平方向ｘと垂直方向ｙとのそれぞれに複数が配列されている。画素Ｐは、赤色画素Ｒと緑色画素Ｇと青色画素Ｂとを含む。赤色画素Ｒは、レッドフィルタ層ＣＦＲ（図６参照）を介して入射する赤色の波長帯域の光を受光して、赤色画素信号を出力する。緑色画素Ｇは、グリーンフィルタ層ＣＦＧ（図６参照）を介して入射する緑色の波長帯域の光を受光して、緑色画素信号を出力する。青色画素Ｂは、ブルーフィルタ層ＣＦＢ（図６参照）を介して入射する青色の波長帯域の光を受光して青色画素信号を出力する。 As shown in FIGS. 9 and 10, a plurality of pixels P are arranged in each of the horizontal direction x and the vertical direction y. The pixel P includes a red pixel R, a green pixel G, and a blue pixel B. The red pixel R receives light in the red wavelength band incident through the red filter layer CFR (see FIG. 6) and outputs a red pixel signal. The green pixel G receives light in the green wavelength band incident through the green filter layer CFG (see FIG. 6), and outputs a green pixel signal. The blue pixel B receives blue wavelength band light incident through the blue filter layer CFB (see FIG. 6) and outputs a blue pixel signal.
赤色画素Ｒと緑色画素Ｇと青色画素Ｂとのそれぞれは、図９，図１０に示すように、ベイヤー配列で配列されている。すなわち、緑色画素Ｇが市松状になるように、対角方向へ並んで配置されている。そして、赤色画素Ｒと青色画素Ｂとが、複数の緑色画素Ｇにおいて、対角方向に並ぶように配置されている。 Each of the red pixel R, the green pixel G, and the blue pixel B is arranged in a Bayer array, as shown in FIGS. That is, the green pixels G are arranged in a diagonal direction so as to have a checkered pattern. The red pixel R and the blue pixel B are arranged in a plurality of green pixels G so as to be aligned in a diagonal direction.
このとき、図９，図１０において太線で囲って示しているように、複数の画素Ｐのうち、たとえば、一つの青色画素Ｂが欠陥画素ＫＰとして形成される場合がある。 At this time, as indicated by a thick line in FIGS. 9 and 10, for example, one blue pixel B among the plurality of pixels P may be formed as the defective pixel KP.
このような固体撮像素子１を用いて撮像を実施する際には、まず、図９に示すように、固体撮像素子１が、第１の位置ＰＪ１に配置された状態で、１回目の撮像を実施する。
When performing imaging using such a solid-
具体的には、図９に示すように、水平方向ｘにおける座標番号が［１］〜［６］の間であって、垂直方向ｙにおける座標番号が［１］〜［６］に位置するように、実効画素領域ＰＡ１１内の画素Ｐが配置された状態で、１回目の撮像を実施する。たとえば、実効画素領域ＰＡ１１において左上端部に位置する緑色画素Ｇが、水平方向ｘにおける座標番号が［１］であって、垂直方向ｙにおける座標番号が［１］に位置するように配置された状態で、１回目の撮像を実施する。 Specifically, as shown in FIG. 9, the coordinate number in the horizontal direction x is between [1] to [6], and the coordinate number in the vertical direction y is located in [1] to [6]. In addition, the first imaging is performed in a state where the pixels P in the effective pixel area PA11 are arranged. For example, the green pixel G located at the upper left corner in the effective pixel area PA11 is arranged so that the coordinate number in the horizontal direction x is [1] and the coordinate number in the vertical direction y is located at [1]. In the state, the first imaging is performed.
このとき、欠陥画素ＫＰは、図９に示すように、水平方向ｘにおける座標番号が［４］であって、垂直方向ｙにおける座標番号が［３］に位置するように配置された状態になる（つまり、［ｘ，ｙ］＝［４，３］）。 At this time, as shown in FIG. 9, the defective pixel KP is arranged such that the coordinate number in the horizontal direction x is [4] and the coordinate number in the vertical direction y is located at [3]. (That is, [x, y] = [4, 3]).
１回目の撮像の実施後には、図１０に示すように、固体撮像素子１を第１の位置ＰＪ１（破線部分）から第２の位置ＰＪ２へ移動する。
After the first imaging, as shown in FIG. 10, the solid-
ここでは、図１０に示すように、１回目の撮像において欠陥画素ＫＰが配置された座標位置（［ｘ，ｙ］＝［４，３］）に、欠陥画素ＫＰが配置されておらず、欠陥がない画素Ｐが配置された状態になるように、固体撮像素子１を移動する。
Here, as shown in FIG. 10, the defective pixel KP is not arranged at the coordinate position ([x, y] = [4, 3]) where the defective pixel KP is arranged in the first imaging, and the defect is detected. The solid-
このとき、図１０に示すように、１回目の撮像において欠陥画素ＫＰが配置された座標位置（［ｘ，ｙ］＝［４，３］）において、その欠陥画素ＫＰが受光する光と同一の波長帯域の光を受光する画素Ｐが配置された状態になるように、固体撮像素子１を移動する。つまり、第２の撮像において固体撮像素子１を第２の位置に移動したときの赤色画素Ｒの位置が、第１の撮像において固体撮像素子１が第１の位置にあるときに赤色画素Ｒが配置された位置にあるように、固体撮像素子を移動する。また、第２の撮像において固体撮像素子１を第２の位置に移動したときの緑色画素Ｇの位置が、第１の撮像において固体撮像素子１が第１の位置にあるときに緑色画素Ｇが配置された位置にあるように、固体撮像素子を移動する。また、第２の撮像において固体撮像素子１を第２の位置に移動したときの青色画素Ｂの位置が、第１の撮像において固体撮像素子１が第１の位置にあるときに青色画素Ｂが配置された位置にあるように、固体撮像素子を移動する。
At this time, as shown in FIG. 10, at the coordinate position ([x, y] = [4, 3]) where the defective pixel KP is arranged in the first imaging, it is the same as the light received by the defective pixel KP. The solid-
さらに、図１０に示すように、１回目の撮像において有効画素領域ＰＡ１が配置された座標範囲内に、２回目の撮像の実効画素領域ＰＡ１１が配置されるように、固体撮像素子１を移動する。つまり、固体撮像素子１が第１の位置にあるときに有効画素領域ＰＡ１が配置された座標範囲内に、固体撮像素子１が第２の位置にあるときの実効画素領域ＰＡ１１が配置されるように、素子移動部４５が固体撮像素子１を移動する。
Further, as shown in FIG. 10, the solid-
具体的には、有効画素領域ＰＡ１（図２参照）において欠陥画素ＫＰが存在する座標位置を記憶装置（図示なし）に座標データとして記憶させておき、その座標データに基づいて、上記の状態になるように、固体撮像素子１を移動させる。たとえば、固体撮像素子１の製造において各画素Ｐについて検査を実施して検出した欠陥画素ＫＰの位置情報を用いて、固体撮像素子１を移動させる。
Specifically, the coordinate position where the defective pixel KP exists in the effective pixel area PA1 (see FIG. 2) is stored as coordinate data in a storage device (not shown), and the above state is obtained based on the coordinate data. The solid-
たとえば、図１０に示すように、水平方向ｘと垂直方向ｙとのそれぞれへ２つの画素Ｐ分、移動するように、固体撮像素子１の配置を変更する。
For example, as shown in FIG. 10, the arrangement of the solid-
すなわち、図１０に示すように、水平方向ｘにおける座標番号が［３］〜［８］の間であって、垂直方向ｙにおける座標番号が［３］〜［８］に位置するように、実効画素領域ＰＡ１１内の画素Ｐが配置された状態にする。たとえば、実効画素領域ＰＡ１１において左上端部に位置する緑色画素Ｇが、水平方向ｘにおける座標番号が［３］であって、垂直方向ｙにおける座標番号が［３］に位置するように配置された状態にする。 That is, as shown in FIG. 10, the effective coordinate number in the horizontal direction x is between [3] to [8] and the coordinate number in the vertical direction y is located in [3] to [8]. The pixel P in the pixel area PA11 is placed. For example, the green pixel G located at the upper left end in the effective pixel area PA11 is arranged so that the coordinate number in the horizontal direction x is [3] and the coordinate number in the vertical direction y is located at [3]. Put it in a state.
このとき、欠陥画素ＫＰは、図１０に示すように、水平方向ｘにおける座標番号が［６］であって、垂直方向ｙにおける座標番号が［５］に位置するように配置された状態になる。 At this time, as shown in FIG. 10, the defective pixel KP is arranged such that the coordinate number in the horizontal direction x is [6] and the coordinate number in the vertical direction y is located at [5]. .
一方で、１回目の撮像において欠陥画素ＫＰが配置された座標位置（［ｘ，ｙ］＝［４，３］）（破線部分）には、欠陥画素ＫＰが配置されておらず、欠陥がない青色画素Ｂが配置された状態になる。 On the other hand, the defective pixel KP is not arranged at the coordinate position ([x, y] = [4, 3]) (dashed line portion) where the defective pixel KP is arranged in the first imaging, and there is no defect. The blue pixel B is arranged.
（ｃ）２回目の撮像（ＳＴ３１）
つぎに、図７に示すように、２回目の撮像を実施する。
(C) Second imaging (ST31)
Next, as shown in FIG. 7, the second imaging is performed.
ここでは、制御部４３が固体撮像素子１に制御信号を送信して制御することによって、１回目の撮像が実施した位置と異なる位置で、その被写体像について２回目の撮像を実施する。そして、この２回目の撮像を実施で得た第２画像のデータを信号処理部４４の記録装置（図示なし）が記憶する（図１参照）。
Here, the
すなわち、図１０に示すように、固体撮像素子１が第１の位置ＰＪ１とは異なる第２の位置ＰＪ２にある状態で、第１の撮像と同じ被写体について第２の撮像を実施することで第２画像を取得する。
That is, as shown in FIG. 10, the second imaging is performed on the same subject as the first imaging in a state where the solid-
２回目の撮像についても、１回目の撮像と同様に、図８に示したように、画素Ｐの画素トランジスタＴｒへ制御信号を送信することで、第２画像のデータが生成される。そして、そのデータが信号処理部４４の記録装置（図示なし）で記憶される。
In the second imaging, as in the first imaging, the second image data is generated by transmitting a control signal to the pixel transistor Tr of the pixel P as shown in FIG. The data is stored in a recording device (not shown) of the
たとえば、１／１０００ｓ〜３０ｍｉｎの露光時間で、１回目の撮像と２回目の撮像とが連続的に実施される。なお、この露光時間は、これに限定されず、適宜設定可能である。 For example, the first imaging and the second imaging are continuously performed with an exposure time of 1/1000 s to 30 min. In addition, this exposure time is not limited to this, It can set suitably.
（ｄ）欠陥補正演算処理の実施（ＳＴ４１）
つぎに、図７に示すように、欠陥補正演算処理について実施する。
(D) Implementation of defect correction calculation processing (ST41)
Next, as shown in FIG. 7, a defect correction calculation process is performed.
ここでは、制御部４３が信号処理部４４に制御信号を送信して制御することによって、欠陥補正演算処理について実施する。
Here, the defect correction calculation process is performed by the
具体的には、１回目の撮像による第１画像と、２回目の撮像による第２画像とについて被写体に対して互いに同じ位置になるように位置合わせをした状態にする。そして、その位置合わせをした状態で、その第１画像と第２画像とについて画素ごとにデータ（信号）を加算する。これにより、固体撮像素子１において欠陥画素として存在する画素Ｐから出力された欠陥データを補正する欠陥補正処理を実施し、撮像画像を生成する。
Specifically, the first image obtained by the first imaging and the second image obtained by the second imaging are aligned with respect to the subject so as to be in the same position. Then, data (signal) is added for each pixel with respect to the first image and the second image in the aligned state. Thereby, the defect correction process which correct | amends the defect data output from the pixel P which exists as a defective pixel in the solid-
図１１，図１２は、本発明の実施形態１において、欠陥補正演算処理を示す図である。 11 and 12 are diagrams showing defect correction calculation processing in the first embodiment of the present invention.
図１１において、（ａ）は、１回目の撮像による第１画像ＲＤ１を示しており、（ｂ）は、２回目の撮像による第２画像ＲＤ２を示している。図１２において、（ｃ）は、１回目の撮像による第１画像ＲＤ１と、２回目の撮像による第２画像ＲＤ２とを加算する加算処理を示しており、（ｄ）は、その加算処理によって得られた第３画像ＲＤ３を示している。図１１，図１２では、画素Ｐの配列で各画像を示すと共に、説明の都合で、被写体である三角形状の物体５００の位置を重ねて示している。
In FIG. 11, (a) shows the first image RD1 by the first imaging, and (b) shows the second image RD2 by the second imaging. In FIG. 12, (c) shows an addition process of adding the first image RD1 obtained by the first imaging and the second image RD2 obtained by the second imaging, and (d) is obtained by the addition process. The obtained third image RD3 is shown. In FIG. 11 and FIG. 12, each image is shown by an array of pixels P, and for the convenience of explanation, the position of a
１回目の撮像は、図９に示したように実効画素領域ＰＡ１１が配置された状態で実施される。このため、図１１（ａ）に示すように、１回目の撮像では、この実効画素領域ＰＡ１１に含まれる赤色画素Ｒと緑色画素Ｇと青色画素Ｂとのそれぞれから、赤色画素信号と緑色画素信号と青色画素信号とが出力されて、第１画像ＲＤ１が得られる。つまり、水平方向ｘにおける座標番号が［１］〜［６］であって、垂直方向ｙにおける座標番号が［１］〜［６］に位置する各画素Ｐから画素データが出力されて、第１画像ＲＤ１がロー（ＲＡＷ）画像データとして得られる。 The first imaging is performed in a state where the effective pixel area PA11 is arranged as shown in FIG. For this reason, as shown in FIG. 11A, in the first imaging, the red pixel signal and the green pixel signal are respectively obtained from the red pixel R, the green pixel G, and the blue pixel B included in the effective pixel area PA11. And a blue pixel signal are output to obtain a first image RD1. That is, pixel data is output from each pixel P whose coordinate numbers in the horizontal direction x are [1] to [6] and whose coordinate numbers in the vertical direction y are [1] to [6], and the first An image RD1 is obtained as raw (RAW) image data.
このとき、図１１（ａ）に示すように、欠陥画素ＫＰは、水平方向ｘの座標番号が［４］であって、垂直方向ｙの座標番号が［３］に位置しているので、この欠陥画素ＫＰからは、欠陥画素データＫＤ１が得られる。たとえば、欠陥画素ＫＰからは、信号強度が低い信号が、欠陥画素データＫＤ１として出力される。 At this time, as shown in FIG. 11A, the defective pixel KP has a coordinate number in the horizontal direction x of [4] and a coordinate number in the vertical direction y of [3]. Defective pixel data KD1 is obtained from the defective pixel KP. For example, a signal with low signal intensity is output from the defective pixel KP as defective pixel data KD1.
上記の１回目の撮像は、図１１（ａ）に示すように、たとえば、被写体である三角形状の物体５００が、固体撮像素子１において欠陥画素ＫＰの下方に位置した状態で実施される。
As shown in FIG. 11A, the first imaging is performed in a state where, for example, a
これに対して、２回目の撮像は、図１０に示したように実効画素領域ＰＡ１１が１回目の撮像とは異なった位置に配置された状態で実施される。そして、この状態で、図１１（ｂ）に示すように、この実効画素領域ＰＡ１１に含まれる赤色画素Ｒと緑色画素Ｇと青色画素Ｂとのそれぞれから、赤色画素信号と緑色画素信号と青色画素信号とが出力され、第２画像ＲＤ２が得られる。つまり、水平方向ｘにおける座標番号が［３］〜［８］であって、垂直方向ｙにおける座標番号が［３］〜［８］に位置する各画素Ｐから画素データが出力されて、第２画像ＲＤ２がロー（ＲＡＷ）画像データとして得られる。 On the other hand, the second imaging is performed in a state where the effective pixel area PA11 is arranged at a different position from the first imaging as shown in FIG. In this state, as shown in FIG. 11B, the red pixel signal, the green pixel signal, and the blue pixel from the red pixel R, the green pixel G, and the blue pixel B included in the effective pixel area PA11. And the second image RD2 is obtained. That is, pixel data is output from each pixel P whose coordinate numbers in the horizontal direction x are [3] to [8] and whose coordinate numbers in the vertical direction y are [3] to [8], and the second An image RD2 is obtained as raw (RAW) image data.
このとき、図１１（ｂ）に示すように、欠陥画素ＫＰは、水平方向ｘの座標番号が［６］であって、垂直方向ｙの座標番号が［５］に位置しているので、この欠陥画素ＫＰからは、欠陥画素データＫＤ２が得られる。たとえば、欠陥画素ＫＰからは、信号強度が低い信号が、欠陥画素データＫＤ２として出力される。 At this time, as shown in FIG. 11B, the defective pixel KP has a coordinate number in the horizontal direction x of [6] and a coordinate number in the vertical direction y of [5]. Defective pixel data KD2 is obtained from the defective pixel KP. For example, a signal with low signal intensity is output from the defective pixel KP as defective pixel data KD2.
一方で、２回目の撮像では、１回目の撮像において欠陥画素データＫＤ１を出力する座標位置（［ｘ，ｙ］＝［４，３］）（破線部分）には、欠陥画素ＫＰが配置されていないので、この座標位置の画素Ｐからは、欠陥画素データが出力されない。 On the other hand, in the second imaging, the defective pixel KP is arranged at the coordinate position ([x, y] = [4, 3]) (dashed line portion) where the defective pixel data KD1 is output in the first imaging. Therefore, defective pixel data is not output from the pixel P at this coordinate position.
上記の２回目の撮像は、図１１（ｂ）に示すように、１回目の撮像と同じ位置にある三角形状の物体５００を被写体として実施される。しかし、上記したように、２回目の撮像は、固体撮像素子１が、その三角形状の物体５００に対して移動されているので、固体撮像素子１を基準にすると、欠陥画素ＫＰの左側に三角形状の物体５００が位置した状態で実施される。
As shown in FIG. 11B, the second imaging is performed using a
そして、図１２（ｃ）に示すように、１回目の撮像による第１画像ＲＤ１と２回目の撮像による第２画像ＲＤ２とを加算する加算処理を実施する。 Then, as shown in FIG. 12C, an addition process is performed in which the first image RD1 obtained by the first imaging and the second image RD2 obtained by the second imaging are added.
ここでは、１回目の撮像による第１画像ＲＤ１と２回目の撮像による第２画像ＲＤ２とについて、撮像の際の座標位置が各画素Ｐにおいて同じになるように位置合わせをする。つまり、第１画像ＲＤ１と第２画像ＲＤ２とが、被写体である三角形状の物体５００に対して互いに同じ位置になるように、位置合わせされた状態にする。この位置合わせをした状態では、第１画像ＲＤ１における三角形状の物体５００の部分と、第２画像ＲＤ２における三角形状の物体５００の部分とがオーバーラップされた状態になる。そして、その位置合わせをした状態において、第１画像ＲＤ１のデータと第２画像ＲＤ２のデータとを、画素Ｐごとに加算する。
Here, the first image RD1 obtained by the first imaging and the second image RD2 obtained by the second imaging are aligned so that the coordinate positions at the time of imaging are the same in each pixel P. That is, the first image RD1 and the second image RD2 are aligned so that they are at the same position with respect to the
たとえば、２回目の撮像の際の実効画素領域ＰＡ１１において左上端部に位置する緑色画素Ｇは、水平方向ｘの座標番号が［３］であって、垂直方向ｙの座標番号が［３］に位置しており、緑色画素信号を出力する。この緑色画素信号については、１回目の撮像において、これと同じ座標位置に配置された緑色画素Ｇから出力された緑色画素信号と加算する。 For example, in the effective pixel area PA11 at the time of the second imaging, the green pixel G positioned at the upper left end has the horizontal x coordinate number [3] and the vertical y coordinate number [3]. And outputs a green pixel signal. The green pixel signal is added to the green pixel signal output from the green pixel G arranged at the same coordinate position in the first imaging.
また、１回目の撮像では、図１２（ａ）に示すように、欠陥画素データＫＤ１は、水平方向ｘの座標番号が［４］であって、垂直方向ｙの座標番号が［３］に位置する欠陥画素ＫＰから青色信号として出力されている。この欠陥画素データＫＤ１については、２回目の撮像において、これと同じ座標位置に配置された青色画素Ｂから出力された青色画素信号と加算する。このため、欠陥画素データＫＤ１については、実際に撮像された画素データによって補正される。 In the first imaging, as shown in FIG. 12A, in the defective pixel data KD1, the coordinate number in the horizontal direction x is [4] and the coordinate number in the vertical direction y is located at [3]. Is output as a blue signal from the defective pixel KP. The defective pixel data KD1 is added to the blue pixel signal output from the blue pixel B arranged at the same coordinate position in the second imaging. For this reason, the defective pixel data KD1 is corrected by the actually captured pixel data.
また、２回目の撮像では、図１２（ａ）に示すように、欠陥画素データＫＤ２は、水平方向ｘの座標番号が［６］であって、垂直方向ｙの座標番号が［５］に位置する欠陥画素ＫＰから青色信号として出力されている。この欠陥画素データＫＤ２については、１回目の撮像において、これと同じ座標位置に配置された青色画素Ｂから出力された青色画素信号と加算する。このため、欠陥画素データＫＤ２については、実際に撮像された画素データによって補正される。 In the second imaging, as shown in FIG. 12A, in the defective pixel data KD2, the coordinate number in the horizontal direction x is [6], and the coordinate number in the vertical direction y is located at [5]. Is output as a blue signal from the defective pixel KP. The defective pixel data KD2 is added to the blue pixel signal output from the blue pixel B arranged at the same coordinate position in the first imaging. For this reason, the defective pixel data KD2 is corrected by the actually captured pixel data.
上記のように加算処理を実施することによって、図１１（ｄ）に示すように、欠陥補正がされた第３画像ＲＤ３が得られる。 By performing the addition process as described above, a third image RD3 subjected to defect correction is obtained as shown in FIG.
たとえば、図１１（ｄ）に示すように、１回目の撮像において実効画素領域ＰＡ１１として設定された座標範囲について、第３画像ＲＤ３を得る。 For example, as shown in FIG. 11D, a third image RD3 is obtained for the coordinate range set as the effective pixel area PA11 in the first imaging.
この第３画像ＲＤ３では、図１１（ｄ）に示すように、１回目の撮像による第１画像ＲＤ１と２回目の撮像による第２画像ＲＤ２とがオーバーラップした領域ＯＬについては、第１画像ＲＤ１と第２画像ＲＤ２との両者が加算された値になる。 In the third image RD3, as shown in FIG. 11D, the first image RD1 in the region OL where the first image RD1 obtained by the first imaging and the second image RD2 obtained by the second imaging overlap. And the second image RD2 are added to each other.
このため、図１１（ｄ）に示すように、第３画像ＲＤ３において１回目の撮像で欠陥画素データＫＤ１が出力された座標位置については、上記の加算処理によって補正された補正画素データＫＨ１が得られる。同様に、第３画像ＲＤ３において２回目の撮像で欠陥画素データＫＤ２が出力された座標位置については、上記の加算処理によって補正された補正画素データＫＨ２が得られる。 Therefore, as shown in FIG. 11D, the corrected pixel data KH1 corrected by the above addition processing is obtained for the coordinate position where the defective pixel data KD1 is output in the first imaging in the third image RD3. It is done. Similarly, the corrected pixel data KH2 corrected by the above addition processing is obtained for the coordinate position where the defective pixel data KD2 is output in the second imaging in the third image RD3.
なお、１回目の撮像による第１画像ＲＤ１と２回目の撮像による第２画像ＲＤ２とがオーバーラップした領域ＯＬに関しては、加算処理と共に、画素Ｐごとに平均化処理さしても良い。つまり、オーバーラップした領域ＯＬについては、第１画像ＲＤ１と第２画像ＲＤ２の画素Ｐごとの平均値を求めて、第３画像ＲＤ３を得ても良い。 In addition, regarding the area OL in which the first image RD1 obtained by the first imaging and the second image RD2 obtained by the second imaging overlap each other, the averaging process may be performed for each pixel P together with the addition process. That is, for the overlap region OL, an average value for each pixel P of the first image RD1 and the second image RD2 may be obtained to obtain the third image RD3.
（ｅ）画像（最終画像）の生成（ＳＴ５１）
つぎに、図７に示すように、画像（最終画像）を生成する。
(E) Generation of image (final image) (ST51)
Next, as shown in FIG. 7, an image (final image) is generated.
ここでは、制御部４３が信号処理部４４に制御信号を送信して制御することによって、信号処理部４４が、上記のように補正されたロー（ＲＡＷ）画像データとして得た第３画像ＲＤ３から、デジタルカラー画像を最終画像として生成する。
Here, the
たとえば、上記のように得た第３画像ＲＤ３についてデモザイク処理などの現像処理を実施することで、デジタルカラー画像を撮像画像として生成する。そして、その最終画像のデータを記録装置（図示なし）で記憶する。 For example, a digital color image is generated as a captured image by performing development processing such as demosaic processing on the third image RD3 obtained as described above. Then, the final image data is stored in a recording device (not shown).
（ｆ）欠陥画素ＫＰが複数連続的に存在する場合
上記のデジタルカメラ４００において、複数の欠陥画素ＫＰが連続的に存在する場合について説明する。
(F) Case where a plurality of defective pixels KP exist continuously A case where a plurality of defective pixels KP exist continuously in the digital camera 400 will be described.
図１３，図１４は、本発明の実施形態１において、撮像時における固体撮像素子１を示す上面図である。
13 and 14 are top views showing the solid-
図１３，図１４は、図９，図１０と同様に、図２の上面図において有効画素領域ＰＡ１の部分を示しており、説明の都合で、水平方向ｘと垂直方向ｙとのそれぞれに６つの画素Ｐが実効画素領域ＰＡ１１に含まれると仮定した場合を示している。 FIGS. 13 and 14 show the effective pixel area PA1 in the top view of FIG. 2 in the same manner as FIGS. 9 and 10, and for convenience of explanation, each of the horizontal direction x and the vertical direction y is 6. This shows a case where one pixel P is assumed to be included in the effective pixel area PA11.
ここで、図１３は、図９と同様に、１回目の撮像が実施された際の固体撮像素子１を示しており、図１４は、２回目の撮像が実施された際の固体撮像素子１を示している。また、図１４では、１回目の撮像が実施された際の固体撮像素子１について、破線で示している。
Here, FIG. 13 shows the solid-
図１３，図１４において太線で囲って示しているように、複数の画素Ｐにおいては、複数の欠陥画素ＫＰが連続的に存在する場合がある。たとえば、水平方向ｘに連続して並ぶ赤色画素Ｒ，緑色画素Ｇ，赤色画素Ｒが、欠陥画素ＫＰとして存在すると共に、垂直方向ｙに連続して並ぶ青色画素Ｂ，緑色画素Ｇ，青色画素Ｂが、欠陥画素ＫＰとして存在する場合がある。 As shown by the bold lines in FIGS. 13 and 14, a plurality of defective pixels KP may exist continuously in the plurality of pixels P. For example, a red pixel R, a green pixel G, and a red pixel R that are continuously arranged in the horizontal direction x exist as defective pixels KP, and a blue pixel B, a green pixel G, and a blue pixel B that are continuously arranged in the vertical direction y. May exist as defective pixels KP.
この固体撮像素子１を用いて撮像を実施する際には、まず、図１３に示すように、図９の場合と同様に、固体撮像素子１が、第１の位置ＰＪ１に配置された状態で、１回目の撮像を実施する（図７のＳＴ１１）。
When imaging is performed using the solid-
このとき、複数の欠陥画素ＫＰは、図１３において太線で示した座標位置に配置された状態になる。 At this time, the plurality of defective pixels KP are arranged at the coordinate positions indicated by bold lines in FIG.
１回目の撮像の実施後には、図１４に示すように、固体撮像素子１を第１の位置ＰＪ１（破線部分）から第２の位置ＰＪ２へ移動する（図７のＳＴ２１）。
After the first imaging, as shown in FIG. 14, the solid-
ここでは、上記の場合と同様に、１回目の撮像において欠陥画素ＫＰが配置された座標位置に、欠陥画素ＫＰが配置されておらず、欠陥がない画素Ｐが配置された状態になるように、固体撮像素子１を移動する。また、１回目の撮像において欠陥画素ＫＰが配置された座標位置において、その欠陥画素ＫＰが受光する光と同一の波長帯域の光を受光する画素Ｐが配置された状態になるように、固体撮像素子１を移動する。さらに、１回目の撮像において有効画素領域ＰＡ１が配置された座標範囲内に、２回目の撮像の実効画素領域ＰＡ１１が配置されるように、固体撮像素子１を移動する。
Here, as in the above case, the defective pixel KP is not arranged at the coordinate position where the defective pixel KP is arranged in the first imaging so that the pixel P having no defect is arranged. The solid-
たとえば、図１４に示すように、右方向と下方向とのそれぞれにおいて、２つの画素Ｐ分、実効画素領域ＰＡ１１が移動するように、固体撮像素子１の配置を変更する。
For example, as shown in FIG. 14, the arrangement of the solid-
これにより、１回目の撮像において欠陥画素ＫＰが配置された座標位置（破線部分）には、欠陥画素ＫＰが配置されておらず、欠陥がない画素Ｐが配置された状態になる。 As a result, the defective pixel KP is not arranged at the coordinate position (dashed line portion) where the defective pixel KP is arranged in the first imaging, and the pixel P having no defect is arranged.
そして、この位置で、上記の場合と同様にして、２回目の撮像を実施する（図７のＳＴ３１）。 Then, at this position, the second imaging is performed in the same manner as described above (ST31 in FIG. 7).
つぎに、上記の場合と同様に、欠陥補正演算処理について実施する（図７のＳＴ４１）。 Next, similarly to the above case, the defect correction calculation process is performed (ST41 in FIG. 7).
図１５，図１６は、本発明の実施形態１において、欠陥補正演算処理を示す図である。 15 and 16 are diagrams showing defect correction calculation processing in the first embodiment of the present invention.
図１５において、（ａ）は、１回目の撮像による第１画像ＲＤ１を示しており、（ｂ）は、２回目の撮像による第２画像ＲＤ２を示している。図１６において、（ｃ）は、１回目の撮像による第１画像ＲＤ１と、２回目の撮像による第２画像ＲＤ２とを加算する加算処理を示しており、（ｄ）は、その加算処理によって補正された第３画像ＲＤ３を示している。 In FIG. 15, (a) shows the first image RD1 obtained by the first imaging, and (b) shows the second image RD2 obtained by the second imaging. In FIG. 16, (c) shows an addition process for adding the first image RD1 by the first imaging and the second image RD2 by the second imaging, and (d) is corrected by the addition process. A third image RD3 is shown.
１回目の撮像は、図１３に示したように実効画素領域ＰＡ１１が配置された状態で実施される。このため、欠陥画素ＫＰは、図１５（ａ）において太線で示した座標位置に存在しており、その欠陥画素ＫＰからは、欠陥画素データＫＤ１が得られる。 The first imaging is performed in a state where the effective pixel area PA11 is arranged as shown in FIG. For this reason, the defective pixel KP exists at the coordinate position indicated by the bold line in FIG. 15A, and defective pixel data KD1 is obtained from the defective pixel KP.
これに対して、２回目の撮像は、図１４に示したように実効画素領域ＰＡ１１が１回目の撮像とは異なった位置に配置された状態で実施される。このため、欠陥画素ＫＰは、図１５（ｂ）において太線で示した座標位置に存在しており、その欠陥画素ＫＰからは、欠陥画素データＫＤ２が得られる。 On the other hand, the second imaging is performed in a state where the effective pixel area PA11 is arranged at a position different from the first imaging as shown in FIG. For this reason, the defective pixel KP exists at the coordinate position indicated by the bold line in FIG. 15B, and defective pixel data KD2 is obtained from the defective pixel KP.
２回目の撮像では、１回目の撮像において欠陥画素データＫＤ１を出力する座標位置（破線部分）には、欠陥画素ＫＰが配置されていないので、この座標位置の画素Ｐからは、欠陥画素データが出力されない。 In the second imaging, since the defective pixel KP is not arranged at the coordinate position (broken line portion) where the defective pixel data KD1 is output in the first imaging, the defective pixel data is generated from the pixel P at this coordinate position. Not output.
そして、図１６（ｃ）に示すように、１回目の撮像による第１画像ＲＤ１と２回目の撮像による第２画像ＲＤ２とを加算する加算処理を実施する。 Then, as shown in FIG. 16C, an addition process of adding the first image RD1 obtained by the first imaging and the second image RD2 obtained by the second imaging is performed.
ここでは、上記と同様に、１回目の撮像による第１画像ＲＤ１と２回目の撮像による第２画像ＲＤ２とについて、撮像の際の座標位置が同じになるように位置合わせをして加算する。 Here, as described above, the first image RD1 obtained by the first imaging and the second image RD2 obtained by the second imaging are aligned and added so that the coordinate positions at the time of imaging are the same.
そして、この加算処理を実施することによって、図１６（ｄ）に示すように、第３画像ＲＤ３が得られる。たとえば、１回目の撮像において実効画素領域ＰＡ１１として設定された座標範囲について、第３画像ＲＤ３を得る。 Then, by performing this addition process, a third image RD3 is obtained as shown in FIG. For example, the third image RD3 is obtained for the coordinate range set as the effective pixel area PA11 in the first imaging.
ここでは、図１６（ｄ）に示すように、第１画像ＲＤ１と第２画像ＲＤ２とがオーバーラップした領域ＯＬについては、第１画像ＲＤ１と第２画像ＲＤ２との各画素のデータが加算された値になる。 Here, as shown in FIG. 16D, for the area OL in which the first image RD1 and the second image RD2 overlap, the data of each pixel of the first image RD1 and the second image RD2 is added. Value.
このため、図１６（ｄ）に示すように、第３画像ＲＤ３において１回目の撮像で欠陥画素データＫＤ１が出力された座標位置については、上記の加算処理によって補正された補正画素データＫＨ１が得られる。同様に、第３画像ＲＤ３において２回目の撮像で欠陥画素データＫＤ２が出力された座標位置については、上記の加算処理によって補正された補正画素データＫＨ２が得られる。 Therefore, as shown in FIG. 16D, the corrected pixel data KH1 corrected by the above addition processing is obtained for the coordinate position where the defective pixel data KD1 is output in the first imaging in the third image RD3. It is done. Similarly, the corrected pixel data KH2 corrected by the above addition processing is obtained for the coordinate position where the defective pixel data KD2 is output in the second imaging in the third image RD3.
その後、上記のようにロー（ＲＡＷ）画像として得た第３画像ＲＤ３についてデモザイク処理などの現像処理を実施することで、デジタルカラー画像を撮像画像として生成する（図７のＳＴ５１）。そして、その最終画像のデータを記録装置（図示なし）で記憶する。 Thereafter, the third image RD3 obtained as a raw (RAW) image as described above is subjected to development processing such as demosaic processing to generate a digital color image as a captured image (ST51 in FIG. 7). Then, the final image data is stored in a recording device (not shown).
（３）まとめ
以上のように、本実施形態では、固体撮像素子１は、被写体を撮像する画素Ｐが撮像面ＰＳに複数設けられている（図１，図２，図９などを参照）。信号処理部４４は、この固体撮像素子１から出力された信号について信号処理を実施する（図１参照）。この他に、固体撮像素子１を移動する素子移動部４５を有する（図１参照）。
(3) Summary As described above, in the present embodiment, the solid-
ここでは、固体撮像素子１は、その被写体について第１画像ＲＤ１を取得するように、第１の位置ＰＪ１で第１の撮像を実施する（図７，図９，図１１などを参照）。これと共に、固体撮像素子１は、撮像面ＰＳにおいて複数の画素Ｐに含まれる欠陥画素ＫＰが第１の位置ＰＪ１とは異なる第２の位置ＰＪ２で、その被写体について第２画像ＲＤ２を取得するように、第２の撮像を実施する（図７，図１０，図１１などを参照）。本実施形態では、第１の撮像の実施後であって第２の撮像の実施前に、固体撮像素子１において欠陥画素ＫＰが位置する位置情報に基づいて、素子移動部４５が固体撮像素子１を第１の位置から第２の位置へ移動する（図１参照）。この後、信号処理部４４は、その第１画像ＲＤ１と第２画像ＲＤ２とについて、被写体に対して互いに同じ位置になるように位置合わせをした状態で、第１画像ＲＤ１と第２画像ＲＤ２とについて画素Ｐごとに信号を加算する。これにより、欠陥画素ＫＰによる欠陥画素データＫＤ１，ＫＤ２を補正する欠陥補正処理を実施して、第３画像ＲＤ３を生成する（図７，図１２などを参照）。そして、補正された第３画像ＲＤ３から最終画像を生成する。
Here, the solid-
このように、本実施形態は、固体撮像素子で被写体を撮像した後に、その被写体に対して固体撮像素子を移動させた状態で、更に、その被写体について撮像する。そして、一方の画像における欠陥画素の画素値を、他方の画像において欠陥画素以外の正常な画素の画素値を用いて補正する。 As described above, in the present embodiment, after the subject is imaged by the solid-state imaging device, the subject is further imaged in a state where the solid-state imaging device is moved with respect to the subject. Then, the pixel value of the defective pixel in one image is corrected using the pixel value of a normal pixel other than the defective pixel in the other image.
よって、撮像画像において解像度が低下する等の不具合の発生を抑制できる。特に、夜空の星を撮影する場合において、星による高輝度部分が低輝度になることを防止できるので、画像品質を向上できる。その他、複数の画像を加算しているので、ランダムノイズについても低減が可能である。 Therefore, it is possible to suppress the occurrence of problems such as a decrease in resolution in the captured image. In particular, when shooting a star in the night sky, it is possible to prevent the high luminance part due to the stars from becoming low luminance, so that the image quality can be improved. In addition, since a plurality of images are added, random noise can be reduced.
したがって、本実施形態では、撮像画像の画像品質が低下することを防止できる。また、欠陥画素に起因して、撮像素子を不良チップとして廃棄することを抑制可能であるので、製品歩留まりの低下を防止できる。 Therefore, in this embodiment, it can prevent that the image quality of a captured image falls. In addition, it is possible to prevent the image sensor from being discarded as a defective chip due to a defective pixel, and thus a reduction in product yield can be prevented.
なお、上記においては、デモザイク処理などの現像処理を実施する前に、欠陥画素による欠陥画素データを補正する場合について示したが、これに限定されない。たとえば、デモザイク処理などの現像処理を実施した後に、上記と同様にして、欠陥画素による欠陥画素データを補正してもよい。 In the above description, the case where the defective pixel data by the defective pixel is corrected before the development process such as the demosaic process is performed has been described. However, the present invention is not limited to this. For example, after performing development processing such as demosaic processing, defective pixel data based on defective pixels may be corrected in the same manner as described above.
また、上記においては、２回の撮像で得た２枚の画像のデータを用いて、１枚の最終画像を生成する場合について説明したが、これに限定されない。３回以上の撮像で得た３枚以上の画像のデータを用いて、上記のように、１枚の最終画像を生成してもよい。 In the above description, the case where one final image is generated using data of two images obtained by two imaging operations is not limited to this. As described above, one final image may be generated using data of three or more images obtained by three or more imaging operations.
また、固体撮像素子１の製造において各画素Ｐについて検査を実施して予め検出した欠陥画素ＫＰの位置情報を用いて、固体撮像素子１を移動させる場合について説明したが、これに限定されない。たとえば、撮像時にリアルタイムで欠陥画素ＫＰの位置情報を取得し、その位置情報を用いて、固体撮像素子１を移動させてもよい。
Moreover, although the case where the solid-
＜２．実施形態２＞
（１）動作
図１７は、本発明の実施形態２において、欠陥補正演算処理を示す図である。
<2. Second Embodiment>
(1) Operation FIG. 17 is a diagram showing defect correction calculation processing in the second embodiment of the present invention.
図１７において、（ａ）は、第３画像ＲＤ３について、さらに補正する補正処理を示しており、（ｂ）は、その補正処理によって補正された第４画像ＲＤ４を示している。 In FIG. 17, (a) shows a correction process for further correcting the third image RD3, and (b) shows a fourth image RD4 corrected by the correction process.
本実施形態においては、図１７に示すように、図１１，図１２に示した欠陥補正演算処理（図７のＳＴ４１）の他に、さらに欠陥補正演算処理を実施する。この点、および、これに関連する点を除き、本実施形態は、実施形態１と同様である。このため、重複する部分については、記載を省略する。 In this embodiment, as shown in FIG. 17, in addition to the defect correction calculation process (ST41 in FIG. 7) shown in FIGS. 11 and 12, a defect correction calculation process is further performed. Except for this point and points related thereto, the present embodiment is the same as the first embodiment. For this reason, description is abbreviate | omitted about the overlapping part.
本実施形態においては、図１７（ａ）に示すように、第３画像ＲＤ３において、１回目の撮像で欠陥画素ＫＰから出力され、上記のように補正された補正画素データＫＨ１を更に補正する。また、これと共に、第３画像ＲＤ３において、２回目の撮像で欠陥画素ＫＰから出力され、上記のように補正された補正画素データＫＨ２を更に補正する。 In the present embodiment, as shown in FIG. 17A, in the third image RD3, the corrected pixel data KH1 output from the defective pixel KP in the first imaging and corrected as described above is further corrected. At the same time, in the third image RD3, the corrected pixel data KH2 output from the defective pixel KP in the second imaging and corrected as described above is further corrected.
ここでは、欠陥画素ＫＰが受光する光と同一の波長帯域の光を受光する画素Ｐのうち、その欠陥画素ＫＰの隣りに位置する画素Ｐから得られた隣接画素データＡＰを用いて、上記において得られた補正画素データＫＨ１，ＫＨ２を更に補正する。 Here, among the pixels P that receive light in the same wavelength band as the light received by the defective pixel KP, the adjacent pixel data AP obtained from the pixel P located adjacent to the defective pixel KP is used as described above. The obtained corrected pixel data KH1, KH2 are further corrected.
具体的には、複数の撮像において欠陥画素ＫＰから出力されて補正された補正画素データＫＨ１，ＫＨ２と、その欠陥画素ＫＰに対して水平方向ｘと垂直方向ｙに隣接する隣接画素ＲＰから得た各隣接画素データＡＰとを加算平均処理する。 Specifically, obtained from corrected pixel data KH1 and KH2 output from the defective pixel KP and corrected in a plurality of imaging, and adjacent pixels RP adjacent to the defective pixel KP in the horizontal direction x and the vertical direction y. Each adjacent pixel data AP is added and averaged.
たとえば、第１回目の撮像で欠陥画素ＫＰから出力されて補正された補正画素データＫＨ１については、その欠陥画素ＫＰに対して上下方向と左右方向で隣接する他の青色画素Ｂが位置する部分のデータを用いる。 For example, with respect to the corrected pixel data KH1 output from the defective pixel KP and corrected in the first imaging, the other blue pixel B adjacent to the defective pixel KP in the vertical and horizontal directions is located. Use data.
第２回目の撮像で欠陥画素ＫＰから出力されて補正された補正画素データＫＨ２については、たとえば、その欠陥画素ＫＰに対して上方向と左方向で隣接する他の青色画素Ｂが位置する部分のデータを用いる。 With respect to the corrected pixel data KH2 output from the defective pixel KP and corrected in the second imaging, for example, the portion where the other blue pixel B adjacent to the defective pixel KP in the upward direction and the left direction is located. Use data.
これにより、図１７（ｂ）に示すように、欠陥画素ＫＰの部分のデータが、補正画素データＫＨ１１，ＫＨ２１として更に補正されたものが、第４画像ＲＤ４として得られる。 As a result, as shown in FIG. 17B, the fourth image RD4 is obtained by further correcting the data of the defective pixel KP as corrected pixel data KH11 and KH21.
そして、この第４画像ＲＤ４についてデモザイク処理などの現像処理を実施することで、デジタルカラー画像を撮像画像として生成する（図７のＳＴ５１）。そして、そのカラー画像データを記録装置（図示なし）で記憶する。 Then, a development process such as a demosaic process is performed on the fourth image RD4 to generate a digital color image as a captured image (ST51 in FIG. 7). Then, the color image data is stored in a recording device (not shown).
（２）まとめ
以上のように、本実施形態では、実施形態１と同様に、欠陥画素ＫＰによる欠陥画素データＫＤ１，ＫＤ２を補正する欠陥補正処理を実施して、第３画像ＲＤ３を生成する。その後、その補正された補正画素データＫＨ２を更に補正する。
(2) Summary As described above, in the present embodiment, similarly to the first embodiment, the defect correction processing for correcting the defective pixel data KD1 and KD2 by the defective pixel KP is performed to generate the third image RD3. Thereafter, the corrected pixel data KH2 is further corrected.
ここでは、信号処理部４４が、第３画像ＲＤ３において欠陥画素に隣接する他の画素による画素データを用いて、その補正画素データＫＨ１１，ＫＨ２１について補正する。
Here, the
したがって、本実施形態では、欠陥画素に起因して、撮像画像の画像品質が低下することを防止できる。また、欠陥画素に起因して、撮像素子を不良チップとして廃棄することを抑制可能であるので、製品歩留まりの低下を防止できる。 Therefore, in the present embodiment, it is possible to prevent the image quality of the captured image from being deteriorated due to the defective pixel. In addition, it is possible to prevent the image sensor from being discarded as a defective chip due to a defective pixel, and thus a reduction in product yield can be prevented.
＜３．実施形態３＞
（１）動作
図１８は、本発明の実施形態３において、デジタルカメラ４００の動作の概要を示すフロー図である。
<3.
(1) Operation FIG. 18 is a flowchart showing an outline of the operation of the digital camera 400 in the third embodiment of the present invention.
本実施形態においては、図１８に示すように、さらに、ゲインアップ処理を実施する（ＳＴ３２）。この点、および、これに関連する点を除き、本実施形態は、実施形態１と同様である。このため、重複する部分については、記載を省略する。 In the present embodiment, as shown in FIG. 18, gain increase processing is further performed (ST32). Except for this point and points related thereto, the present embodiment is the same as the first embodiment. For this reason, description is abbreviate | omitted about the overlapping part.
本実施形態では、図１８に示すように、１回目の撮像（ＳＴ１１），固体撮像素子の移動（ＳＴ２１），２回目の撮像（ＳＴ３１）を、順次、実施する。ここでは、実施形態１の場合と同様にして、１回目の撮像（ＳＴ１１），固体撮像素子の移動（ＳＴ２１），２回目の撮像（ＳＴ３１）のそれぞれを実施する。 In the present embodiment, as shown in FIG. 18, the first imaging (ST11), the movement of the solid-state imaging device (ST21), and the second imaging (ST31) are sequentially performed. Here, similarly to the first embodiment, each of the first imaging (ST11), the movement of the solid-state imaging device (ST21), and the second imaging (ST31) is performed.
その後、図１８に示すように、ゲインアップ処理を実施する（ＳＴ３２）。 Thereafter, as shown in FIG. 18, a gain-up process is performed (ST32).
図１９は、本発明の実施形態３において、ゲインアップ処理を示す図である。 FIG. 19 is a diagram showing gain-up processing in the third embodiment of the present invention.
図１９は、図１１と同様であり、（ａ）は、１回目の撮像による第１画像ＲＤ１を示しており、（ｂ）は、２回目の撮像による第２画像ＲＤ２を示している。 FIG. 19 is the same as FIG. 11, (a) shows the first image RD1 by the first imaging, and (b) shows the second image RD2 by the second imaging.
ここでは、図１９（ａ）において破線で示すように、１回目の撮像による第１画像ＲＤ１のうち、２回目の撮像で欠陥画素ＫＰが配置される座標位置（［ｘ，ｙ］＝［５，６］）（図１０参照）の画素データＫＤ１ａについて、ゲインアップ処理を実施する。 Here, as indicated by a broken line in FIG. 19A, the coordinate position ([x, y] = [5] where the defective pixel KP is arranged in the second imaging of the first image RD1 obtained in the first imaging. , 6]) (see FIG. 10), the pixel data KD1a is subjected to gain-up processing.
具体的には、２回目の撮像において欠陥画素ＫＰが配置される座標位置（［ｘ，ｙ］＝［５，６］）の画素データＫＤ１ａに対してゲインアップをするように、その画素値と、予め定めた係数Ｃとを積算する処理を実施する。これにより、この座標位置の画素データＫＤ１ａの画素値が、本処理の実施前よりも高い値になる。 Specifically, the pixel value and the pixel value KD1a at the coordinate position ([x, y] = [5, 6]) where the defective pixel KP is arranged in the second imaging are increased. Then, a process of integrating the predetermined coefficient C is performed. As a result, the pixel value of the pixel data KD1a at this coordinate position becomes a higher value than before the execution of this process.
これと共に、図１９（ｂ）において破線で示すように、２回目の撮像による第２画像ＲＤ２のうち、１回目の撮像で欠陥画素ＫＰが配置される座標位置（［ｘ，ｙ］＝［３，４］）（図９参照）の画素データＫＤ２ａについて、ゲインアップ処理を実施する。 At the same time, as indicated by a broken line in FIG. 19B, in the second image RD2 obtained by the second imaging, the coordinate position ([x, y] = [3 , 4]) (see FIG. 9), the pixel data KD2a is subjected to gain-up processing.
具体的には、１回目の撮像において欠陥画素ＫＰが配置される座標位置（［ｘ，ｙ］＝［３，４］）の画素データＫＤ２ａに対してゲインアップをするように、その画素値と、予め定めた係数と積算する処理を実施する。これにより、この座標位置の画素データＫＤ２ａの画素値が、本処理の実施前よりも高い値になる。
ここでは、たとえば、元の画素値に対して、１．００１〜２倍の画素値がなるように、上記のゲインアップ処理を実施する（２枚の足しあわせの場合）。
Specifically, the pixel value and the pixel value KD2a at the coordinate position ([x, y] = [3,4)] where the defective pixel KP is arranged in the first imaging are increased. Then, a process of integrating with a predetermined coefficient is performed. Thereby, the pixel value of the pixel data KD2a at this coordinate position becomes a higher value than before the execution of this process.
Here, for example, the above gain increase processing is performed so that the pixel value is 1.001 to 2 times the original pixel value (in the case of adding two images).
そして、図１８に示すように、ゲインアップ処理の実施（ＳＴ３２）後には、実施形態１の場合と同様に、欠陥補正演算処理が実施される（ＳＴ４１）。 Then, as shown in FIG. 18, after the gain-up process is performed (ST32), the defect correction calculation process is performed as in the case of the first embodiment (ST41).
図２０は、本発明の実施形態３において、欠陥補正演算処理を示す図である。
FIG. 20 is a diagram showing defect correction calculation processing in
図２０は、図１２と同様であり、（ａ）は、１回目の撮像による第１画像ＲＤ１と、２回目の撮像による第２画像ＲＤ２とを加算する加算処理を示しており、（ｂ）は、その加算処理によって得られた第３画像ＲＤ３を示している。 FIG. 20 is the same as FIG. 12, and (a) shows an addition process for adding the first image RD1 by the first imaging and the second image RD2 by the second imaging, (b) Indicates a third image RD3 obtained by the addition processing.
欠陥補正演算処理の実施においては、まず、図２０（ａ）に示すように、１回目の撮像による第１画像ＲＤ１と２回目の撮像による第２画像ＲＤ２とを加算する加算処理を実施する。 In the execution of the defect correction calculation process, first, as shown in FIG. 20A, an addition process is performed in which the first image RD1 obtained by the first imaging and the second image RD2 obtained by the second imaging are added.
ここでは、実施形態１の場合と同様に、第１画像ＲＤ１と第２画像ＲＤ２とについて、撮像の際の座標位置が同じになるように位置合わせをして加算する。 Here, as in the case of the first embodiment, the first image RD1 and the second image RD2 are aligned and added so that the coordinate positions at the time of imaging are the same.
１回目の撮像では、図２０（ａ）に示すように、欠陥画素データＫＤ１は、水平方向ｘの座標番号が［４］であって、垂直方向ｙの座標番号が［３］に位置する欠陥画素ＫＰから青色信号として出力されている。この欠陥画素データＫＤ１については、２回目の撮像において、これと同じ座標位置の青色画素Ｂから出力された画素データＫＤ２ａ（図１９（ｂ）参照）についてゲインアップ処理がされた後の画素データＧＤ２ａと加算する。このように、欠陥画素データＫＤ１は、同じ座標位置で実際に撮像された画素データを用いて補正される。 In the first imaging, as shown in FIG. 20A, the defective pixel data KD1 has a defect in which the coordinate number in the horizontal direction x is [4] and the coordinate number in the vertical direction y is at [3]. A blue signal is output from the pixel KP. For this defective pixel data KD1, pixel data GD2a after gain-up processing is performed on pixel data KD2a (see FIG. 19B) output from the blue pixel B at the same coordinate position in the second imaging. And add. As described above, the defective pixel data KD1 is corrected using the pixel data actually captured at the same coordinate position.
また、２回目の撮像では、図２０（ａ）に示すように、欠陥画素データＫＤ２は、水平方向ｘの座標番号が［６］であって、垂直方向ｙの座標番号が［５］に位置する欠陥画素ＫＰから青色信号として出力されている。この欠陥画素データＫＤ２については、１回目の撮像において、これと同じ座標位置の青色画素Ｂから出力された画素データＫＤ１ａ（図１９（ａ）参照）についてゲインアップ処理がされた後の画素データＧＤ１ａと加算する。このため、欠陥画素データＫＤ２については、同じ座標位置で実際に撮像された画素データを用いて補正される。 In the second imaging, as shown in FIG. 20A, the defective pixel data KD2 has a coordinate number in the horizontal direction x of [6] and a coordinate number in the vertical direction y at [5]. Is output as a blue signal from the defective pixel KP. With respect to the defective pixel data KD2, pixel data GD1a after gain-up processing is performed on the pixel data KD1a (see FIG. 19A) output from the blue pixel B at the same coordinate position in the first imaging. And add. For this reason, the defective pixel data KD2 is corrected using pixel data actually captured at the same coordinate position.
上記のように加算処理を実施することによって、図２０（ｂ）に示すように、第３画像ＲＤ３が得られる。 By performing the addition process as described above, a third image RD3 is obtained as shown in FIG.
たとえば、図２０（ｄ）に示すように、実施形態１の場合と同様に、１回目の撮像において実効画素領域ＰＡ１１として設定された座標範囲について、第３画像ＲＤ３を得る。 For example, as shown in FIG. 20D, the third image RD3 is obtained for the coordinate range set as the effective pixel area PA11 in the first imaging as in the case of the first embodiment.
なお、１回目の撮像による第１画像ＲＤ１と２回目の撮像による第２画像ＲＤ２とがオーバーラップした領域ＯＬについては、加算処理と共に、画素Ｐごとに平均化処理さしても良い。つまり、オーバーラップした領域ＯＬについては、２つの画像ＲＤ１，ＲＤ２の画素Ｐごとの平均値を画素データとして、第３画像ＲＤ３を得ても良い。 In addition, about the area | region OL where 1st image RD1 by the 1st imaging and 2nd image RD2 by the 2nd imaging overlap, you may carry out an averaging process for every pixel P with an addition process. That is, for the overlap region OL, the third image RD3 may be obtained using the average value for each pixel P of the two images RD1 and RD2 as pixel data.
この後、図１９に示すように、実施形態１の場合と同様に、第３画像ＲＤ３を用いて最終画像を生成する。 Thereafter, as shown in FIG. 19, as in the case of the first embodiment, a final image is generated using the third image RD3.
（２）まとめ
以上のように、本実施形態では、実施形態１と同様に、欠陥画素ＫＰによる欠陥画素データＫＤ１，ＫＤ２を補正する欠陥補正処理を実施して、第３画像ＲＤ３を生成する。その後、その補正された補正画素データＫＨ２を更に補正する。
(2) Summary As described above, in the present embodiment, similarly to the first embodiment, the defect correction processing for correcting the defective pixel data KD1 and KD2 by the defective pixel KP is performed to generate the third image RD3. Thereafter, the corrected pixel data KH2 is further corrected.
ここでは、上記の欠陥補正処理の実施前に、第１画像ＲＤ１の複数の画素のうち、第２画像ＲＤ２において欠陥画素が位置する部分の画素の信号を信号処理部４４がゲインアップする。これと共に、第２画像ＲＤ２の複数の画素のうち、第１画像ＲＤ１において欠陥画素が位置する部分の画素の信号をゲインアップする。そして、このゲインアップ処理の実施後に、上記の欠陥補正処理を実施する。
Here, before the above-described defect correction process is performed, the
したがって、本実施形態では、欠陥画素に起因して、撮像画像の画像品質が低下することを防止できる。また、欠陥画素に起因して、撮像素子を不良チップとして廃棄することを抑制可能であるので、製品歩留まりの低下を防止できる。 Therefore, in the present embodiment, it is possible to prevent the image quality of the captured image from being deteriorated due to the defective pixel. In addition, it is possible to prevent the image sensor from being discarded as a defective chip due to a defective pixel, and thus a reduction in product yield can be prevented.
なお、実施形態２で示した欠陥補正演算処理を、本実施形態において、さらに実施しても良い。 Note that the defect correction calculation process shown in the second embodiment may be further performed in the present embodiment.
＜４．実施形態４＞
（１）動作
図２１は、本発明の実施形態４において、デジタルカメラ４００の動作の概要を示すフロー図である。
<4.
(1) Operation FIG. 21 is a flowchart showing an outline of the operation of the digital camera 400 in
本実施形態においては、図２１に示すように、固体撮像素子の移動動作（ＳＴ２１）（図７参照）を実施しない。本実施形態では、図２１に示すように、固体撮像素子の移動情報の取得（ＳＴ３３）を実施する（ＳＴ３３）。このように、本実施形態では、デジタルカメラ４００の動作が、実施形態１と異なる。この点、および、これに関連する点を除き、本実施形態は、実施形態１と同様である。このため、重複する部分については、記載を省略する。 In the present embodiment, as shown in FIG. 21, the moving operation (ST21) of the solid-state imaging device (see FIG. 7) is not performed. In the present embodiment, as shown in FIG. 21, acquisition of movement information (ST33) of the solid-state imaging device is performed (ST33). As described above, in this embodiment, the operation of the digital camera 400 is different from that in the first embodiment. Except for this point and points related thereto, the present embodiment is the same as the first embodiment. For this reason, description is abbreviate | omitted about the overlapping part.
（ａ）１回目の撮像（ＳＴ１１）
撮像画像を生成する際には、まず、図２１に示すように、１回目の撮像を実施する。
(A) First imaging (ST11)
When generating a captured image, first, as shown in FIG. 21, the first imaging is performed.
ここでは、実施形態１の場合と同様に、この１回目の撮像を実施する。 Here, as in the case of the first embodiment, the first imaging is performed.
（ｂ）２回目の撮像（ＳＴ３１）
つぎに、図２１に示すように、２回目の撮像を実施する。
(B) Second imaging (ST31)
Next, as shown in FIG. 21, the second imaging is performed.
ここでは、実施形態１では実施した固体撮像素子の移動動作（ＳＴ２１）（図７参照）について実施しない。すなわち、制御部４３は、固体撮像素子１を移動させるための制御信号を、素子移動部４５に送信しない。
Here, the movement operation (ST21) (see FIG. 7) of the solid-state imaging device performed in the first embodiment is not performed. That is, the
しかし、デジタルカメラ４００を操作する操作者の手ブレによって、１回目の撮像が実施された位置と異なる位置で、その被写体像について２回目の撮像が実施される。たとえば、操作者の手ブレによって、固体撮像素子１が１回目の撮像の位置に対して、数μｍ〜数百μｍの距離が離れた位置で２回目の撮像が実施される。
However, due to the camera shake of the operator who operates the digital camera 400, the second imaging is performed on the subject image at a position different from the position where the first imaging was performed. For example, the second imaging is performed at a position where the solid-
（ｃ）固体撮像素子の移動情報の取得（ＳＴ４１）
つぎに、図２１に示すように、固体撮像素子の移動情報の取得を実施する。
(C) Acquisition of movement information of solid-state image sensor (ST41)
Next, as shown in FIG. 21, the movement information of the solid-state imaging device is acquired.
ここでは、制御部４３が信号処理部４４に制御信号を送信して制御することによって、１回目の撮像による第１画像と、２回目の撮像による第２画像とから、固体撮像素子１の移動情報の取得を実施する。
Here, the
具体的には、１回目の撮像で得られる第１画像中の特定部分が位置する座標情報と、２回目の撮像で得られる第２画像中において上記と同じ特定部分が位置する座標情報との間の変位データを信号処理部４４が算出する。この変位データが、固体撮像素子の移動情報として取得される。つまり、複数の画像について画像認識処理を実施し、その認識された部分の変位を、固体撮像素子の移動情報として取得する。
Specifically, the coordinate information where the specific part in the first image obtained by the first imaging is located and the coordinate information where the same specific part as described above is located in the second image obtained by the second imaging. The
図２２は、本発明の実施形態４において、固体撮像素子の移動情報の取得動作を示す図である。 FIG. 22 is a diagram illustrating the movement information acquisition operation of the solid-state imaging device in the fourth embodiment of the present invention.
図２２において、（ａ）は、１回目の撮像によって得られた第１画像ＩＭ１を示している。（ｂ）は、２回目の撮像によって得られた第２画像ＩＭ２を実線で示しており、破線を用いて、第１画像ＩＭ１を示している。なお、本実施形態では、第１画像ＩＭ１，第２画像ＩＭ２は、各撮像で得たロー（ＲＡＷ）画像データについて現像処理を実施することで、デジタルカラー画像として生成されている。 In FIG. 22, (a) shows a first image IM1 obtained by the first imaging. (B) has shown the 2nd image IM2 obtained by the 2nd imaging with the continuous line, and has shown the 1st image IM1 using the broken line. In the present embodiment, the first image IM1 and the second image IM2 are generated as digital color images by performing development processing on raw (RAW) image data obtained by each imaging.
図２２（ａ）に示すように、１回目の撮像では、たとえば、三角形状の物体５００の像を含むように、第１画像ＩＭ１が得られる。このとき、固体撮像素子において欠陥画素が存在する部分に欠陥画素データＫＤ１を含むように、第１画像ＩＭ１が生成される。たとえば、三角形状の物体５００の上部に位置する角の上方に、欠陥画素データＫＤ１が存在するように、第１画像ＩＭ１が生成される。
As shown in FIG. 22A, in the first imaging, for example, a first image IM1 is obtained so as to include an image of a
２回目の撮像においても、１回目の撮像と同一の被写体を撮影しているので、たとえば、図２２（ｂ）に示すように、三角形状の物体５００の像を含むように、第２画像ＩＭ２が得られる。また、固体撮像素子において欠陥画素が存在する部分に欠陥画素データＫＤ２を含むように、第２画像ＩＭ２が生成される。
Even in the second imaging, since the same subject as the first imaging is captured, for example, as shown in FIG. 22B, the second image IM2 includes an image of a
２回目の撮像は、上記したように、たとえば、操作者の手ブレによって、１回目の撮像が実施した位置と異なる位置で実施される。このため、第２画像ＩＭ２において三角形状の物体５００の像が存在する位置は、第１画像ＩＭ１において、その三角形状の物体５００の像が存在する位置と異なる。しかし、第２画像ＩＭ２において欠陥画素データＫＤ２が存在する位置は、第１画像ＩＭ１において欠陥画素データＫＤ１が存在する位置と同じ位置になる。したがって、第２画像ＩＭ２では、三角形状の物体５００の上部に位置する角の右側に、欠陥画素データＫＤ２が存在するように、第２画像ＩＭ２が生成される。
As described above, the second imaging is performed at a position different from the position where the first imaging is performed, for example, due to the hand shake of the operator. For this reason, the position where the image of the
固体撮像素子の移動情報の取得動作では、上記のような第１画像ＩＭ１と第２画像ＩＭ２とを用いて、第１の撮像と第２の撮像との間において固体撮像素子が変位したデータを信号処理部４４が算出する。
In the movement information acquisition operation of the solid-state imaging device, the first image IM1 and the second image IM2 as described above are used to obtain data obtained by displacing the solid-state imaging device between the first imaging and the second imaging. The
まず、第１画像ＩＭ１において三角形状の物体５００が位置する座標情報を求める。そして、第２画像ＩＭ２において、その三角形状の物体５００が位置する座標情報を求める。たとえば、第１画像ＩＭ１と第２画像ＩＭ２とのそれぞれについて、エッジ検出処理を実施することで、三角形状の物体５００が位置する座標情報を求める。
First, coordinate information where the
つぎに、第１画像ＩＭ１において三角形状の物体５００が位置する座標情報と、第２画像ＩＭ２において、その三角形状の物体５００が位置する座標情報とから、固体撮像素子が変位した情報を求める。
Next, information about the displacement of the solid-state imaging device is obtained from the coordinate information where the
たとえば、三角形状の物体５００の上部に位置する角に着目すると、第１画像ＩＭ１では、左端部と下端部を基準位置とした場合、水平方向ｘの座標位置が［Ｘ１］であって、垂直方向ｙの座標位置が［Ｙ１］である。これに対して、第２画像ＩＭ２では、その角は、水平方向ｘの座標位置が［Ｘ２］であって、垂直方向ｙの座標位置が［Ｙ２］であり、第１画像ＩＭ１における座標位置と異なる。
For example, focusing on the corner located at the top of the
このため、第１の撮像と第２の撮像とにおいて、固体撮像素子は、水平方向ｘについては、右方向へ［Ｘ１−Ｘ２］分、移動したことが求められる。また、第１の撮像と第２の撮像とにおいて、固体撮像素子は、垂直方向ｙについては、下方向へ［Ｙ２−Ｙ１］分、移動したことが求められる。 For this reason, in the first imaging and the second imaging, the solid-state imaging device is required to have moved [X1-X2] to the right in the horizontal direction x. Further, in the first imaging and the second imaging, the solid-state imaging device is required to move downward by [Y2-Y1] in the vertical direction y.
（ｄ）欠陥補正演算処理の実施（ＳＴ４１），画像（最終画像）の生成（ＳＴ５１）
つぎに、図２１に示すように、欠陥補正演算処理について実施する。
(D) Implementation of defect correction calculation processing (ST41), generation of image (final image) (ST51)
Next, as shown in FIG. 21, a defect correction calculation process is performed.
ここでは、制御部４３が信号処理部４４に制御信号を送信して制御することによって、１回目の撮像で得た第１画像ＩＭ１と、２回目の撮像で得た第２画像ＩＭ２とを、信号処理部４４が加算する処理を実施する。これにより、固体撮像素子１において欠陥画素として存在する画素Ｐから出力された画素データが補正され、最終画像が生成される。
Here, the
図２３は、本発明の実施形態４において、欠陥補正演算処理を示す図である。
FIG. 23 is a diagram showing defect correction calculation processing in
図２３において、（ａ）は、１回目の撮像で得た第１画像ＩＭ１（破線部分）と、２回目の撮像で得た第２画像ＩＭ２（実線部分）とを加算する加算処理を示しており、（ｂ）は、その加算処理によって補正された最終画像ＩＭ３を示している。 In FIG. 23, (a) shows an addition process for adding the first image IM1 (broken line portion) obtained by the first imaging and the second image IM2 (solid line portion) obtained by the second imaging. (B) shows the final image IM3 corrected by the addition process.
図２３（ａ）に示すように、１回目の撮像で得た第１画像ＩＭ１と、２回目の撮像で得た第２画像ＩＭ２とを加算する加算処理を実施する。 As shown in FIG. 23A, an addition process of adding the first image IM1 obtained by the first imaging and the second image IM2 obtained by the second imaging is performed.
ここでは、１回目の撮像で得た第１画像ＩＭ１と、２回目の撮像で得た第２画像ＩＭ２とについて、撮像の際の被写体に対する座標位置が同じになるように、位置合わせをして加算する。 Here, the first image IM1 obtained by the first imaging and the second image IM2 obtained by the second imaging are aligned so that the coordinate positions with respect to the subject at the time of imaging are the same. to add.
具体的には、上記において求めた固体撮像素子の移動情報に基づいて、１回目の撮像で得た第１画像ＩＭ１と、２回目の撮像で得た第２画像ＩＭ２とを互いにシフトさせることによって、撮像の際の被写体に対する座標位置を同じにする。 Specifically, by shifting the first image IM1 obtained by the first imaging and the second image IM2 obtained by the second imaging based on the movement information of the solid-state imaging element obtained above, The coordinate position with respect to the subject at the time of imaging is made the same.
つまり、第１画像ＩＭ１に対して、第２画像ＩＭ２が、右側へ［Ｘ１−Ｘ２］分、移動し、下方へ［Ｙ２−Ｙ１］分、移動するように、両者を位置合わせする。これにより、第１画像ＩＭ１の欠陥画素データＫＤ１と第２画像ＩＭ２の欠陥画素データＫＤ２とは、画像内において、互いに異なる部分に位置することになる。そして、第１画像ＩＭ１と第２画像ＩＭ２とが位置合わせされた状態で、同一の波長帯域の画素データが、画素ごとに加算される。 That is, the two images IM2 are aligned with respect to the first image IM1 so that the second image IM2 moves to the right by [X1-X2] and moves downward by [Y2-Y1]. Thereby, the defective pixel data KD1 of the first image IM1 and the defective pixel data KD2 of the second image IM2 are located in different portions in the image. Then, in a state where the first image IM1 and the second image IM2 are aligned, pixel data in the same wavelength band is added for each pixel.
よって、第１画像ＩＭ１に含まれる欠陥画素データＫＤ１は、第２画像ＩＭ２において欠陥画素以外の画素による画素データと加算される。このため、欠陥画素データＫＤ１については、実際に撮像された画素データによって補正される。 Therefore, the defective pixel data KD1 included in the first image IM1 is added to pixel data by pixels other than the defective pixels in the second image IM2. For this reason, the defective pixel data KD1 is corrected by the actually captured pixel data.
また、第２画像ＩＭ２に含まれる欠陥画素データＫＤ２は、第１画像ＩＭ１において欠陥画素以外の画素による画素データと加算される。このため、欠陥画素データＫＤ２についても、実際に撮像された画素データによって補正される。 Further, the defective pixel data KD2 included in the second image IM2 is added to pixel data by pixels other than the defective pixels in the first image IM1. For this reason, the defective pixel data KD2 is also corrected by the actually captured pixel data.
上記のように加算処理を実施することによって、図２３（ｂ）に示すように、補正された最終画像ＩＭ３が得られる。 By performing the addition process as described above, a corrected final image IM3 is obtained as shown in FIG.
たとえば、図２３（ｂ）に示すように、第１画像ＩＭ１と同様に、１回目の撮像において実効画素領域ＰＡ１１として設定された座標範囲について、最終画像ＩＭ３が得られる。 For example, as shown in FIG. 23B, the final image IM3 is obtained for the coordinate range set as the effective pixel area PA11 in the first imaging, as with the first image IM1.
図２３（ｂ）に示すように、最終画像ＩＭ３において、１回目の撮像で欠陥画素データＫＤ１が出力された座標位置については、上記の加算処理によって補正された補正画素データＫＨ１が得られる。同様に、２回目の撮像で欠陥画素データＫＤ２が出力された座標位置については、上記の加算処理によって補正された補正画素データＫＨ２が得られる。 As shown in FIG. 23B, the corrected pixel data KH1 corrected by the above addition processing is obtained for the coordinate position where the defective pixel data KD1 is output in the first imaging in the final image IM3. Similarly, the corrected pixel data KH2 corrected by the above addition process is obtained for the coordinate position where the defective pixel data KD2 is output in the second imaging.
（２）まとめ
以上のように、本実施形態においては、欠陥画素ＫＰによる欠陥画素データＫＤ１，ＫＤ２を補正する欠陥補正処理を実施して、最終画像ＩＭ３を生成する。
(2) Summary As described above, in the present embodiment, the defect correction processing for correcting the defective pixel data KD1 and KD2 by the defective pixel KP is performed to generate the final image IM3.
本実施形態では、固体撮像素子１が第１の位置から第２の位置へ移動したときの変位データを、第１画像ＩＭ１と第２画像ＩＭ２とから検出する移動情報取得処理を、信号処理部４４が実施する。そして、その変位データに基づいて、第１画像ＩＭ１と第２画像ＩＭ２とについて被写体に対して互いに同じ位置になるように位置合わせをした状態で、上記のように欠陥補正処理を実施する。
In the present embodiment, the movement information acquisition process for detecting the displacement data when the solid-
したがって、本実施形態では、欠陥画素に起因して、撮像画像の画像品質が低下することを防止できる。また、欠陥画素に起因して、撮像素子を不良チップとして廃棄することを抑制可能であるので、製品歩留まりの低下を防止できる。 Therefore, in the present embodiment, it is possible to prevent the image quality of the captured image from being deteriorated due to the defective pixel. In addition, it is possible to prevent the image sensor from being discarded as a defective chip due to a defective pixel, and thus a reduction in product yield can be prevented.
なお、本実施形態では、撮像によって得たロー画像データについて現像処理を実施した後に、それにより得た画像において欠陥画素に起因して含まれる欠陥画素データを補正する場合について示したが、これに限定されない。たとえば、実施形態１と同様に、デモザイク処理などの現像処理を実施する前に、欠陥画素による欠陥画素データを補正してもよい。 In the present embodiment, after the development processing is performed on the raw image data obtained by imaging, the defective pixel data included due to the defective pixel is corrected in the obtained image. It is not limited. For example, as in the first embodiment, defective pixel data based on defective pixels may be corrected before performing development processing such as demosaic processing.
また、実施形態２で示した欠陥補正演算処理を、本実施形態において実施しても良い。 Further, the defect correction calculation process shown in the second embodiment may be performed in the present embodiment.
さらに、実施形態３で示したゲインアップ処理を、本実施形態において実施しても良い。 Furthermore, the gain increase processing shown in the third embodiment may be performed in the present embodiment.
また、上記においては、２回の撮像で得た２枚の画像を用いて、１枚の最終画像を生成する場合について説明したが、これに限定されない。３回以上の撮像で得た複数の画像を用いて、上記のように、１枚の最終画像を生成してもよい。また、複数の画像から欠陥画素データの位置が異なる画像を少なくとも２枚選択する処理を実施し、その選択した画像間を上記のように加算することで、最終画像を生成しても良い。 In the above description, the case where one final image is generated using two images obtained by two imaging operations is not limited to this. A single final image may be generated as described above using a plurality of images obtained by three or more imaging operations. Further, a final image may be generated by performing a process of selecting at least two images having different positions of defective pixel data from a plurality of images and adding the selected images as described above.
＜５．その他＞
本発明の実施に際しては、上記した実施形態に限定されるものではなく、種々の変形例を採用することができる。
<5. Other>
In carrying out the present invention, the present invention is not limited to the above-described embodiment, and various modifications can be employed.
上記の実施形態においては、裏面照射型のＣＭＯＳイメージセンサを固体撮像素子として用いる場合について説明したが、これに限定されない。表面照射型のイメージセンサの場合に本発明を適用しても良い。また、ＣＣＤイメージセンサの場合に本発明を適用しても良い。 In the above embodiment, the case where the backside illumination type CMOS image sensor is used as the solid-state imaging device has been described. However, the present invention is not limited to this. The present invention may be applied to a surface irradiation type image sensor. The present invention may be applied to a CCD image sensor.
上記の実施形態では、ＣＭＯＳイメージセンサにおいて、転送トランジスタと増幅トランジスタと選択トランジスタとリセットトランジスタとの４種を、画素トランジスタとして設ける場合について説明したが、これに限定されない。たとえば、転送トランジスタと増幅トランジスタとリセットトランジスタとの３種を、画素トランジスタとして設ける場合に適用しても良い。 In the above-described embodiment, the case where four types of transfer transistors, amplification transistors, selection transistors, and reset transistors are provided as pixel transistors in the CMOS image sensor has been described. However, the present invention is not limited to this. For example, the present invention may be applied to a case where three types of transfer transistors, amplification transistors, and reset transistors are provided as pixel transistors.
上記の実施形態では、ＣＭＯＳイメージセンサにおいて、１つのフォトダイオードに対して、転送トランジスタと増幅トランジスタと選択トランジスタとリセットトランジスタとのそれぞれを１つずつ設ける場合について説明したが、これに限定されない。たとえば、複数のフォトダイオードに対して、増幅トランジスタと選択トランジスタとリセットトランジスタのそれぞれを１つずつ設ける場合に適用しても良い。 In the above-described embodiment, the case where one transfer transistor, one amplification transistor, one selection transistor, and one reset transistor are provided for each photodiode in the CMOS image sensor has been described. However, the present invention is not limited to this. For example, the present invention may be applied to a case where one amplification transistor, one selection transistor, and one reset transistor are provided for a plurality of photodiodes.
上記の実施形態では、３原色のフィルタがベイヤー配列で配列されたカラーイメージセンサの場合について説明したが、これに限定されない。イエロ−，マゼンダ，シアンの補色系のフィルタを用いた場合に適用しても良い。カラー画像を撮像する場合以外に、グレースケール画像を撮像する場合に適用しても良い。可視光像を撮像する以外に、赤外線画像など、他の波長帯域の像を撮像する場合に適用しても良い。 In the above-described embodiment, the case of a color image sensor in which filters of three primary colors are arranged in a Bayer array has been described. However, the present invention is not limited to this. The present invention may be applied when a yellow, magenta, and cyan complementary color filter is used. In addition to capturing a color image, the present invention may be applied to capturing a grayscale image. In addition to capturing a visible light image, the present invention may be applied to capturing an image of another wavelength band such as an infrared image.
上記の実施形態においては、デジタルカメラに本発明を適用する場合について説明したが、これに限定されない。スキャナーやコピー機などのように、撮像装置を備える他の電子機器に、本発明を適用しても良い。 In the above embodiment, the case where the present invention is applied to a digital camera has been described. However, the present invention is not limited to this. The present invention may be applied to other electronic devices including an imaging device such as a scanner or a copier.
また、上記の実施形態では、素子移動部４５がアンチダスト機能を発揮させるために設けられている場合について説明したが、これに限定されない。素子移動部４５としては、アンチダスト機能を発揮しなくとも、固体撮像素子１を上記したように移動させるものであれば好適に使用可能である。
Moreover, although said embodiment demonstrated the case where the
また、上記の実施形態において、固体撮像素子を移動する際には、固体撮像素子が第１の位置にあるときに有効画素領域が配置された座標範囲内に、固体撮像素子が第２の位置にあるときの実効画素領域を配置させる。しかしながら、これに限定されない。第１の位置にあるときに有効画素領域が配置された座標範囲以外の部分に、第２の位置における実効画素領域を配置させるように、固体撮像素子を移動させてもよい。 In the above embodiment, when the solid-state image sensor is moved, the solid-state image sensor is located at the second position within the coordinate range in which the effective pixel region is arranged when the solid-state image sensor is at the first position. The effective pixel area when it is in the position is arranged. However, it is not limited to this. You may move a solid-state image sensor so that the effective pixel area | region in a 2nd position may be arrange | positioned in parts other than the coordinate range in which the effective pixel area | region was arrange | positioned when it exists in a 1st position.
また、上記の実施形態においては、固体撮像素子と、外付けの撮像レンズとが一体に設けられていない場合について説明したが、これに限定されない（図１参照）。固体撮像素子に外付けの撮像レンズが固定されており、素子移動部が固体撮像素子を移動する際には、撮像レンズも同様に移動されるように構成されていても良い。 In the above-described embodiment, the case where the solid-state imaging device and the external imaging lens are not integrally provided has been described, but the present invention is not limited to this (see FIG. 1). An external imaging lens may be fixed to the solid-state imaging device, and the imaging lens may be similarly moved when the element moving unit moves the solid-state imaging device.
その他、各実施形態の構成を、適宜、組み合わせても良い。 In addition, you may combine the structure of each embodiment suitably.
なお、上記の実施形態において、固体撮像素子１は、本発明の固体撮像素子に相当する。また、上記の実施形態において、信号処理部４４は、本発明の信号処理部に相当する。また、上記の実施形態において、素子移動部４５は、本発明の素子移動部に相当する。また、上記の実施形態において、デジタルカメラ４００は、本発明の電子機器に相当する。また、上記の実施形態において、カメラ本体部４１０は、本発明の撮像装置に相当する。また、上記の実施形態において、第１画像ＲＤ１，ＩＭ１は、本発明の第１画像に相当する。また、上記の実施形態において、第２画像ＲＤ２，ＩＭ２は、本発明の第２画像に相当する。また、上記の実施形態において、欠陥画素ＫＰは、本発明の欠陥画素に相当する。また、上記の実施形態において、画素Ｐは、本発明の画素に相当する。また、上記の実施形態において、有効画素領域ＰＡ１は、本発明の有効画素領域に相当する。また、上記の実施形態において、実効画素領域ＰＡ１１は、本発明の実効画素領域に相当する。また、上記の実施形態において、第１の位置ＰＪ１は、本発明の第１の位置に相当する。また、上記の実施形態において、第２の位置ＰＪ２は、本発明の第２の位置に相当する。また、上記の実施形態において、画素領域ＰＡ，撮像面ＰＳは、本発明の撮像面に相当する。
In the above embodiment, the solid-
１…固体撮像素子、１３…垂直駆動回路、１４…カラム回路、１５…水平駆動回路、１７…外部出力回路、１７ａ…ＡＧＣ回路、１７ｂ…ＡＤＣ回路、１８…タイミングジェネレータ、１９…シャッター駆動回路、２１…フォトダイオード、２２…転送トランジスタ、２３…増幅トランジスタ、２４…選択トランジスタ、２５…リセットトランジスタ、２６…転送線、２７…垂直信号線、２８…アドレス線、２９…リセット線、４３…制御部、４４…信号処理部、４５…素子移動部、１０１…半導体基板、１０１ｎａ…ｎ型電荷蓄積領域、１０１ｐａ…ｐ型半導体領域、１０１ｐｃ…ｐ型半導体領域、１１１…配線層、１１１ｈ…配線、１１１ｚ…絶縁層、４００…撮像装置、４１０…カメラ本体部、４２０…撮影レンズ部、ＣＦ…カラーフィルタ、ＦＤ…フローティング・ディフュージョン、Ｈ…入射光、ＩＭ１…第１画像、ＩＭ２…第２画像、ＩＭ３…最終画像、ＪＳ…受光面、ＫＰ…欠陥画素、ＭＬ…オンチップレンズＰ…画素、ＰＡ…画素領域、ＰＡ１…有効画素領域、ＰＡ２…オプティカル・ブラック領域、ＰＡ１１…実効画素領域、ＰＪ１…第１の位置、ＰＪ２…第２の位置、ＰＳ…撮像面、ＲＤ１…第１画像、ＲＤ２…第２画像、ＲＤ３…第３画像、ＲＤ４…第４画像、ＲＰ…隣接画素、ＳＡ…周辺領域、ｘ…水平方向、ｙ…垂直方向
DESCRIPTION OF
Claims (9)
前記固体撮像素子から出力された信号について信号処理を実施する信号処理部と
を有し、
前記固体撮像素子は、前記被写体について第１画像を取得するように、第１の位置で第１の撮像を実施すると共に、前記撮像面において前記複数の画素に含まれる欠陥画素が前記第１の位置とは異なる第２の位置で前記被写体について第２画像を取得するように、第２の撮像を実施し、
前記信号処理部は、前記第１画像と前記第２画像とについて前記被写体に対して互いに同じ位置になるように位置合わせをした状態で、前記第１画像と前記第２画像とについて画素ごとに信号を加算することによって、前記欠陥画素による欠陥データを補正する欠陥補正処理を実施して撮像画像を生成する、
撮像装置。 A solid-state imaging device in which a plurality of pixels for imaging a subject are provided on an imaging surface;
A signal processing unit that performs signal processing on the signal output from the solid-state imaging device,
The solid-state imaging device performs first imaging at a first position so as to acquire a first image of the subject, and defective pixels included in the plurality of pixels on the imaging surface are the first pixels. Performing a second imaging so as to obtain a second image of the subject at a second position different from the position;
The signal processing unit aligns the first image and the second image for each pixel with respect to the first image and the second image in a state where the first image and the second image are aligned with respect to the subject. By adding a signal, a defect correction process for correcting defect data by the defective pixel is performed to generate a captured image.
Imaging device.
をさらに有し、
前記素子移動部は、前記第１の撮像の実施後であって前記第２の撮像の実施前に、前記固体撮像素子において前記欠陥画素が位置する位置情報に基づいて、前記固体撮像素子を前記第１の位置から前記第２の位置へ移動する、
請求項１に記載の撮像装置。 An element moving unit that moves the solid-state image sensor;
The element moving unit is configured to move the solid-state imaging element after the first imaging and before the second imaging based on position information where the defective pixel is located in the solid-state imaging element. Moving from a first position to the second position;
The imaging device according to claim 1.
前記素子移動部は、前記固体撮像素子を前記第２の位置に移動したときの前記第１画素の位置が、前記固体撮像素子が前記第１の位置にあるときに前記第１画素が配置された位置にあると共に、前記固体撮像素子を前記第２の位置に移動したときの前記第２画素の位置が、前記固体撮像素子が前記第１の位置にあるときに前記第２画素が配置された位置にあるように、前記固体撮像素子を移動する、
請求項２に記載の撮像装置。 The solid-state imaging device includes at least a first pixel that receives light in a first wavelength band and a second pixel that receives light in a second wavelength band different from the first wavelength band. Multiple pixels are arranged,
The element moving unit is arranged such that the position of the first pixel when the solid-state image sensor is moved to the second position is the first pixel when the solid-state image sensor is at the first position. The second pixel is located when the solid-state image sensor is at the first position, and the second pixel is located when the solid-state image sensor is at the first position. Moving the solid-state imaging device so that the
The imaging device according to claim 2.
前記素子移動部は、前記固体撮像素子が前記第１の位置にあるときに前記有効画素領域が配置された座標範囲内に、前記固体撮像素子が前記第２の位置にあるときの前記実効画素領域が配置されるように、前記固体撮像素子を移動する、
請求項３に記載の撮像装置。 In the solid-state imaging device, an effective pixel region in which a plurality of the pixels are arranged as effective pixels that receive a subject image is provided on the imaging surface, and the solid-state imaging element is configured to generate the captured image in the plurality of effective pixels. An effective pixel area in which a plurality of effective pixels are arranged is set in the effective pixel area,
The element moving unit includes the effective pixel when the solid-state image sensor is in the second position within a coordinate range in which the effective pixel region is disposed when the solid-state image sensor is in the first position. Moving the solid-state imaging device so that the region is arranged;
The imaging device according to claim 3.
請求項１に記載の撮像装置。 The signal processing unit corrects pixel data of the defective pixel in the captured image using pixel data of another pixel adjacent to the defective pixel in the captured image.
The imaging device according to claim 1.
当該ゲインアップ処理の実施後に、前記欠陥補正処理を実施する、
請求項１に記載の撮像装置。 The signal processing unit gains up a signal of a pixel in a portion where a defective pixel is located in the second image among the plurality of pixels of the first image, and among the plurality of pixels of the second image, Performing a gain-up process for gaining up the signal of the pixel of the portion where the defective pixel is located in the first image;
After the gain-up process is performed, the defect correction process is performed.
The imaging device according to claim 1.
前記変位データに基づいて、前記第１画像と前記第２画像とについて前記被写体に対して互いに同じ位置になるように位置合わせをした状態で、前記欠陥補正処理を実施する、
請求項１に記載の撮像装置。 The signal processing unit performs a movement information acquisition process for detecting displacement data when the solid-state imaging device moves from the first position to the second position from the first image and the second image. And
Based on the displacement data, the defect correction process is performed in a state where the first image and the second image are aligned with each other so as to be in the same position with respect to the subject.
The imaging device according to claim 1.
前記固体撮像素子から出力された信号について信号処理を実施する信号処理部と
を有し、
前記固体撮像素子は、前記被写体について第１画像を取得するように、第１の位置で第１の撮像を実施すると共に、前記撮像面において前記複数の画素に含まれる欠陥画素が前記第１の位置とは異なる第２の位置で前記被写体について第２画像を取得するように、第２の撮像を実施し、
前記信号処理部は、前記第１画像と前記第２画像とについて前記被写体に対して互いに同じ位置になるように位置合わせをした状態で、前記第１画像と前記第２画像とについて画素ごとに信号を加算することによって、前記欠陥画素による欠陥データを補正する欠陥補正処理を実施して撮像画像を生成する、
電子機器。 A solid-state imaging device in which a plurality of pixels for imaging a subject are provided on an imaging surface;
A signal processing unit that performs signal processing on the signal output from the solid-state imaging device,
The solid-state imaging device performs first imaging at a first position so as to acquire a first image of the subject, and defective pixels included in the plurality of pixels on the imaging surface are the first pixels. Performing a second imaging so as to obtain a second image of the subject at a second position different from the position;
The signal processing unit aligns the first image and the second image for each pixel with respect to the first image and the second image in a state where the first image and the second image are aligned with respect to the subject. By adding a signal, a defect correction process for correcting defect data by the defective pixel is performed to generate a captured image.
Electronics.
前記固体撮像素子が、前記第１の位置とは異なる第２の位置にある状態で、前記被写体について第２の撮像を実施することで第２画像を取得する工程と、
前記第１画像と前記第２画像とについて前記被写体に対して互いに同じ位置になるように位置合わせをした状態で、前記第１画像と前記第２画像とについて画素ごとに信号を加算することによって、前記欠陥画素による欠陥データを補正する欠陥補正処理を実施して撮像画像を生成する工程と
を含む、
撮像方法。 Obtaining a first image by performing a first imaging on a subject in a state where a solid-state imaging device having a plurality of pixels provided on an imaging surface is in a first position;
Obtaining a second image by performing a second imaging on the subject in a state where the solid-state imaging device is in a second position different from the first position;
By adding a signal for each pixel of the first image and the second image in a state where the first image and the second image are aligned with each other with respect to the subject. Performing a defect correction process for correcting defect data by the defective pixel to generate a captured image,
Imaging method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011017521A JP2012160807A (en) | 2011-01-31 | 2011-01-31 | Imaging apparatus, electronic apparatus, and imaging method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011017521A JP2012160807A (en) | 2011-01-31 | 2011-01-31 | Imaging apparatus, electronic apparatus, and imaging method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012160807A true JP2012160807A (en) | 2012-08-23 |
Family
ID=46841013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011017521A Pending JP2012160807A (en) | 2011-01-31 | 2011-01-31 | Imaging apparatus, electronic apparatus, and imaging method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012160807A (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000069352A (en) * | 1998-08-26 | 2000-03-03 | Konica Corp | Method and device for image input |
| JP2008118570A (en) * | 2006-11-07 | 2008-05-22 | Canon Inc | Shake correcting device and method |
| JP2009124661A (en) * | 2007-11-19 | 2009-06-04 | Sony Corp | Imaging apparatus |
-
2011
- 2011-01-31 JP JP2011017521A patent/JP2012160807A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000069352A (en) * | 1998-08-26 | 2000-03-03 | Konica Corp | Method and device for image input |
| JP2008118570A (en) * | 2006-11-07 | 2008-05-22 | Canon Inc | Shake correcting device and method |
| JP2009124661A (en) * | 2007-11-19 | 2009-06-04 | Sony Corp | Imaging apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7264187B2 (en) | Solid-state imaging device, its driving method, and electronic equipment | |
| JP6987950B2 (en) | Solid-state image sensor and its manufacturing method, and electronic devices | |
| JP6233188B2 (en) | Solid-state imaging device, manufacturing method thereof, and electronic device | |
| JP4821921B2 (en) | Solid-state imaging device and electronic apparatus | |
| US9985066B2 (en) | Solid-state imaging device, method for manufacturing same, and electronic device | |
| JP4691930B2 (en) | PHYSICAL INFORMATION ACQUISITION METHOD, PHYSICAL INFORMATION ACQUISITION DEVICE, PHYSICAL QUANTITY DISTRIBUTION SENSING SEMICONDUCTOR DEVICE, PROGRAM, AND IMAGING MODULE | |
| US8624305B2 (en) | Solid-state imaging device and method for manufacturing solid-state imaging device, and electronic device | |
| WO2015190321A1 (en) | Solid state imaging apparatus, method for manufacturing same, and electronic device | |
| US8339488B2 (en) | Solid-state image pickup device having laminated color filters, manufacturing method thereof, and electronic apparatus incorporating same | |
| CN104517984B (en) | Solid-state imaging device, method for manufacturing solid-state imaging device, and electronic apparatus | |
| US20110121371A1 (en) | Solid-state imaging device, method of manufacturing same, and electronic apparatus | |
| US20230207603A1 (en) | Solid-state imaging device and manufacturing method of the same, and electronic apparatus | |
| JP2010034512A (en) | Solid-state imaging element and imaging device | |
| JP2011166477A (en) | Solid-state imaging element and image input device | |
| JP2009049525A (en) | Imaging apparatus and method for processing signal | |
| JP2009004605A (en) | Image sensor and imaging device | |
| JP2007235418A (en) | Solid state image pickup device | |
| WO2022024550A1 (en) | Solid-state imaging device, and electronic apparatus | |
| JP2009049524A (en) | Imaging apparatus and method for processing signal | |
| JP2012160807A (en) | Imaging apparatus, electronic apparatus, and imaging method | |
| JP6079804B2 (en) | Solid-state imaging device, manufacturing method thereof, and electronic apparatus | |
| JP2017208651A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140109 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140902 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140909 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141104 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20141125 |