JP2012191378A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2012191378A JP2012191378A JP2011052389A JP2011052389A JP2012191378A JP 2012191378 A JP2012191378 A JP 2012191378A JP 2011052389 A JP2011052389 A JP 2011052389A JP 2011052389 A JP2011052389 A JP 2011052389A JP 2012191378 A JP2012191378 A JP 2012191378A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- dark current
- unit
- current calculation
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.
撮像装置の一つである電子カメラにおける撮像素子の信号出力の特性は、その撮像素子の温度に応じて変動する。撮像素子の出力に含まれる暗電流は、温度上昇によって増加することが知られている。例えば、ライン毎に信号電荷を読み出すＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の撮像素子の温度が上昇した状態で、撮影者が記録用の本画像を撮影した場合、暗電流に起因するシェーディング（色むら等のノイズ）が発生し、撮影画面の下側がマゼンタ色になることがある。 The characteristics of the signal output of the image sensor in an electronic camera that is one of the image capturing apparatuses vary depending on the temperature of the image sensor. It is known that the dark current included in the output of the image sensor increases as the temperature rises. For example, when a photographer shoots a main image for recording in a state where the temperature of a CMOS (Complementary Metal-Oxide Semiconductor) type image pickup device that reads signal charges for each line is increased, shading (color) due to dark current is generated. (Noise such as unevenness) may occur, and the lower side of the shooting screen may become magenta.
シェーディングの補正として、撮像素子の有効画素領域に隣接して配置されている遮光画素領域(フォトダイオードを有するオプティカルブラック画素領域、以下「ＯＢ領域」という)を用いて、いわゆるクランプ処理をすることが知られている。(例えば、特許文献１参照)。 As a shading correction, a so-called clamping process may be performed using a light-shielded pixel region (an optical black pixel region having a photodiode, hereinafter referred to as an “OB region”) disposed adjacent to an effective pixel region of the image sensor. Are known. (For example, refer to Patent Document 1).
しかしながら、ＯＢ領域を利用したシェーディングの補正では、ＯＢ領域周辺の回路の温度上昇の影響を受けやすくなり、クランプ処理が正常に動作しないおそれが生じる。一方、アルミニウム等の金属で所定の画素全体を覆う遮光画素を有効画素領域内に複数設け、シェーディングの補正をした場合には、その補正後に遮光画素を欠陥画素として本画像のデータに対して補間処理する必要が生じる。 However, in the shading correction using the OB area, it becomes easy to be affected by the temperature rise of the circuits around the OB area, and there is a possibility that the clamping process does not operate normally. On the other hand, when multiple shading pixels that cover the entire specified pixel with a metal such as aluminum are provided in the effective pixel area and shading correction is performed, the shading pixel is used as a defective pixel after the correction to interpolate the data of the main image. It needs to be processed.
そこで、本発明は、上記の問題点を解決し、本画像撮影時の暗電流に起因するシェーディングの補正を精度良く行なえる撮像装置を提供することを目的とする。 Accordingly, an object of the present invention is to solve the above-described problems and to provide an imaging apparatus capable of accurately correcting shading caused by dark current at the time of actual image shooting.
第１の発明に係る撮像装置は、撮像素子と、本画像取得部と、暗電流算出部と、補正部とを備える。撮像素子は、入射光を光電変換する第１画素と入射光の一部を通過させる遮光部材をさらに設けた第２画素とが隣接する複合画素を、入射光を受光する有効画素領域内に複数有する。本画像取得部は、撮像素子を駆動することにより、記録用の本画像を取得する。暗電流算出部は、本画像を解析し、第１画素と第２画素とから出力される各々異なる出力値と、互いの画素の受光面積比とに基づいて、複合画素の暗電流の値を算出する。補正部は、暗電流算出部の算出結果に基づいて、本画像内の暗電流に起因するシェーディングを補正する。 An imaging device according to a first invention includes an imaging element, a main image acquisition unit, a dark current calculation unit, and a correction unit. The imaging device includes a plurality of composite pixels, each having a first pixel that photoelectrically converts incident light, and a second pixel that is further provided with a light shielding member that transmits a part of the incident light, in an effective pixel region that receives incident light. Have. The main image acquisition unit acquires a main image for recording by driving the image sensor. The dark current calculation unit analyzes the main image and calculates the dark current value of the composite pixel based on the different output values output from the first pixel and the second pixel and the light receiving area ratio of the pixels. calculate. The correction unit corrects shading caused by the dark current in the main image based on the calculation result of the dark current calculation unit.
第２の発明は、第１の発明において、撮像素子は、複合画素を有効画素領域の全体にわたって２次元状に配置している。暗電流算出部は、有効画素領域を複数のブロックに分割し、各ブロック単位で暗電流の平均値を算出する。 In a second aspect based on the first aspect, the image sensor has the composite pixels arranged two-dimensionally over the entire effective pixel area. The dark current calculation unit divides the effective pixel region into a plurality of blocks, and calculates an average value of dark current for each block.
第３の発明は、第２の発明において、暗電流算出部は、各ブロック単位の平均値に基づいて、その平均値の分布を線形補間する近似曲面を算出する。補正部は、近似曲面を用いてシェーディングを補正する。 In a third aspect based on the second aspect, the dark current calculation unit calculates an approximate curved surface that linearly interpolates the distribution of the average value based on the average value of each block unit. The correction unit corrects the shading using the approximate curved surface.
第４の発明は、第１から第３の何れか１の発明において、メモリをさらに備える、メモリは、欠陥画素のアドレスを記録する。暗電流算出部は、メモリを参照して欠陥画素が存在する場合には、その欠陥画素の出力値を周辺画素の出力値で補間処理した後、暗電流の値又は平均値を算出する。 According to a fourth invention, in any one of the first to third inventions, the memory further includes a memory, and the memory records an address of the defective pixel. When there is a defective pixel with reference to the memory, the dark current calculation unit calculates the dark current value or the average value after interpolating the output value of the defective pixel with the output value of the surrounding pixels.
第５の発明は、第１から第４の何れか１の発明において、判定部をさらに備える。判定部は、暗電流算出部の算出結果に基づいて、シェーディングの補正を行なうか否かを判定する。補正部は、判定部の判定結果に応じてシェーディングの補正を行なう。 According to a fifth invention, in any one of the first to fourth inventions, a determination unit is further provided. The determination unit determines whether to perform shading correction based on the calculation result of the dark current calculation unit. The correction unit corrects shading according to the determination result of the determination unit.
本発明は、本画像撮影時の暗電流に起因するシェーディングの補正を精度良く行なえる撮像装置を提供できる。 The present invention can provide an imaging apparatus capable of accurately correcting shading caused by dark current during actual image shooting.
以下、図面に基づいて本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１は、電子カメラ１の内部構成例を示す図である。なお、この電子カメラ１は、本発明の撮像装置の一実施形態である。電子カメラ１は、撮像光学系１０と、撮像素子１１と、タイミングジェネレータ（以下、「ＴＧ」という）１２と、ＡＦＥ１３と、信号処理部１４と、画像処理部１５と、ＲＡＭ１６と、表示モニタ１７と、フラッシュメモリ１８と、記録インターフェース部（以下、「記録Ｉ／Ｆ部」という）１９と、操作部２０と、レリーズ釦２１と、ＣＰＵ２２と、データバス２３とを備える。
FIG. 1 is a diagram illustrating an internal configuration example of the
このうち、ＡＦＥ１３、信号処理部１４、画像処理部１５、ＲＡＭ１６、表示モニタ１７、フラッシュメモリ１８、記録Ｉ／Ｆ部１９及びＣＰＵ２２は、データバス２３を介して互いに接続されている。また、撮像光学系１０、ＴＧ１２、操作部２０及びレリーズ釦２１は、ＣＰＵ２２と接続されている。
Among these, the AFE 13, the
撮像光学系１０は、焦点距離を調整するズームレンズと、撮像素子１１の撮像面での結像位置を調整するフォーカスレンズとを含む複数のレンズ群で構成されている。これにより、撮像光学系１０は、フォーカス調整や焦点距離の調整が可能である。なお、図１では、説明の便宜上１枚のレンズで撮像光学系１０を図示する。
The imaging
撮像素子１１は、入射光（被写体光）を撮像して画像を生成する。撮像素子１１は、例えばＣＭＯＳ型のカラーイメージセンサである。 The image sensor 11 captures incident light (subject light) and generates an image. The image sensor 11 is, for example, a CMOS type color image sensor.
図２は、撮像素子１１の有効画素領域１１ａの一例を示す図である。撮像素子１１は、入射光を光電変換する有効画素領域１１ａを有する。なお、図２では、説明の便宜上、有効画素領域１１ａを複数のブロック（エリア）に分割して例示している。撮像素子１１には、ＸＹアドレス指定により任意のラインの信号電荷（アナログの画像信号）の読み出しが可能である。撮像素子１１が出力するアナログの画像信号は、ＡＦＥ１３に入力される。 FIG. 2 is a diagram illustrating an example of the effective pixel region 11 a of the image sensor 11. The image sensor 11 has an effective pixel region 11a that photoelectrically converts incident light. In FIG. 2, for the sake of convenience of explanation, the effective pixel region 11a is illustrated as being divided into a plurality of blocks (areas). The image sensor 11 can read out signal charges (analog image signals) of an arbitrary line by XY addressing. An analog image signal output from the image sensor 11 is input to the AFE 13.
図３は、図２に示す有効画素領域１１ａの一部拡大図である。図３（ａ）は、図２に示すブロックＡの画素の配列例を示している。図３（ｂ）は、図３（ａ）の画素の配列に対して、さらに遮光部材（図中、斜線部分）を加えて描いている。遮光部材は、例えばアルミニウム等の金属の遮光膜１１ｂである。
FIG. 3 is a partially enlarged view of the effective pixel region 11a shown in FIG. FIG. 3A shows an example of the arrangement of pixels in the block A shown in FIG. FIG. 3B illustrates the pixel arrangement of FIG. 3A by adding a light shielding member (shaded portion in the figure). The light shielding member is, for example, a metal
本実施形態では、入射光を光電変換する第１画素と入射光の一部を通過させる遮光膜１１ｂをさらに設けた第２画素とが隣接する複合画素を備える。第１画素と第２画素とは、遮光膜１１ｂの有無を除いて同型の画素である。つまり、光電変換するフォトダイオードのサイズは、同じである。そして、撮像素子１１は、複合画素を有効画素領域１１ａの全体にわたって２次元状に配置している。
In the present embodiment, a first pixel that photoelectrically converts incident light and a second pixel that is further provided with a
なお、撮像素子１１の有効画素領域（撮像面）には、Ｒ（赤）、Ｇ（緑）Ｂ（青）の３種類のカラーフィルタが配置されている。図３（ａ）に示す通り、Ｇ１（緑色の第１画素）とＧ２（緑色の第２画素）とがペアとなって複合画素が形成される。また、同様にして、Ｒ１（赤色の第１画素）及びＲ２（赤色の第２画素）、Ｂ１（青色の第１画素）及びＢ２（青色の第２画素）が、各々ペアとなって複合画素が形成される。 Note that three types of color filters of R (red), G (green), and B (blue) are arranged in the effective pixel region (imaging surface) of the image sensor 11. As shown in FIG. 3A, G1 (green first pixel) and G2 (green second pixel) are paired to form a composite pixel. Similarly, R1 (red first pixel) and R2 (red second pixel), B1 (blue first pixel) and B2 (blue second pixel) are each paired as a composite pixel. Is formed.
すなわち、撮像素子１１は、Ｒ、Ｇ、Ｂの３色の複合画素を有効画素領域１１ａの全体にわたって例えばベイヤー配列で２次元状に配置している。なお、第１画素と第２画素とは、配置を入れ替えても良い。 In other words, the image sensor 11 has three-color composite pixels of R, G, and B arranged two-dimensionally, for example, in a Bayer array over the entire effective pixel region 11a. Note that the arrangement of the first pixel and the second pixel may be interchanged.
再び、図１の説明に戻り、ＴＧ１２は、撮像素子１１の電荷蓄積時間、画像信号の読み出しを制御する。ＡＦＥ１３は、撮像素子１１より入力されたアナログの画像信号に対してゲインコントロール、雑音除去等の処理を行なう。さらに、ＡＦＥ１３は、アナログの画像信号をデジタルの画像信号に変換する（Ａ／Ｄ変換）処理を行なう。ＡＦＥ１３が出力する画像信号は、画像データとしてＲＡＭ１６に一時的に記録される。
Returning to the description of FIG. 1 again, the TG 12 controls the charge accumulation time of the image sensor 11 and the reading of the image signal. The AFE 13 performs processing such as gain control and noise removal on the analog image signal input from the image sensor 11. Further, the AFE 13 performs a process of converting an analog image signal into a digital image signal (A / D conversion). The image signal output from the AFE 13 is temporarily recorded in the
信号処理部１４は、ＲＡＭ１６に一時的に記録された画像データに対して暗電流に起因するシェーディングの補正を行なう。そして、信号処理部１４は、そのシェーディングの補正を行なうため、暗電流算出部１４ａ及び補正部１４ｂを備える（詳細は後述する）。
The
なお、信号処理部１４は、内部に画像信号を一時記録する内部メモリ（不図示）を備えても良い。この場合、信号処理部１４は、内部メモリに一時的に記録された画像データに対して補正を行なう。
The
画像処理部１５は、ＲＡＭ１６に記録されている画像データを読み出し、各種の画像処理（階調変換処理、ホワイトバランス処理等）を施す。ＲＡＭ１６は、揮発性のメモリである。表示モニタ１７は、例えば液晶表示媒体により構成される。そして、表示モニタ１７は、再生用の静止画像や電子カメラ１の操作メニュー等を表示する。
The
フラッシュメモリ１８は、書き換え可能な不揮発性の半導体メモリである。フラッシュメモリ１８には、電子カメラ１の制御を行なうプログラム等が予め記録されている。ＣＰＵ２２は、このプログラムに従い、一例として後述の図５に示すフローの処理を実行する。
The flash memory 18 is a rewritable nonvolatile semiconductor memory. A program for controlling the
また、工場出荷段階で撮像素子１１の欠陥画素が検出された場合、フラッシュメモリ１８には、その欠陥画素の位置を示すアドレスが記録（登録）される。なお、ＣＰＵ２２は、暗電流の信号レベルに基づいて欠陥画素の検出処理を行なう。これにより、フラッシュメモリ１８には、後発的にＣＰＵ２２により検出された欠陥画素の位置を示すアドレスも記録される。
When a defective pixel of the image sensor 11 is detected at the factory shipment stage, an address indicating the position of the defective pixel is recorded (registered) in the flash memory 18. The
記録Ｉ／Ｆ部１９には、着脱自在の記録媒体３０を接続するためのコネクタ（不図示）が形成されている。そして、記録Ｉ／Ｆ部１９は、ＣＰＵ２２からの指示により、そのコネクタに接続された記録媒体３０にアクセスして静止画像の記録処理等を行なう。この記録媒体３０は、例えば、不揮発性のメモリカードである。図１では、コネクタに接続された後の記録媒体３０を示している。
The recording I /
操作部２０は、例えば、コマンド選択用のコマンドダイヤル、電源ボタン等（不図示）を有している。また、操作部２０は、例えば、電子カメラ１を操作するための指示入力を受け付ける。
The operation unit 20 includes, for example, a command dial for command selection, a power button, and the like (not shown). Further, the operation unit 20 receives an instruction input for operating the
レリーズ釦２１は、半押し操作（撮影前におけるオートフォーカス（ＡＦ）や自動露出（ＡＥ）等の動作開始の指示入力）と全押し操作（本画像を取得するための撮像動作開始）との指示入力とを受け付ける。 The release button 21 is an instruction for a half-press operation (an instruction input for starting an operation such as autofocus (AF) or automatic exposure (AE) before photographing) and a full-press operation (starting an imaging operation for acquiring a main image). Accept input.
ＣＰＵ２２は、電子カメラ１の統括的な制御を行なうプロセッサである。ＣＰＵ２２は、フラッシュメモリ１８に予め格納されたプログラムを実行することにより電子カメラ１の各部を制御する。また、ＣＰＵ２２は、本画像取得部２２ａ、判定部２２ｂとしても機能する。
The
本画像取得部２２ａは、ＴＧ１２を介して、撮像素子１１を駆動することにより、記録用の本画像を取得する。ここで、暗電流算出部１４ａは、本画像取得部２２ａが取得した本画像の画像データをＲＡＭ１６から読み出して解析する。具体的には、暗電流算出部１４ａは、第１画素と第２画素とから出力される各々異なる出力値と、互いの画素の受光面積比とに基づいて、複合画素の暗電流の値を算出する。以下、図４を用いて、暗電流算出部１４ａによる暗電流の算出方法について説明する。
The main image acquisition unit 22a acquires the main image for recording by driving the imaging element 11 via the TG 12. Here, the dark current calculation unit 14a reads the image data of the main image acquired by the main image acquisition unit 22a from the
図４は、複合画素の構成の一例を示す図である。図４では、一例として、図３に示す第１画素Ｇ１と第２画素Ｇ２とが隣接するＧ（緑）の複合画素の拡大図である。ここで、第２画素Ｇ２における遮光膜１１ｂには、開口が設けられている。従って、第２画素Ｇ２は、１００％遮光する遮光画素とは異なる。従来、有効画素領域内に遮光画素を配置した場合、欠陥画素扱いにして周辺画素を用いた補間処理により本画像データ用の出力値を算出する必要があった。本実施形態では、第２画素Ｇ２への入射光を１００％遮光しないため、欠陥画素扱いにしないで済む。ここで、第１画素Ｇ１は、入射光を遮光しないという意味で、便宜上、第１画素Ｇ１の開口率を１００％とする。
FIG. 4 is a diagram illustrating an example of the configuration of a composite pixel. FIG. 4 is an enlarged view of a G (green) composite pixel in which the first pixel G1 and the second pixel G2 illustrated in FIG. 3 are adjacent to each other as an example. Here, an opening is provided in the
例えば、第１画素Ｇ１と第２画素Ｇ２との開口率の比は、１０対１とする。この開口率の比は、換言すると、第１画素Ｇ１と第２画素Ｇ２との受光面積比となる。そのため、第１画素Ｇ１と第２画素Ｇ２との出力を示す光電荷量の比は、１０：１になる。 For example, the ratio of the aperture ratio between the first pixel G1 and the second pixel G2 is 10: 1. In other words, the ratio of the aperture ratio is a light receiving area ratio between the first pixel G1 and the second pixel G2. Therefore, the ratio of the photocharge amount indicating the output of the first pixel G1 and the second pixel G2 is 10: 1.
そこで、複合画素における第１画素及び第２画素の出力値と暗電流との関係は、以下の式（１）と式（２）が成立する。式（１）と式（２）では、例えば第１画素の出力値をＡとし、第２画素の出力値をＢとし、第２画素の信号成分の出力値をＳとし、暗電流の出力値をＤとする。 Therefore, the following expressions (1) and (2) are established for the relationship between the output values of the first pixel and the second pixel in the composite pixel and the dark current. In equations (1) and (2), for example, the output value of the first pixel is A, the output value of the second pixel is B, the output value of the signal component of the second pixel is S, and the dark current output value Is D.
出力値Ａ ＝ １０Ｓ＋Ｄ （１）
出力値Ｂ ＝ Ｓ＋Ｄ （２）
この（１）と（２）式より、Ｄ ＝（１０Ｂ−Ａ）／９ （３）
となり、複合画素の暗電流の出力値が得られる。ただし、出力値Ａと出力値Ｂとは、異なることとする。従って、暗電流算出部１４ａは、式（３）により、各々の複合画素における暗電流の出力値Ｄを算出することができる。
Output value A = 10S + D (1)
Output value B = S + D (2)
From these expressions (1) and (2), D = (10B−A) / 9 (3)
Thus, the output value of the dark current of the composite pixel is obtained. However, the output value A and the output value B are different. Therefore, the dark current calculation unit 14a can calculate the output value D of the dark current in each composite pixel by the equation (3).
判定部２２ｂは、暗電流算出部１４ａの算出結果に基づいて、シェーディングの補正を行なうか否かを判定する。具体的には、後述する最大オフセット補正値が予め設定した閾値より大きい場合、判定部２２ｂは、補正部１４ｂの補正を行なう判定をする。この閾値は、予めフラッシュメモリ１８に記録されている。つまり、判定部２２ｂは、フラッシュメモリ１８に記録されている閾値を読み出して、補正部１４ｂの補正を行なうか否かを判定する。 The determination unit 22b determines whether to perform shading correction based on the calculation result of the dark current calculation unit 14a. Specifically, when a maximum offset correction value to be described later is larger than a preset threshold value, the determination unit 22b determines to perform correction by the correction unit 14b. This threshold value is recorded in the flash memory 18 in advance. That is, the determination unit 22b reads the threshold value recorded in the flash memory 18 and determines whether or not the correction unit 14b is to be corrected.
補正部１４ｂは、判定部２２ｂの判定結果に応じてシェーディングの補正を行なう。すなわち、最大オフセット補正値が予め設定した閾値より大きい場合、補正部１４ｂは、シェーディングの補正を行なう（詳細は後述する）。 The correction unit 14b performs shading correction according to the determination result of the determination unit 22b. That is, when the maximum offset correction value is larger than a preset threshold value, the correction unit 14b performs shading correction (details will be described later).
次に、電子カメラ１の動作の一例を説明する。図５は、電子カメラ１の動作の一例を示すフローチャートである。以下の動作例では、電源オンの後、先ず、ＣＰＵ２２は、撮像素子１１を駆動させて本画像よりも解像度の低いスルー画像の撮像を開始すると共に、表示モニタ１７にスルー画像をいわゆるライブビュー表示させる。ここで、本実施形態では、一例としてライブビュー表示により、撮像素子１１の有効画素領域１１ａとその周辺を囲む回路等の温度が上昇していることを前提とする。その後、レリーズ釦２１が全押し操作の指示入力を受け付けた場合、ＣＰＵ２２は、図５に示すフローの処理を開始する。
Next, an example of the operation of the
ステップＳ１０１： ＣＰＵ２２の本画像取得部２２ａは、本画像の撮像を開始する。具体的には、先ず、本画像取得部２２ａは、半押し操作時の露光演算結果に基づく露出値によりシャッタ制御をＴＧ１２を介して行なう。そして、露光時間終了後、撮像素子１１は、本画像の画像信号の読み出しを行なう。ＡＦＥ１３は、撮像素子１１が読み出した本画像の画像信号をＡ／Ｄ変換する。ＡＦＥ１３が出力する本画像の画像信号は、本画像の画像データとしてＲＡＭ１６に一時的に記録される。この一連の処理により、本画像取得部２２ａは、本画像を取得する。
Step S101: The main image acquisition unit 22a of the
ステップＳ１０２：ＣＰＵ２２が信号処理部１４の暗電流算出部１４ａに指示を出すことにより、暗電流算出部１４ａは、欠陥画素の補正を行なう。具体的には、暗電流算出部１４ａは、フラッシュメモリ１８を参照して欠陥画素の位置を示すアドレスが登録されているか否かを参照する。欠陥画素の位置を示すアドレスが登録されている場合、暗電流算出部１４ａは、欠陥画素の出力値を周辺画素の出力値で補間処理を行なう。これにより、暗電流算出部１４ａは、上述した式（３）において、欠陥画素の出力値が暗電流の平均値の算出に及ぼす影響を排除することができる。
Step S102: When the
ステップＳ１０３：ＣＰＵ２２が暗電流算出部１４ａに指示を出すことにより、暗電流算出部１４ａは、図２に示す有効画素領域１１ａの各ブロック単位で、第１画素の出力値Ａの平均値と第２画素の出力値Ｂの平均値とを各々算出する。つまり、暗電流算出部１４ａは、図２に示す有効画素領域１１ａの各ブロックと対応関係にある本画像の画像データを解析して、出力値Ａの平均値と出力値Ｂの平均値とを各々算出する。具体的には、暗電流算出部１４ａは、図３（ｂ）を例にすると、ブロック内における第１画素の出力値Ａの平均値を算出すると共に、ブロック内における第２画素の出力値Ｂの平均値を算出する。ただし、各ブロックのＲ、Ｇ、Ｂの複合画素の数は、同じとする。ＣＰＵ２２は、各々の平均値をＲＡＭ１６に一時記録する。
Step S103: When the
ステップＳ１０４：ＣＰＵ２２が暗電流算出部１４ａに指示を出すことにより、暗電流算出部１４ａは、ＲＡＭ１６に一時記録された各々の平均値に基づいて、各ブロック単位でオフセット値（暗電流の平均値）を算出する。具体的には、暗電流算出部１４ａは、各ブロック単位で上記の式（３）を用いてオフセット値を算出する。ここで、式（３）の出力値Ａは、各ブロック単位の第１画素の平均値であり、出力値Ｂは、各ブロック単位の第２画素の平均値とする。なお、暗電流算出部１４ａは、例えば、ブロック内の各々の複合画素毎に式（３）を用いて暗電流の値を先に算出した後、ブロック内の各複合画素の暗電流に基づいて、オフセット値（暗電流の平均値）を算出しても良い。
Step S104: When the
ステップＳ１０５：ＣＰＵ２２が暗電流算出部１４ａに指示を出すことにより、暗電流算出部１４ａは、近似曲面を算出する。具体的には、暗電流算出部１４ａは、各ブロック単位のオフセット値に基づいて、オフセット値の分布を線形補間する近似曲面を算出する。ここでは、暗電流算出部１４ａは、公知の近似曲面算出用の数学的処理（例えば、特開２０００−２７６５８１号公報を参照）を適用することにより近似曲面を算出する。暗電流算出部１４ａが近似曲面を算出することにより、ステップＳ１０４で算出された各ブロック単位のオフセット値は、有効画素領域１１ａ内の各画素（複合画素）単位のオフセット値に展開される。そこで、本実施形態では、近似曲面による線形補間後のオフセット値をオフセット補正値として定義する。暗電流算出部１４ａが近似曲面を算出することにより、例えば、有効画素領域１１ａとその周辺を囲む回路等の温度差に起因する暗電流の影響が取り除かれる。
Step S105: When the
ステップＳ１０６：ＣＰＵ２２の判定部２２ｂは、最大オフセット補正値が閾値よりも大きいか否かを判定する。ここで、最大オフセット補正値とは、近似曲面におけるオフセット補正値の最大値であって、シェーディングの大きさの指標を表している。つまり、本実施形態では、最大オフセット補正値が閾値よりも大きい場合、判定部２２ｂは、画像に色ムラ等のノイズが発生すると判定する。一方、最大オフセット補正値が閾値以下の場合、判定部２２ｂは、シェーディングの影響は無視できることとする。そこで、最大オフセット補正値が閾値より大きい場合（ステップＳ１０６：Ｙｅｓ）、ＣＰＵ２２は、ステップＳ１０７の処理に移行する。一方、最大オフセット補正値が閾値以下の場合（ステップＳ１０６：Ｎｏ）、ＣＰＵ２２は、ステップＳ１０８の処理に移行する。この場合、補正部１４ｂは、不要なシェーディングの補正処理をしないで済む。
Step S106: The determination unit 22b of the
ステップＳ１０７：ＣＰＵ２２が信号処理部１４の補正部１４ｂに指示を出すことにより、補正部１４ｂは、暗電流に起因するシェーディングの補正を行なう。具体的には、本画像の画像データにおける各複合画素の出力値から、複合画素毎に対応する位置のオフセット補正値を本画像のデータから減算する。このシェーディングの補正により、近似曲面に基づく各オフセット補正値が減算されるので、補正部１４ｂは、撮影画面の下側がマゼンタになる等の色ムラを抑制することができる。また、補正部１４ｂは、シェーディングの補正により、横筋等のノイズも抑制することができる。
Step S107: When the
ステップＳ１０８：ＣＰＵ２２が画像処理部１５に指示を出すことにより、画像処理部１５は、補正処理後の本画像の画像データに対して、各種の画像処理（階調変換処理、ホワイトバランス処理等）を施す。この場合、画像処理部１５は、暗電流検出に用いた有効画素領域内の正常な画素（複合画素）を、欠陥画素扱いにして補間処理せずに済む。
Step S108: When the
ステップＳ１０９：ＣＰＵ２２は、画像処理後の本画像の画像データについて、記録Ｉ／Ｆ部１９を介して記録媒体３０に記録する。
Step S109: The
以上より、本実施形態の電子カメラ１は、有効画素領域周辺に配置されているＯＢ領域の各画素の出力を用いて、シェーディングの補正を行なわないで済む。また、電子カメラ１は、撮像素子１１の有効画素領域１１ａ内で画素全体をアルミニウム等で覆う遮光画素を用いずに、シェーディングの補正を行なうことができる。そのため、電子カメラ１は、暗電流検出に用いた有効画素領域内の正常な画素を、欠陥画素扱いにして本画像のデータに対して補間処理せずに済む。
As described above, the
従って、本実施形態の電子カメラ１によれば、撮像素子１１の温度が上昇した場合であっても、シェーディングの補正を精度良く行なうことができる。
（本実施形態の補足事項）
（１）本実施形態の電子カメラ１において、撮像素子１１は、一例としてＲ、Ｇ、Ｂの３色の複合画素を有効画素領域１１ａの全体にわたって２次元状に配置している。なお、撮像素子１１は、複合画素を有効画素領域１１ａの全体にわたって２次元状に配置しなくても良い。撮像素子１１は、例えば、有効画素領域１１ａの水平方向のラインに対して間隔を空けて複合画素をライン単位で配置しても良い。
Therefore, according to the
(Supplementary items of this embodiment)
(1) In the
（２）本実施形態の電子カメラ１において、Ｒ、Ｇ、Ｂのカラーフィルタを用いて複合画素を構成したが、これは一例であって、例えば、シアン、マゼンタ、イエローの補色フィルターを用いて複合画素を構成しても良い。
(2) In the
（３）本実施形態の電子カメラ１において、第１画素のフォトダイオードと第２画素のフォトダイオードとのサイズは、同じであった。ここで、第１画素のフォトダイオードと第２画素のフォトダイオードとのサイズは、異なっても良い。ただし、この場合、フォトダイオードのサイズが異なると、式（１）、（２）において、第１画素の暗電流量と第２画素の暗電流量は異なる。従って、式（２）において、フォトダイオードのサイズ比を補正係数として計算すれば良い。説明をわかりやすくするため、第２画素のフォトダイオードのサイズが第１画素のフォトダイオードの半分の場合、式（１）、（２）は、以下の通りになる。
(3) In the
出力値Ａ ＝（１０Ｓ＋Ｄ） （１）’
出力値Ｂ ＝（Ｓ＋αＤ） （２）’
ここで、αは補正係数であり、上記の事例では、０．５となる。
Output value A = (10S + D) (1) ′
Output value B = (S + αD) (2) ′
Here, α is a correction coefficient, and is 0.5 in the above case.
従って、出力値Ｂ＝（Ｓ＋０．５Ｄ） （２）’’
となり、この式（１）’と式（２）’’より、Ｄ＝（１０Ｂ − Ａ）／４が得られる。よって、第１画素のフォトダイオードと第２画素のフォトダイオードとのサイズが異なる場合には、本実施形態では、補正係数αを用いた上記の式（２）’ を適用すれば良い。
Therefore, the output value B = (S + 0.5D) (2) ''
From this equation (1) ′ and equation (2) ″, D = (10B−A) / 4 is obtained. Therefore, when the photodiodes of the first pixel and the photodiodes of the second pixel are different, in this embodiment, the above equation (2) ′ using the correction coefficient α may be applied.
１・・・電子カメラ、１１・・・撮像素子、２２ａ・・・本画像取得部、１４ａ・・・暗電流算出部、１４ｂ・・・補正部
DESCRIPTION OF
Claims (5)
前記撮像素子を駆動することにより、記録用の本画像を取得する本画像取得部と、
前記本画像を解析し、前記第１画素と前記第２画素とから出力される各々異なる出力値と、互いの画素の受光面積比とに基づいて、前記複合画素の暗電流の値を算出する暗電流算出部と、
前記暗電流算出部の算出結果に基づいて、前記本画像内の前記暗電流に起因するシェーディングを補正する補正部と
を備えることを特徴とする撮像装置。 Imaging having a plurality of composite pixels adjacent to a first pixel that photoelectrically converts incident light and a second pixel further provided with a light-shielding member that transmits a part of the incident light in an effective pixel region that receives the incident light Elements,
A main image acquisition unit for acquiring a main image for recording by driving the image sensor;
The main image is analyzed, and the dark current value of the composite pixel is calculated based on the different output values output from the first pixel and the second pixel and the light receiving area ratio of the pixels. A dark current calculation unit;
An imaging apparatus comprising: a correction unit that corrects shading caused by the dark current in the main image based on a calculation result of the dark current calculation unit.
前記撮像素子は、前記複合画素を前記有効画素領域の全体にわたって２次元状に配置し、
前記暗電流算出部は、前記有効画素領域を複数のブロックに分割し、各ブロック単位で前記暗電流の平均値を算出することを特徴とする撮像装置。 The imaging device according to claim 1,
The imaging device arranges the composite pixel in a two-dimensional manner over the entire effective pixel region,
The dark current calculation unit divides the effective pixel region into a plurality of blocks, and calculates an average value of the dark current for each block.
前記暗電流算出部は、前記各ブロック単位の前記平均値に基づいて、該平均値の分布を線形補間する近似曲面を算出し、
前記補正部は、前記近似曲面を用いて前記シェーディングを補正することを特徴とする撮像装置。 The imaging device according to claim 2,
The dark current calculation unit calculates an approximate curved surface that linearly interpolates the distribution of the average value based on the average value of each block unit,
The said correction | amendment part correct | amends the said shading using the said approximated curved surface, The imaging device characterized by the above-mentioned.
前記撮像素子の欠陥画素の位置を記録するメモリをさらに備え、
前記暗電流算出部は、前記メモリを参照して前記欠陥画素が存在する場合には、該欠陥画素の出力値を周辺画素の出力値で補間処理した後、前記暗電流の値又は前記平均値を算出することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 3,
A memory for recording a position of a defective pixel of the image sensor;
If the defective pixel exists with reference to the memory, the dark current calculation unit interpolates the output value of the defective pixel with the output value of the surrounding pixels, and then the dark current value or the average value An imaging device characterized by calculating
前記暗電流算出部の算出結果に基づいて、前記シェーディングの補正を行なうか否かを判定する判定部をさらに備え、
前記補正部は、前記判定部の判定結果に応じて前記シェーディングの補正を行なうことを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 4,
A determination unit that determines whether to correct the shading based on a calculation result of the dark current calculation unit;
The image correction apparatus, wherein the correction unit corrects the shading according to a determination result of the determination unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011052389A JP2012191378A (en) | 2011-03-10 | 2011-03-10 | Imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011052389A JP2012191378A (en) | 2011-03-10 | 2011-03-10 | Imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012191378A true JP2012191378A (en) | 2012-10-04 |
Family
ID=47084071
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011052389A Withdrawn JP2012191378A (en) | 2011-03-10 | 2011-03-10 | Imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012191378A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2833621A1 (en) * | 2013-08-01 | 2015-02-04 | Harvest Imaging bvba | Image sensor with shading detection |
| US9503698B2 (en) | 2013-08-01 | 2016-11-22 | Harvest Imaging bvba | Image sensor with shading detection |
| WO2017067351A1 (en) * | 2015-10-23 | 2017-04-27 | 比亚迪股份有限公司 | Black level cancellation method and system, and image sensor having system |
| JP2020065185A (en) * | 2018-10-18 | 2020-04-23 | 日本放送協会 | Imaging apparatus, streaking correction device, and imaging element |
-
2011
- 2011-03-10 JP JP2011052389A patent/JP2012191378A/en not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2833621A1 (en) * | 2013-08-01 | 2015-02-04 | Harvest Imaging bvba | Image sensor with shading detection |
| US9503698B2 (en) | 2013-08-01 | 2016-11-22 | Harvest Imaging bvba | Image sensor with shading detection |
| WO2017067351A1 (en) * | 2015-10-23 | 2017-04-27 | 比亚迪股份有限公司 | Black level cancellation method and system, and image sensor having system |
| CN106612402A (en) * | 2015-10-23 | 2017-05-03 | 比亚迪股份有限公司 | Black level eliminating method, black level eliminating system and image sensor provided with black level eliminating system |
| CN106612402B (en) * | 2015-10-23 | 2019-08-13 | 比亚迪股份有限公司 | Removing method, system and the imaging sensor with the system of black level |
| JP2020065185A (en) * | 2018-10-18 | 2020-04-23 | 日本放送協会 | Imaging apparatus, streaking correction device, and imaging element |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9392237B2 (en) | Image processing device and image processing method | |
| JP5219778B2 (en) | Imaging apparatus and control method thereof | |
| JP5946421B2 (en) | Imaging apparatus and control method thereof | |
| TWI520606B (en) | Image processing apparatus and control method for image processing apparatus | |
| US20120224086A1 (en) | Image capturing apparatus and control method thereof | |
| US10044957B2 (en) | Imaging device and imaging method | |
| JP6900227B2 (en) | Imaging device and driving method of imaging device | |
| JP5039588B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP2008113236A (en) | Shading correction method and device in imaging apparatus | |
| JP2007259135A (en) | Imaging apparatus and method of driving same | |
| JP6024102B2 (en) | Imaging device | |
| JP2011071709A (en) | Electronic camera | |
| JP2012191378A (en) | Imaging apparatus | |
| JP6529109B2 (en) | Imaging apparatus, image processing method | |
| JP2012191379A (en) | Imaging apparatus | |
| JP5775918B2 (en) | Imaging apparatus, image processing method, and image processing program | |
| JP6270400B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6364259B2 (en) | Imaging apparatus, image processing method, and image processing program | |
| JP2012029194A (en) | Electronic camera and exposure control program | |
| JP2017142484A (en) | Imaging device, controlling method of the same, program and storage medium | |
| JP4991435B2 (en) | Imaging device | |
| JP2007228152A (en) | Solid-state image pick up device and method | |
| JP2014165785A (en) | Imaging device, control method therefor, camera system, program and storage medium | |
| US20170155882A1 (en) | Image processing apparatus, image processing method, imaging apparatus, and recording medium | |
| JP2010166479A (en) | Imaging device and method of correcting imaged image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140513 |