JP2018137624A - Image signal processing apparatus and imaging device - Google Patents
Image signal processing apparatus and imaging device Download PDFInfo
- Publication number
- JP2018137624A JP2018137624A JP2017031135A JP2017031135A JP2018137624A JP 2018137624 A JP2018137624 A JP 2018137624A JP 2017031135 A JP2017031135 A JP 2017031135A JP 2017031135 A JP2017031135 A JP 2017031135A JP 2018137624 A JP2018137624 A JP 2018137624A
- Authority
- JP
- Japan
- Prior art keywords
- reference level
- black reference
- offset value
- image
- black
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像信号処理装置、撮像装置に関する。 The present invention relates to an image signal processing device and an imaging device.
撮像装置では撮影画像を適切に表示するために種々の画像補正が行われる。黒レベル補正を適切に行うには画像の黒色の基準（黒基準レベル）が正確であることが望ましい。黒基準レベルを決定するために、オプティカルブラック領域の出力信号から黒基準レベルを求める必要があった。 In the imaging apparatus, various image corrections are performed in order to appropriately display the captured image. In order to appropriately perform the black level correction, it is desirable that the black reference (black reference level) of the image is accurate. In order to determine the black reference level, it is necessary to obtain the black reference level from the output signal in the optical black region.
オプティカルブラック領域の出力信号を用いて黒基準レベルを求める構成として特許文献１の構成が提案されている。この構成では、撮影毎（ショット毎）にオプティカルブラック領域からの画素信号を読み出すことで、撮影条件に応じた黒基準レベルを決定する。 As a configuration for obtaining a black reference level using an output signal in an optical black region, the configuration of Patent Document 1 has been proposed. In this configuration, the black reference level corresponding to the shooting condition is determined by reading out the pixel signal from the optical black area for each shooting (for each shot).
しかし、オプティカルブラック領域の出力信号から求められる黒基準レベルはショット毎にばらつくという問題があった。そこで、本発明はショット毎にばらつきを生じない黒基準レベルを決定することができる画像信号処理装置を提供することを目的としている。 However, there is a problem that the black reference level obtained from the output signal in the optical black region varies from shot to shot. SUMMARY OF THE INVENTION An object of the present invention is to provide an image signal processing apparatus capable of determining a black reference level that does not vary from shot to shot.
本発明に係る撮像装置は、撮像素子の黒基準レベルを決定する黒基準レベル決定装置を備え、黒基準レベル決定装置は、複数のオフセット値に基づいて黒基準レベルを決定することを特徴とする。 An imaging apparatus according to the present invention includes a black reference level determination apparatus that determines a black reference level of an image sensor, and the black reference level determination apparatus determines a black reference level based on a plurality of offset values. .
本発明によれば、ショット毎にばらつきを生じない黒基準レベルを決定することができる画像信号処理装置を提供することが可能となる。 According to the present invention, it is possible to provide an image signal processing apparatus capable of determining a black reference level that does not vary from shot to shot.
以下、本発明の一実施形態について図面を参照して説明する。図１は、本発明の実施形態を適用した、撮像装置の電気的な構成を示す図である。なお、撮像装置は、デジタル一眼レフカメラに限らず、例えば、ミラーレス一眼カメラ、コンパクトデジタルカメラ、カムコーダ、タブレット端末など、撮影機能を有する他の装置でもよい。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a diagram illustrating an electrical configuration of an imaging apparatus to which an embodiment of the present invention is applied. The imaging device is not limited to a digital single-lens reflex camera, and may be another device having a photographing function such as a mirrorless single-lens camera, a compact digital camera, a camcorder, or a tablet terminal.
図１に示されるように、撮像装置１は、撮影レンズ系１０（撮影レンズ１１および１２）を備える。撮影レンズ１１と撮影レンズ１２との間には絞り１３が配置される。撮影レンズ系１０の後方にはミラー１４が配置される。被写体からの光は、撮影レンズ系１０を透過してミラー１４に入射される。ミラー１４の後方には、ミラー１４側から順に、フォーカルプレーンシャッタ１５、撮像素子１６が配置される。
As shown in FIG. 1, the imaging device 1 includes a photographing lens system 10 (photographing
ミラー１４の上方には、ミラー１４側から順に、拡散板１８、ペンタプリズム１７が配置される。ミラー１４に入射された被写体からの光の一部はミラー１４により拡散板１８へ向けて反射され、拡散板１８に、撮影レンズ系１０を通過した被写体からの光が結像する。ペンタプリズム１７は、接眼レンズ１９を通して撮影者の観察に適する像に再結像される。
A
操作スイッチ３２には、電源スイッチやレリーズスイッチ、撮影モードスイッチ、ズームスイッチなど、ユーザが撮像装置１を操作するために必要な各種スイッチが含まれる。ユーザにより電源スイッチが押されると、バッテリ（図示せず）から撮像装置１の各種回路に電源ラインを通じて電源供給が行われる。ＣＰＵ３１は撮像装置１全体の制御を行う。
The operation switch 32 includes various switches necessary for the user to operate the imaging apparatus 1, such as a power switch, a release switch, a shooting mode switch, and a zoom switch. When the user presses the power switch, power is supplied from a battery (not shown) to various circuits of the imaging apparatus 1 through the power line. The
ＣＰＵ３１は、測光センサ２６で測定された測光値に基づき適正露出が得られるように、絞り駆動回路２２を通して絞り１３を駆動制御する。状態表示装置３３（例えばＬＣＤ）には、撮影モードやその時点での適正な露光時間、Ｆ値等が表示される。
The
レリーズスイッチが半押し操作されると、ＣＰＵ３１は、ＡＦセンサ２５の検出結果に基づきレンズ制御回路２１を通して、光軸ＡＸ上における撮影レンズ１１と撮影レンズ１２の位置を制御する。これにより、撮影レンズ系１０の合焦状態が調整される。
When the release switch is pressed halfway, the
レリーズスイッチが全押し操作されると、ＣＰＵ３１は、シャッタ駆動回路２４を通してフォーカルプレーンシャッタ１５を駆動制御すると共にミラー１４をクイックリターンさせる。すなわち、ＣＰＵ３１は、フォーカルプレーンシャッタ１５の先膜走行開始直前から後幕走行終了直後の期間、ミラー駆動回路２３を通してミラー１４を光軸ＡＸと平行な光路からミラー１４を退避させて撮影を行う。
When the release switch is fully pressed, the
撮影レンズ系１０を透過した被写体からの光は、フォーカルプレーンシャッタ１５が開いている期間、撮像素子１６の撮像面上で結像される。撮像素子１６は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサであり、撮像面上の各画素で結像した光学像を光量に応じた電荷として蓄積する。撮像素子１６は、蓄積された電荷を画素信号に変換してプリプロセッサ２７に出力する。
Light from the subject that has passed through the
プリプロセッサ２７は、撮像素子１６の電荷蓄積動作及び画素信号の読み出し動作を制御するとともに、後述する黒基準レベル減算、ノイズ補正、欠陥補正等を行う。黒基準レベル減算に用いられる黒基準レベルは、ＤＳＰ４１で決定されてプリプロセッサ２７へ設定される。
The
ＤＳＰ４１は、所定の信号処理、例えば、画素信号に対して色補間、マトリクス演算、Ｙ／Ｃ分離等の所定の信号処理を施して輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを生成する。そして、ＤＳＰ４１は、撮像素子温度取得部２０からの温度情報を用いて以下に詳述する黒基準レベルの決定を行う。黒基準レベルが決定されると、画素信号に対する画像処理、例えばダークフレーム減算が行われる。
The DSP 41 performs predetermined signal processing, for example, predetermined signal processing such as color interpolation, matrix calculation, and Y / C separation on the pixel signal to generate a luminance signal Y and color difference signals Cb and Cr. The DSP 41 uses the temperature information from the image sensor
ＤＳＰ４１は、プリプロセッサ２７から入力される画像信号をＪＰＥＧ等の所定のフォーマットで圧縮する。メモリ４２は、例えば、ＤＳＰ４１による処理の実行時、処理データの一時的な保存場所として用いられる。なお、ＤＳＰ４１はＰＣインターフェイス４８を介してＰＣ４９でも制御され得る。
The DSP 41 compresses the image signal input from the
また、ＤＳＰ４１は、所定の信号処理を施して、フレームメモリ（図示せず）にフレーム単位で画像をバッファリングする。ＤＳＰ４１では再度のノイズ補正、例えば面減算処理や平滑化などのフィルタ補正処理が行われても良い。このフィルタ補正処理は、プリプロセッサ２７において行われても良い。
The DSP 41 performs predetermined signal processing and buffers an image in a frame memory (not shown) in units of frames. The DSP 41 may perform noise correction again, for example, filter correction processing such as surface subtraction processing and smoothing. This filter correction process may be performed by the
ＤＳＰ４１は、バッファリングされた信号を所定のタイミングで各フレームメモリから掃き出して所定のフォーマットのビデオ信号に変換し、モニタインターフェース４４を介して液晶駆動回路４５およびビデオ出力駆動回路５１に出力する。
The DSP 41 sweeps out the buffered signal from each frame memory at a predetermined timing, converts it into a video signal of a predetermined format, and outputs it to the liquid
カードインターフェース４３のカードスロットにはメモリカード５０が着脱可能に装填される。ＤＳＰ４１は、カードインターフェース４３を介してメモリカード５０と通信可能である。ＤＳＰ４１は、生成された撮影画像データをメモリカード５０、または撮像装置１に備えられる内蔵メモリ（図示せず）に保存する。
A
液晶駆動回路４５は、ＤＳＰ４１から出力される撮影画像データを基に液晶を変調制御すると共にバックライト４７を発光制御する。これにより、被写体の撮影画像がＬＣＤ４６の表示画面に表示される。ビデオ出力駆動回路５１では、撮影画像データをメモリ５２に保存する。
The liquid
図２および図３を参照して、ＤＳＰ４１で行われる黒基準レベルの決定処理を説明する。本実施形態では、黒基準レベルの決定に際して複数のオフセット値が用いられる。オフセット値は撮影条件によって変化する。そこで、オフセット値の基準となる値を保持しておき、撮影条件に応じた補正係数を乗じることで、撮影条件に応じたオフセット値が求められる。このオフセット値を用いて撮影条件に応じた黒基準レベルが決定される。 With reference to FIG. 2 and FIG. 3, the black reference level determination process performed by the DSP 41 will be described. In the present embodiment, a plurality of offset values are used when determining the black reference level. The offset value varies depending on the shooting conditions. Therefore, an offset value corresponding to the shooting condition is obtained by holding a reference value of the offset value and multiplying by a correction coefficient corresponding to the shooting condition. Using this offset value, a black reference level corresponding to the shooting condition is determined.
本実施形態において算出される黒基準レベルを、数式で表すと以下のようになる。
黒基準レベル ＝ ａ1Ｒ1＋ａ2Ｒ2＋・・・ａnＲn （数１）
ここで、ａnは撮影条件に応じた補正係数であり、Ｒnは基準となるオフセット値である。以下では一例として、ｎが４のとき、すなわち、基準となるオフセット値Ｒ1〜Ｒ4を補正係数ａ1〜ａ4によって補正することで黒基準レベルが決定される構成を説明する。
The black reference level calculated in the present embodiment is expressed as follows:
Black reference level = a 1 R 1 + a 2 R 2 +... An R n (Equation 1)
Here, a n is a correction coefficient according to the imaging conditions, R n is an offset value as a reference. As an example, a configuration in which the black reference level is determined when n is 4, that is, by correcting the reference offset values R 1 to R 4 with the correction coefficients a 1 to a 4 will be described.
図２は、各オフセット値と撮影条件との関連を示す図である。具体的には、表の左端の欄に示される４つの値（撮像素子に設定された黒レベル値に基づく第１のオフセット値Ｒ1、撮像素子由来の第２のオフセット値Ｒ2、暗電流に基づくオフセット第３の値Ｒ3、撮影時の姿勢に応じた第４のオフセット値Ｒ4）が、表の最上段に示される撮影条件（露光時間、感度、温度、駆動モード、撮影時の姿勢）のいずれかに応じて変化することを示す。 FIG. 2 is a diagram illustrating a relationship between each offset value and the imaging condition. Specifically, four values shown in the leftmost column of the table (first offset value R 1 based on the black level value set in the image sensor, second offset value R 2 derived from the image sensor, dark current) The third offset value R 3 based on the above and the fourth offset value R 4 according to the posture at the time of photographing are the photographing conditions (exposure time, sensitivity, temperature, driving mode, photographing time) shown at the top of the table. It shows that it changes according to any of (posture).
撮像素子に設定された黒レベル値に基づくオフセット値は実測値から定められた黒基準レベルとして出荷時に設定される値である。撮像素子由来のオフセット値は撮像素子の出力が理想的にゼロとなる状態で発生する電圧値である。暗電流に基づくオフセット値は暗電流そのものを指す。撮影時の姿勢に応じたオフセット値は、撮影時のカメラの姿勢に応じて撮像素子の周囲に生じる電磁界のノイズであり、例えば手振れ補正機構に起因する。 The offset value based on the black level value set in the image sensor is a value set at the time of shipment as a black reference level determined from an actual measurement value. The offset value derived from the image sensor is a voltage value generated in a state where the output of the image sensor is ideally zero. The offset value based on the dark current indicates the dark current itself. The offset value corresponding to the posture at the time of shooting is electromagnetic field noise generated around the image sensor according to the posture of the camera at the time of shooting, and is caused by, for example, a camera shake correction mechanism.
表中のＬ２、Ｌ３は露光時間に応じて変化する補正係数である。同様に、Ｇ１〜Ｇ４は感度に応じて変化し、Ｔ３は温度応じて、Ｍ１、Ｍ２は駆動モードに応じて、Ｐ４は撮影時のカメラの姿勢に応じて変化する補正係数である。なお、本実施形態における感度とは、撮像素子に関する感度を指し、必ずしもＩＳＯ感度とは一致しない。 L2 and L3 in the table are correction coefficients that change according to the exposure time. Similarly, G1 to G4 change according to sensitivity, T3 denotes temperature, M1 and M2 denote driving modes, and P4 denotes a correction coefficient that changes according to the posture of the camera at the time of shooting. In addition, the sensitivity in this embodiment refers to the sensitivity regarding an image pick-up element, and does not necessarily correspond with ISO sensitivity.
補正係数、例えば感度の係数Ｇ１は、出荷時に複数の感度の下で実際に測定された複数の黒レベル値に基づくオフセット値から決定されてもよい。例えば、感度が高くなるにつれオフセット値の実測値が単調に増加するとき、感度に応じた係数Ｇ１は単調増加する。すなわち、補正係数Ｇ１は感度に応じた所定の近似関数に則り決定される。 The correction coefficient, for example, the sensitivity coefficient G1 may be determined from offset values based on a plurality of black level values actually measured under a plurality of sensitivities at the time of shipment. For example, when the actual value of the offset value increases monotonously as the sensitivity increases, the coefficient G1 corresponding to the sensitivity monotonously increases. That is, the correction coefficient G1 is determined according to a predetermined approximate function corresponding to the sensitivity.
同様に、係数Ｌ２は露光時間を変化させた複数の条件の下で測定された撮像素子由来のオフセット値の近似関数から決定されてもよい。他の係数Ｇ２〜Ｇ３もまた、露光時間、Ｔ３は温度、Ｍ１、Ｍ２は駆動モード、Ｐ４は撮影時のカメラの姿勢、を変化させた複数の条件の下で測定した各オフセット値の近似関数から決定されてもよい。なお、出荷時に１つの実測値しか有さない場合には、感度に応じて係数は線形に増減する。 Similarly, the coefficient L2 may be determined from an approximate function of an offset value derived from an image sensor measured under a plurality of conditions with different exposure times. The other coefficients G2 to G3 are also approximate functions of offset values measured under a plurality of conditions in which exposure time, T3 is temperature, M1 and M2 are drive modes, and P4 is the posture of the camera at the time of shooting. May be determined from When there is only one actual measurement value at the time of shipment, the coefficient increases or decreases linearly according to the sensitivity.
図３は、（数１）に則して算出される黒基準レベルの算出フローを示す図である。ユーザがレリーズボタンを押下すると黒基準レベル決定処理は開始する。なお、ステップＳ３０１〜Ｓ３０４はいかなる順序で処理されてもよい。 FIG. 3 is a diagram showing a calculation flow of the black reference level calculated in accordance with (Equation 1). When the user presses the release button, the black reference level determination process starts. Note that steps S301 to S304 may be processed in any order.
ステップＳ３０１において、撮像素子に設定された黒レベル値に基づくオフセット値（以下第１のオフセット値とする）を算出する。図２に示されるように、第１のオフセット値は、撮像素子の感度、および駆動モードに依存する。 In step S301, an offset value (hereinafter referred to as a first offset value) based on the black level value set in the image sensor is calculated. As shown in FIG. 2, the first offset value depends on the sensitivity of the image sensor and the drive mode.
第１のオフセット値では、感度に応じた係数はＧ１、駆動モードに応じた係数はＭ１と決定される。このとき、第１のオフセット値は、実測値Ｒ１に撮影条件に応じた係数Ｇ１、Ｍ１を乗じた（Ｇ１＊Ｍ１）Ｒ1である。これは、（数１）のａ1Ｒ1に相当する。 In the first offset value, the coefficient corresponding to the sensitivity is determined as G1, and the coefficient corresponding to the drive mode is determined as M1. At this time, the first offset value is (G1 * M1) R 1 obtained by multiplying the actual measurement value R1 by coefficients G1 and M1 corresponding to the photographing conditions. This corresponds to a 1 R 1 in (Equation 1).
ステップＳ３０２において、撮像素子由来の第２のオフセット値を算出する（以下第２のオフセット値とする）。第２のオフセット値では、露光時間に応じた係数はＬ２、感度に応じた係数はＧ２、駆動モードに応じた係数はＭ２と決定される。このとき、第２のオフセット値は実測値Ｒ２に撮影条件に応じた係数Ｌ２、Ｇ２、Ｍ２を乗じた（Ｌ２＊Ｇ２＊Ｍ２）＊Ｒ2である。これは、（数１）のａ2Ｒ2に相当する。 In step S302, a second offset value derived from the image sensor is calculated (hereinafter referred to as a second offset value). In the second offset value, the coefficient corresponding to the exposure time is determined to be L2, the coefficient corresponding to the sensitivity is G2, and the coefficient corresponding to the drive mode is determined to be M2. At this time, the second offset value multiplied by a factor L2, G2, M2 in accordance with the shooting conditions Found R2 (L2 * G2 * M2) * is R 2. This corresponds to a 2 R 2 in (Equation 1).
なお、図２の表中の△印は、駆動モードが露光時間に連動するケースを想定している。例えば、露光時間が２０秒を超えると自動的にスリープモードに移行する場合、レリーズ時に設定していた駆動モードから自動で切り換えられた駆動モードに応じて係数が決定される。 Note that Δ marks in the table of FIG. 2 assume a case where the drive mode is linked to the exposure time. For example, when the exposure time automatically exceeds 20 seconds, the coefficient is determined in accordance with the drive mode automatically switched from the drive mode set at the time of release when the mode is automatically shifted to the sleep mode.
ステップＳ３０３では、暗電流に基づく第３のオフセット値（以下第３のオフセット値とする）が算出される。第３のオフセット値は、ベースとなる暗電流の値Ｒ3に対して、露光時間、温度、感度に応じた係数を乗じて算出される。表中の係数を用いて表すと、（Ｌ３＊Ｇ３＊Ｔ３）＊Ｒ3となる。これは、（数１）のａ3Ｒ3に相当する。 In step S303, a third offset value based on dark current (hereinafter referred to as a third offset value) is calculated. The third offset value is calculated by multiplying the base dark current value R 3 by a coefficient corresponding to the exposure time, temperature, and sensitivity. When expressed using the coefficients in the table, (L3 * G3 * T3) * R 3 is obtained. This corresponds to a 3 R 3 in (Equation 1).
ステップＳ３０４では、撮影時の姿勢に応じた第４のオフセット値（以下第４のオフセット値）が算出される。第４のオフセット値は、同様に表中の係数を用いて表すと、（Ｇ４＊Ｐ４）＊Ｒ4となる。これは、（数１）のａ4Ｒ4に相当する。 In step S304, a fourth offset value (hereinafter referred to as a fourth offset value) corresponding to the posture at the time of shooting is calculated. Similarly, the fourth offset value is (G4 * P4) * R 4 when expressed using the coefficients in the table. This corresponds to a 4 R 4 in (Equation 1).
なお、各オフセット値が影響を受けない撮影条件に応じた係数は１として処理すればよい。例えば、第１のオフセット値では、露光時間、温度、撮影時の姿勢に応じた係数は１とする。 It should be noted that the coefficient corresponding to the shooting condition that does not affect each offset value may be processed as 1. For example, in the first offset value, the coefficient corresponding to the exposure time, temperature, and posture at the time of photographing is 1.
ステップＳ３０５では、上記ステップＳ３０１〜Ｓ３０４で算出された第１〜第４のオフセット値に基づいて黒基準レベルを決定する。例えば、第１〜第４のオフセット値すべてを加算して黒基準レベルとする。すなわち、（数１）に示されるようにａ1Ｒ1＋ａ2Ｒ2＋ａ3Ｒ3＋ａ4Ｒ4を黒基準レベルとする。または、少なくとも第１のオフセット値と第３のオフセット値を加算して得られる値（ａ1Ｒ1＋ａ3Ｒ3）を黒基準レベルとしてもよい。 In step S305, the black reference level is determined based on the first to fourth offset values calculated in steps S301 to S304. For example, all the first to fourth offset values are added to obtain the black reference level. That is, as shown in (Equation 1), a 1 R 1 + a 2 R 2 + a 3 R 3 + a 4 R 4 is set as the black reference level. Alternatively, a value (a 1 R 1 + a 3 R 3 ) obtained by adding at least the first offset value and the third offset value may be used as the black reference level.
本実施形態では、従来使用されていた撮像素子のオプティカルブラック領域の出力信号を用いずに、オフセット値の実測値に撮影条件に応じた所定の係数を乗じて算出したオフセット値のみに基づいて黒基準レベルを決定する。オプティカルブラック領域を使用しないことにより、具体的には次に挙げるいくつかの効果がある。 In the present embodiment, without using the output signal of the optical black region of the image sensor that has been used in the past, the black value is based only on the offset value calculated by multiplying the measured value of the offset value by a predetermined coefficient according to the shooting conditions. Determine the reference level. By not using the optical black region, specifically, there are several effects as follows.
オプティカルブラック領域の出力信号には、信号読み出し時に発生するランダムノイズが含まれる。有効画素領域の黒基準レベルは、ランダムノイズを含むオプティカルブラック領域の出力信号から推定されるのでショット毎に変動（ばらつき）を生じる。これに対して、本実施形態ではオプティカルブラック領域をはじめ撮像素子のいずれの領域からも読み出しを行わないのでランダムノイズの影響を受けない黒基準レベルを決定できる。 The output signal in the optical black region includes random noise that is generated during signal readout. Since the black reference level of the effective pixel area is estimated from the output signal of the optical black area including random noise, fluctuation (variation) occurs for each shot. In contrast, in the present embodiment, reading is not performed from any region of the image sensor including the optical black region, so that a black reference level that is not affected by random noise can be determined.
他の効果として、オプティカルブラック領域の読み出しを行わないことにより、読み出し時間が不要となる。これにより、黒基準レベルを即座に決定することができるため、結果としてフレームレートを上げることができる。 Another effect is that reading time is not required by not reading the optical black area. As a result, the black reference level can be determined immediately, and as a result, the frame rate can be increased.
また、オプティカルブラック領域は一般的に有効画素領域の付近に遮光状態で設けられているので、例えば逆光のショットではオプティカルブラック領域がわずかに露光して不要な出力を生じる。これに対して、本実施形態の構成ではオプティカルブラック領域を使用しないで黒基準レベルを決定するためショット間の黒基準レベルのばらつきを防止できる。 In addition, since the optical black region is generally provided in the vicinity of the effective pixel region in a light-shielded state, for example, in a backlit shot, the optical black region is slightly exposed to generate unnecessary output. On the other hand, in the configuration of the present embodiment, the black reference level is determined without using the optical black area, so that variations in the black reference level between shots can be prevented.
さらに、本実施形態では黒基準レベルを決定するためにオプティカルブラック領域やダミー領域を設ける必要がないので、撮像素子のチップサイズを小さくすることも可能である。 Furthermore, in this embodiment, since it is not necessary to provide an optical black area or a dummy area in order to determine the black reference level, the chip size of the image sensor can be reduced.
なお、実測値Ｒ1〜Ｒ4は変更され得る。例えば、出荷時の測定値に誤りがあった場合や、のちの測定技術の向上によって値が変更される場合が考えられる。このような場合は、例えばＰＣ４９（図１参照）から実測値Ｒ1〜Ｒ4を再設定すればよい。 The actual measurement values R 1 to R 4 can be changed. For example, there may be a case where there is an error in a measured value at the time of shipment, or a case where the value is changed due to later improvement of measurement technology. In such a case, for example, the actual measurement values R 1 to R 4 may be reset from the PC 49 (see FIG. 1).
図４を参照してダークフレーム減算を実施する画像補正処理を説明する。ステップＳ４０１〜Ｓ４０２の黒基準レベル減算処理はプリプロセッサ２７によって行われ、ステップＳ４０３のダークフレーム減算処理はＤＳＰ４１によって行われる。ここで、本露光フレーム信号とは、撮影された被写体の光学像の画素信号を指す。ダークフレーム信号とは、シャッタを閉じた状態で撮影したときの画素信号を指す。
An image correction process for performing dark frame subtraction will be described with reference to FIG. The black reference level subtraction process in steps S401 to S402 is performed by the
図４では、撮像素子１６に設定されるゲインが所定の値を超えた場合のダークフレーム減算処理を説明する。撮像素子１６側のゲインが所定の値を超えた場合、撮像素子１６でのゲインに加えてプリプロセッサ２７でのゲインが必要になる。
FIG. 4 illustrates dark frame subtraction processing when the gain set in the
プリプロセッサ２７でゲインをかけない場合は黒基準レベル減算を行わなくてもよいが、プリプロセッサ２７でゲインをかける場合は黒基準レベル減算が必要である。プリプロセッサ２７でゲインをかける場合、黒基準レベル減算をせずにゲインをかけると、黒基準レベルにもゲインがかかってしまうことでデータが飽和するおそれがあるからである。
When the
ステップＳ４０１において、本露光フレーム信号から黒基準レベルを減算する。また、ダークフレーム信号から黒基準レベルを減算する。 In step S401, the black reference level is subtracted from the main exposure frame signal. Also, the black reference level is subtracted from the dark frame signal.
ステップＳ４０２において、ステップＳ４０１において減算された、本露光フレーム信号とダークフレーム信号それぞれに対して、感度に応じたゲインをかける。 In step S402, a gain corresponding to the sensitivity is applied to each of the main exposure frame signal and the dark frame signal subtracted in step S401.
ステップＳ４０３において、本露光フレーム信号からダークフレーム信号を減算する、いわゆるダークフレーム減算が施される。 In step S403, so-called dark frame subtraction is performed to subtract the dark frame signal from the main exposure frame signal.
このように、感度に応じたゲインをかける（ステップＳ４０２）前に、黒基準レベルを予め減算しておくことで（ステップＳ４０１）、黒基準レベルの不要な増幅を防ぎ適切な黒基準レベルの減算が行われる。 In this way, by subtracting the black reference level in advance (step S401) before applying a gain corresponding to the sensitivity (step S402), the black reference level is prevented from being unnecessarily amplified, and an appropriate black reference level is subtracted. Is done.
なお、図示しないが、撮像素子１６において設定される感度に応じたゲインが所定の値よりも小さいとき、黒基準レベルの減算は行われない。本露光フレーム信号からダークフレーム減算を行ったのち、撮像素子の感度に応じたゲインをかけることで処理は終了する。ゲインが小さければ、黒基準レベルにゲインがかかっても本露光フレームに与える影響が小さいからである。所定の値は撮像素子１６でのゲインを考慮して定められればよい。
Although not shown, the black reference level is not subtracted when the gain corresponding to the sensitivity set in the
本実施形態では、プリプロセッサ２７をＤＳＰ４１の手前に設けることでＤＳＰ４１の負荷を低減する構成としているが、プリプロセッサ２７で行われる処理がＤＳＰ４１で行われてもよい。この場合、プリプロセッサ２７は撮像装置１には搭載されない。
In the present embodiment, the
１６ 撮像素子
２７ プリプロセッサ（画像補正手段、黒基準レベル減算手段）
４１ ＤＳＰ（画像補正手段、黒基準レベル決定手段）
Ｇ１〜Ｇ４、Ｌ２、Ｌ３、Ｍ１、Ｍ２、Ｐ４、Ｔ３ 係数
Ｒ1〜Ｒ4 実測値
16
41 DSP (image correction means, black reference level determination means)
G1~G4, L2, L3, M1, M2, P4, T3 coefficient R 1 to R 4 Found
Claims (10)
前記黒基準レベル決定手段は、複数のオフセット値に基づいて黒基準レベルを決定することを特徴とする画像信号処理装置。 Comprising black reference level determining means for determining the black reference level of the image sensor;
The black reference level determining means determines a black reference level based on a plurality of offset values.
前記黒基準レベル決定手段は、前記撮像素子のオプティカルブラック領域の出力信号を用いずに算出した、複数のオフセット値に基づいて黒基準レベルを決定することを特徴とする黒基準レベル決定手段を備える画像信号処理装置。 Comprising black reference level determining means for determining the black reference level of the image sensor;
The black reference level determination unit includes a black reference level determination unit that determines a black reference level based on a plurality of offset values calculated without using an output signal of an optical black region of the image sensor. Image signal processing device.
感度に応じたゲインが所定の値より大きいとき、
本露光フレーム信号、およびダークフレーム信号に対して、前記黒基準レベルを減算して前記感度に応じたゲインをかけたのちに、ダークフレーム減算を行うことにより画素信号を補正し、
感度に応じたゲインが所定の値より小さいとき、
本露光フレーム信号に対してダークフレーム減算を行ったのちに、感度に応じたゲインをかけることにより前記画素信号を補正することを特徴とする請求項１に記載の画像信号処理装置。 The image correction unit further includes an image correction unit,
When the gain corresponding to the sensitivity is larger than the predetermined value,
After subtracting the black reference level and applying a gain corresponding to the sensitivity to the main exposure frame signal and the dark frame signal, the pixel signal is corrected by performing dark frame subtraction,
When the gain corresponding to the sensitivity is smaller than the predetermined value,
2. The image signal processing apparatus according to claim 1, wherein the pixel signal is corrected by applying a gain corresponding to sensitivity after performing dark frame subtraction on the main exposure frame signal.
前記黒基準レベル決定手段は、複数のオフセット値に基づいて黒基準レベルを決定することを特徴とする撮像装置。 Comprising black reference level determining means for determining the black reference level of the image sensor;
The black reference level determining means determines the black reference level based on a plurality of offset values.
前記黒基準レベル決定手段は、前記撮像素子から出力された画素信号を受信して前記黒基準レベルを決定したのちに、
前記黒基準レベル減算手段が、前記画素信号から前記黒基準レベルを減算する処理を行い、
前記黒基準レベル決定手段は、前記黒基準レベルを減算する処理が施された画像信号に対して所定の画像処理を行うことを特徴とする請求項９に記載の撮像装置。 The black reference level determining means is provided separately from the black reference level subtracting means,
The black reference level determining means, after receiving the pixel signal output from the image sensor and determining the black reference level,
The black reference level subtracting means performs a process of subtracting the black reference level from the pixel signal,
The image pickup apparatus according to claim 9, wherein the black reference level determination unit performs predetermined image processing on an image signal that has been subjected to processing for subtracting the black reference level.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017031135A JP6852453B2 (en) | 2017-02-22 | 2017-02-22 | Image signal processing device and imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017031135A JP6852453B2 (en) | 2017-02-22 | 2017-02-22 | Image signal processing device and imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018137624A true JP2018137624A (en) | 2018-08-30 |
| JP6852453B2 JP6852453B2 (en) | 2021-03-31 |
Family
ID=63367167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017031135A Active JP6852453B2 (en) | 2017-02-22 | 2017-02-22 | Image signal processing device and imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6852453B2 (en) |
-
2017
- 2017-02-22 JP JP2017031135A patent/JP6852453B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP6852453B2 (en) | 2021-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7636114B2 (en) | Image sensing apparatus and control method capable of performing dust correction | |
| JP4398389B2 (en) | Imaging device | |
| JP6572524B2 (en) | Imaging apparatus and imaging method | |
| JP2007214892A (en) | Imaging apparatus | |
| JP2013038497A (en) | Imaging apparatus capable of long-term exposure | |
| WO2015049990A1 (en) | Imaging device and imaging method | |
| JP4391782B2 (en) | Noise reduction device for digital camera | |
| JP6656584B2 (en) | Imaging equipment | |
| JP2009027622A (en) | Exposure amount calculation device, imaging apparatus and exposure amount calculation program | |
| US9041846B2 (en) | Imaging device, finder, and display method therefor | |
| US8149291B2 (en) | Image capture apparatus, control method thereof, program, and storage medium | |
| JP2012095116A (en) | Imaging device and control method of the same | |
| JP6852453B2 (en) | Image signal processing device and imaging device | |
| JP2012063664A (en) | Photometric device and electronic camera | |
| JP2001078083A (en) | Exposure time controller for electronic still camera | |
| JP5423140B2 (en) | Photometric device and imaging device | |
| JP5482444B2 (en) | Imaging device | |
| JP2004356734A (en) | Camera | |
| JP2006325067A (en) | Imaging apparatus and control method of imaging apparatus | |
| JP2007101860A (en) | Imaging apparatus | |
| JP4286077B2 (en) | Camera with flash light control function | |
| JP2015104102A (en) | Photographing apparatus and pixel signal processing method | |
| JP3171662B2 (en) | Image information input device for microscope | |
| JPH06130463A (en) | Exposure computing device for camera | |
| JPH10161171A (en) | Shake correcting device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201013 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210209 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210222 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6852453 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |