JP6852453B2 - 画像信号処理装置および撮像装置 - Google Patents

Description

本発明は、画像信号処理装置、撮像装置に関する。

撮像装置では撮影画像を適切に表示するために種々の画像補正が行われる。黒レベル補正を適切に行うには画像の黒色の基準（黒基準レベル）が正確であることが望ましい。黒基準レベルを決定するために、オプティカルブラック領域の出力信号から黒基準レベルを求める必要があった。

オプティカルブラック領域の出力信号を用いて黒基準レベルを求める構成として特許文献１の構成が提案されている。この構成では、撮影毎（ショット毎）にオプティカルブラック領域からの画素信号を読み出すことで、撮影条件に応じた黒基準レベルを決定する。

特開２００７−２７８４５号公報

しかし、オプティカルブラック領域の出力信号から求められる黒基準レベルはショット毎にばらつくという問題があった。そこで、本発明はショット毎にばらつきを生じない黒基準レベルを決定することができる画像信号処理装置を提供することを目的としている。

本発明に係る撮像装置は、撮像素子の黒基準レベルを決定する黒基準レベル決定装置を備え、黒基準レベル決定装置は、複数のオフセット値に基づいて黒基準レベルを決定することを特徴とする。

本発明によれば、ショット毎にばらつきを生じない黒基準レベルを決定することができる画像信号処理装置を提供することが可能となる。

本発明の実施形態を適用した、撮像装置の電気的な構成を示す図である。 本発明の実施形態に係る、撮影条件と各オフセット値の関連を示す図である。 本発明の実施形態に係る、黒基準レベルの算出フローを示す図である。 本発明の実施形態に係る、ダークフレーム減算処理のフローを示す図である。

以下、本発明の一実施形態について図面を参照して説明する。図１は、本発明の実施形態を適用した、撮像装置の電気的な構成を示す図である。なお、撮像装置は、デジタル一眼レフカメラに限らず、例えば、ミラーレス一眼カメラ、コンパクトデジタルカメラ、カムコーダ、タブレット端末など、撮影機能を有する他の装置でもよい。

図１に示されるように、撮像装置１は、撮影レンズ系１０（撮影レンズ１１および１２）を備える。撮影レンズ１１と撮影レンズ１２との間には絞り１３が配置される。撮影レンズ系１０の後方にはミラー１４が配置される。被写体からの光は、撮影レンズ系１０を透過してミラー１４に入射される。ミラー１４の後方には、ミラー１４側から順に、フォーカルプレーンシャッタ１５、撮像素子１６が配置される。

ミラー１４の上方には、ミラー１４側から順に、拡散板１８、ペンタプリズム１７が配置される。ミラー１４に入射された被写体からの光の一部はミラー１４により拡散板１８へ向けて反射され、拡散板１８に、撮影レンズ系１０を通過した被写体からの光が結像する。ペンタプリズム１７は、接眼レンズ１９を通して撮影者の観察に適する像に再結像される。

操作スイッチ３２には、電源スイッチやレリーズスイッチ、撮影モードスイッチ、ズームスイッチなど、ユーザが撮像装置１を操作するために必要な各種スイッチが含まれる。ユーザにより電源スイッチが押されると、バッテリ（図示せず）から撮像装置１の各種回路に電源ラインを通じて電源供給が行われる。ＣＰＵ３１は撮像装置１全体の制御を行う。

ＣＰＵ３１は、測光センサ２６で測定された測光値に基づき適正露出が得られるように、絞り駆動回路２２を通して絞り１３を駆動制御する。状態表示装置３３（例えばＬＣＤ）には、撮影モードやその時点での適正な露光時間、Ｆ値等が表示される。

レリーズスイッチが半押し操作されると、ＣＰＵ３１は、ＡＦセンサ２５の検出結果に基づきレンズ制御回路２１を通して、光軸ＡＸ上における撮影レンズ１１と撮影レンズ１２の位置を制御する。これにより、撮影レンズ系１０の合焦状態が調整される。

レリーズスイッチが全押し操作されると、ＣＰＵ３１は、シャッタ駆動回路２４を通してフォーカルプレーンシャッタ１５を駆動制御すると共にミラー１４をクイックリターンさせる。すなわち、ＣＰＵ３１は、フォーカルプレーンシャッタ１５の先膜走行開始直前から後幕走行終了直後の期間、ミラー駆動回路２３を通してミラー１４を光軸ＡＸと平行な光路からミラー１４を退避させて撮影を行う。

撮影レンズ系１０を透過した被写体からの光は、フォーカルプレーンシャッタ１５が開いている期間、撮像素子１６の撮像面上で結像される。撮像素子１６は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサであり、撮像面上の各画素で結像した光学像を光量に応じた電荷として蓄積する。撮像素子１６は、蓄積された電荷を画素信号に変換してプリプロセッサ２７に出力する。

プリプロセッサ２７は、撮像素子１６の電荷蓄積動作及び画素信号の読み出し動作を制御するとともに、後述する黒基準レベル減算、ノイズ補正、欠陥補正等を行う。黒基準レベル減算に用いられる黒基準レベルは、ＤＳＰ４１で決定されてプリプロセッサ２７へ設定される。

ＤＳＰ４１は、所定の信号処理、例えば、画素信号に対して色補間、マトリクス演算、Ｙ／Ｃ分離等の所定の信号処理を施して輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを生成する。そして、ＤＳＰ４１は、撮像素子温度取得部２０からの温度情報を用いて以下に詳述する黒基準レベルの決定を行う。黒基準レベルが決定されると、画素信号に対する画像処理、例えばダークフレーム減算が行われる。

ＤＳＰ４１は、プリプロセッサ２７から入力される画像信号をＪＰＥＧ等の所定のフォーマットで圧縮する。メモリ４２は、例えば、ＤＳＰ４１による処理の実行時、処理データの一時的な保存場所として用いられる。なお、ＤＳＰ４１はＰＣインターフェイス４８を介してＰＣ４９でも制御され得る。

また、ＤＳＰ４１は、所定の信号処理を施して、フレームメモリ（図示せず）にフレーム単位で画像をバッファリングする。ＤＳＰ４１では再度のノイズ補正、例えば面減算処理や平滑化などのフィルタ補正処理が行われても良い。このフィルタ補正処理は、プリプロセッサ２７において行われても良い。

ＤＳＰ４１は、バッファリングされた信号を所定のタイミングで各フレームメモリから掃き出して所定のフォーマットのビデオ信号に変換し、モニタインターフェース４４を介して液晶駆動回路４５およびビデオ出力駆動回路５１に出力する。

カードインターフェース４３のカードスロットにはメモリカード５０が着脱可能に装填される。ＤＳＰ４１は、カードインターフェース４３を介してメモリカード５０と通信可能である。ＤＳＰ４１は、生成された撮影画像データをメモリカード５０、または撮像装置１に備えられる内蔵メモリ（図示せず）に保存する。

液晶駆動回路４５は、ＤＳＰ４１から出力される撮影画像データを基に液晶を変調制御すると共にバックライト４７を発光制御する。これにより、被写体の撮影画像がＬＣＤ４６の表示画面に表示される。ビデオ出力駆動回路５１では、撮影画像データをメモリ５２に保存する。

図２および図３を参照して、ＤＳＰ４１で行われる黒基準レベルの決定処理を説明する。本実施形態では、黒基準レベルの決定に際して複数のオフセット値が用いられる。オフセット値は撮影条件によって変化する。そこで、オフセット値の基準となる値を保持しておき、撮影条件に応じた補正係数を乗じることで、撮影条件に応じたオフセット値が求められる。このオフセット値を用いて撮影条件に応じた黒基準レベルが決定される。

本実施形態において算出される黒基準レベルを、数式で表すと以下のようになる。
黒基準レベル ＝ ａ₁Ｒ₁＋ａ₂Ｒ₂＋・・・ａ_nＲ_n （数１）
ここで、ａ_nは撮影条件に応じた補正係数であり、Ｒ_nは基準となるオフセット値である。以下では一例として、ｎが４のとき、すなわち、基準となるオフセット値Ｒ₁〜Ｒ₄を補正係数ａ₁〜ａ₄によって補正することで黒基準レベルが決定される構成を説明する。

図２は、各オフセット値と撮影条件との関連を示す図である。具体的には、表の左端の欄に示される４つの値（撮像素子に設定された黒レベル値に基づく第１のオフセット値Ｒ₁、撮像素子由来の第２のオフセット値Ｒ₂、暗電流に基づくオフセット第３の値Ｒ₃、撮影時の姿勢に応じた第４のオフセット値Ｒ₄）が、表の最上段に示される撮影条件（露光時間、感度、温度、駆動モード、撮影時の姿勢）のいずれかに応じて変化することを示す。

撮像素子に設定された黒レベル値に基づくオフセット値は実測値から定められた黒基準レベルとして出荷時に設定される値である。撮像素子由来のオフセット値は撮像素子の出力が理想的にゼロとなる状態で発生する電圧値である。暗電流に基づくオフセット値は暗電流そのものを指す。撮影時の姿勢に応じたオフセット値は、撮影時のカメラの姿勢に応じて撮像素子の周囲に生じる電磁界のノイズであり、例えば手振れ補正機構に起因する。

表中のＬ２、Ｌ３は露光時間に応じて変化する補正係数である。同様に、Ｇ１〜Ｇ４は感度に応じて変化し、Ｔ３は温度応じて、Ｍ１、Ｍ２は駆動モードに応じて、Ｐ４は撮影時のカメラの姿勢に応じて変化する補正係数である。なお、本実施形態における感度とは、撮像素子に関する感度を指し、必ずしもＩＳＯ感度とは一致しない。

補正係数、例えば感度の係数Ｇ１は、出荷時に複数の感度の下で実際に測定された複数の黒レベル値に基づくオフセット値から決定されてもよい。例えば、感度が高くなるにつれオフセット値の実測値が単調に増加するとき、感度に応じた係数Ｇ１は単調増加する。すなわち、補正係数Ｇ１は感度に応じた所定の近似関数に則り決定される。

同様に、係数Ｌ２は露光時間を変化させた複数の条件の下で測定された撮像素子由来のオフセット値の近似関数から決定されてもよい。他の係数Ｇ２〜Ｇ３もまた、露光時間、Ｔ３は温度、Ｍ１、Ｍ２は駆動モード、Ｐ４は撮影時のカメラの姿勢、を変化させた複数の条件の下で測定した各オフセット値の近似関数から決定されてもよい。なお、出荷時に１つの実測値しか有さない場合には、感度に応じて係数は線形に増減する。

図３は、（数１）に則して算出される黒基準レベルの算出フローを示す図である。ユーザがレリーズボタンを押下すると黒基準レベル決定処理は開始する。なお、ステップＳ３０１〜Ｓ３０４はいかなる順序で処理されてもよい。

ステップＳ３０１において、撮像素子に設定された黒レベル値に基づくオフセット値（以下第１のオフセット値とする）を算出する。図２に示されるように、第１のオフセット値は、撮像素子の感度、および駆動モードに依存する。

第１のオフセット値では、感度に応じた係数はＧ１、駆動モードに応じた係数はＭ１と決定される。このとき、第１のオフセット値は、実測値Ｒ１に撮影条件に応じた係数Ｇ１、Ｍ１を乗じた（Ｇ１＊Ｍ１）Ｒ₁である。これは、（数１）のａ₁Ｒ₁に相当する。

ステップＳ３０２において、撮像素子由来の第２のオフセット値を算出する（以下第２のオフセット値とする）。第２のオフセット値では、露光時間に応じた係数はＬ２、感度に応じた係数はＧ２、駆動モードに応じた係数はＭ２と決定される。このとき、第２のオフセット値は実測値Ｒ２に撮影条件に応じた係数Ｌ２、Ｇ２、Ｍ２を乗じた（Ｌ２＊Ｇ２＊Ｍ２）＊Ｒ₂である。これは、（数１）のａ₂Ｒ₂に相当する。

なお、図２の表中の△印は、駆動モードが露光時間に連動するケースを想定している。例えば、露光時間が２０秒を超えると自動的にスリープモードに移行する場合、レリーズ時に設定していた駆動モードから自動で切り換えられた駆動モードに応じて係数が決定される。

ステップＳ３０３では、暗電流に基づく第３のオフセット値（以下第３のオフセット値とする）が算出される。第３のオフセット値は、ベースとなる暗電流の値Ｒ₃に対して、露光時間、温度、感度に応じた係数を乗じて算出される。表中の係数を用いて表すと、（Ｌ３＊Ｇ３＊Ｔ３）＊Ｒ₃となる。これは、（数１）のａ₃Ｒ₃に相当する。

ステップＳ３０４では、撮影時の姿勢に応じた第４のオフセット値（以下第４のオフセット値）が算出される。第４のオフセット値は、同様に表中の係数を用いて表すと、（Ｇ４＊Ｐ４）＊Ｒ₄となる。これは、（数１）のａ₄Ｒ₄に相当する。

なお、各オフセット値が影響を受けない撮影条件に応じた係数は１として処理すればよい。例えば、第１のオフセット値では、露光時間、温度、撮影時の姿勢に応じた係数は１とする。

ステップＳ３０５では、上記ステップＳ３０１〜Ｓ３０４で算出された第１〜第４のオフセット値に基づいて黒基準レベルを決定する。例えば、第１〜第４のオフセット値すべてを加算して黒基準レベルとする。すなわち、（数１）に示されるようにａ₁Ｒ₁＋ａ₂Ｒ₂＋ａ₃Ｒ₃＋ａ₄Ｒ₄を黒基準レベルとする。または、少なくとも第１のオフセット値と第３のオフセット値を加算して得られる値（ａ₁Ｒ₁＋ａ₃Ｒ₃）を黒基準レベルとしてもよい。

本実施形態では、従来使用されていた撮像素子のオプティカルブラック領域の出力信号を用いずに、オフセット値の実測値に撮影条件に応じた所定の係数を乗じて算出したオフセット値のみに基づいて黒基準レベルを決定する。オプティカルブラック領域を使用しないことにより、具体的には次に挙げるいくつかの効果がある。

オプティカルブラック領域の出力信号には、信号読み出し時に発生するランダムノイズが含まれる。有効画素領域の黒基準レベルは、ランダムノイズを含むオプティカルブラック領域の出力信号から推定されるのでショット毎に変動（ばらつき）を生じる。これに対して、本実施形態ではオプティカルブラック領域をはじめ撮像素子のいずれの領域からも読み出しを行わないのでランダムノイズの影響を受けない黒基準レベルを決定できる。

他の効果として、オプティカルブラック領域の読み出しを行わないことにより、読み出し時間が不要となる。これにより、黒基準レベルを即座に決定することができるため、結果としてフレームレートを上げることができる。

また、オプティカルブラック領域は一般的に有効画素領域の付近に遮光状態で設けられているので、例えば逆光のショットではオプティカルブラック領域がわずかに露光して不要な出力を生じる。これに対して、本実施形態の構成ではオプティカルブラック領域を使用しないで黒基準レベルを決定するためショット間の黒基準レベルのばらつきを防止できる。

さらに、本実施形態では黒基準レベルを決定するためにオプティカルブラック領域やダミー領域を設ける必要がないので、撮像素子のチップサイズを小さくすることも可能である。

なお、実測値Ｒ₁〜Ｒ₄は変更され得る。例えば、出荷時の測定値に誤りがあった場合や、のちの測定技術の向上によって値が変更される場合が考えられる。このような場合は、例えばＰＣ４９（図１参照）から実測値Ｒ₁〜Ｒ₄を再設定すればよい。

図４を参照してダークフレーム減算を実施する画像補正処理を説明する。ステップＳ４０１〜Ｓ４０２の黒基準レベル減算処理はプリプロセッサ２７によって行われ、ステップＳ４０３のダークフレーム減算処理はＤＳＰ４１によって行われる。ここで、本露光フレーム信号とは、撮影された被写体の光学像の画素信号を指す。ダークフレーム信号とは、シャッタを閉じた状態で撮影したときの画素信号を指す。

図４では、撮像素子１６に設定されるゲインが所定の値を超えた場合のダークフレーム減算処理を説明する。撮像素子１６側のゲインが所定の値を超えた場合、撮像素子１６でのゲインに加えてプリプロセッサ２７でのゲインが必要になる。

プリプロセッサ２７でゲインをかけない場合は黒基準レベル減算を行わなくてもよいが、プリプロセッサ２７でゲインをかける場合は黒基準レベル減算が必要である。プリプロセッサ２７でゲインをかける場合、黒基準レベル減算をせずにゲインをかけると、黒基準レベルにもゲインがかかってしまうことでデータが飽和するおそれがあるからである。

ステップＳ４０１において、本露光フレーム信号から黒基準レベルを減算する。また、ダークフレーム信号から黒基準レベルを減算する。

ステップＳ４０２において、ステップＳ４０１において減算された、本露光フレーム信号とダークフレーム信号それぞれに対して、感度に応じたゲインをかける。

ステップＳ４０３において、本露光フレーム信号からダークフレーム信号を減算する、いわゆるダークフレーム減算が施される。

このように、感度に応じたゲインをかける（ステップＳ４０２）前に、黒基準レベルを予め減算しておくことで（ステップＳ４０１）、黒基準レベルの不要な増幅を防ぎ適切な黒基準レベルの減算が行われる。

なお、図示しないが、撮像素子１６において設定される感度に応じたゲインが所定の値よりも小さいとき、黒基準レベルの減算は行われない。本露光フレーム信号からダークフレーム減算を行ったのち、撮像素子の感度に応じたゲインをかけることで処理は終了する。ゲインが小さければ、黒基準レベルにゲインがかかっても本露光フレームに与える影響が小さいからである。所定の値は撮像素子１６でのゲインを考慮して定められればよい。

本実施形態では、プリプロセッサ２７をＤＳＰ４１の手前に設けることでＤＳＰ４１の負荷を低減する構成としているが、プリプロセッサ２７で行われる処理がＤＳＰ４１で行われてもよい。この場合、プリプロセッサ２７は撮像装置１には搭載されない。

１６ 撮像素子
２７ プリプロセッサ（画像補正手段、黒基準レベル減算手段）
４１ ＤＳＰ（画像補正手段、黒基準レベル決定手段）
Ｇ１〜Ｇ４、Ｌ２、Ｌ３、Ｍ１、Ｍ２、Ｐ４、Ｔ３ 係数
Ｒ₁〜Ｒ₄ 実測値

Claims (7)

1. 撮像素子の黒基準レベルを決定する黒基準レベル決定手段を備え、
   前記黒基準レベル決定手段は、複数のオフセット値に基づいて黒基準レベルを決定し、
   前記複数のオフセット値は、撮影条件ごとに定められ、
   前記撮影条件は、露光時間、感度、温度、駆動モード、撮影時の姿勢のいずれかを含み、
   前記複数のオフセット値は、撮像素子に設定された黒レベル値に基づく第１のオフセット値と、撮像素子由来の第２のオフセット値と、暗電流に基づく第３のオフセット値と、撮影時の姿勢に応じた第４のオフセット値のうち、少なくとも前記第１のオフセット値、および前記第３のオフセット値を含むことを特徴とする画像信号処理装置。
2. 前記オフセット値は、測定して記録された、前記複数のオフセット値の実測値から求められることを特徴とする請求項１に記載の画像信号処理装置。
3. 前記オフセット値は、前記複数のオフセット値の実測値に対して、前記撮影条件に応じた係数を乗じることにより算出されることを特徴とする請求項２に記載の画像信号処理装置。
4. 撮像素子の黒基準レベルを決定する黒基準レベル決定手段を備え、
   前記黒基準レベル決定手段は、前記撮像素子のオプティカルブラック領域の出力信号を用いずに算出した、複数のオフセット値に基づいて黒基準レベルを決定し、
   前記複数のオフセット値は、撮影条件ごとに定められ、
   前記撮影条件は、露光時間、感度、温度、駆動モード、撮影時の姿勢のいずれかを含み、
   前記複数のオフセット値は、撮像素子に設定された黒レベル値に基づく第１のオフセット値と、撮像素子由来の第２のオフセット値と、暗電流に基づく第３のオフセット値と、撮影時の姿勢に応じた第４のオフセット値のうち、少なくとも前記第１のオフセット値、および前記第３のオフセット値を含むことを特徴とする黒基準レベル決定手段を備える画像信号処理装置。
5. 画像補正手段をさらに備え、前記画像補正手段は、
   感度に応じたゲインが所定の値より大きいとき、
   本露光フレーム信号、およびダークフレーム信号に対して、前記黒基準レベルを減算して前記感度に応じたゲインをかけたのちに、ダークフレーム減算を行うことにより画素信号を補正し、
   感度に応じたゲインが所定の値より小さいとき、
   本露光フレーム信号に対してダークフレーム減算を行ったのちに、感度に応じたゲインをかけることにより前記画素信号を補正することを特徴とする請求項１に記載の画像信号処理装置。
6. 撮像素子の黒基準レベルを決定する黒基準レベル決定手段を備え、
   前記黒基準レベル決定手段は、複数のオフセット値に基づいて黒基準レベルを決定し、
   前記複数のオフセット値は、撮影条件ごとに定められ、
   前記撮影条件は、露光時間、感度、温度、駆動モード、撮影時の姿勢のいずれかを含み、
   前記複数のオフセット値は、撮像素子に設定された黒レベル値に基づく第１のオフセット値と、撮像素子由来の第２のオフセット値と、暗電流に基づく第３のオフセット値と、撮影時の姿勢に応じた第４のオフセット値のうち、少なくとも前記第１のオフセット値、および前記第３のオフセット値を含むことを特徴とする撮像装置。
7. 前記黒基準レベル決定手段は、黒基準レベル減算手段とは別に設けられており、
   前記黒基準レベル決定手段は、前記撮像素子から出力された画素信号を受信して前記黒基準レベルを決定したのちに、
   前記黒基準レベル減算手段が、前記画素信号から前記黒基準レベルを減算する処理を行い、
   前記黒基準レベル決定手段は、前記黒基準レベルを減算する処理が施された画像信号に対して所定の画像処理を行うことを特徴とする請求項６に記載の撮像装置。
   

Images