JP6568368B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、撮像装置及びその制御方法に関するものである。

近年、デジタルカメラなどの撮像装置の分野においては、ＣＣＤの代わりに画素の読出し速度、低消費電力の点で優れているＣＭＯＳセンサーを用いることが多くなってきている。ＣＣＤでは、高輝度被写体時を撮影したときに、垂直方向のスミアが発生することが広く知られている。一方、ＣＭＯＳセンサーでは、その構造上、高輝度被写体を撮影した場合に垂直方向のスミアは発生しない。しかし、撮像素子内の回路の出力レベルが変動し、結果的に同一ラインの水平方向に横筋、横帯状のレベル変動、いわゆる横スミアが発生することがある。撮影している高輝度被写体の輝度レベルにより内部の回路の変動レベルが変わるため、横スミアを良好に補正するためには、撮影している高輝度被写体の輝度レベルを正確に把握する必要がある。

特許文献１では、撮像装置で高輝度被写体を撮影した場合、有効画素部の出力信号のうち、あるしきい値以上の信号レベルを持つ画素数を１行毎にカウントし、そのカウント数によって横スミアのレベルを推定し、有効画素部の出力信号を行ごとに補正している。

特開２０１４−１６５６７６号公報

撮像素子からの映像信号はアナログデジタル（Ａ／Ｄ）変換されてデジタル値となっており、撮像素子からの出力信号のうち高輝度被写体を撮影すると、映像信号のデジタル値は最大値に張り付いてしまい、白飛び現象となる。

そのため、特許文献１のように、あるしきい値以上の信号をカウントする際に、白飛びしている部分については、Ａ／Ｄ変換前の詳細な信号レベルがわからないことになる。特に、撮像素子内で横スミアが発生するブロックの後段でアナログゲインをかけたり、Ａ／Ｄ変換の電圧変換レンジが、Ａ／Ｄ変換部に入力されるアナログ信号の信号電圧レベルよりも小さい場合に、横スミア量と信号のデジタル値が比例しない状態となってしまう。そのため、正確な補正ができなくなってしまう。

本発明は、上述した課題に鑑みてなされたものであり、その目的は、撮像装置において、高輝度被写体からの光が入射した場合の横筋ノイズや横帯ノイズを正確に補正できるようにすることである。

本発明に係わる撮像装置は、入射した光を電気信号に変換する画素が行列状に配置された画素部と、前記画素部の画素列ごとに設けられた列出力線と、それぞれの前記画素から読み出され、前記列出力線から出力される信号を所定の信号レベルにクリップするクリップ手段と、前記クリップ手段によりクリップされた信号をＡＤ変換するＡＤ変換手段と、前記クリップ手段によりクリップする信号レベルを、前記ＡＤ変換手段の変換レンジの最大値に応じて変化させる制御手段と、を備え、前記制御手段は、前記クリップ手段によりクリップする信号レベルを前記ＡＤ変換手段の変換レンジの最大値よりも小さい値に設定し、前記ＡＤ変換手段によりＡＤ変換された信号を、クリップした前記信号レベルと前記変換レンジの最大値との差分に対応するデジタルゲインをかけて補正することを特徴とする。

本発明によれば、撮像装置において、高輝度被写体からの光が入射した場合の横筋ノイズや横帯ノイズを正確に補正することが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。 列Ａ／Ｄコンバータの構成及び動作タイミングを示す図。 横スミアとその補正方法を示す概略図。 光量と各部の出力レベル及び横スミア量を示すグラフ。 スミア補正回路の構成を示すブロック図。 第１の実施形態における信号クリップ回路を示す図。 第２の実施形態における信号クリップ回路を示す図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。図１において、撮像素子１は、並列型Ａ／Ｄ変換器を実装したＣＭＯＳ型のイメージセンサである。画像処理ＬＳＩ２は、撮像素子１が出力する画像データに対し、ＯＢクランプをはじめとした補正に加え、ホワイトバランス処理や、ガンマ処理などの画像処理を行う。そして、処理された画像データを最終的に記録媒体に記録する。また、画像処理ＬＳＩ２はＣＰＵを内蔵しており、このＣＰＵにより撮像装置の動作モードに応じて撮像素子１と通信（例えばシリアル通信）し、制御を行う。本実施形態の撮像装置では、画像処理ＬＳＩ２で取得した画像データに対して横筋ノイズ（行方向の筋状ノイズ）、横帯ノイズ（行方向の帯状ノイズ）などの横スミアの補正を行う。横スミアの補正方法については後述する。

また、撮像素子１は、画素部１１０、垂直走査回路１２０、列アンプ（列ＡＭＰ）１３０、ランプ回路１４０、列Ａ／Ｄコンバータ（列ＡＤＣ）１５０、水平転送回路１６０、信号処理回路１７０、外部出力回路１８０、コントローラ回路３００を備える。コントローラ回路３００は、画像処理ＬＳＩ２とのインターフェース回路であり、シリアル通信などを用いて画像処理ＬＳＩ２のＣＰＵからの撮像素子１への制御を受け付ける。

画素部１１０は、光電変換により入射光量に応じた電荷を発生し電圧（電気信号）として出力する画素が行列状に配置されている。画素部１１０の各画素列にはそれぞれ列出力線１１２が配置されている。各画素を構成する光電変換素子（フォトダイオード）の表面には、各々にカラーフィルタとマイクロレンズが実装されている。本実施形態では、Ｒ(赤)，Ｇ(緑)，Ｂ(青)の３色のカラーフィルタを用いることで、いわゆるＲＧＢ原色カラーフィルタによるベイヤー配列の周期構造をとっているが、必ずしもこの構成に限られるわけではない。

タイミング制御部１００は、撮像素子１の各ブロックに対して動作ＣＬＫを供給するとともに、各ブロックにタイミング信号を供給し、動作を制御する。垂直走査回路１２０は、画素部１１０に２次元に配置された各画素の信号電圧を、１フレーム中に順次読み出すためのタイミング制御を行う。一般的に、映像信号は１フレーム中に上部の行から下部の行にかけて、行単位で順次読み出される。

列アンプ１３０は、画素部１１０から読みだされた信号を電気的に増幅するために用いられる。列アンプ１３０で信号を増幅することにより、それ以降のランプ回路１４０や、列ＡＤＣ１５０の出すノイズに対して、画素の信号レベルを増幅し、等価的にＳＮを改善する。ただし、画素部１１０の出すノイズに対し、ランプ回路１４０や列ＡＤＣ１５０の出すノイズが十分小さい回路構造においては、列アンプ１３０は必ずしも必須ではない。

定電圧回路４００は、列アンプ１３０への入力の前で、映像信号線に固定の電圧を与えることができる。本実施形態では定電圧回路と記載するが、ある一定電圧で信号をクリップするようなクリップ回路などでも良い。

ランプ回路１４０は、時間方向に一定のスロープ（傾き）を持つランプ形状電圧信号を発生できる信号発生器である。ランプの傾きは、リファレンス電圧で制御することができる。リファレンス電圧は撮像素子の外部から供給してもよいし、シリアル通信などで定電圧回路４００を制御して供給してもよい。

列ＡＤＣ１５０は、列アンプ１３０からの読み出し信号と、ランプ回路１４０との信号を比較する比較部１５１を有し、その比較によりＡ／Ｄ変換された信号をカウンタ・ラッチ回路１５２で保持する。詳細な動作については後述する。カウンタ・ラッチ回路１５２に保持された１行分の画像データは端の画素データから、水平転送回路１６０により順次読み出される。

水平転送回路１６０の出力は信号処理回路１７０に入力される。信号処理回路１７０はデジタル的に信号処理を行う回路であり、デジタル処理で一定量のオフセット値を加えるほかに、シフト演算や乗算を行うことで、簡易にゲイン演算を行うことができる。また、画素部１１０に、意図的に遮光した画素領域を設けることで、これを利用したデジタルの黒レベルクランプ動作を行っても良い。

信号処理回路１７０の出力は、外部出力回路１８０に入力される。外部出力回路１８０はシリアライザー機能を有し、信号処理回路１７０からの多ビットの入力パラレル信号をシリアル信号に変換する。また、このシリアル信号を、例えばＬＶＤＳ信号等に変換し、外部デバイス(この場合、画像処理ＬＳＩ２)に出力して、画像情報の受け渡しを行う。

次に、撮像素子１の列ＡＤＣ１５０を用いたＡＤ変換について図２（ａ）、（ｂ）を用いて説明する。列ＡＤＣ１５０は、内部に比較部１５１とカウンタ・ラッチ回路１５２を有しており、比較部１５１は、列アンプ１３０の出力信号ＶＡＭＰと、ランプ回路１４０から出力されるランプ信号ＶＲＡＭＰとを比較し、結果を出力する。カウンタ・ラッチ回路１５２は、カウンタをリセットしてから、比較部１５１の出力が反転するまでの期間、カウント動作を行う。この動作により、列アンプ１３０からの読み出し信号レベルに比例したカウント値を得られるため、このカウント値がＡ／Ｄ変換結果となる。

図２（ｂ）は、列アンプ１３０の出力信号ＶＡＭＰとランプ回路１４０の出力であるランプ信号ＶＲＡＭＰのスロープの関係を示した図である。カウンタがリセットされる時刻ｔ０から、Ａ点で比較部１５１の出力が反転する時刻ｔ１までの期間のカウント値がＡＤ変換値となる。ランプ信号ＶＲＡＭＰのスロープを変えることで、比較部１５１の出力が反転するタイミングが変化し、カウント時間が変わることで、Ａ／Ｄ変換した結果のゲインを変えることができる。

一般的に、単位画素のＡ／Ｄ変換においては、まずＮレベル（ノイズレベル）の読出し及びＡ／Ｄ変換を行い、そのあとにＳレベル（ノイズレベル＋信号レベル）の読出し及びＡ／Ｄ変換を行う。この２つの信号について、信号処理回路１７０でＳレベル−Ｎレベルの差分演算を行い、ノイズ成分を打ち消すことで、Ｓ／Ｎの良い映像信号を得ることができる。

次に、撮像素子１で発生する横スミア現象について説明する。図３（ａ）は、中央に非常に高輝度の部分が存在し、高輝度部分の周囲が一定のグレーであるような被写体を撮影した場合の画像イメージである。図３（ａ）のような撮影状況で横スミアが発生すると、図３（ｂ）のように中央の高輝度部分の水平方向が、周囲の映像に比べて暗くなってしまう。

点線で示す部分について、１ラインずつ映像信号レベルをプロットすると、図３（ａ）では信号レベルが一定であるが、図３（ｂ）では映像信号レベルにＢで示すような段差が発生してしまう。この段差のレベルが横スミアの大きさであり、段差のレベルが大きいほど違和感の大きい映像となる。このような横スミアは、撮像素子によって、発生するレベルや、撮像素子内での発生箇所が異なる。

本実施形態では、横スミアが列アンプ１３０で発生する場合について考える。また、横スミア量が、列アンプ１３０に入力される１ライン分の映像入力信号レベルの積分値に比例している場合を考える。図４（ａ）は、横軸に撮像素子に入射する光量、縦軸にレベルをとって、入射光量に対する列アンプ１３０の出力信号レベルと横スミア量を示したグラフである。グラフの実線は列アンプ１３０の出力信号レベルを表し、点線は横スミア量を表している。光量が増えてくると、列アンプ１３０の出力レベルは飽和レベルに達し、それとともに横スミア量も飽和する。この飽和レベルは列アンプ１３０の主に電源電圧に依存する。

図４（ｂ）は、図４（ａ）と同様のグラフであるが、実線が列アンプ１３０の出力信号を列ＡＤＣ１５０でＡ／Ｄ変換した後の信号レベルを表している。図４（ａ）の列アンプ１３０の出力信号レベルが飽和する光量よりも小さい光量でＡ／Ｄ変換後の信号レベルが飽和している。これは、列アンプ１３０の出力信号のリニアな部分をデジタル信号に変換するために、列アンプ１３０の出力信号レベルが飽和する光量よりも小さい光量でＡ／Ｄ変換後のデジタルデータが飽和するように変換ゲインを設定しているためである。

図５は、画像処理ＬＳＩ２の横スミアの補正回路の一例を示すブロック図である。また、図３（ｃ）は、映像信号のレベルと補正値のレベルを表した図である。図５のライン遅延回路２０１は、入力された映像信号をメモリに一時的に保存し、後段の加算器２０５へ出力するタイミングを調整する。レベル検出部２０２では、入力された映像信号（画素信号）のレベルを検出し、ライン積分回路２０３では映像信号の１ラインずつのレベルを積分もしくは平均し、１ライン分の映像信号レベルの合計を算出する。この値は、図３（ｃ）のライン積分値に相当する。

ライン積分回路２０３で算出された１ラインごとの映像信号レベルの合計に対し、乗算器２０４である固定の係数を乗算し、その乗算結果を補正値とする。この値は、図３（ｃ）の補正値に相当する。加算器２０５では、ライン遅延回路２０１により遅延された映像信号の各ラインと、乗算器２０４で算出された１ラインごとの補正値を加算することで、図３（ｃ）の補正値加算後の映像信号レベルに示す通り、横スミアの段差をキャンセルする。

ここで、図４（ａ）、（ｂ）に示すように、ＡＤ変換された後の映像信号は、ＡＤ変換する前の映像信号よりも少ない光量で飽和レベルに達する。これに対し、横スミアが飽和する光量は、ＡＤ変換される前の映像信号が飽和する光量と同じである。そのため、ＡＤ変換された後の映像信号では、画面中央の高輝度部のレベルがすでに飽和しているとき、図４（ｃ）に示すように、ＡＤ変換後の映像信号レベルと横スミア量が比例しない不整合領域が発生することとなる。

図６は、第１の実施形態の信号クリップ回路とその周辺回路を示すブロック図である。本実施形態では、図６に示すように、列アンプ１３０の出力と列ＡＤＣ１５０の間に信号クリップ回路１３１を設けている。信号クリップ回路１３１は、所定の信号電圧レベルを超えたアナログ信号をクリップする回路である。クリップする信号電圧レベルは、信号クリップ回路１３１に直接制御電圧を入れて設定しても良いし、シリアル通信で設定しても良い。また、図６では、信号クリップ回路１３１は、列アンプ１３０とは別に設けているように記載しているが、列アンプ１３０内に出力信号クリップ回路１３１を搭載しても良い。

ここで、ＡＤ変換後の映像信号レベルと横スミア量が比例しない不整合領域を発生させないために、信号をクリップする電圧レベルは、ＡＤ変換のレンジを決定するランプ信号ＶＲＡＭＰの最大値に合わせるように設定する。

図４（ｄ）は、信号クリップ回路１３１により、列ＡＤＣ１５０に入力されるアナログ電圧の最大振幅をランプ信号ＶＲＡＭＰの最大値に合わせるように設定した場合の、ＡＤ変換後の映像信号レベルと横スミア量を示す図である。列ＡＤＣ１５０から出力される映像信号のデジタルデータと、横スミア量が比例しているため、図５に示した補正回路で良好な補正が可能となる。

ただし、アナログ回路の特性上、電気回路や撮像素子内部の配線のインピーダンスなどにより、完全にクリップレベルをランプ信号ＶＲＡＭＰの最大値と一致させられない場合も考えられる。その場合は、クリップレベルをランプ信号ＶＲＡＭＰの最大値よりも少し小さめに設定し、後段の画像処理ＬＳＩ２でデジタルゲインをかけるようにしてもよい。なお、上述の画像処理ＬＳＩ２による補正回路は一例であり、例えば特許文献１に開示されているＯＢクランプを用いる補正などでも同様の効果が得られる。

以上述べたように、撮像素子の列アンプ部で発生する横スミアに対し、列アンプ出力のクリップレベルと調整可能なＡＤ変換レンジを制御することで、横スミアを良好に補正することが可能となる。

（第２の実施形態）
第１の実施形態で説明したように、列アンプ１３０で発生する横スミアであれば、列アンプ１３０に信号クリップ回路を設けることで効果が得られる。しかし、列アンプ１３０よりも前の画素部で発生した横スミアに対しては、列アンプ１３０の出力信号をクリップしても、横スミア量とＡＤ変換後のデータが一致しない。これを解決する方法を第２の実施形態で示す。

図７は、第２の実施形態の信号クリップ回路と周辺回路を示すブロック図である。本実施形態では、図７に示すように、画素部１１０からのアナログ信号を列アンプ１３０に入力する列出力線１１２に信号クリップ回路１１１を接続している。この場合は、列アンプ１３０のゲインをｎ倍とすると、この列アンプ１３０のゲインのｎ倍分を逆算して、列出力線のクリップ量を決定する必要がある。ＡＤ変換のレンジを決定するランプ信号ＶＲＡＭＰの最大値をａとすれば、列出力線１１２の信号クリップ回路１１１でクリップする電圧振幅はａ／ｎとなる。

このようなクリップ量を設定することで、列ＡＤＣ１５０に入力されるアナログ電圧の最大値をＡＤ変換のレンジを決定するランプ信号ＶＲＡＭＰに合わせることができる。そのため、ＡＤ変換値が飽和すると横スミア量も飽和するようになるため、横スミアを図５に示すような補正回路で良好に補正することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：固体撮像素子、２：画像処理ＬＳＩ、１００：タイミング制御部、１１０：画素部、１２０：垂直走査回路、１３０：列アンプ、１４０：ランプ回路、１５０：列ＡＤＣ、１５１：比較部、１５２：カウンタ・ラッチ回路、３００：コントローラ回路

Claims (12)

1. 入射した光を電気信号に変換する画素が行列状に配置された画素部と、
   前記画素部の画素列ごとに設けられた列出力線と、
   それぞれの前記画素から読み出され、前記列出力線から出力される信号を所定の信号レベルにクリップするクリップ手段と、
   前記クリップ手段によりクリップされた信号をＡＤ変換するＡＤ変換手段と、
   前記クリップ手段によりクリップする信号レベルを、前記ＡＤ変換手段の変換レンジの最大値に応じて変化させる制御手段と、を備え、
   前記制御手段は、前記クリップ手段によりクリップする信号レベルを前記ＡＤ変換手段の変換レンジの最大値よりも小さい値に設定し、前記ＡＤ変換手段によりＡＤ変換された信号を、クリップした前記信号レベルと前記変換レンジの最大値との差分に対応するデジタルゲインをかけて補正することを特徴とする撮像装置。
2. 前記制御手段は、前記クリップ手段によりクリップする信号レベルを、前記ＡＤ変換手段の変換レンジの最大値よりわずかに小さい値となるように設定することを特徴とする請求項１に記載の撮像装置。
3. 前記列出力線から出力される信号を増幅する列アンプをさらに備え、前記クリップ手段は、前記列アンプの後段に設けられていることを特徴とする請求項１または２に記載の撮像装置。
4. 前記列出力線から出力される信号を増幅する列アンプをさらに備え、前記クリップ手段は、前記列アンプの内部に設けられていることを特徴とする請求項１または２に記載の撮像装置。
5. 前記列出力線から出力される信号を増幅する列アンプをさらに備え、前記クリップ手段は、前記画素部と前記列アンプの間に設けられていることを特徴とする請求項１または２に記載の撮像装置。
6. 前記ＡＤ変換手段は、リファレンス電圧を変えることによりＡＤ変換のレンジを調整可能であることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記ＡＤ変換手段によりＡＤ変換された信号を前記画素部の行ごとに補正する補正手段をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記補正手段は、行ごとの画素信号をライン積分する積分手段と、前記積分手段により得られたライン積分値から補正値を算出する算出手段と、積分に用いた行の画素信号に前記補正値を加算する加算手段とを有することを特徴とする請求項７に記載の撮像装置。
9. 前記補正手段は、前記画素部に入射する高輝度の光により引き起こされる行方向の筋状または帯状のノイズを補正することを特徴とする請求項７または８に記載の撮像装置。
10. 入射した光を電気信号に変換する画素が行列状に配置された画素部と、前記画素部の画素列ごとに設けられた列出力線とを備える撮像装置を制御する方法であって、
    それぞれの前記画素から読み出され、前記列出力線から出力される信号を所定の信号レベルにクリップするクリップ工程と、
    前記クリップ工程においてクリップされた信号をＡＤ変換するＡＤ変換工程と、
    前記クリップ工程においてクリップする信号レベルを、前記ＡＤ変換工程における変換レンジの最大値に応じて変化させる制御工程と、を有し、
    前記制御工程では、前記クリップ工程においてクリップする信号レベルを前記ＡＤ変換工程における変換レンジの最大値よりも小さい値に設定し、前記ＡＤ変換工程においてＡＤ変換された信号を、クリップした前記信号レベルと前記変換レンジの最大値との差分に対応するデジタルゲインをかけて補正することを特徴とする撮像装置の制御方法。
11. 請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
12. 請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images