JP5387167B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

従来から、撮像素子での半導体や配線の局所的な欠損に起因して、撮像素子の画素出力にライン単位で異常が生じることがある。また、撮像素子の欠陥画素の補正方法は、種々の提案がされている。一例として、特許文献１には、欠陥画素周辺の画素に対してメディアンフィルタを適用することで欠陥画素を補正する構成が開示されている。

特開２００３−５１９９０号公報

しかし、特許文献１の技術では、間引き読み出しされた画像にライン単位の欠陥が存在する場合、補正に使用する画素と欠陥画素との相関が低くなるので、適切な補正が比較的困難となる。また、特許文献１の技術では、ファームウェアによるため、補正処理の時間が長くかかってしまう。

そこで、本発明の目的は、間引き読み出しにおける撮像素子の欠陥ラインの影響を効果的に除去する手段を提供することにある。

一の態様の撮像装置は、撮像素子と、制御部とを備える。撮像素子は、複数の第１画素ラインと、複数の第２画素ラインとを含み、第１画素ラインと第２画素ラインとが第１方向と交差する第２方向に沿ってそれぞれ交互に配列される。第１画素ラインでは、第１分光特性を有するフィルタを介して入射した光に応じた画素信号を出力する画素と、第２分光特性を有するフィルタを介して入射した光に応じた画素信号を出力する画素とが第１方向に沿って第１配列パターンで配列される。第２画素ラインでは、第３分光特性を有するフィルタを介して入射した光に応じた画素信号を出力する画素と第４分光特性を有するフィルタを介して入射した光に応じた画素信号を出力する画素とが第１方向に沿って第１配列パターンとは異なる第２配列パターンで配列される。制御部は、第１画素ラインと第２画素ラインとを所定間隔おきに複数指定して設定される読出ラインから画素信号を出力させる指示を撮像素子に与える。また、制御部は、読出ラインのいずれかが画素の出力にライン単位で異常をきたす欠陥ラインであるときに、所定間隔の規則性を保ちつつ各々の読出ラインの設定位置を同一の配列パターンを有する画素ラインに変更する第１位置変更を実行する。また、制御部は、第１位置変更後の読出ラインのいずれかが画素の出力にライン単位で異常をきたす欠陥ラインであるときに、所定間隔の規則性を保ちつつ各々の読出ラインの設定位置を欠陥ラインに隣接する異なる配列パターンを有する画素ラインに変更する第２位置変更を実行する。

一の態様では、間引き読み出しにおける撮像素子の欠陥ラインの影響を効果的に除去できる。

一の実施形態における撮像装置の構成例を示すブロック図 一の実施形態における撮像素子の構成例を示す図 一の実施形態での動画撮影時の間引き読み出しのパターン例を説明する図 間隔の規則性を保ちつつ読み出し列の位置を変更した例を示す図 間隔の規則性を変化させて読み出し列の位置を変更した例を示す図 間隔の規則性を保ちつつ読み出し行の位置を変更した例を示す図 間隔の規則性を変化させて読み出し行の位置を変更した例を示す図

図１は、一の実施形態における撮像装置の構成例を示すブロック図である。撮像装置は、撮像光学系１１と、メカニカルシャッタ１２と、撮像素子１３と、ＡＦＥ１４と、タイミングジェネレータ（ＴＧ）１５と、バッファメモリ１６と、画像処理部１７と、メディアＩ／Ｆ１８と、制御部１９と、記憶部２０と、ユーザの各種操作を受け付ける操作部２１とを有している。なお、メカニカルシャッタ１２、ＴＧ１５、画像処理部１７、メディアＩ／Ｆ１８、記憶部２０、操作部２１は、それぞれ制御部１９と接続されている。

撮像光学系１１は、ズームレンズ、フォーカシングレンズを含む複数のレンズで構成されている。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。また、メカニカルシャッタ１２は、制御部１９の指示に応じて駆動するシャッタ羽根（先幕および後幕）によって、撮像素子１３の露光状態を制御する。例えば、メカニカルシャッタ１２は、先幕および後幕の走行間隔を変更することで撮像素子１３の露光時間を調整する。

撮像素子１３は、撮像光学系１１およびメカニカルシャッタ１２を通過した光束による被写体の像を撮像する。一の実施形態での撮像素子１３は、任意の画素の信号をアドレス指定によるランダムアクセスで読み出し可能なＣＭＯＳ型のイメージセンサで構成される。なお、撮像素子１３の出力はＡＦＥ１４に接続されている。

図２に一の実施形態における撮像素子１３の構成例を示す。撮像素子１３は、複数の画素３１と、垂直デコーダ３２と、水平デコーダ３３と、信号読み出し回路３４と、カラムアンプ３５とを有している。図２の例では、簡単のため８×８個の画素を示すが、実際の撮像素子１３の受光面にはさらに多数の受光素子が配列されることはいうまでもない。

撮像素子１３の受光面には、複数の画素３１がマトリックス状に配列されている。各画素３１は、入射光束を光電変換する受光素子と、受光素子により生成された信号電荷を蓄積する蓄積部と、蓄積された信号電荷に応じて画像信号を出力する増幅部などを含んでいる（受光素子、蓄積部、増幅部などの図示は省略する）。また、各画素３１には、公知のベイヤ配列にしたがって、赤色（Ｒ）、緑色（Ｇｒ，Ｇｂ）、青色（Ｂ）に対応するカラーフィルタがそれぞれ配置されている。そのため、各画素３１は、カラーフィルタの色に対応した画像信号をそれぞれ出力する（図２では、各画素３１にカラーフィルタの色を併せて表記する）。

また、撮像素子１３の受光面には、図２の横方向に延長する複数の走査線３６と、図２の縦方向に延長する複数のデータ出力線３７とがマトリクス状に配線されている。そして、各画素３１は、いずれかの走査線３６およびデータ出力線３７と接続されている。また、各々のデータ出力線３７の出力側にはカラムアンプ３５が接続されている。

垂直デコーダ３２には、各走査線３６の一端がそれぞれ接続されている。垂直デコーダ３２は、読み出し対象の行を指定するパルスを走査線３６から各画素３１に与える。水平デコーダ３３は、信号読み出し回路３４に対して、読み出し対象の列を指定するパルスを出力する。

信号読み出し回路３４には、データ出力線３７の出力端（下端）が接続されている。この信号読み出し回路３４は、データ出力線３７およびカラムアンプ３５を介して各画素３１から画像信号を読み出すとともに、読み出した画素３１の信号を外部に出力する。

図１に戻って、ＡＦＥ１４は、撮像素子１３の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１４は、相関二重サンプリングや、画像信号の増幅や、画像信号のＡ／Ｄ変換を行う。このＡＦＥ１４から出力される画像信号は画像処理部１７に入力される。

ＴＧ１５は、制御部１９の出力に基づいて、撮像素子１３、ＡＦＥ１４、画像処理部１７に対して、同期用の駆動信号をそれぞれ供給する。

バッファメモリ１６は、画像処理部１７に接続されたメモリであって、画像処理の前工程や後工程で画像のデータを一時的に記憶する。例えば、バッファメモリ１６は、揮発性の記憶媒体であるＳＤＲＡＭにより構成される。

画像処理部１７は、デジタルの画像信号に対して各種の画像処理（色補間処理、階調変換処理、ホワイトバランス調整など）を施す。なお、画像処理部１７の出力はメディアＩ／Ｆ１８に接続されている。

メディアＩ／Ｆ１８は、不揮発性の記憶媒体２２を接続するためのコネクタが形成されている。そして、メディアＩ／Ｆ１８は、コネクタに接続された記憶媒体２２に対してデータの書き込み／読み込みを実行する。上記の記憶媒体２２は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２２の一例としてメモリカードを図示する。

制御部１９は、撮像装置の動作を統括的に制御するプロセッサである。例えば、制御部１９は、プログラムにしたがって、静止画撮影モードにおける静止画撮影の動作や動画撮影モードにおける動画撮影の動作などを制御する。また、制御部１９は、ＴＧ１５を介して、全画素読み出しの指示や、間引き読み出しの指示を撮像素子１３に与える。

記憶部２０は、上記の静止画撮影モードおよび動画撮影モードの各プログラムや、上記の間引き読み出しのときに撮像素子１３の画素配列のうちから信号を読み出すラインの位置情報などを記憶した不揮発性のメモリである。

（動画撮影時の動作例）
以下、一の実施形態の撮像装置における動画撮影時の動作例を説明する。例えば、動画撮影モードでの撮像装置は、ユーザの動画撮影指示に応じて、不揮発性の記憶媒体２２への記録を伴う動画像の撮影を実行する。また、静止画撮影モードでの撮像装置は、ユーザの静止画撮影指示を待機しているときに、所定のフレームレートで観測用の画像（スルー画像）を動画撮影（ライブビュー撮影）する。なお、上記のスルー画像のデータは、例えば不図示のモニタでの動画表示や、制御部１９によるＡＦ演算やＡＥ演算で用いられる。

一の実施形態での制御部１９は、上記の動画撮影において、ＴＧ１５を介して撮像素子１３に間引き読み出しを指示する。この間引き読み出しでは、撮像素子１３は、画素配列の水平方向にライン単位で間引きをして、画素配列の所定間隔おきに設定される複数の読み出し列の画素から信号を出力する。図３は、一の実施形態での間引き読み出しのパターン例を説明する図である。この図３の例では、画素配列の水平方向に間引きを行い、縦方向に延在する１列分の読み出し列が画素配列の２列おきに等間隔で設定されている（水平方向の１／３間引き）。

ところで、撮像素子１３には、例えば、走査線３６、データ出力線３７、カラムアンプ３５の不良などにより、画素配列の縦方向または横方向に欠陥ライン（ライン単位で画素の出力に異常をきたす部分）が存在する場合もある。そして、間引き読み出しにおける読み出し列の位置が撮像素子１３の縦方向の欠陥ラインと一致する場合には、間引き読み出しで取得した画像に異常が生じる。

そのため、一の実施形態の制御部１９は、以下の要領で間引き読み出しでの読み出し列の位置の調整処理を行う。なお、上記の読み出し列の位置調整は、例えば撮像装置の工場検査の工程で行われる。

まず、制御部１９は、撮像素子１３の画素配列における欠陥ラインの位置情報を取得する。この欠陥ラインの位置情報は、撮像装置の工場検査の段階で予め生成されるものとする。

次に、制御部１９は、間引き読み出しでの読み出し列の初期設定位置と、欠陥ラインの位置とが一致するか否かを判定する。初期設定位置の読み出し列がいずれも欠陥ラインではない場合には、制御部１９は、読み出し列の初期設定位置を変更することなく調整処理を終了させる。

一方、読み出し列の位置と欠陥ラインの位置とが一致する場合、制御部１９は、読み出し列の間隔の規則性（水平方向の１／３間引き）を保ちつつ各々の読み出し列の設定位置を２列分ずらす（図４参照）。また、位置変更後の読み出し列が欠陥ラインに該当する場合、制御部１９は、さらに各々の読み出し列の設定位置を１列分ずらして上記工程を繰り返す。

なお、上記の場合においても、位置変更後の読み出し列が欠陥ラインとなるときには、制御部１９は、読み出し列の間隔の規則性を変化させて調整処理を行えばよい。例えば、制御部１９は、画素配列の４列おきに２列分の読み出し列を設定するパターン（水平方向の２／６間引き）に変更し、間引き読み出しの読み出し列の位置が欠陥ラインと重ならないように調整すればよい（図５参照）。

そして、位置変更後の読み出し列がいずれも欠陥ラインではない場合、制御部１９は、調整後の読み出し列の位置情報を記憶部２０に書き込んで調整処理を終了する。その後、動画撮影の間引き読み出しを行うときには、制御部１９は、記憶部２０に記憶された位置情報を参照して、間引き読み出しの読み出し列を指定する。これにより、動画撮影で間引き読み出しされた画像には欠陥ラインの出力が含まれなくなるため、高速処理が要求される動画撮影時において、欠陥ラインに起因する画像補正処理が不要となる。

（固定パターンノイズ除去での動作例）
次に、一の実施形態の撮像装置における固定パターンノイズ（ＦＰＮ）除去の動作例を説明する。

撮像素子１３で撮影した画像には、オフセット性のＦＰＮによる縦筋が現れることがある。このようなオフセット性のＦＰＮは、各カラムアンプ３５の特性差などに起因するものであり、撮像素子１３における各列の出力の不均一を反映している。

このようなオフセット性のＦＰＮを画像から除去するため、制御部１９は、メカニカルシャッタ１２を閉じた遮光状態で撮影を行ない、撮像素子１３のノイズ成分を記録した暗黒画像からＦＰＮデータを生成する。そして、画像処理部１７は、上記のＦＰＮデータに基づいて、非遮光状態で撮影された画像からＦＰＮの成分を減算することで、被写体の像に応じた信号成分からなる画像データを得ることができる。

ここで、ＦＰＮデータを生成するときには、制御部１９は、撮像素子１３の複数行（例えば１００行分）にわたる暗黒画像の出力をライン間で加算平均することで、ランダムノイズ成分を低減した１行分のＦＰＮデータを生成する。

ところで、ＦＰＮデータを生成するときに、上記の読み出し行の位置が撮像素子１３の横方向の欠陥ラインと一致する場合には、ＦＰＮデータが示すノイズ成分の誤差が大きくなり、ＦＰＮの除去が適切に行われなくなる。そのため、一の実施形態の制御部１９は、ＦＰＮデータに係る暗黒画像の間引き読み出しを行い、読み出し行の位置の調整を行う。なお、上記の読み出し行の位置調整は、例えば撮像装置の工場検査の工程で行われる。

具体的には、制御部１９は、撮像素子１３の画素配列における欠陥ラインの位置情報を取得するとともに、間引き読み出しでの読み出し行の初期設定位置と、欠陥ラインの位置とが一致するか否かを判定する。そして、読み出し行の位置と欠陥ラインの位置とが一致する場合、制御部１９は、読み出し行の間隔の規則性（例えば、垂直方向の１／３間引き）を保ちつつ各々の読み出し行の設定位置を１列分ずらす（図６参照）。位置変更後の読み出し行が欠陥ラインに該当する場合、制御部１９は、さらに各々の読み出し行の設定位置を１行分ずらして上記工程を繰り返す。また、位置変更後の読み出し行が欠陥ラインとなるときには、制御部１９は、動画撮影の場合と同様に、読み出し行の間隔の規則性を変化させて調整処理を行ってもよい（図７参照）。

そして、位置変更後の読み出し列がいずれも欠陥ラインではない場合には、制御部１９は、調整後の読み出し行の位置情報を記憶部２０に書き込んで調整処理を終了する。これにより、上記のＦＰＮデータを生成するときには欠陥ラインの出力が除外されるようになるので、撮像装置は精度の高いＦＰＮ除去処理を行うことが可能となる。

（実施形態の補足事項）
（１）上記実施形態では、撮像素子がＣＭＯＳである場合について説明した。しかし、本発明は、撮像素子がＣＣＤの場合にも適用しうる。一例として、複数の垂直ＣＣＤの出力を１つの水平ＣＣＤを介して読み出すイメージセンサにおいて、水平ＣＣＤの読み出しを指示するパルスのタイミングを調整することで、イメージセンサの任意の行を読み出すことが可能となる。そのため、ＣＣＤ型のイメージセンサにおいて、水平ＣＣＤの延長方向（水平方向）に延在する欠陥ラインがあり、垂直方向での行間引きを行うケースでは、上記実施形態と同様に、制御部は、読み出し行が欠陥ラインと重ならないように調整処理を行うようにしてもよい。

（２）上記実施形態では、動画撮影時に水平方向に間引きを行う例を説明したが、かかる場合にも垂直方向の間引きを行って画像を取得するようにしてもよい。

（３）なお、本発明において、撮像素子から全画素読み出しで画像の信号を取得した場合、欠陥ラインに対応する画素については周囲の画素の画素値を用いて補間処理を行えばよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１３…撮像素子、１５…タイミングジェネレータ（ＴＧ）、１９…制御部、２０…記憶部

Claims (4)

1. 第１分光特性を有するフィルタを介して入射した光に応じた画素信号を出力する画素と第２分光特性を有するフィルタを介して入射した光に応じた画素信号を出力する画素とが第１方向に沿って第１配列パターンで配列された複数の第１画素ラインと、第３分光特性を有するフィルタを介して入射した光に応じた画素信号を出力する画素と第４分光特性を有するフィルタを介して入射した光に応じた画素信号を出力する画素とが前記第１方向に沿って前記第１配列パターンとは異なる第２配列パターンで配列された複数の第２画素ラインとを含み、前記第１画素ラインと前記第２画素ラインとが前記第１方向と交差する第２方向に沿ってそれぞれ交互に配列された撮像素子と、
   前記第１画素ラインと前記第２画素ラインとを所定間隔おきに複数指定して設定される読出ラインから前記画素信号を出力させる指示を前記撮像素子に与える制御部とを備え、
   前記制御部は、前記読出ラインのいずれかが前記画素の出力にライン単位で異常をきたす欠陥ラインであるときに、前記所定間隔の規則性を保ちつつ各々の前記読出ラインの設定位置を同一の配列パターンを有する画素ラインに変更する第１位置変更を実行し、前記第１位置変更後の前記読出ラインのいずれかが前記画素の出力にライン単位で異常をきたす欠陥ラインであるときに、前記所定間隔の規則性を保ちつつ各々の前記読出ラインの設定位置を前記欠陥ラインに隣接する異なる配列パターンを有する画素ラインに変更する第２位置変更を実行することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記制御部は、前記第２位置変更の実行後の前記読出ラインのいずれかが前記欠陥ラインであるときに、前記所定間隔の規則性を変化させて前記読出ラインの設定位置を再変更することを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記制御部は、動画撮影またはライブビュー撮影のときに前記第１位置変更及び前記第２位置変更を実行することを特徴とする撮像装置。
4. 請求項１または請求項２に記載の撮像装置において、
   前記制御部は、固定パターンノイズの補正データを取得するときに前記第１位置変更及び前記第２位置変更を実行することを特徴とする撮像装置。

Images