JP2007053634A - 撮像装置、欠陥画素補正装置および方法 - Google Patents

Abstract

【課題】 複数の画素の信号加算を伴う読み出しモードを選択可能な固体撮像素子を用いた場合に、欠陥画素の検出工程の複雑化や回路規模の増大を招くことなく、常に欠陥画素の信号を適切に補正できるようにする。
【解決手段】 欠陥画素情報保持部１４０は、全画素を順次読み出す通常モードの選択時に検出された欠陥画素の位置情報を記憶する。欠陥画素補正部１６０は、欠陥画素情報保持部１４０に記憶された位置情報に基づく補正タイミングで、固体撮像素子による撮像画像信号中の対応する画素の信号を補正する。補正信号生成部１３０は、画素加算モードの選択時には、欠陥画素情報保持部１４０に記憶された位置情報を、画素加算モードでの固体撮像素子による撮像画像信号の画素配列に一致するように変換し、変換後の位置情報に基づいて欠陥画素補正部１６０の補正タイミングを出力する。
【選択図】 図２

Description

本発明は、固体撮像素子を用いて画像を撮像する撮像装置、およびこの撮像装置における欠陥画素補正装置、欠陥画素補正方法に関し、特に、複数の画素の信号加算を伴う読み出しモードを選択可能な固体撮像素子を用いた撮像装置、およびこの撮像装置における欠陥画素補正装置、欠陥画素補正方法に関する。

一般に、デジタルスチルカメラやデジタルビデオカメラなどに搭載される固体撮像素子では、欠陥の生じた画素を含む場合が多い。このような欠陥は、暗電流の発生やフォトダイオードの異常などの様々な原因により発生し、欠陥が生じた画素は異常なレベルの信号を出力する。このため、従来の撮像装置では、欠陥画素の出力信号に対してその欠陥の程度に応じた補正処理を施し、画質の劣化を防止していた。例えば、出荷時などに欠陥画素の位置や欠陥の程度を検出して、これらの情報をメモリに格納しておき、撮影時にそれらの情報に基づいて欠陥画素の信号を周囲の画素の信号を用いて補間していた。

一方、近年、撮像素子の多画素化が進んでいるが、消費電力を低減するために、撮像素子の駆動周波数をできるだけ低くしたいという要求がある。また、撮像装置の付加機能として通常より高速な画面レートで撮像したいという要求もある。このような要求から、撮像素子上の同色フィルタに対応する複数の画素の信号を撮像素子の回路上で加算して読み出す、あるいは画素を間引いて読み出すといった読み出し手法が試みられている。さらに、近年多く採用されているＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサなどのいわゆるＸＹ走査型イメージセンサは、構造的にこのような読み出し手法を実現しやすいという特徴がある。

ここで、このような撮像素子上での画素加算あるいは画素間引きの機能を備えた撮像装置における欠陥画素検出・補正について考える。欠陥画素の検出時に、画素加算あるいは画素間引きが行われた場合、検出された欠陥画素の情報を用いて補正を行う際には、検出時と同様な画素加算あるいは画素間引きが行われる必要がある。しかし、画素加算や画素間引きを行うか否かの切り替え機能、あるいは複数の読み出しパターンによる画素加算や画素間引きの切り替え機能を備えた撮像装置では、その中の１つの読み出し状態でのみ欠陥画素を検出した場合には、補正時に検出時と同じ読み出し状態とならない状況が発生する。この状況では、検出時に記憶した欠陥画素のアドレスと、補正時における撮像素子上の画素の配列とが対応しなくなり、適切な補正を行うことができなくなる。

なお、関連する従来技術として、撮像素子から上下反転あるいは左右反転した画像信号を出力する機能を持つ撮像装置において、欠陥画素の補正の際に、上下反転あるいは左右反転の有無を判定し、その判定結果に応じて、メモリに格納された欠陥画素情報のアドレス変換を行い、変換後の欠陥画素情報を用いて補正を行うようにしたものがあった（例えば、特許文献１参照）。
特開２００３−１６３８４２号公報（段落番号〔００１６〕〜〔００１９〕、図３）

上述したように、撮像素子からの読み出しパターンを選択可能な撮像装置では、１つの読み出しパターンについてのみ欠陥画素の検出を行った場合には、その検出結果をそのまま使ってすべての読み出しパターンを適用した画像信号からの欠陥画素補正を行うことができないという問題があった。従来の撮像装置では、このように読み出しパターンを選択する機能はなく、その結果、欠陥画素の検出時と補正時とで読み出し状態が変化することはなかったため、上記の問題が生じることはなかった。しかし、特に、撮像素子の多画素化や撮像素子の付加価値を生み出す観点から、今後はより多様な画素加算や画素間引きを伴う読み出しパターンが搭載される可能性があり、上記の問題の解決が必須となる。

また、この問題を解決するために、読み出しパターンごとに欠陥画素を検出して、それらの検出結果をメモリに記憶しておき、補正時にはそのとき選択されている読み出しパターンに対応する欠陥画素の情報を用いるようにすることが考えられる。しかし、この手法では、選択可能な読み出しパターンの数だけ検出結果のメモリの記憶領域を用意しておかねばならず、回路規模や製造コストが増加するという問題があった。また、欠陥画素の検出工程が複雑化することも問題となる。例えば、欠陥画素の検出は製品出荷時の工程で行われることが多いが、この場合、欠陥画素の検出の工数が増加して製造効率が低下してしまう。

本発明はこのような点に鑑みてなされたものであり、固体撮像素子において複数の画素の信号加算を伴う読み出しモードを選択可能である場合に、欠陥画素の検出工程の複雑化や回路規模の増大を招くことなく、常に欠陥画素の信号を適切に補正できるようにした撮像装置を提供することを目的とする。

また、本発明の他の目的は、複数の画素の信号加算を伴う読み出しモードを選択可能な固体撮像素子を用いた場合に、欠陥画素の検出工程の複雑化や回路規模の増大を招くことなく、常に欠陥画素の信号を適切に補正できるようにした欠陥画素補正装置および方法を提供することである。

本発明では上記課題を解決するために、画像を撮像する撮像装置において、全画素の信号を順次読み出す通常モードと、同色フィルタに対応する複数の画素の信号を加算して出力する１種類以上の画素加算モードとを含む複数の読み出しモードを選択可能な固体撮像素子と、前記通常モードの選択時に検出された前記固体撮像素子上の欠陥画素の位置情報を記憶する欠陥情報記憶手段と、前記欠陥情報記憶手段に記憶された前記位置情報に基づいて、前記固体撮像素子による撮像画像信号中の対応する画素の信号を補正する信号補正手段と、前記画素加算モードの選択時に、前記欠陥情報記憶手段に記憶された前記位置情報を、前記画素加算モードでの前記固体撮像素子による撮像画像信号の画素配列に一致するように変換して、前記信号補正手段に供給する位置情報変換手段とを有することを特徴とする撮像装置が提供される。

このような撮像装置では、全画素の信号を順次読み出し通常モードの選択時に検出された固体撮像素子上の欠陥画素の位置情報のみが、欠陥情報記憶手段に記憶されて、欠陥画素の信号補正時に信号補正手段に利用される。通常モードの選択時には、信号補正手段は、欠陥情報記憶手段に記憶された位置情報をそのまま用いて、欠陥画素を特定し、その出力信号を補正する。また、画素加算モードの選択時には、欠陥情報記憶手段に記憶された位置情報が、画素加算モードでの固体撮像素子による撮像画像信号の画素配列に一致するように変換されて、信号補正手段に供給される。これにより、信号補正手段では、画素加算モードでも適切な信号補正が実行される。

本発明の撮像装置によれば、画素加算モードの選択時には、通常モードの選択時に検出されて記憶された位置情報が、画素加算モードでの固体撮像素子による撮像画像信号の画素配列に一致するように変換されて、信号補正手段に供給されるので、通常モードの選択時のみならず、画素加算モードの選択時でも適切な信号補正を実行できるようになる。また、欠陥画素の検出を通常モードでのみ行うことで、その検出工程を単純化できるとともに、検出により得られた欠陥情報を記憶するメモリ容量を少なくでき、回路規模を削減できる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。
図１に示す撮像装置は、光学ブロック１、ＣＭＯＳ型イメージセンサ（以下、ＣＭＯＳセンサと略称する）２、アナログフロントエンド（ＡＦＥ）回路３、カメラ信号処理回路４、マイクロコントローラ５、不揮発性メモリ６、および入力部７を具備する。また、この撮像装置にはさらに、光学ブロック１内の機構の動作を制御するドライバ１１、ＣＭＯＳセンサ２の駆動を制御するタイミングジェネレータ（ＴＧ）１２が設けられている。

光学ブロック１は、被写体からの光をＣＭＯＳセンサ２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備している。ドライバ１１は、マイクロコントローラ５からの制御信号に基づいて、光学ブロック１内の各機構の駆動を制御する。

ＣＭＯＳセンサ２は、ＣＭＯＳ基板上に、フォトダイオード（フォトゲート）、転送ゲート（シャッタトランジスタ）、スイッチングトランジスタ（アドレストランジスタ）、増幅トランジスタ、リセットトランジスタ（リセットゲート）などからなる複数の画素が２次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路、画像信号の出力回路などが形成されたものである。ＣＭＯＳセンサ２は、ＴＧ１２から出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。ＴＧ１２は、マイクロコントローラ５の制御の下でタイミング信号を出力する。

このＣＭＯＳセンサ２は、同色フィルタに対応する複数の画素の信号を加算して同時に読み出す機能や、画素を間引いて読み出す機能を備えている。このような機能により、例えば、画素信号を読み出す際の同期周波数を高めることなく、通常より高速な画面レートで画像信号を出力することが可能となる。また、本実施の形態では、画素加算および画素間引きを伴う読み出しモード（以下、加算・間引き読み出しモードと呼ぶ）と、これらを伴わない通常読み出しモードのそれぞれを、ユーザの設定により切り替えて実行させることが可能となっている。さらに、画素加算や画素間引きを伴う複数の読み出しモードを切り替え可能とされていてもよい。なお、この撮像素子としては、例えばＣＣＤ（Charge Coupled Device）など、ＣＭＯＳセンサ以外のものが用いられてもよい。

ＡＦＥ回路３は、例えば１つのＩＣ（Integrated Circuit）として構成され、ＣＭＯＳセンサ２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル画像信号を出力する。なお、ＣＤＳ処理を行う回路は、ＣＭＯＳセンサ２と同一基板上に形成されてもよい。

カメラ信号処理回路４は、例えば１つのＩＣとして構成され、ＡＦＥ回路３からの画像信号に対するＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ホワイトバランス調整、ガンマ補正などの各種カメラ信号処理やその制御のための検波・演算処理、またはそれらの処理の一部を実行する。また、本実施の形態では特に、欠陥画素の検出および補正を行う欠陥画素処理部４１を備え、撮影時には、欠陥画素処理部４１によって欠陥画素の信号が補正された画像信号が、上記のＡＦ、ＡＥなどの処理ブロックを含む後段のその他の信号処理部４２に入力されるようになっている。

マイクロコントローラ５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成され、ＲＯＭなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。また、このマイクロコントローラ５には、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）などからなる不揮発性メモリ６が接続されている。本実施の形態では特に、この不揮発性メモリ６には、欠陥画素処理部４１によって検出された欠陥画素の情報（欠陥画素情報）が記憶される。

入力部７は、ユーザの操作入力を受け付ける操作キー、ダイヤル、レバーなどを含み、操作入力に応じた制御信号をマイクロコントローラ５に出力する。この入力部７としては、電源の投入／切断や、上述したＣＭＯＳセンサ２における読み出しモード選択のための操作キーなどを含む。

この撮像装置では、ＣＭＯＳセンサ２によって受光されて光電変換された信号が、順次ＡＦＥ回路３に供給され、ＣＤＳ処理やＡＧＣ処理が施された後、デジタル信号に変換される。カメラ信号処理回路４は、ＡＦＥ回路３から供給されたデジタル画像信号を画質補正処理し、最終的に輝度信号（Ｙ）と色差信号（Ｃ）に変換して出力する。

カメラ信号処理回路４から出力された画像データは、図示しないグラフィックＩ／Ｆに供給されて表示用の画像信号に変換され、これによりＬＣＤ（Liquid Crystal Display）などの表示部にカメラスルー画像が表示される。また、入力部７に対するユーザの入力操作などによりマイクロコントローラ５に対して画像の記録が指示されると、カメラ信号処理回路４からの画像データは図示しないエンコーダに供給され、所定の圧縮符号化処理が施されて図示しない記録媒体に記録される。静止画像の記録の際には、カメラ信号処理回路４からは１フレーム分の画像データがエンコーダに供給され、動画像の記録の際には、カメラ信号処理回路４で処理された画像データがエンコーダに連続的に供給される。

次に、この撮像装置における欠陥画素検出および補正の動作について説明する。
この撮像装置では、ＣＭＯＳセンサ２における欠陥画素の検出、および欠陥画素の信号補正が、カメラ信号処理回路４内の欠陥画素処理部４１において行われる。欠陥画素の検出は、例えば、工場からの出荷工程において行われ、このときに検出された欠陥画素情報が、マイクロコントローラ５を通じて不揮発性メモリ６に記憶される。欠陥画素情報としては、欠陥画素のアドレスや、欠陥レベルなど、欠陥の状態を示す情報が含まれる。そして、実際の撮影時には、例えば電源投入時などに不揮発性メモリ６から欠陥画素処理部４１に対して欠陥画素情報が読み込まれ、欠陥画素処理部４１は、読み込んだ欠陥画素情報に基づいて、欠陥画素の信号を周囲の同色フィルタに対応する信号で補間し、補正する。

本実施の形態では、１つの読み出しモードのみを選択した状態で欠陥画素の検出が行われ、その検出結果が欠陥画素情報として記憶される。例えば、画素加算や画素間引きを伴わない通常読み出しモードで検出が行われる。一方、補正時には、検出時と同じ読み出しモードが選択されていれば、記憶された欠陥画素情報に基づいて補正が行われるが、検出時と異なる読み出しモードが選択された場合には、欠陥画素のアドレスがその読み出しモードに合わせて変換され、変換後のアドレス情報を用いて補正が行われる。欠陥画素処理部４１は、このようなアドレス変換機能を備えている。

図２は、欠陥画素処理部４１の内部構成を示すブロック図である。
欠陥画素処理部４１は、図２に示すように、検出・補正タイミング生成部１１０、欠陥画素検出部１２０、補正信号生成部１３０、欠陥画素情報保持部１４０、メモリコントローラ１５０、欠陥画素補正部１６０を具備する。

検出・補正タイミング生成部１１０は、欠陥画素検出部１２０および補正信号生成部１３０に対して、欠陥画素の検出および補正時の動作タイミングを示すタイミング信号を出力する。具体的には、ＡＦＥ回路３から入力される画像信号に同期したピクセルクロック、垂直同期信号（ＶＤ）、水平同期信号（ＨＤ）を基に、検出・補正動作を有効とするタイミングを示すタイミング信号を出力するとともに、水平・垂直方向のピクセル数を示すカウント値を出力する。

欠陥画素検出部１２０は、検出・補正タイミング生成部１１０からのタイミング信号に基づいて、ＡＦＥ回路３からの入力画像信号から欠陥画素を検出する。例えば、黒欠陥の検出時には、入力画像信号のレベルが所定のしきい値より低い場合に欠陥画素と判定し、そのときの検出・補正タイミング生成部１１０からのカウント値を欠陥画素のアドレス（欠陥アドレス）として、欠陥画素情報保持部１４０に格納する。また、白欠陥の検出時には、入力画像信号のレベルが所定のしきい値より高い場合に欠陥画素と判定し、同様に欠陥アドレスを欠陥画素情報保持部１４０に格納する。さらに、欠陥画素の判定時に、しきい値からのレベル差を欠陥の程度を示す情報として欠陥画素情報保持部１４０に格納してもよい。

補正信号生成部１３０は、検出・補正タイミング生成部１１０からのタイミング信号に基づいて、欠陥画素情報保持部１４０から欠陥アドレスを読み込み、欠陥画素の補正タイミングを示す補正パルスを欠陥画素補正部１６０に対して出力する。この補正信号生成部１３０は、検出・補正タイミング生成部１１０からのタイミング信号に基づき、欠陥アドレスの読み出しを制御するリードタイミング信号を欠陥画素情報保持部１４０に対して出力して、保持されている欠陥アドレスを小さい順に読み込む。そして、読み込んだ欠陥アドレスと、検出・補正タイミング生成部１１０からのカウント値とを比較し、これらが一致したときに欠陥画素の補正タイミングと判定して、補正パルスを出力する。

さらに、補正信号生成部１３０は、マイクロコントローラ５から読み出しモードを識別する識別信号を受け、加算・間引き読み出しモードが選択されている場合には、欠陥画素情報保持部１４０から読み込んだ欠陥アドレスを、読み出しのパターンに応じて変換し、変換後のアドレスと検出・補正タイミング生成部１１０からのカウント値とを比較して、補正パルスを出力する。これにより、１つの読み出しモードで検出された欠陥アドレスを用いて、異なる読み出しモードでの撮影時にも適切な欠陥画素補正を実行できるようになる。

欠陥画素情報保持部１４０は、例えばＳＲＡＭ（Static RAM）などの揮発性メモリからなる。この欠陥画素情報保持部１４０は、欠陥画素検出部１２０によって検出された欠陥画素情報を一時的に保持し、その後の電源切断時などに、保持した情報をメモリコントローラ１５０およびマイクロコントローラ５を通じて、不揮発性メモリ６に転送する。また、撮影時には、不揮発性メモリ６に記憶された欠陥画素情報を読み込み、補正信号生成部１３０に対して欠陥アドレスを出力する。

メモリコントローラ１５０は、欠陥画素情報保持部１４０における読み出し・書き込みの動作を制御する。このメモリコントローラ１５０は、欠陥画素情報保持部１４０の記憶する欠陥画素情報の不揮発性メモリ６への転送、不揮発性メモリ６から欠陥画素情報保持部１４０への欠陥画素情報の読み込み、欠陥画素検出部１２０および補正信号生成部１３０からの欠陥画素情報保持部１４０へのアクセス制御などの制御機能を備える。

欠陥画素補正部１６０は、ＡＦＥ回路３からの入力画像信号を受け、補正信号生成部１３０から補正パルスが出力されたとき、そのときの画素の信号を、その周囲に存在する同色フィルタに対応する画素の信号を用いて補間した信号に置換する。この補間の処理においては、例えば欠陥画素情報保持部１４０に記憶された欠陥レベルなどの情報が用いられて、その情報に応じた処理が実行されてもよい。このような処理により、入力画像信号の欠陥画素の信号が補正され、後段の信号処理ブロック（その他の信号処理部４２）に出力される。

この欠陥画素処理部４１では、基本的に、撮像装置が工場から出荷される際の工程で、欠陥画素の検出が行われる。この工程では、通常読み出しモードが選択され、所定の被写体（全黒の被写体、全白の被写体など）を撮像した画像信号が欠陥画素検出部１２０に入力されて欠陥画素の検出が行われ、検出された欠陥画素情報が欠陥画素情報保持部１４０に一旦格納される。そして、検出の終了後、例えば電源切断時などに、欠陥画素情報保持部１４０に記憶された欠陥画素情報が、不揮発性メモリ６に書き込まれる。

その後、ユーザによる撮影の際には、例えば電源投入時などに不揮発性メモリ６の欠陥画素情報が欠陥画素情報保持部１４０に読み込まれ、その欠陥画素情報を用いて補正信号生成部１３０から補正パルスが出力されて、欠陥画素補正部１６０での信号補正が行われる。

なお、出荷後の電源投入時や撮影時などにも、欠陥画素検出部１２０により欠陥画素の検出を行うことで、いわゆる後発欠陥を検出できるようにしてもよい。この場合、検出した後発欠陥の情報を欠陥画素情報保持部１４０にさらに登録し、記憶情報を更新する。あるいは、後発欠陥に対応する専用の記憶手段（例えばフリップフロップ回路など）を設けておき、例えば、すでに記憶されているアドレス以外の欠陥画素が後発欠陥として検出されると、その記憶手段にアドレス情報などを一時的に保持させ、補正時に使用するようにしてもよい。

次に、具体的な読み出しパターンの例を挙げて、欠陥画素の検出および補正の動作について説明する。なお、ここでは、説明をわかりやすくするために、Ｒ，Ｇ，Ｂの各フィルタ成分に対応する撮像素子（ＣＭＯＳセンサ２）を備えた場合の例を挙げ、それらのうちの１つの撮像素子からの出力信号についての欠陥検出・補正について説明する。この場合、実際には、各フィルタ成分に対応する画像信号について、同様の欠陥検出・補正が実行されることになる。

図３は、撮像素子の画素配列および読み出しモードの例を示す図である。
図３（Ａ）では、例として、垂直方向に６行、水平方向に９列の画素で構成される撮像素子を示している。この撮像素子では、図中左上側から画素の走査が開始され、左上側から順に水平方向、垂直方向にそれぞれ０，１，２，……というアドレスを付与している。ここで、垂直方向，水平方向のアドレスが“０”の画素を画素（００）、垂直方向のアドレスが“０”、水平方向のアドレスが“１”の画素を画素（０１）のように呼ぶことにする。通常読み出しモードでは、画素（００），画素（０１），画素（０２），……画素（０８），画素（１０），画素（１１），……画素（１８），画素（２０），……のように、上記配列の撮像素子からすべての画素の信号が順次出力される。

図３（Ｂ）は、上記配列の撮像素子における加算・間引き読み出しモードでの読み出し手法の例を示している。この例では、隣接する２行×２列の画素を加算して１つの画素の信号として出力し、その画素群の周囲の１行および１列の画素の信号を間引いている。例えば、画素（００），画素（０１），画素（１０），画素（１１）の４画素を加算して画素（００’）として出力し、その次に、画素（０３），画素（０４），画素（１３），画素（１４）の４画素を加算して画素（０１’）として出力し、さらにその次に、画素（０６），画素（０７）、画素（１６），画素（１７）の４画素を加算して画素（０２’）として出力する。また、２行目では、画素（１０’），画素（１１’），画素（１２’）の順で信号が出力される。このような読み出しパターンにより、出力画像の解像度（画素数）は１／９となり、例えば同じ画面レートとした場合は撮像素子からの読み出し周波数を低減できるし、逆に、読み出し周波数を同じにした場合は画面レートを９倍にすることができる。

図４は、上記各読み出しモードでの欠陥画素について説明するための図である。
図４（Ａ）に示すように、通常読み出しモードでの検出動作により、例えば、画素（０１），画素（３４），画素（５８）が欠陥画素として検出され、これらのアドレスが欠陥画素情報として記憶されたとする。ここで、加算・間引き読み出しモードでは、信号を加算する画素群のうち１つでも欠陥画素と判定されていれば、加算後の画素も欠陥画素と見なすことにすると、図４（Ｂ）に示すように、例えば、画素（０１）が欠陥画素と判定されていることから、この画素（０１）を加算に用いる画素（００’）も欠陥画素と見なす。同様に、画素（１１’）も欠陥画素と見なす。また、画素（５８）は、加算・間引き読み出しモードでは間引きされるので、欠陥画素として現れない。

ところで、撮影時に通常読み出しモードが選択された場合には、これらの欠陥アドレスをそのまま用いて欠陥画素の位置を判定し、その画素の信号を補正すればよい。しかし、検出時と異なる読み出しモードが選択された場合には、画素配列が異なるものとなるので、検出時の欠陥アドレスをそのまま用いて補正を行うことはできない。すなわち、検出時の欠陥アドレスを、選択された読み出しモードにおける画素配列に合わせて変換する必要がある。

ここで、通常読み出しモードにおいて欠陥画素処理部４１に入力される画像信号の水平方向、垂直方向のアドレスをそれぞれＨｎｏｒｍ、Ｖｎｏｒｍとし、加算・間引き読み出しモードでの入力画像信号の水平方向、垂直方向のアドレスをそれぞれＨａｄｄ、Ｖａｄｄとする。通常読み出しモードでの欠陥画素の水平方向、垂直方向のアドレスをそれぞれＨｎｏｒｍｘ、Ｖｎｏｒｍｘとし、以下の式（１）〜（４）を立てる。
Ｈｎｏｒｍｘ＝Ｈａｄｄ×３ ……（１）
Ｈｎｏｒｍｘ＝Ｈａｄｄ×３＋１ ……（２）
Ｖｎｏｒｍｘ＝Ｖａｄｄ×３ ……（３）
Ｖｎｏｒｍｘ＝Ｖａｄｄ×３＋１ ……（４）
欠陥画素処理部４１の補正信号生成部１３０は、加算・間引き読み出しモードが選択されたとき、欠陥画素情報保持部１４０から読み込んだ欠陥アドレスが、上記の式（１）または式（２）を満たし、かつ、式（３）または式（４）を満たした場合に、補正パルスを出力する。すなわち、このような条件により、欠陥アドレスが加算される画素群に含まれるか否かを判定でき、含まれている場合に欠陥画素と判定される。

例えば、欠陥アドレスとして画素（３４）のアドレス、すなわち（Ｈｎｏｒｍｘ，Ｖｎｏｒｍｘ）＝（４，３）が補正信号生成部１３０に読み込まれたとき、加算・間引き読み出しモードでの入力画像信号のアドレス（Ｈａｄｄ，Ｖａｄｄ）が（１，１）となったタイミング（すなわち、画素（１１’）が入力されたタイミング）で、上記の式（２）と式（３）とが同時に満たされるので、補正信号生成部１３０はこの画素（１１’）を欠陥画素と判定して補正パルスを出力する。これにより、当該画素の信号が欠陥画素補正部１６０によって補正される。

図５は、上記の各読み出しモードに対応した補正信号生成部１３０における回路構成例を示す図である。
図５に示す補正信号生成部１３０は、一致比較回路３０１〜３０３，３１１〜３１３、ＡＮＤ回路３２１〜３２３，３３１〜３３３，３４１，３４２、ＯＲ回路３５１〜３５３、インバータ回路３６１および３６２、乗算回路３７１および３７２、加算回路３８１および３８２によって構成される。

この補正信号生成部１３０において、通常読み出しモードが選択された場合には、マイクロコントローラ５からの読み出しモード識別信号がＬレベルとなって、この信号をインバータ回路３６１および３６２を介してそれぞれ受信したＡＮＤ回路３２１および３３１の動作が有効となり、また、ＡＮＤ回路３２２，３２３，３３２，３３３の動作が無効となる。このとき、欠陥画素情報保持部１４０から読み込まれた水平方向の欠陥アドレスＨｎｏｒｍｘと、検出・補正タイミング生成部１１０からのＨカウント値とが、一致比較回路３０１で比較される。そして、これらの値が一致した場合には、ＡＮＤ回路３２１の出力がＨレベルとなる。また、欠陥画素情報保持部１４０から読み込まれた垂直方向の欠陥アドレスＶｎｏｒｍｘと、検出・補正タイミング生成部１１０からのＶカウント値とが、一致比較回路３１１で比較され、これらの値が一致した場合には、ＡＮＤ回路３３１の出力がＨレベルとなる。以上の動作により、入力画像信号と欠陥アドレスとが一致した場合には、ＡＮＤ回路３４１からＯＲ回路３５１への出力がＨレベルとなり、ＯＲ回路３５１から補正パルスが出力される。

一方、加算・間引き読み出しモードが選択された場合には、読み出しモード識別信号がＨレベルとなって、ＡＮＤ回路３２１および３３１の動作が無効となり、ＡＮＤ回路３２２，３２３，３３２，３３３の動作が有効となる。このとき、欠陥画素情報保持部１４０から読み込まれた水平方向の欠陥アドレスＨｎｏｒｍｘは、乗算回路３７１で“３”が乗算され、乗算後の値が一致比較回路３０２に入力される。また、乗算後の値に加算回路３８１により“１”が加算され、加算後の値が一致比較回路３０３に入力される。一致比較回路３０２および３０３は、上記各入力値と、検出・補正タイミング生成部１１０からのＨカウント値とを比較し、これらが一致した場合に、ＡＮＤ回路３２２および３２３への出力をＨレベルにする。すなわち、一致比較回路３０２からＡＮＤ回路３２２へのライン、および一致比較回路３０３からＡＮＤ回路３２３へのラインにより、それぞれ上記の式（１）および式（２）の条件が判定され、いずれかの条件を満たしたときに、ＯＲ回路３５２からＡＮＤ回路３４２への出力がＨレベルとなる。

垂直方向についても同様に、欠陥画素情報保持部１４０から読み込まれた垂直方向の欠陥アドレスＶｎｏｒｍｘは、乗算回路３７２で“３”が乗算され、乗算後の値が一致比較回路３１２に入力される。また、乗算後の値に加算回路３８２により“１”が加算され、加算後の値が一致比較回路３１３に入力される。一致比較回路３１２および３１３は、上記各入力値と、検出・補正タイミング生成部１１０からのＶカウント値とを比較し、これらが一致した場合に、ＡＮＤ回路３３２および３３３への出力をＨレベルにする。すなわち、一致比較回路３１２からＡＮＤ回路３３２へのライン、および一致比較回路３１３からＡＮＤ回路３３３へのラインにより、それぞれ上記の式（２）および式（４）の条件が判定され、いずれかの条件を満たしたときに、ＯＲ回路３５３からＡＮＤ回路３４２への出力がＨレベルとなる。そして、ＯＲ回路３５２および３５３の出力がともにＨレベルとなると、ＡＮＤ回路３４２からＯＲ回路３５１への出力がＨレベルとなり、ＯＲ回路３５１から補正パルスが出力される。

以上の補正信号生成部１３０では、欠陥画素の検出時と読み出しパターンが異なる加算・間引き読み出しモードが選択された場合にも、欠陥画素情報保持部１４０から読み込んだ欠陥アドレスを、選択された読み出しモードでの画素配列に対応するように変換してから、欠陥画素の信号補正の要否を判定するので、常に適切な欠陥画素の信号補正を行うことが可能となる。また、欠陥画素情報としては、１つの読み出しモード（ここでは通常読み出しモード）での検出結果のみ保持するので、そのための記憶領域を抑制でき、回路規模や製造コストの増大を防止できる。さらに、１つの読み出しモードでのみ欠陥画素を検出すればよいので、欠陥画素の検出工程を単純化・短縮化でき、例えば出荷時の工程で欠陥画素を検出する場合には、その工程を効率化して、製造コストを抑制することが可能となる。

また、上記の図５の回路をハードウェアで構成することにより、アドレス変換の動作を高速に実行させることができ、例えばシャッタラグなど、表示や記録までの動作遅延を縮小できるとともに、撮影時におけるマイクロコントローラ５などの処理負荷を軽減することができる。

なお、上記各式の係数や各式を用いた条件は、読み出し時の加算や間引きの仕様に応じて決定される。例えば、加算・間引きモードにおいて、水平方向にｘ個、垂直方向にｙ個（ただし、ｘ，ｙは１以上の整数）の同色フィルタに対応する隣接画素の信号を加算して出力し、かつ、加算されるｘ×ｙ画素の画素群に対して水平方向・垂直方向にそれぞれ隣接するｍ列、ｎ行（ただし、ｍ，ｎは０以上の整数）の画素の信号を間引くようにした場合を考える。この場合、式（１）〜（４）の右辺第１項においてＨａｄｄおよびＶａｄｄに乗算する係数は、それぞれ（ｘ＋ｍ）（ｙ＋ｎ）とされる。また、右辺第２項では、加算される画素群に含まれる列および行の数（すなわちｘ，ｙ）だけ、それぞれ異なる数を加算した条件式を立てる必要がある。例えば水平方向成分については、右辺第１項の“Ｈａｄｄ×（ｘ＋ｍ）”のそれぞれについて、“＋０”（式（１）に対応）“＋１”“＋２”……“＋（ｘ−１）”という加算を行ったｘ個分の条件式を立てる必要がある。同様に垂直成分については、右辺第１項の“Ｖａｄｄ×（ｙ＋ｎ）”のそれぞれについて、“＋０”（式（３）に対応）“＋１”“＋２”……“＋（ｙ−１）”という加算を行ったｙ個分の条件式を立てる必要がある。そして、ｘ個のうちのいずれかの条件式が満たされ、かつ、ｙ個のうちのいずれかの条件式が満たされた場合に、欠陥画素の補正タイミングであると判定する。

以上の例のように、通常、画素の加算や間引きは規則性を持って実行されるので、上記各式のような比較的簡単な条件式を用いて、アドレスの変換を行うことができる。従って、アドレス変換機能は、図５の回路のように、加算、乗算、一致比較、インバータ回路、各種論理回路などからなる比較的単純な回路で構成することができる。また、上記のｘ個分およびｙ個分のそれぞれの条件式に対応する回路のラインをすべて形成しておき、後段のＡＮＤ回路などで、選択可能な読み出しパターンに応じて必要なラインのみ選択するように構成しておくことで、多様な読み出しパターンに対する汎用性を回路に持たせることもできる。

なお、本発明は、デジタルビデオカメラ、デジタルスチルカメラなどの固体撮像素子を用いた撮像装置、およびこのような撮像機能を具備する携帯電話機やＰＤＡ（Personal Digital Assistants）などの機器に対して適用することができる。また、ＰＣ（パーソナルコンピュータ）などに接続されるテレビ電話用あるいはゲームソフト用などの小型カメラによる撮像信号に対する処理装置や記録装置にも、本発明を適用することができる。

さらに、上記の欠陥画素検出・補正の処理機能は、コンピュータによって実現することができる。その場合、この装置が有すべき機能（欠陥画素処理部４１またはその一部などに対応する機能）の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリなどがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。 欠陥画素処理部の内部構成を示すブロック図である。 撮像素子の画素配列および読み出しモードの例を示す図である。 図３の各読み出しモードでの欠陥画素について説明するための図である。 図３の各読み出しモードに対応した補正信号生成部における回路構成例を示す図である。

符号の説明

１……光学ブロック、２……ＣＭＯＳイメージセンサ（ＣＭＯＳセンサ）、３……アナログフロントエンド（ＡＦＥ）回路、４……カメラ信号処理回路、５……マイクロコントローラ、６……不揮発性メモリ、７……入力部、１１……ドライバ、１２……タイミングジェネレータ（ＴＧ）、４１……欠陥画素処理部、４２……その他の信号処理部、１１０……検出・補正タイミング生成部、１２０……欠陥画素検出部、１３０……補正信号生成部、１４０……欠陥画素情報保持部、１５０……メモリコントローラ、１６０……欠陥画素補正部

Claims (9)

1. 画像を撮像する撮像装置において、
   全画素の信号を順次読み出す通常モードと、同色フィルタに対応する複数の画素の信号を加算して出力する１種類以上の画素加算モードとを含む複数の読み出しモードを選択可能な固体撮像素子と、
   前記通常モードの選択時に検出された前記固体撮像素子上の欠陥画素の位置情報を記憶する欠陥情報記憶手段と、
   前記欠陥情報記憶手段に記憶された前記位置情報に基づいて、前記固体撮像素子による撮像画像信号中の対応する画素の信号を補正する信号補正手段と、
   前記画素加算モードの選択時に、前記欠陥情報記憶手段に記憶された前記位置情報を、前記画素加算モードでの前記固体撮像素子による撮像画像信号の画素配列に一致するように変換して、前記信号補正手段に供給する位置情報変換手段と、
   を有することを特徴とする撮像装置。
2. 前記位置情報変換手段は、前記通常モードでの撮像画像信号の画素配列における前記位置情報に基づく欠陥画素が、前記画素加算モードの選択時に加算により１つの画素として読み出される前記固体撮像素子上の画素群に１つでも含まれる場合に、当該画素群に対応する前記画素加算モードでの撮像画像信号上の画素位置を変換後の前記位置情報として前記信号補正手段に供給することを特徴とする請求項１記載の撮像装置。
3. 前記固体撮像素子は、前記画素加算モードにおいて、水平方向にｘ個、垂直方向にｙ個（ただし、ｘ，ｙは１以上の整数）の同色フィルタに対応する隣接画素の信号を加算して出力し、
   前記位置情報変換手段は、
   前記位置情報の水平方向成分および垂直方向成分に対してそれぞれｘ、ｙを乗算する複数の乗算手段と、
   水平方向に対応する前記乗算手段の出力値に対して１〜（ｘ−１）までの整数をそれぞれ加算し、垂直方向に対応する前記乗算手段の出力値に対して１〜（ｙ−１）までの整数をそれぞれ加算する複数の加算手段と、
   水平方向成分に対応する前記乗算手段またはいずれかの前記加算手段の出力値が、前記画素加算モードでの撮像画像信号の水平方向アドレスと一致し、かつ、垂直方向成分に対応する前記乗算手段またはいずれかの前記加算手段の出力値が、前記画素加算モードでの撮像画像信号の垂直方向アドレスと一致したとき、当該水平方向アドレスおよび垂直方向アドレスを変換後の前記位置情報として前記信号補正手段に供給する論理演算手段と、
   を有することを特徴とする請求項１記載の撮像装置。
4. 前記固体撮像素子は、前記画素加算モードとして、同色フィルタに対応する複数の隣接画素の信号を加算して読み出し、かつ、加算される画素群に隣接する一定数の行または列またはその双方の画素の信号を間引く加算・間引きモードを選択可能とされ、
   前記位置情報変換手段は、前記通常モードでの撮像画像信号の画素配列における前記位置情報に基づく欠陥画素が、前記加算・間引きモードの選択時に前記画素群に１つでも含まれる場合に、当該画素群に対応する前記加算・間引きモードでの撮像画像信号上の画素位置を変換後の前記位置情報として前記信号補正手段に供給する、
   ことを特徴とする請求項１記載の撮像装置。
5. 前記固体撮像素子は、前記画素加算モードとして、水平方向にｘ個、垂直方向にｙ個（ただし、ｘ，ｙは１以上の整数）の同色フィルタに対応する隣接画素の信号を加算して出力し、かつ、加算される画素群に対して水平方向・垂直方向にそれぞれ隣接するｍ列、ｎ行（ただし、ｍ，ｎは０以上の整数）の画素の信号を間引く加算・間引きモードを選択可能とされ、
   前記位置情報変換手段は、
   前記位置情報の水平方向成分および垂直方向成分に対してそれぞれ（ｘ＋ｍ）、（ｙ＋ｎ）を乗算する複数の乗算手段と、
   水平方向に対応する前記乗算手段の出力値に対して１〜（ｘ−１）までの整数をそれぞれ加算し、垂直方向に対応する前記乗算手段の出力値に対して１〜（ｙ−１）までの整数をそれぞれ加算する複数の加算手段と、
   水平方向成分に対応する前記乗算手段またはいずれかの前記加算手段の出力値が、前記加算・間引きモードでの撮像画像信号の水平方向アドレスと一致し、かつ、垂直方向成分に対応する前記乗算手段またはいずれかの前記加算手段の出力値が、前記加算・間引きモードでの撮像画像信号の垂直方向アドレスと一致したとき、当該水平方向アドレスおよび垂直方向アドレスを変換後の前記位置情報として前記信号補正手段に供給する論理演算手段と、
   を有することを特徴とする請求項１記載の撮像装置。
6. 前記通常モードの選択時に、前記固体撮像素子による撮像画像信号から欠陥画素を検出して、当該欠陥画素の前記位置情報を前記欠陥情報記憶手段に格納する欠陥画素検出手段をさらに有することを特徴とする請求項１記載の撮像装置。
7. ユーザによる前記読み出しモードの選択操作を受け付ける選択入力手段をさらに有することを特徴とする請求項１記載の撮像装置。
8. 全画素の信号を順次読み出す通常モードと、同色フィルタに対応する複数の画素の信号を加算して出力する１種類以上の画素加算モードとを含む複数の読み出しモードを選択可能な固体撮像素子によって撮像された画像信号の入力を受けて、前記固体撮像素子上の欠陥画素の出力信号を補正する欠陥画素補正装置において、
   前記通常モードの選択時に検出された前記固体撮像素子上の欠陥画素の位置情報を記憶する欠陥情報記憶手段と、
   前記欠陥情報記憶手段に記憶された前記位置情報に基づいて、前記固体撮像素子による撮像画像信号中の対応する画素の信号を補正する信号補正手段と、
   前記画素加算モードの選択時に、前記欠陥情報記憶手段に記憶された前記位置情報を、前記画素加算モードでの前記固体撮像素子による撮像画像信号の画素配列に一致するように変換して、前記信号補正手段に供給する位置情報変換手段と、
   を有することを特徴とする欠陥画素補正装置。
9. 全画素の信号を順次読み出す通常モードと、同色フィルタに対応する複数の画素の信号を加算して出力する１種類以上の画素加算モードとを含む複数の読み出しモードを選択可能な固体撮像素子によって撮像された画像信号の入力を受けて、前記固体撮像素子上の欠陥画素の出力信号を補正するための欠陥画素補正方法において、
   欠陥情報記憶手段が、前記通常モードの選択時に検出された前記固体撮像素子上の欠陥画素の位置情報を記憶するステップと、
   信号補正手段が、前記欠陥情報記憶手段に記憶された前記位置情報に基づいて、前記固体撮像素子による撮像画像信号中の対応する画素の信号を補正するステップと、
   位置情報変換手段が、前記画素加算モードの選択時に、前記欠陥情報記憶手段に記憶された前記位置情報を、前記画素加算モードでの前記固体撮像素子による撮像画像信号の画素配列に一致するように変換して、前記信号補正手段に供給するステップと、
   を含むことを特徴とする欠陥画素補正方法。

Images