JP2006129273A - 撮像装置 - Google Patents

Abstract

【課題】欠陥の度合いが異なる画素が含まれている場合であっても、補正後の画質の劣化を抑えることが可能な撮像装置を提供すること。
【解決手段】固体撮像素子１０２の各画素から出力された信号は、プリプロセス回路１０３、Ａ／Ｄ変換回路１０４を介して減算部１０７、参照信号演算部１０８、出力選択部１０９にそれぞれ入力される。減算部１０７ではＡ／Ｄ変換回路１０４の出力信号からオフセット値記憶部１０６に記憶されたオフセット値が減算される。参照信号演算部１０８では、欠陥画素の近傍に配置された複数の同色画素から参照信号が求められる。出力選択部１０９では欠陥位置メモリ１０５に記憶された欠陥画素の位置情報に基づいて、Ａ／Ｄ変換回路１０４、減算部１０７、参照信号演算部１０８の何れかの出力を選択して後段の信号処理回路１１０に出力する。
【選択図】 図１

Description

本発明は、撮像装置に関し、特に、固体撮像素子上の欠陥画素から出力される信号を補正する機能を有する撮像装置に関する。

近年、固体撮像素子を用いたデジタルカメラのような撮像装置においては、固体撮像素子の高画素化が進んでおり、それに伴って固体撮像素子の各画素に均一な光量レベルの光を入射させたにも係わらず、周辺の画素とは異なる特異なレベルを出力する欠陥画素の発生頻度も増加してきている。このように欠陥画素の発生頻度が高くなると、撮像によって得られる画像の画質が劣化してしまう。

そこで、このような欠陥画素から出力される信号を補正する手法として、従来の撮像装置では、撮像装置を出荷する前に欠陥画素の位置情報をメモリなどに記憶させておき、欠陥画素から出力される信号を、その欠陥画素の周辺の同色画素の信号を用いて演算した参照信号に置換する回路（欠陥補正回路）を撮像装置内に内蔵するようにしている。このようにして欠陥画素の位置を検出し、欠陥画素から出力される信号を補正することにより、撮像装置によって得られる画像の画質を向上させることが可能である。

図４は、従来の欠陥補正回路を含む撮像装置の概略的な構成について示した図である。図４の撮像装置は、露光制御部１０１と、固体撮像素子（図ではＣＣＤと記している）１０２と、プリプロセス回路１０３と、アナログ／デジタル（Ａ／Ｄ）変換回路１０４と、欠陥位置メモリ１０５と、参照信号演算部１０８と、出力選択部１０９と、信号処理回路１１０とから構成されている。

図４において、露光制御部１０１は、シャッタなどで構成されており本撮像装置に入射した光を固体撮像素子１０２に結像させる。固体撮像素子１０２は、ＣＣＤエリアセンサとその周辺回路とで構成されており、光電変換によって入射光を電気信号に変換する。プリプロセス回路１０３は、ノイズ除去のためのフィルタ処理や増幅処理などの各種アナログ処理を施すためのアナログ回路から構成されている。アナログ／デジタル（Ａ／Ｄ）変換回路１０４は、プリプロセス回路１０３でアナログ処理された信号をデジタル化する。

欠陥位置メモリ１０５には、工場出荷時などにおいて予め測定された固体撮像素子１０２上における欠陥画素の位置情報が記憶されている。この欠陥位置メモリ１０５に記憶されている欠陥画素の位置情報により、出力選択部１０９は欠陥画素の位置を検出して、欠陥画素から出力される信号を参照信号演算部１０８で求められる欠陥画素の近傍に存在する複数の同色画素の出力の平均値信号に置換して信号処理回路１１０に出力する。これによって欠陥画素から出力される信号を補正することができる。

また、特許文献１では、上記のような欠陥画素補正回路において、経年変化によって欠陥画素が増加することを考慮して、撮像装置の電源投入時等に、遮光状態においてある閾値よりも大きい出力を示す画素を白欠陥としてその位置情報をメモリなどに記憶させると共に、専用の被写体（画素欠陥検出用画像）を撮像したときにある閾値よりも小さい出力を示す画素を黒欠陥としてその位置情報をメモリなどに記憶させるようにしている。補正時においては、上記した手法と同様にメモリに記憶された欠陥画素の位置情報に基づいて、欠陥画素から出力される信号を、その欠陥画素の近傍に配置された複数の同色画素からの出力から求められた平均値信号に置換するようにしている。
特開平１０−３２２６０３号公報

ここで、上記特許文献１の手法によれば、遮光状態においてある閾値以上の出力を示す画素は全て同一の欠陥であると認識して補正の対象としている。即ち、この場合には、光電変換特性を全く示さないような重度の白欠陥も、僅かに閾値を越えているような軽度の白欠陥も同様のものと見なされてしまい、軽度の白欠陥に対しても重度の白欠陥の場合と同様の補正がなされてしまう。このため、欠陥の度合いが異なる画素が多く含まれている場合には、補正を行っても画質の劣化が大きくなってしまう。

本発明は、上記の事情に鑑みてなされたもので、欠陥の度合いが異なる画素が含まれている場合であっても、補正後の画質の劣化を抑えることが可能な撮像装置を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様による撮像装置は、固体撮像素子を備えた撮像装置であって、均一の光入力状態において前記固体撮像素子の欠陥画素から出力される信号と前記欠陥画素の近傍に配置され前記欠陥画素と同色の複数の画素から求められた参照信号との差分値をオフセット値として記憶するオフセット値記憶部と、前記固体撮像素子の欠陥画素から出力される信号から前記オフセット値記憶部に記憶されたオフセット値を減算して得られた信号を出力する減算部と、前記固体撮像素子から出力された信号が前記固体撮像素子の欠陥画素から出力された信号であるとき、前記減算部から出力される信号を選択して後段の信号処理回路に出力する出力選択部とを具備することを特徴とする。

この第１の態様においては、均一の光入力状態における固体撮像素子の欠陥画素の出力信号の値と、欠陥画素の近傍に配置され欠陥画素と同色の複数の画素から求められた参照信号との差分値をオフセット値としてオフセット値記憶部に記憶しておき、固体撮像素子から出力される信号が欠陥画素から出力される信号であるとき、固体撮像素子から出力される信号からオフセット値を減算する減算部からの出力を選択して後段の信号処理回路に出力する。

これにより、欠陥の度合いが軽度の欠陥画素に対しては、その画素の情報を用いた補正が行われるので、画質の劣化を抑えることが可能である。

また、上記の目的を達成するために、本発明の第２の態様による撮像装置は、固体撮像素子を備えた撮像装置であって、任意の画素の近傍に配置され前記任意の画素と同色の複数の画素から参照信号を求める参照信号演算部と、前記任意の画素から出力される信号と前記参照信号演算部で求められた参照信号との差分値を、第１の閾値及び前記第１の閾値よりも大きい第２の閾値と比較する比較器と、前記任意の画素から出力される信号から前記第１の閾値を減算し、得られた信号を出力する第１の閾値減算部と、前記比較器による比較の結果、前記差分値が前記第１の閾値以上であって前記第２の閾値以下のときには、前記第１の閾値減算部から出力される信号を選択して後段の信号処理回路に出力する出力選択部とを具備することを特徴とする。

この第２の態様においては、任意の画素の近傍に配置された複数の同色画素から、参照信号演算部により参照信号が求められ、この参照信号と任意の画素の出力信号との差分値が、比較器により第１の閾値及びこの第１の閾値よりも大きい第２の閾値と比較される。この比較の結果、差分値が第１の閾値以上であって第２の閾値以下のときには、任意の画素の出力信号から第１の閾値を減算する第１の閾値減算部の出力が、出力選択部により選択され、後段の信号処理回路に出力される。

これにより、欠陥画素が後発的に発生したものであり、且つ欠陥の度合いが軽度であるときには、その画素の情報を用いた補正が行われるので、画質の劣化を抑えることが可能である。

本発明によれば、欠陥の度合いが異なる画素が含まれている場合であっても、補正後の画質の劣化を抑えることが可能な撮像装置を提供することができる。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る撮像装置の構成について示すブロック図である。図１に示すように、第１の実施形態の撮像装置は、露光制御部１０１と、固体撮像素子（図ではＣＣＤと記している）１０２と、プリプロセス回路１０３と、アナログ／デジタル（Ａ／Ｄ）変換回路１０４と、欠陥位置メモリ１０５と、オフセット値記憶部１０６と、減算部１０７と、参照信号演算部１０８と、出力選択部１０９と、信号処理回路１１０とから構成されている。

図１において、露光制御部１０１は、シャッタなどで構成されており本撮像装置に入射した光を固体撮像素子１０２に結像させる。固体撮像素子１０２は、ＣＣＤエリアセンサとその周辺回路とで構成されており、光電変換によって入射光を電気信号に変換する。プリプロセス回路１０３は、ノイズ除去のためのフィルタ処理や増幅処理などの各種アナログ処理を施すためのアナログ回路から構成されている。アナログ／デジタル（Ａ／Ｄ）変換回路１０４は、プリプロセス回路１０３でアナログ処理された信号を固体撮像素子１０２の画素毎にデジタル化する。

また、欠陥位置メモリ１０５には、固体撮像素子１０２上における欠陥画素の位置情報が記憶されている。ここで、撮像装置の電源投入時や所定期間毎に、均一の光入射状態で撮像を行うようにし、ここで新たな欠陥画素が検出された場合にはその位置情報を欠陥位置メモリ１０５に更に記憶させるようにしておくことが好ましい。

オフセット値記憶部１０６には、均一の光入射状態（例えば遮光状態など）における欠陥画素固有のオフセット値が記憶されている。このオフセット値は、欠陥画素の出力とその欠陥画素に隣接する複数の欠陥のない画素の出力から求められた参照信号との間のオフセット値である。この参照信号は、複数の欠陥のない画素の平均、メディアン、加重平均などの手法で求められる。

減算部１０７は、Ａ／Ｄ変換回路１０４の出力から、オフセット値記憶部１０６に記憶されたオフセット値を減算して欠陥画素から出力される信号を補正する。参照信号演算部１０８は、欠陥画素の近隣に配置された複数の同色画素から出力される信号から上記参照信号を演算する。

出力選択部１０９は、Ａ／Ｄ変換回路１０４から出力される信号、減算部１０７から出力される信号、及び参照信号演算部１０８から出力される信号の何れかの信号を選択して後段の信号処理回路１１０に出力する。信号処理回路１１０は、出力選択部１０９から出力された信号に対し、画像処理等の所定の信号処理を行う。

次に、第１の実施形態の作用について説明する。図２は、固体撮像素子の一般的な光電変換特性を示すグラフである。

図２において、参照符号３０１の特性は重度の白欠陥を有する画素における出力特性を示し、参照符号３０２の特性は重度の黒欠陥を有する画素における出力特性を示す。これら白欠陥及び黒欠陥の画素は、光電変換特性を示さない。即ち、これらの画素は光量に依存せずに常に一定のレベルを出力する。

また、図２において、参照符号３０４の特性は、正常な画素の出力特性を示す。このように、正常な画素は光入力に対して電気出力が比例する特性を有する。なお、正常な画素の出力特性は複数の正常な画素の平均値と考えてもよい。

また、参照符号３０３の特性は正常な画素の出力３０４に対して第１のオフセット値分の欠陥を有する画素（第１の欠陥画素）の出力特性（以下、オフセット欠陥Ａと記す）を示し、参照符号３０６の特性は正常な画素の出力３０４に対して第１のオフセット値よりも大きな第２のオフセット値分の欠陥を有する画素（第２の欠陥画素）の出力特性（以下、オフセット欠陥Ｂと記す）を示す。これらオフセット欠陥Ａ３０３及びオフセット欠陥Ｂ３０６の特性は、遮光状態（光入力＝０）において白欠陥判別値としての第１の閾値３０５を超えているが、光入力に対する電気出力の傾きは、正常な画素と同じものである。ここで、オフセット欠陥Ｂ３０６がオフセット欠陥Ａ３０３と異なる点は、オフセット欠陥Ｂ３０６のオフセット値が、遮光状態において第１の閾値３０５よりも大きい第２の閾値３０７を超えていることである。即ち、オフセット欠陥Ｂ３０６はオフセット欠陥Ａ３０３に比べて重度の欠陥あることを示している。

第１の実施形態では、欠陥位置メモリ１０５に、黒欠陥、白欠陥、及び比較的重度の欠陥であるオフセット欠陥Ｂの位置情報と、比較的軽度の欠陥であるオフセット欠陥Ａの位置情報とを分けて記憶させる。これにより、重度の欠陥と軽度の欠陥とで異なる手法で補正を行うことができる。

即ち、遮光状態等においてＡ／Ｄ変換回路１０４から出力された信号が特異なレベルを出力しておらず、また欠陥位置メモリ１０５に位置情報が記憶されていない場合には補正を行う必要がないので、Ａ／Ｄ変換回路１０４の出力信号が出力選択部１０９によって選択される。

また、Ａ／Ｄ変換回路１０４から出力された信号が白欠陥３０１、黒欠陥３０２、及びオフセット欠陥Ｂ３０６の特性を有する信号である、または欠陥位置メモリ１０５に白欠陥３０１、黒欠陥３０２、及びオフセット欠陥Ｂ３０６の特性を有する画素であることが記憶されている場合には、重度の欠陥であるとして、従来の欠陥補正の手法と同様に、参照信号演算部１０８の出力を用いて欠陥画素から出力される信号が置換される。即ち、この場合には参照信号演算部１０８で演算された参照信号（近隣画素出力の平均値信号、メディアン値信号、加重平均値信号など）が出力選択部１０９によって選択されて信号処理回路１１０に出力される。

更に、Ａ／Ｄ変換回路１０４から出力される信号がオフセット欠陥Ａ３０３の特性を有する信号である、または欠陥位置メモリ１０５にオフセット欠陥Ａ３０３の特性を有する画素であることが記憶されている場合には、オフセット欠陥Ｂ３０６に比べて軽度の欠陥であるとして、減算部１０７において、Ａ／Ｄ変換回路１０４の出力からオフセット値記憶部１０６に記憶された画素固有のオフセット値（図２で示すオフセット値）が減算される。その減算値が出力選択部１０９によって選択されて信号処理回路１１０に出力される。

以上説明したように、第１の実施形態では、比較的軽度の欠陥であるオフセット欠陥Ａについては、白欠陥や黒欠陥と同様の手法ではなく、その画素単体の出力を加工して補正するようにしている。即ち、その画素単体の情報を用いることができるので、従来の欠陥画素の近傍の画素の情報を用いる場合に比べて、周辺画素の影響を受けにくく、それに伴う画質の低下を防ぐことができる。一方、比較的重度の欠陥であるオフセット欠陥Ｂについては、白欠陥や黒欠陥と同様の手法により補正を行うので、画質の低下を防ぐことができる。また、オフセット欠陥の度合いによりオフセット値を減算する補正か近隣同色画素によって置換する補正の何れか最適な欠陥補正手法を自動的に選択することができる。

更に、Ａ／Ｄ変換回路１０４の出力によって欠陥画素を検出するだけでなく、欠陥位置メモリ１０５に記憶された欠陥画素の位置情報からも欠陥画素を検出することができるので、予め欠陥画素であると分かっている画素に対する補正処理については速やかに行うことができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。ここで、以後の説明において第１の実施形態と同様の構成については説明を省略する。

図３は、本発明の第２の実施形態に係る撮像装置の構成について示すブロック図である。第２の実施形態が第１の実施形態と異なる点は、オフセット欠陥の判別基準が均一の光入力状態における近隣同色画素との比較だけではない点である。即ち、第２の実施形態においては、撮影時などの撮像装置の通常の使用状態においても欠陥画素を検出できるようにしたものである。このために第２の実施形態においては比較器１１１と、第１の閾値減算部１１２とが設けられている。比較器１１１は、固体撮像素子１０２の任意の画素からＡ／Ｄ変換回路１０４を介して出力される信号（以下、注目画素から出力される信号と称する）と参照信号演算部１０８において演算された参照信号との差分値と、図２で説明した第１の閾値３０５及び第２の閾値３０７とを比較して、その比較結果を出力選択部１０９に出力する。第１の閾値減算部１１２は、注目画素から出力される信号から、図２で説明した第１の閾値３０５を減算して出力選択部１０９に出力する。

次に、第２の実施形態の作用を説明する。ここで、欠陥位置メモリ１０５に位置情報が記憶されている欠陥画素については第１の実施形態で説明した場合と同様の補正が行われるので説明を省略し、欠陥位置メモリ１０５に位置情報が記憶されていない、後発的に欠陥が発生した画素に対する補正についてのみ説明する。

比較器１１１における比較の結果、注目画素から出力される信号と参照信号との差分値が、第１の閾値未満である場合には、その注目画素から出力される信号は遮光状態において第１の閾値未満であると予想される。そこで、このような場合には、注目画素は欠陥画素ではないとして補正を行わない。即ち、この場合には出力選択部１０９はＡ／Ｄ変換回路１０４から出力される信号を選択して後段の信号処理回路１１０に出力する。

また、比較器１１１における比較の結果、注目画素から出力される信号と参照信号との差分値が、第１の閾値以上かつ第２の閾値以下である場合には、その注目画素から出力される信号は遮光状態において第１の閾値と第２の閾値の間に存在すると予想される。そこで、この場合には上記第１の実施形態で説明したオフセット値を減算する手法による補正が最適であると判断する。ただし、この場合に減算されるオフセット値はオフセット値記憶部１０６に記憶されたオフセット値ではなく、第１の閾値である。即ち、この場合には出力選択部１０９は第１の閾値減算部１１２から出力される信号を選択して後段の信号処理回路１１０に出力する。

更に、比較器１１１における比較の結果、注目画素から出力される信号と参照信号との差分値が、第２の閾値を越える場合には、その注目画素から出力される信号を、その近傍に配置された複数の同色画素の出力から求められた参照信号を用いて置換する補正が最適であると判断する。即ち、この場合には出力選択部１０９は参照信号演算部１０８から出力される信号を選択して後段の信号処理回路１１０に出力する。

以上説明したように第２の実施形態によれば、従来のようにユーザが遮光状態で撮影を行ったり、専用被写体を撮影したりして後発的に発生する画素欠陥を検出する必要がないので、煩わしさがなくなり、ユーザが画素欠陥の補正を意識することなく自動的に後発欠陥を補正でき、後発的に発生する欠陥に伴う画質の低下を抑えることができる。

ここで、この第２の実施形態は、初期の画素欠陥の補正機能と後発の画素欠陥の補正機能を兼ねた構成になっているが、後発の画素欠陥の補正機能に限定した構成に容易に変更できるのは言うまでもないことである。

また、また第２の実施形態では欠陥位置メモリ１０５に欠陥位置情報が記憶されている場合には第１の実施形態と同様の補正を行うとしているが、これに限るものでなく、常に欠陥位置メモリ１０５の位置情報と比較器１１１による比較結果とを比較して、例えば注目画素の欠陥が欠陥位置メモリ１０５に記憶されているものよりも重度のものに変化した場合などにそれに応じた補正を行えるようにしても良い。

以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、上記した各実施形態について、オフセット欠陥の出力が飽和状態のときには、オフセット値を減算しないための回路を減算部１０７に設けることにより、飽和状態でのオフセット値の減算に伴う色の変化を防ぐことができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の第１の実施形態に係る撮像装置の構成について示すブロック図である。 固体撮像素子の一般的な光電変換特性を示すグラフである。 本発明の第２の実施形態に係る撮像装置の構成について示すブロック図である。 従来例の撮像装置の構成について示すブロック図である。

符号の説明

１０１…露光制御部、１０２…固体撮像素子（ＣＣＤ）、１０３…プリプロセス回路、１０４…アナログ／デジタル（Ａ／Ｄ）変換回路、１０５…欠陥位置メモリ、１０６…オフセット値記憶部、１０７…減算部、１０８…参照信号演算部、１０９…出力選択部、１１０…信号処理回路、１１１…比較器、１１２…第１の閾値減算部

Claims (8)

1. 固体撮像素子を備えた撮像装置であって、
   均一の光入力状態において前記固体撮像素子の欠陥画素から出力される信号と前記欠陥画素の近傍に配置され前記欠陥画素と同色の複数の画素から求められた参照信号との差分値をオフセット値として記憶するオフセット値記憶部と、
   前記固体撮像素子の欠陥画素から出力される信号から前記オフセット値記憶部に記憶されたオフセット値を減算して得られた信号を出力する減算部と、
   前記固体撮像素子から出力された信号が前記固体撮像素子の欠陥画素から出力された信号であるとき、前記減算部から出力される信号を選択して後段の信号処理回路に出力する出力選択部と、
   を具備することを特徴とする撮像装置。
2. 前記固体撮像素子上の欠陥画素の位置情報を記憶する欠陥位置メモリを更に具備し、
   前記出力選択部は、前記欠陥位置メモリに記憶された位置情報に基づいて前記減算部から出力される信号を選択することを特徴とする請求項１に記載の撮像装置。
3. 前記欠陥位置メモリは、前記位置情報を、前記オフセット値が閾値以下である第１の欠陥画素の位置情報と前記オフセット値が前記閾値を超える第２の欠陥画素の位置情報とに分けて記憶しており、
   前記オフセット値記憶部は、第１の欠陥画素に係る前記オフセット値を記憶していることを特徴とする請求項２に記載の撮像装置。
4. 任意の画素の近傍に配置され前記任意の画素と同色の複数の画素から参照信号を求める参照信号演算部を更に具備し、
   前記出力選択部は、前記欠陥画素が前記第２の欠陥画素であるときには、前記参照信号演算部から出力される参照信号を選択して後段の信号処理回路に出力することを特徴とする請求項３に記載の撮像装置。
5. 任意の画素の近傍に配置され前記任意の画素と同色の複数の画素から参照信号を求める参照信号演算部と、
   前記任意の画素から出力される信号と前記参照信号演算部で求められた参照信号との差分値を比較対象として、第１の閾値及び前記第１の閾値よりも大きい第２の閾値と比較する比較器と、
   前記任意の画素から出力される信号から前記第１の閾値を減算して得られた信号を出力する第１の閾値減算部とを更に具備し、
   前記出力選択部は、前記任意の画素の位置情報が前記欠陥位置メモリに記憶されておらず、かつ前記比較器による比較の結果、前記比較対象が前記第１の閾値以上であって前記第２の閾値以下のときには、前記第１の閾値減算部から出力される信号を選択して後段の信号処理回路に出力することを特徴とする請求項２に記載の撮像装置。
6. 前記出力選択部は、前記任意の画素の位置情報が前記欠陥位置メモリに記憶されておらず、かつ前記比較器による比較の結果、前記比較対象が前記第２の閾値を越えているときには、前記参照信号演算部から出力される参照信号を選択して後段の信号処理回路に出力することを特徴とする請求項５に記載の撮像装置。
7. 固体撮像素子を備えた撮像装置であって、
   任意の画素の近傍に配置され前記任意の画素と同色の複数の画素から参照信号を求める参照信号演算部と、
   前記任意の画素から出力される信号と前記参照信号演算部で求められた参照信号との差分値を、第１の閾値及び前記第１の閾値よりも大きい第２の閾値と比較する比較器と、
   前記任意の画素から出力される信号から前記第１の閾値を減算し、得られた信号を出力する第１の閾値減算部と、
   前記比較器による比較の結果、前記差分値が前記第１の閾値以上であって前記第２の閾値以下のときには、前記第１の閾値減算部から出力される信号を選択して後段の信号処理回路に出力する出力選択部と、
   を具備することを特徴とする撮像装置。
8. 前記出力選択部は、前記比較器による比較の結果、前記差分値が前記第２の閾値を越えているときには、前記参照信号演算部から出力される参照信号を選択して後段の信号処理回路に出力することを特徴とする請求項７に記載の撮像装置。

Images