JP4875032B2 - 固体撮像装置 - Google Patents

Description

本発明は、撮像素子面に結像された被写体像のアナログ信号をデジタル信号に変換し、さらにデジタル映像信号を人が見たシーンに近づけるための画像処理を実施して所望の映像信号を生成する固体撮像装置に関する。

近年、ＤＳＣ（デジタルスチルカメラ）やカメラ付き携帯電話等に搭載されるカメラのようなデジタル映像信号を出力する撮像装置は、搭載されるＤＳＣや携帯電話などの更なる小型化等の要望に伴って、光学系（レンズ）の薄型化、小型化、枚数の削減等の検討が盛んに行われている。そのため、レンズに対する制約から、被写体像を撮像素子面に精度良く結像させる事が難しくなってきており、様々な弊害が生じている。

その中の一つとして、撮像素子面の中央付近に対し、周辺の光量が落ち周辺の画像が暗くなり、その影響で周辺のコントラストが中央に対し採りづらくなる問題がある。この問題の解決方法としては、たとえば、デジタル信号に変換された後の映像信号（デジタル映像信号）に対してシェーディング補正を行う事が考えられる。具体的には、撮像素子面の位置に応じた補正係数を用い、電気的なシェーディング補正を実施する（たとえば、下記特許文献１参照）。

ここで、固体撮像装置の中には、撮像素子で使用する撮像条件（たとえばアナログゲイン）を変更可能なものが存在する。この場合、撮像素子から出力される画像信号は撮像条件に応じて変化するため、撮像素子の後段で実施する各種画像処理の最適な実施条件も撮像条件に応じて変化する。しかしながら、特許文献１に記載の技術では、撮像素子面の位置のみを考慮した補正係数を用いているため、撮像条件に対応させた最適な条件での処理が実施できていない、という問題がある。

特開２００１−３３９７３６号公報

本発明は、撮像条件に応じた最適な条件にて映像信号に対する画像処理を実行する固体撮像装置を提供することを目的とする。

本願発明の一態様によれば、撮像レンズを通して入射された被写体像からの光を電気信号に変換する固体撮像装置であって、前記光を撮像素子にて撮像し、得られたアナログ映像信号を、外部から設定されたアナログゲインで増幅する撮像手段と、前記増幅後のアナログ映像信号に基づいて生成されたデジタル映像信号を受け取り、当該デジタル映像信号に対して、前記撮像素子の位置情報、および前記アナログゲインまたは当該アナログゲインに応じて変動する輝度情報、に基づいた輪郭強調処理を実行する画像処理手段と、を備える固体撮像装置が提供される。

本発明によれば、被写体像を撮像する際の条件（撮像条件）に応じた最適な条件での画像処理を実現できるという効果を奏する。

以下に添付図面を参照して、この発明にかかる固体撮像装置の最良な実施の形態を詳細に説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態にかかる固体撮像装置の構成例を示すブロック図である。この固体撮像装置は、撮像レンズ１、撮像部２、ＡＤ変換器（ＡＤＣ）３および画像処理部４を備える。

撮像レンズ１は、被写体からの光を取り込む。撮像部２は、撮像レンズ１に入射された光を撮像する。また、撮像部２は、図示を省略したイメージセンサ（撮像素子）により取り込んだアナログ映像信号を、外部から指定された撮像条件に応じたゲイン（アナログゲイン）にて増幅する機能を有する。ＡＤ変換器３は、撮像部２から出力されるアナログ映像信号をデジタル映像信号に変換する。画像処理部４は、ＡＤ変換器３から出力されたデジタル映像信号に対して、デジタル映像信号が人の目にリニアに映し出せるようにする処理、すなわち、デジタル映像信号を人が見たシーンに近づけるための画像処理を実行する。

また、画像処理部４は、デジタル映像信号が人の目にリニアに映し出せるようにする画像処理を実行するための構成として、ノイズキャンセル部４１、ホワイトバランス処理部４２、シェーディング処理部４３、画素補間処理部４４、カラーマトリクス処理部４５、輪郭処理部４６およびガンマ補正部４７を備え、さらに、画像処理を実行して得られたデジタル映像信号を出力するための出力部４８を備える。

ノイズキャンセル部４１は、前段のＡＤ変換器３から出力されたデジタル映像信号を取得し、取得したデジタル映像信号から被写体像の信号とは異なる信号（ノイズ）を除去する。

ホワイトバランス処理部４２は、ノイズキャンセル部４１にてノイズが除去された後のデジタル映像信号に対してホワイトバランス処理を実行する。

シェーディング処理部４３は、ホワイトバランス処理部４２にてホワイトバランス処理が実行された後のデジタル映像信号に対して、対応する画素の位置（撮像素子のどの画素から取り込まれた信号か）に応じて個別に決定された補正係数（以下、「シェーディング対策用補正係数」と記載する）を乗じることにより電気的なシェーディング補正を実行する。画素の位置を示す位置情報は、撮像部２において撮像素子を駆動させる際に使用する信号（撮像素子に蓄積された電荷を読み出す際に、電荷を読み出す画素を指定するための信号）である垂直同期信号（Ｖ同期信号）および水平同期信号（Ｈ同期信号）に基づいて算出する。また、シェーディングが発生した場合、図２に示したように、画像の中心部と比較して周辺部の光量が不足した状態となる。そのため、周辺部に近いほど（中心から離れるほど）値が大きくなるようにシェーディング対策用補正係数を決定する。一例を挙げると、次式（１）を用いてシェーディング対策用補正係数を算出する。
（シェーディング対策用補正係数）＝ａｘ²＋ｂｙ² …（１）
なお、式（１）において、ａ，ｂは、予め決定しておいた定数であり、ｘ，ｙは、中心画素を基準とした場合の各画素の位置を示す２次元ベクトルの要素である。以降、説明の便宜上、これらの要素ｘ，ｙを水平位置情報ｘ，垂直位置情報ｙと記載する。

画素補間処理部４４は、シェーディング処理部４３にてシェーディング補正が実行された後のデジタル映像信号に対して、画素補間処理を実行する。

カラーマトリクス処理部４５は、画素補間処理部４４にて画素補間処理が実行された後のデジタル映像信号に対して、色再現性を得るためのカラーマトリクス演算処理（色再現性処理）を実行する。

輪郭処理部４６は、カラーマトリクス処理部４５にて色再現性処理が実行された後のデジタル映像信号に対して、撮像部２における撮像条件および各画素の位置に基づいて算出した補正係数を用いて輪郭強調処理を実行する。なお、補正係数の算出動作および算出した補正係数を用いて行う輪郭強調処理の詳細については後述する。

ガンマ補正部４７は、輪郭処理部４６にて輪郭が強調された後のデジタル映像信号に対して、ガンマ補正を実行する。

出力部４８は、ガンマ補正部４７にてガンマ補正が実行された後のデジタル映像信号を最終的なデジタル映像信号（補正後のデジタル映像信号）として外部へ出力する。

つづいて、輪郭処理部４６が補正係数を算出して輪郭強調処理を実行する動作について、図３、図４−１、図４−２を参照しながら詳細に説明する。なお、図３は、輪郭処理部４６の構成例を示す図である。図４−１は、輪郭処理部４６による輪郭強調処理の動作手順例を示す図であり、図４−２は、輪郭強調処理で使用する補正係数の算出手順例を示す図である。

図３に示したように、輪郭処理部４６は、水平位置情報算出部４６１ｘおよび垂直位置情報算出部４６１ｙからなる位置情報算出部４６１と、ゲイン係数算出部４６２と、補正係数算出部４６３と、輪郭情報抽出部４６４と、乗算器４６５と、加算器４６６と、を備える。

上述した構成の輪郭処理部４６は、前段のカラーマトリクス処理部４５から入力されたデジタル映像信号に対して図４−１に示した手順を実行して輪郭強調を行う。

すなわち、輪郭処理部４６では、まず、輪郭情報抽出部４６４が入力デジタル映像信号から輪郭情報を抽出する（図４−１のステップＳ１）。次に、抽出した輪郭情報を補正するための補正係数を図４−２に示した手順に従って算出する（ステップＳ２）。具体的には、補正係数算出部４６３が、補正係数を算出するための定数ＡおよびＢを設定し（ステップＳ２１）、また、位置情報算出部４６１では、水平位置情報算出部４６１ｘがＨ同期信号に基づいて水平位置情報ｘを算出し、垂直位置情報算出部４６１ｙがＶ同期信号に基づいて垂直位置情報ｙを算出することにより、画素の位置を示す位置情報を算出する（ステップＳ２２）。なお、位置情報の算出で使用する各同期信号（Ｈ同期信号，Ｖ同期信号）は、上述したシェーディング処理部４３が位置情報を算出する際に使用する各同期信号と同じものであり、位置情報算出部４６１は、シェーディング処理部４３と同じ手順で位置情報を算出する。さらに、ゲイン係数算出部４６２が、撮像部２から取得した撮像条件、または外部から予め取得し保持しておいた撮像部２における撮像条件に基づいて、補正係数算出部４６３が補正係数算出処理で使用するゲイン係数Ｃを算出する（ステップＳ２３）。

補正係数算出部４６３がゲイン係数Ｃを算出するにあたっては、たとえば、撮像条件に含まれる各種条件の中の一つであるアナログゲインを使用する。そして、アナログゲインを使用する場合、図５−１に示したように、アナログゲインが低ければゲイン係数Ｃが高くなり、一方、アナログゲインが高ければゲイン係数Ｃが低くなるように、ゲイン係数Ｃを算出する。なお、アナログゲインとは、撮像部２において、撮像素子により取り込んだ信号を増幅する際に使用するゲインである。また、ゲイン係数Ｃを算出する際に使用する算出式の一例を次式（２）に示す。
Ｃ＝（α−β）×ＡＧ＋β …（２）
ここで、α，βは所定の定数であり、ＡＧはアナログゲインである。

そして、補正係数算出部４６３が、位置情報算出部４６１により算出された位置情報（ｘ，ｙ）、ゲイン係数算出部４６２により算出されたゲイン係数（Ｃ）、および上記ステップＳ２１で設定した定数（Ａ，Ｂ）に基づいて補正係数を算出する（ステップＳ２４）。なお、この補正係数は、たとえば、次式（３）を用いて算出する。
（補正係数）＝（Ａｘ²＋Ｂｙ²）×Ｃ …（３）

なお、ゲイン係数算出部４６２は、アナログゲインに基づいてゲイン係数Ｃを算出するのではなく、アナログゲインに応じて変化する輝度情報に基づいてゲイン係数Ｃを算出してもよい。この輝度情報は、デジタル映像信号から算出可能な情報である。また、輝度情報に基づいてゲイン係数Ｃを算出する場合には、図５−２に示したように、輝度が高い（明るい）ほどゲイン係数Ｃも高くなるように、ゲイン係数Ｃを算出する。これは、輝度が高い場合はＳ／Ｎが良好であり、ゲインを高く設定してもノイズが増幅され難いためである。この場合に使用する算出式も上記の式（２）と同様のものである。すなわち、輝度情報を利用する場合、式（２）のαおよびβを、輝度情報を利用する場合の値に設定し、ＡＧ（アナログゲイン）を輝度情報に置き換えた算出式を使用してゲイン係数Ｃを算出する。

図４−１に示した手順の説明に戻り、ステップＳ２の処理が実行され、補正係数算出部４６３により補正係数が算出されると、乗算器４６５が、この補正係数を上記ステップＳ１で輪郭情報抽出部４６４により抽出された輪郭情報に対して乗算することにより、輪郭情報を補正する（ステップＳ３）。最後に、加算器４６６が、乗算器４６５から出力された補正後の輪郭情報を、輪郭情報抽出部４６４で輪郭情報が抽出された後のデジタル映像信号に加算することにより、輪郭強調が行われたデジタル映像信号を生成する（ステップＳ４）。

なお、上述したとおり、輪郭処理部４６において位置情報算出部４６１が算出する位置情報は、上記シェーディング処理部４３が電気的なシェーディング補正を実行する際に算出する位置情報（水平位置情報ｘ，垂直位置情報ｙ）と同じである。そのため、輪郭処理部４６は、自ら位置情報を算出するのではなく、シェーディング処理部４３により算出された位置情報を利用する（シェーディング処理部４３から位置情報を取得する）ようにしてもよい。

このように、本実施の形態の固体撮像装置では、デジタル信号に変換された後の映像信号に対して、処理対象の情報（映像信号）が撮像素子上のどの画素から取り込まれたかを示す位置情報と、撮像条件（上記のアナログゲイン）または撮像条件に応じて変化する輝度情報と、に基づいてデジタル映像信号の輪郭情報を補正する画像処理（輪郭補正処理）を実行することとした。これにより、撮像条件に応じた条件での画像処理が実現でき、特に、位置情報のみを考慮して輪郭補正を行う場合と比較して、より高精度な輪郭補正が実現できる。たとえば、アナログゲインが高いまたは輝度が低い場合、Ｓ／Ｎが悪いため、ノイズが強調されないように輪郭補正を弱め、これに対して、アナログゲインが低いまたは輝度が高い場合にはＳ／Ｎが良いため、輪郭補正を強める、というような制御が可能となる。

また、位置情報と撮像条件等に基づいて輪郭補正を実行することとしたので、光学系におけるシェーディング対策が不十分な場合であっても、輪郭補正を実行する前にレンズシェーディング補正を実行しておく必要がなくなる。すなわち、輪郭補正を実行した後にレンズシェーディング補正を実行する、というような構成を採用することが可能になり、従来よりも柔軟なシステム設計が可能となる。

また、輪郭補正処理で使用する位置情報は、その前に実行されるレンズシェーディング補正処理で算出された位置情報を利用することが可能であるため、算出済みの位置情報を利用する構成を採用することによりシステム規模を削減できる。また、撮像素子を駆動するために必要な同期信号に基づいて位置情報を算出するため、システム構成によらず容易に位置情報を求めることができる。

（第２の実施の形態）
つづいて、第２の実施の形態について説明する。図６は、第２の実施の形態の固体撮像装置の構成例を示す図である。図示したように、本実施の形態の固体撮像装置は、実施の形態１の固体撮像装置（図１参照）のＡＤ変換器３と画像処理部４との間にＥＤｏＦ処理部５が追加された構成をとる。なお、追加されたＥＤｏＦ処理部５以外の構成については実施の形態１で説明したとおりであるため、本実施の形態では、ＥＤｏＦ処理部５についてのみ説明を行う。

ＥＤｏＦ処理部５は、ＡＤ変換器３から出力されたデジタル映像信号に対して、ＥＤｏＦ（Extended Depth of Focus）技術を利用したデジタル画像処理を実行する。ここで、ＥＤｏＦ技術とは、イメージセンサのデジタル映像信号のコントラスト情報を元に所定の輪郭処理を行い画像のピントがあった状態を作りだす技術である。そして、このＥＤｏＦ技術では、従来、シェーディングが発生していない状態の映像信号（光学系において十分なシェーディング対策が実施された上で撮像された映像信号）を想定して処理を行っていた。

しかしながら、上述したように、近年は光学系に対する制約から、光学系にて十分なシェーディング対策を行うことが困難な場合も少なくない。そのため、図６に示した構成を採用し、かつ光学系にて十分なシェーディング対策が行われていない場合には、画像の中央付近はＥＤｏＦ処理がなされピントがあった状態を作りだせるが、周辺ではシェーディングの影響で適正な処理がされず、精度の悪い処理結果となってしまう。そこで、本実施の形態の固体撮像装置を構成するＥＤｏＦ処理部５では、撮像部２内で撮像素子を駆動させる際に使用する制御信号（撮像素子駆動用信号）に含まれる垂直同期信号と水平同期信号から画素の位置情報を算出し、算出した位置情報に基づいて、ＥＤｏＦ処理の処理レベルを切り替える。また、処理レベルを切り替える際には、第１の実施の形態で示した輪郭処理部４６と同様に、撮像部２における撮像条件またはそれに相当する情報（アナログゲインまたは輝度情報）も併せて考慮する。すなわち、ＥＤｏＦ処理部５は、位置情報、および撮像条件（アナログゲイン）またはそれに応じて変動する情報（輝度情報）に基づいてＥＤｏＦ処理の処理レベルを切り換える。

このように、本実施の形態の固体撮像装置では、第１の実施の形態１で示した画像処理部において上述した画像処理を実行する前に、位置情報および撮像条件（または撮像条件に応じて変動する情報）に基づいて処理レベルを切り換えながらＥＤｏＦ処理（ＥＤｏＦ技術を利用したデジタル画像処理）を実行することとした。これにより、光学的要因によりＥＤｏＦ処理の処理精度が劣化するのを防止できる。また、光学系にてシェーディング対策を十分に行うことが困難な場合であっても、電気的なシェーディング補正（上述したレンズシェーディング補正）を実行する前にＥＤｏＦ処理を実行することが可能となるので、柔軟なシステム設計が可能となる。

（第３の実施の形態）
つづいて、第３の実施の形態について説明する。本実施の形態では、実施の形態１の固体撮像装置および実施の形態２の固体撮像装置が備える画像処理部４において、ノイズキャンセル部４１が実行するノイズキャンセル処理について説明する。

ノイズキャンセル処理では、デジタル映像信号から、不要な情報であるノイズ成分に加え、有意な情報の一部（たとえばエッジ情報）も併せて除去してしまう。そのため、本実施の形態の固体撮像装置では、ノイズキャンセル処理にて消失してしまう（除去されてしまう）可能性の高い有意な情報を一旦保持しておき、保持しておいた情報をノイズ成分が除去された後のデジタル映像信号に加算することにより、ノイズキャンセル処理で有意な情報を消失してしまうことを防止する。

図７は、第３の実施の形態の固体撮像装置が備えるノイズキャンセル部４１の構成例を示す図である。図示したように、ノイズキャンセル部４１は、入力されたデジタル映像信号からノイズ成分を除去するノイズキャンセル処理部４１１と、入力されたデジタル映像信号から高周波成分を抽出する高周波成分抽出部４１２と、ノイズキャンセル処理部４１１にてノイズ成分が除去された後のデジタル映像信号に対して高周波成分抽出部４１２にて抽出された高周波成分を加算する加算器４１３と、を備える。

高周波成分抽出部４１２の詳細動作について説明する。高周波成分抽出部４１２は、撮像部２内の撮像素子を駆動させるための制御信号（撮像素子駆動用信号）である垂直同期信号と水平同期信号から画素の位置情報を算出し、さらに、算出した位置情報、および撮像部２における撮像条件またはこれに応じて変動する情報に基づいて、高周波成分の抽出条件を決定する。抽出条件とは、たとえば高周波成分を抽出する際に使用するフィルターの係数である。なお、第２の実施の形態の固体撮像装置（図６参照）が備えるノイズキャンセル部４１の場合、前段のＥＤｏＦ処理部５でも位置情報が算出されるので、ＥＤｏＦ処理部５で算出された位置情報を利用するようにして、高周波成分抽出部４１２は位置情報の算出を行わないようにすることも可能である。

なお、ノイズキャンセル処理部４１１がノイズ成分を除去する前に高周波成分抽出部４１２が高周波成分を抽出（除去）し、抽出した高周波成分をノイズ成分が除去された後のデジタル映像信号に対して加算するような構成としてもよい。すなわち、高周波成分抽出部４１２が高周波成分除去後のデジタル映像信号をノイズキャンセル部に対して出力し、ノイズキャンセル処理部４１１は、高周波成分除去後のデジタル映像信号からノイズ成分を除去し、加算器４１３は、ノイズキャンセル処理部４１１にてノイズ成分が除去された後のデジタル映像信号に対して、高周波成分抽出部４１２にて抽出された高周波成分を加算するような構成としてもよい。

また、加算器４１３は、高周波成分抽出部４１２から受け取った高周波成分を加算する際に、高周波成分に対して位置情報に応じた重み付けを行った上で（位置情報に基づいて算出した重み係数を高周波成分に乗算した上で）、高周波成分抽出部４１２から出力されたノイズ成分除去後のデジタル映像信号に加算するようにしてもよい。なお、この重み付け処理は、高周波成分抽出部４１２が行うようにしてもよい。

なお、ノイズキャンセル部４１の配置は、必ずしも図１で示した配置とする必要はない。たとえば、ガンマ補正部４８の後段に配置するようにしてもよい。ノイズキャンセル部４１よりも前段に位置情報を算出する構成要素（シェーディング処理部４３，輪郭処理部４６など）が配置されている場合、そこで算出された位置情報を利用することとして、高周波成分抽出部４１２では位置情報の算出を行わないようにすることも可能である。

このように、本実施の形態の固体撮像装置では、映像信号に対してノイズキャンセル処理を実行する場合、位置情報および撮像条件（または撮像条件に応じて変動する情報）に基づいて決定した条件に従い、映像信号に含まれる所定の高周波成分を抽出して保持しておき、この保持しておいた高周波成分をノイズ成分除去後の映像信号に加算することとした。これにより、光学的要因による画質劣化の影響を低減でき、精度の高いノイズキャンセル処理が実現できる。すなわち、映像信号の高周波成分がノイズキャンセル処理によって必要以上に除去されてしまうのを防止できる。

第１の実施の形態にかかる固体撮像装置の構成例を示すブロック図。 画像にシェーディングが発生した場合の一例を示す図。 輪郭処理部の構成例を示す図。 輪郭処理部による輪郭強調処理の動作手順例を示す図。 輪郭強調処理で使用する補正係数の算出手順例を示す図。 アナログゲインとゲイン係数の関係を示す図。 輝度情報とゲイン係数の関係を示す図。 第２の実施の形態の固体撮像装置の構成例を示す図。 第３の実施の形態の固体撮像装置が備えるノイズキャンセル部の構成例を示す図。

符号の説明

１ 撮像レンズ、２ 撮像部、４ 画像処理部、５ ＥＤｏＦ処理部、４１ ノイズキャンセル部、４６ 輪郭処理部、４１１ ノイズキャンセル処理部。

Claims (5)

1. 撮像レンズを通して入射された被写体像からの光を電気信号に変換する固体撮像装置であって、
   前記光を撮像素子にて撮像し、得られたアナログ映像信号を、外部から設定されたアナログゲインで増幅する撮像手段と、
   前記増幅後のアナログ映像信号に基づいて生成されたデジタル映像信号を受け取り、当該デジタル映像信号に対して、前記撮像素子の位置情報、および前記アナログゲインまたは当該アナログゲインに応じて変動する輝度情報、に基づいた輪郭強調処理として、画像の中心から離れるほど輪郭強調量が大きくなる補正係数を、前記デジタル映像信号に含まれる輪郭情報に対して乗算する画像処理手段と、
   を備えることを特徴とする固体撮像装置。
2. 前記画像処理手段は、
   前記アナログゲインまたは前記輝度情報に基づいて、前記アナログゲインが高い場合には小さな値となり、一方、前記アナログゲインが低い場合には大きな値となるゲイン係数Ｃ（ただし０＜Ｃ）を算出し、さらに、算出したゲイン係数Ｃと、前記位置情報である、中心画素を基準とした場合の各画素の位置を示す２次元ベクトルの要素ｘ，ｙとを用いて、前記補正係数として「（Ａｘ ² ＋Ｂｙ ² ）×Ｃ」を算出する
   ことを特徴とする請求項１に記載の固体撮像装置。
3. さらに、
   前記増幅後のアナログ映像信号をＡＤ変換して得られたデジタル映像信号に対して、前記位置情報、および前記アナログゲインまたは前記輝度情報に基づくExtended Depth of Focus技術を利用したデジタル画像処理を実行するＥＤｏＦ処理手段、
   を備え、
   前記画像処理手段は、前記ＥＤｏＦ処理手段によりデジタル画像処理が実行された後のデジタル映像信号に対して前記輪郭強調処理を実行することを特徴とする請求項１または２に記載の固体撮像装置。
4. 前記画像処理手段は、
   前記デジタル映像信号からノイズ成分を除去し、また、前記位置情報、および前記アナログゲインまたは前記輝度情報に基づいて前記デジタル映像信号に含まれる高周波成分を抽出し、さらに、当該抽出した高周波成分を前記ノイズ成分除去後のデジタル映像信号に加算するノイズキャンセル手段、
   を備えることを特徴とする請求項１、２または３に記載の固体撮像装置。
5. 前記画像処理手段は、
   前記デジタル映像信号からノイズ成分を除去し、また、前記位置情報、および前記アナログゲインまたは前記輝度情報に基づいて前記デジタル映像信号に含まれる高周波成分を抽出し、さらに、当該抽出した高周波成分に対して前記位置情報に応じた重み付けを行い、得られた信号を前記ノイズ成分除去後のデジタル映像信号に加算するノイズキャンセル手段、
   を備えることを特徴とする請求項１、２または３に記載の固体撮像装置。