JP2013042327A - 画像処理装置及び固体撮像装置 - Google Patents

Abstract

【課題】簡易な構成により、原色フィルタと補色フィルタのいずれにも対応可能とする画像処理装置及び固体撮像装置を提供すること。
【解決手段】実施形態によれば、画像処理装置である撮像処理回路６１は、色信号変換部６６を有する。色信号変換部６６は、補色成分についての信号を、原色信号へ変換可能とする。色信号変換部６６は、補色成分についての入力信号を原色信号へ変換して出力する場合と、原色信号である入力信号を原色信号として通過させる場合と、のいずれかに設定可能とされている。
【選択図】図２

Description

本発明の実施形態は、画像処理装置及び固体撮像装置に関する。

固体撮像装置のイメージセンサは、一般的に、受光面に結像した被写体像の明暗を電気信号に変換（光電変換）し、得られた信号を順次読み出すことで画像を映し出すデバイスである。イメージセンサとしては、例えば、ＣＣＤ（charge coupled device）、ＣＭＯＳ（complementary metal oxide semiconductor）がある。イメージセンサは、色分離用のカラーフィルタを用いて、色成分ごとの信号を取得する。色分離用のカラーフィルタとしては、原色フィルタと補色フィルタとが知られている。原色フィルタは、原色成分である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色用のフィルタから構成されている。一般的な補色フィルタは、補色成分である黄（Ｙｅ）、シアン（Ｃｙ）、マゼンタ（Ｍｇ）にＧを加えた各色用のフィルタから構成されている。

原色フィルタを適用するイメージセンサは、ＲＧＢの原色成分を直接検出することから、補色フィルタを適用する場合に比べて、良好な色再現性や高い信号対ノイズ比（ＳＮＲ）を得ることができる。これに対して、補色フィルタを適用するイメージセンサは、２つの原色成分からなる補色成分を検出することから、原色フィルタを適用する場合に比べて、高い感度を得ることができる。また、補色フィルタを適用する場合には、補色成分についての信号を原色信号へ変換することとなるため、原色フィルタを適用する場合のほうが簡易な回路構成による信号処理が可能となる。

このような特徴から、色再現性が重要視される場合、例えばデジタルスチルカメラにおいては、原色フィルタが多く適用されている。また、感度が重要視される場合、例えば監視カメラ、デジタルビデオカメラ等においては、補色フィルタが多く適用されている。

固体撮像装置の後段の信号処理回路は、固体撮像装置から入力される画像信号が原色信号である場合と補色信号である場合とで、構成に差異が存在することとなる。例えば、原色フィルタを備えるイメージセンサへの適用を想定して構成された信号処理回路に、補色フィルタを備えるイメージセンサを適用する場合、信号処理回路には、補色信号を原色信号へ変換するための構成が必要となる。また、原色フィルタ及び補色フィルタのいずれを適用するかに応じて、後段の信号処理回路のうち、ＹＵＶ信号を生成するための回路も異なってくる。このため、原色用及び補色用のいずれのカラーフィルタを使用するかという選択を望むような場合には、後段の信号処理回路は、原色信号への対応のための構成と補色信号への対応のための構成とを併設することとなるため、回路規模の増大が課題となる。

特開２００１−１６５９７号公報

本発明の一つの実施形態は、簡易な構成により、原色フィルタと補色フィルタのいずれにも対応可能とする画像処理装置及び固体撮像装置を提供することを目的とする。

本発明の一つの実施形態によれば、画像処理装置は、色信号変換部を有する。色信号変換部は、補色成分についての信号を、原色信号へ変換可能とする。色信号変換部は、補色成分についての入力信号を原色信号へ変換して出力する場合と、原色信号である入力信号を原色信号として通過させる場合と、のいずれかに設定可能とされている。

第１の実施形態にかかるカメラモジュールの概略構成を示すブロック図。 図１に示す固体撮像装置及びＩＳＰの詳細を示すブロック図。 原色フィルタの構成を説明する図。 第１の実施形態において適用する補色フィルタの構成例を説明する図。 一般的な補色フィルタの構成例を説明する図。 図２に示す色信号変換部の詳細を示すブロック図。 補色成分及び白色成分についての入力信号を原色信号へ変換する場合における各色成分の対応について説明する図。 入力信号の変換の際に色信号変換部が信号値を参照する画素の例を示す図。 入力信号の変換の際に色信号変換部が信号値を参照する画素の例を示す図。 入力信号の変換の際に色信号変換部が信号値を参照する画素の例を示す図。 入力信号の変換の際に色信号変換部が信号値を参照する画素の例を示す図。 第１の実施形態の変形例にかかる固体撮像装置及びＩＳＰの構成を示すブロック図。 第２の実施形態にかかるカメラモジュールのうち、固体撮像装置及びＩＳＰの構成を示すブロック図。 白色成分の信号値の算出において出力切り換え部が信号値を参照する画素の例を示す図。

以下に添付図面を参照して、実施形態にかかる画像処理装置及び固体撮像装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。

（第１の実施形態）
図１は、第１の実施形態にかかるカメラモジュールの概略構成を示すブロック図である。カメラモジュール５０は、レンズモジュール５１、固体撮像装置５２、イメージシグナルプロセッサ（image signal processor；ＩＳＰ）５３、記憶部５４及び表示部５５を有する。

レンズモジュール５１は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置５２は、被写体像を撮像する。ＩＳＰ５３は、固体撮像装置５２での撮像により得られた画像信号の信号処理を実施する。記憶部５４は、ＩＳＰ５３での信号処理を経た画像を格納する。記憶部５４は、ユーザの操作等に応じて、表示部５５へ画像信号を出力する。表示部５５は、ＩＳＰ５３あるいは記憶部５４から入力される画像信号に応じて、画像を表示する。表示部５５は、例えば、液晶ディスプレイである。

図２は、図１に示す固体撮像装置及びＩＳＰの詳細を示すブロック図である。固体撮像装置５２は、イメージセンサ６０及び撮像処理回路６１を有する。イメージセンサ６０は、被写体からの光を画素ごとに光電変換し、画像信号を生成する。イメージセンサ６０は、後述する原色フィルタ及び補色フィルタのいずれかを有する。

撮像処理回路６１は、イメージセンサ６０において取得した画像信号を処理する画像処理装置として機能する。撮像処理回路６１は、低周波ノイズ抑圧部６２、プリセットホワイトバランス（ＰＷＢ）調整部６３、シェーディング補正部６４、キズ補正ノイズ低減部６５及び色信号変換部６６を有する。

低周波ノイズ抑圧部６２は、イメージセンサ６０からの画像信号に対し、低周波ノイズの抑圧のための処理を実施する。ＰＷＢ調整部６３は、後述のオートホワイトバランス（ＡＷＢ）調整に先立ち、特定の色温度（例えば４８００Ｋ）の照明下におけるホワイトバランス調整を実施する。

シェーディング補正部６４は、画像の中央部と周辺部とにおける輝度ムラを補正するためのシェーディング補正を実施する。キズ補正ノイズ低減部６５は、キズ補正、及びノイズ低減処理を実施する。キズ補正は、イメージセンサ６０において正常に機能していない画素による画像信号の欠損部分（キズ）を補正する処理とする。色信号変換部６６は、補色成分についての信号から原色信号への変換を実施する。

ＩＳＰ５３は、色同時化処理部７１、ＡＷＢ調整部７２、偽色抑圧部７３、リニアマトリクス部７４、ガンマ補正部７５及びＹＵＶ変換部７６を有する。色同時化処理部７１は、固体撮像装置５２からの画像信号に対し、色同時化処理（デモザイキング処理）を施す。色同時化処理部７１は、画像信号の補間処理により、各画素について不足色成分の信号値を生成する。

ＡＷＢ調整部７２は、光源の色温度（例えば２８００Ｋ〜７５００Ｋ）の違いに応じて、できるだけ同じ色調で被写体像を得るためのホワイトバランス調整を実施する。偽色抑圧部７３は、被写体像に生じる偽色成分の抑圧のための処理を実施する。リニアマトリクス部７４は、色再現性を得るためのリニアカラーマトリクス処理を実施する。

ガンマ補正部７５は、ＲＧＢの画像信号に対して、画像の階調を補正するためのガンマ補正を実施する。ＹＵＶ変換部７６は、ＲＧＢの画像信号から輝度（Ｙ）信号及び色差（ＵＶ）信号を生成することにより、画像信号をＲＧＢ形式からＹＵＶ形式（例えば、ＹＵＶ４２２など）へ変換する。

カメラモジュール５０における信号処理のための構成は、前段の撮像処理回路６１と、後段のＩＳＰ５３とに大別される。なお、本実施形態で説明する撮像処理回路６１及びＩＳＰ５３の構成は一例であって、適宜変形しても良い。撮像処理回路６１及びＩＳＰ５３は、例えば、本実施形態で示す要素とは別の要素の追加や、省略可能な要素の省略等の変更をしても良い。

図３は、原色フィルタの構成を説明する図である。原色フィルタは、被写体からの光のうちの原色成分を通過させる。原色フィルタは、Ｇｒ、Ｒ、Ｇｂ、Ｂの４画素を単位として構成されるベイヤー配列に対応して、Ｒ用、Ｇ用及びＢ用の各フィルタが並列している。Ｇｒ画素は、ラインにてＲ画素と並列している。Ｇｂ画素は、ラインにてＢ画素と並列している。Ｒ画素に対応するＲ用フィルタは、Ｒ光を選択的に透過させる。Ｇｒ画素及びＧｂ画素に対応するＧ用フィルタは、Ｇ光を選択的に透過させる。Ｂ画素に対応するＢ用フィルタは、Ｂ光を選択的に透過させる。

図４は、第１の実施形態において適用する補色フィルタの構成例を説明する図である。図５は、一般的な補色フィルタの構成例を説明する図である。補色フィルタは、被写体からの光のうちの補色成分を通過させる。図５に示す補色フィルタは、Ｙｅ、Ｃｙ、Ｍｇ、Ｇの４画素を単位として構成される画素配列に対応して、Ｙｅ用、Ｃｙ用、Ｍｇ用及びＧ用の各フィルタが並列している。Ｙｅ画素に対応するＹｅ用フィルタは、Ｙｅ光を選択的に透過させる。Ｃｙ画素に対応するＣｙ用フィルタは、Ｃｙ光を選択的に透過させる。Ｍｇ画素に対応するＭｇ用フィルタは、Ｍｇ光を選択的に透過させる。Ｇ画素に対応するＧ用フィルタは、Ｇ光を選択的に透過させる。

Ｙｅ光は、Ｒ成分及びＧ成分を含む。Ｃｙ光は、Ｇ成分及びＢ成分を含む。Ｍｇ光は、Ｒ成分及びＢ成分を含む。Ｙｅ、Ｃｙ、Ｍｇ、Ｇからなる補色フィルタが通過させる色成分は、原色成分に換算すると式（１）のように表すことができる。
Ｙｅ＋Ｃｙ＋Ｍｇ＋Ｇ＝２Ｒ＋３Ｇ＋２Ｂ （１）

図４に示す本実施形態の補色フィルタは、図５におけるＭｇ用フィルタ及びＧ用フィルタに代えて、２つの白色（Ｗｈ）用フィルタが設けられている。Ｗｈ用フィルタは、Ｗｈ光を透過させる。Ｗｈ光は、Ｒ、Ｇ及びＢの各成分を含む。Ｙｅ、Ｃｙ及び２つのＷｈからなる補色フィルタが通過させる色成分は、原色成分に換算すると式（２）のように表すことができる。
Ｙｅ＋Ｃｙ＋２Ｗｈ＝３Ｒ＋４Ｇ＋３Ｂ （２）

式（１）及び（２）より、本実施形態の補色フィルタは、図５に示す一般的な補色フィルタに比べ、理論上およそ１．５倍の各色成分の光を通過させることができる。

図６は、図２に示す色信号変換部の詳細を示すブロック図である。色信号変換部６６は、補色／原色変換回路６７及びセレクタ６８を有する。補色／原色変換回路６７は、補色成分及びＷｈ成分についての信号から原色信号への変換を実施する。セレクタ６８は、補色／原色変換回路６７から出力される信号と、色信号変換部６６へ入力された信号とのいずれかを選択する。

色信号変換部６６は、キズ補正ノイズ低減部６５（図２参照）からの画像信号と、フィルタ識別信号６９との入力を受け付ける。フィルタ識別信号６９は、イメージセンサ６０に取り付けられているカラーフィルタが、図３にて説明する原色フィルタ、図４にて説明する補色フィルタのいずれであるかを識別するための信号である。

フィルタ識別信号６９は、例えば所定の設定操作によりレジスタに格納され、レジスタから読み出される。フィルタ識別信号６９は、例えば、原色フィルタが取り付けられている場合を「０」、補色フィルタが取り付けられている場合を「１」とする。

セレクタ６８は、フィルタ識別信号６９として「１」が入力されると、補色／原色変換回路６７から出力される信号を選択する。また、セレクタ６８は、フィルタ識別信号６９として「０」が入力されると、色信号変換部６６へ入力された信号を選択する。

色信号変換部６６は、原色フィルタの適用によりＲＧＢの原色信号が入力された場合、信号変換は不要であるため、入力された原色信号をそのまま通過させる。また、色信号変換部６６は、補色フィルタの適用によりＹｅ及びＣｙの補色成分及びＷｈ成分の信号が入力された場合、当該補色成分及びＷｈ成分についての入力信号を補色／原色変換回路６７においてＲＧＢの原色信号へ変換し、出力する。

このように、色信号変換部６６は、補色成分についての入力信号を原色信号へ変換して出力する場合と、原色信号である入力信号を原色信号として通過させる場合と、のいずれかに設定可能とされている。固体撮像装置５２は、色信号変換部６６を設けることで、原色フィルタ及び補色フィルタのいずれを設ける場合も、ＲＧＢの原色信号を出力する。固体撮像装置５２に原色フィルタ及び補色フィルタのいずれを適用する場合も、ＩＳＰ５３は、共通の回路による信号処理を実施することができる。

図７は、補色成分及びＷｈ成分についての入力信号を原色信号へ変換する場合における各色成分の対応について説明する図である。ここでは、４×４の１６画素における各色成分の配列を対比して説明する。

例えば、変換前の画素「Ｗｈ３３」は、変換後の画素「Ｇ３３’」に対応している。変換前の画素「Ｙｅ３２」は、変換後の画素「Ｒ３２’」に対応している。変換前の画素「Ｃｙ２３」は、変換後の画素「Ｂ２３’」に対応している。変換前の画素「Ｗｈ２２」は、変換後の画素「Ｇ２２’」に対応している。色信号変換部６６は、このような対応関係に従い、補色成分及びＷｈ成分についての入力信号を変換する。

図８から図１１は、入力信号の変換の際に色信号変換部が信号値を参照する画素の例を示す図である。色信号変換部６６は、１個の注目画素について原色成分の信号値を生成する際に、例えば、当該注目画素を中心とする３行３列の画素ブロックに含まれる画素の信号値を参照する。

上述するＰＷＢ調整部６３（図２参照）は、補色成分及びＷｈ成分の信号についてのＰＷＢ調整により、信号比Ｙｅ：Ｃｙ：Ｗｈを１：１：１にする。補色成分及びＷｈ成分の信号比を予め調整することで、色信号変換部６６は、例えば以下に説明する演算により原色成分の信号値を得ることができる。

色信号変換部６６は、注目画素「Ｗｈ２２」について、次の式（３）により、変換後の画素「Ｇ２２’」の信号値を算出する。式中、例えば「Ｙｅ１２」の項は図８に示す画素「Ｙｅ１２」の信号値を表すものとする。他の項についても同様に、それぞれ信号値を表すものとする。後述する式（４）〜（６）の各項についても同様とする。
Ｇ２２’＝｛４×（Ｙｅ１２＋Ｃｙ２１＋Ｃｙ２３＋Ｙｅ３２）−３（Ｗｈ１１＋Ｗｈ１３＋Ｗｈ３１＋Ｗｈ３３）｝／４ （３）

ＰＷＢ調整後の補色成分Ｙｅ、Ｃｙ及びＷｈ成分の信号値を、Ｙｅ＝Ｒ／２＋Ｇ／２、Ｃｙ＝Ｇ／２＋Ｂ／２、Ｗｈ＝Ｒ／３＋Ｇ／３＋Ｂ／３、とした場合、式（３）は、次の式（３’）のように表される。
Ｇ２２’＝｛（４Ｒ＋８Ｇ＋４Ｂ）−（４Ｒ＋４Ｇ＋４Ｂ）｝／４＝Ｇ （３’）

色信号変換部６６は、注目画素「Ｃｙ２１」について、次の式（４）により、変換後の画素「Ｂ２１’」の信号値を算出する。
Ｂ２１’＝｛３×（Ｗｈ１１＋Ｗｈ２０＋Ｗｈ２２＋Ｗｈ３１）−２（Ｙｅ１０＋Ｙｅ１２＋Ｙｅ３０＋Ｙｅ３２）｝／４ （４）

ＰＷＢ調整後の補色成分Ｙｅ及びＷｈ成分の信号値を、Ｙｅ＝Ｒ／２＋Ｇ／２、Ｗｈ＝Ｒ／３＋Ｇ／３＋Ｂ／３、とした場合、式（４）は、次の式（４’）のように表される。
Ｂ２１’＝｛（４Ｒ＋４Ｇ＋４Ｂ）−（４Ｒ＋４Ｇ）｝／４＝Ｂ （４’）

色信号変換部６６は、注目画素「Ｙｅ１２」について、次の式（５）により、変換後の画素「Ｒ１２’」の信号値を算出する。
Ｒ１２’＝｛３×（Ｗｈ０２＋Ｗｈ１１＋Ｗｈ１３＋Ｗｈ２２）−２（Ｃｙ０１＋Ｃｙ０３＋Ｃｙ２１＋Ｃｙ２３）｝／４ （５）

ＰＷＢ調整後の補色成分Ｃｙ及びＷｈ成分の信号値を、Ｃｙ＝Ｇ／２＋Ｂ／２、Ｗｈ＝Ｒ／３＋Ｇ／３＋Ｂ／３、とした場合、式（５）は、次の式（５’）のように表される。
Ｒ１２’＝｛（４Ｒ＋４Ｇ＋４Ｂ）−（４Ｇ＋４Ｂ）｝／４＝Ｒ （５’）

色信号変換部６６は、注目画素「Ｗｈ１１」について、次の式（６）により、変換後の画素「Ｇ１１’」の信号値を算出する。
Ｇ１１’＝｛４×（Ｃｙ０１＋Ｙｅ１０＋Ｙｅ１２＋Ｃｙ２１）−３（Ｗｈ００＋Ｗｈ０２＋Ｗｈ２０＋Ｗｈ２２）｝／４ （６）

ＰＷＢ調整後の補色成分Ｙｅ、Ｃｙ及びＷｈ成分の信号値を、Ｙｅ＝Ｒ／２＋Ｇ／２、Ｃｙ＝Ｇ／２＋Ｂ／２、Ｗｈ＝Ｒ／３＋Ｇ／３＋Ｂ／３、とした場合、式（６）は、次の式（６’）のように表される。
Ｇ１１’＝｛（４Ｒ＋８Ｇ＋４Ｂ）−（４Ｒ＋４Ｇ＋４Ｂ）｝／４＝Ｇ （６’）

色信号変換部６６は、式（３）から（６）に示す演算により、各画素に対応する原色成分の信号値を得ることができる。なお、色信号変換部６６において原色成分の信号値を求める演算の手法は、本実施形態で説明するものに限られず、適宜変更可能であるものとする。

本実施形態のカメラモジュール５０は、イメージセンサ６０に原色フィルタ及び補色フィルタのいずれを適用する場合も、共通の構成を備えるＩＳＰ５３を使用することができる。このため、ＩＳＰ５３の構成を確定してからも、原色用及び補色用のいずれのカラーフィルタを使用するかを選択することができる。ＩＳＰ５３は、原色信号用の構成と補色信号用の構成との併設が不要となることで、回路規模の増大を抑制可能とし、簡易な構成とすることができる。

なお、イメージセンサ６０に適用する補色フィルタは、補色成分Ｙｅ、Ｃｙ及びＷｈ成分についての各フィルタを備える構成である場合に限られない。補色フィルタは、少なくとも、Ｙｅ、Ｃｙ、Ｍｇの各補色成分のいずれかについてのフィルタを備えるものであれば良い。また、補色フィルタは、Ｗｈ用フィルタに代えて、Ｇ用フィルタを設けたものとしても良い。色信号変換部６６は、補色フィルタが備える各色用フィルタの組み合わせに応じた演算を実施することで、補色成分を含む各色成分についての信号を原色信号へ変換することができる。

図１２は、第１の実施形態の変形例にかかる固体撮像装置及びＩＳＰの構成を示すブロック図である。本変形例の構成は、図２に示す構成のうち色信号変換部６６と色同時化処理部７１とを入れ換えたものである。図２に示す構成では、カメラモジュール５０は、色信号変換処理の後に色同時化処理（デモザイキング処理）を実施する。本変形例では、カメラモジュール５０は、色同時化処理の後に、色信号変換処理を実施する。

本変形例において、色同時化処理部７１は、キズ補正ノイズ低減部６５からの画像信号に対し、色同時化処理を施す。色信号変換部６６は、固体撮像装置５２からの補色成分についての信号を原色信号へ変換する。本変形例の場合も、ＩＳＰ５３は、簡易な構成により、原色フィルタと補色フィルタのいずれにも対応することができる。

なお、ＲＡＷ画像を出力する固体撮像装置５２に本変形例を応用する場合、色同時化処理部７１は不要となる。また、ＹＵＶ形式の画像信号を出力する固体撮像装置５２に本変形例を応用する場合、固体撮像装置５２は、色信号変換部６６を前段の撮像処理回路６１に設ける場合よりも後段のＩＳＰ５３に設けるほうがラインメモリを少なくできるため、回路規模の増大を抑えられるという利点がある。

（第２の実施形態）
図１３は、第２の実施形態にかかるカメラモジュールのうち、固体撮像装置及びＩＳＰの構成を示すブロック図である。上記の第１の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。

固体撮像装置５２は、イメージセンサ６０及び撮像処理回路８０を有する。イメージセンサ６０は、原色フィルタ及び補色フィルタのいずれかを有する。補色フィルタは、例えば、第１の実施形態と同様、Ｙｅ用フィルタ、Ｃｙ用フィルタ及びＷｈ用フィルタが設けられている。

撮像処理回路８０は、イメージセンサ６０において取得した画像信号を処理する画像処理装置として機能する。撮像処理回路８０は、低周波ノイズ抑圧部６２、ＰＷＢ調整部６３、シェーディング補正部６４、キズ補正ノイズ低減部６５及び出力切り換え部８１を有する。

出力切り換え部８１は、原色フィルタの適用により原色信号が入力された場合、入力された原色信号をそのまま色信号変換部６６へ通過させる。出力切り換え部８１は、補色フィルタの適用により補色成分及びＷｈ成分についての信号が入力された場合であって、モノクロ撮影指示が無い場合、入力信号を色信号変換部６６（図２参照）へ通過させる。

出力切り換え部８１は、補色フィルタの適用により補色成分及びＷｈ成分の信号が入力された場合であって、モノクロ撮影指示があった場合、入力信号からＷｈ成分についての信号を抽出する。出力切り換え部８１は、抽出したＷｈ成分についての信号を、ＩＳＰ８２へ出力する。このように、出力切り換え部８１は、補色成分及びＷｈ成分についての入力信号を、色信号変換部６６における変換を経て原色信号とする出力と、補色成分及びＷｈ成分についての入力信号からの抽出を経てＷｈ成分についての信号とする出力と、に切り換える。

出力切り換え部８１は、例えば、Ｙｅ及びＣｙの補色成分及びＷｈ成分の信号から抽出したＷｈ成分の信号値をさらに補間処理し、各画素についてＷｈ成分の信号値を生成する。出力切り換え部８１は、例えば以下に説明する演算によりＷｈ成分の信号値を得ることができる。なお、以下に説明する演算の手法は、注目画素の周囲に一定数以上のＷｈ画素があること、それらのＷｈ画素がいずれも同等の特性を備える場合に適用可能であるものとする。

図１４は、Ｗｈ成分の信号値の算出において出力切り換え部が信号値を参照する画素の例を示す図である。ここでは、５行５列の画素ブロックに含まれる画素の信号値を参照して、４個の注目画素について信号値を算出する場合を例とする。

出力切り換え部８１は、注目画素「Ｙｅ１２」について、次の式（７）により、Ｗｈ成分の信号値（Ｗｈ１２’）を算出する。
Ｗｈ１２’＝（Ｗｈ０２＋Ｗｈ１１＋Ｗｈ１３＋Ｗｈ２２）／４ （７）

出力切り換え部８１は、注目画素「Ｃｙ２１」について、次の式（８）により、Ｗｈ成分の信号値（Ｗｈ２１’）を算出する。
Ｗｈ２１’＝（Ｗｈ１１＋Ｗｈ２０＋Ｗｈ２２＋Ｗｈ３１）／４ （８）

出力切り換え部８１は、注目画素「Ｃｙ２３」について、次の式（９）により、Ｗｈ成分の信号値（Ｗｈ２３’）を算出する。
Ｗｈ２３’＝（Ｗｈ１３＋Ｗｈ２２＋Ｗｈ２４＋Ｗｈ３３）／４ （９）

出力切り換え部８１は、注目画素「Ｙｅ３２」について、次の式（１０）により、Ｗｈ成分の信号値（Ｗｈ３２’）を算出する。
Ｗｈ３２’＝（Ｗｈ２２＋Ｗｈ３１＋Ｗｈ３３＋Ｗｈ４２）／４ （１０）

出力切り換え部８１は、式（７）から（１０）に示す演算により、各画素についてＷｈ成分の信号値を得ることができる。式（７）から（１０）では、注目画素の周囲の４つのＷｈ画素の信号値の単純平均を求めることとしているが、出力切り換え部８１においてＷｈ成分の信号値を求める手法はこれに限られない。出力切り換え部８１は、例えば、注目画素の周囲のＷｈ画素の信号値をレベル順に並べ替え、このレベル順のうち中央の２つの信号値の平均を求めることとしても良い。出力切り換え部８１におけるこのような演算の手法によっては、例えば画像の輪郭部分のギザギザ感（ジャギー）を抑制させる効果も期待できる。

ＩＳＰ８２は、第１の実施形態のＩＳＰ５３（図２参照）が備える各構成に加えて、ガンマ補正部８３、輪郭加算部８４及び輪郭抽出部８５を有する。ＩＳＰ８２は、色信号変換部６６からの原色信号については、第１の実施形態と同様の処理を実施する。ここでは、ＩＳＰ８２のうち、色信号変換部６６からの原色信号の処理のための構成についての図示及び説明を省略している。

ガンマ補正部８３は、出力切り換え部８１からのＷｈ成分の信号に対して、階調を補正するためのガンマ補正を実施する。輪郭抽出部８５は、Ｗｈ成分の信号から輪郭成分を抽出する。輪郭抽出部８５は、抽出した輪郭成分に、輪郭強調のための調整を施す。輪郭加算部８４は、Ｗｈ成分の信号によるモノクロ画像に、輪郭抽出部８５から入力された輪郭成分を加算する。これらの処理により、ＩＳＰ８２は、解像感の劣化を改善させる。

なお、本実施形態で説明する撮像処理回路８０及びＩＳＰ８２の構成は一例であって、適宜変形しても良い。撮像処理回路８０及びＩＳＰ８２は、例えば、本実施形態で示す要素とは別の要素の追加や、省略可能な要素の省略等の変更をしても良い。

固体撮像装置５２は、出力切り換え部８１を設けることで、第１の実施形態と同様に原色信号を出力する他に、Ｗｈ成分についての画像信号を出力可能とする。カメラモジュール５０は、原色信号に応じたカラー画像の他に、Ｗｈ成分についての画像信号に応じたモノクロ画像を得ることができる。

仮に、Ｙｅ、Ｃｙ、Ｍｇ、Ｇからなる補色フィルタを使用する場合は、各補色成分についての画像信号の演算処理を経て、Ｗｈ成分の信号を得ることとなる。本実施形態のように、補色フィルタにＷｈ用フィルタを設けることで、Ｗｈ成分の信号を使用してモノクロ画像を得ることができる。

固体撮像装置５２は、補色フィルタのうちＷｈ成分についてのフィルタを透過した光から赤外成分を抽出可能とすることで、赤外センサとして機能させるものとしても良い。出力切り換え部８１は、Ｗｈ成分の信号からさらに赤外成分を抽出する。この場合、各Ｗｈ画素は、赤外線に対し同等の特性を備えるものとする。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

５０ カメラモジュール、５２ 固体撮像装置、６０ イメージセンサ、６１、８０ 撮像処理回路、６６ 色信号変換部、８１ 出力切り換え部。

Claims (5)

1. 補色成分についての信号を、原色信号へ変換可能とする色信号変換部を有し、
   前記色信号変換部は、前記補色成分についての入力信号を前記原色信号へ変換して出力する場合と、前記原色信号である入力信号を前記原色信号として通過させる場合と、のいずれかに設定可能とされていることを特徴とする画像処理装置。
2. 前記色信号変換部は、前記補色成分及び白色成分についての入力信号を前記原色信号へ変換して出力可能であることを特徴とする請求項１に記載の画像処理装置。
3. 前記補色成分及び前記白色成分についての入力信号を、前記色信号変換部における変換を経て前記原色信号とする出力と、前記補色成分及び前記白色成分についての入力信号からの抽出を経て前記白色成分についての信号とする出力と、に切り換える出力切り換え部をさらに有することを特徴とする請求項２に記載の画像処理装置。
4. 被写体からの光に応じた画像信号を生成するイメージセンサと、
   前記イメージセンサにおいて取得した画像信号を処理する画像処理装置と、を有し、
   前記イメージセンサは、
   前記被写体からの光のうちの原色成分を通過させる原色フィルタと、前記被写体からの光のうちの補色成分を通過させる補色フィルタと、のいずれかを有し、
   前記画像処理装置は、前記補色成分についての信号を前記原色成分についての原色信号へ変換可能とする色信号変換部を有し、
   前記色信号変換部は、前記補色フィルタ及び前記原色フィルタのいずれを適用するかに応じて、前記補色成分についての入力信号を前記原色信号へ変換して出力する場合と、前記原色信号である入力信号を前記原色信号として通過させる場合と、のいずれかに設定可能とされていることを特徴とする固体撮像装置。
5. 前記補色フィルタには、白色成分を透過させる白色用フィルタが形成され、
   前記色信号変換部は、前記補色成分及び前記白色成分についての入力信号を前記原色信号へ変換して出力可能であることを特徴とする請求項４に記載の固体撮像装置。

Images