JP4006913B2 - 単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体に関し、詳しくは、単板式ＣＣＤで撮像された画像上に発生する偽色を抑制するようにした単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
単板式の固体撮像素子（以下、ＣＣＤという）で撮像して得られた画像には偽色がしばしば現れる。この偽色は複数の色成分が交互に帯状に現れる現象であり、輝度の変化の大きいエッジ部分などで特に目に付きやすい。
【０００３】
今、図３に示すような色配列の単板式ＣＣＤを考える。ここでは説明をわかりやすくするため、原画像全体が白である場合を想定する。図３の単板式ＣＣＤは、２×２のマトリクス（図中、破線Ｌで囲った部分）の第１番目の行にシアンＣｙとイエロＹｅ、第２の行にマゼンタＭｇとグリーンＧｒが配列されたものが１組として構成され、このような１組ずつの色配列が縦横に並べられた配列となっている。
【０００４】
このような色配列の単板式ＣＣＤにおいて、各画素に対応する位置の色補間を行う方法として、ここでは次の２つの方法を考える。
【０００５】
（ａ）図４に示す例において、色補間すべき点ｐ１１，ｐ１２，ｐ１３，・・・を取り囲む４つの画素の色情報を用いる。たとえば、ｐ１１点の色補間を行う際は、ｐ１１点を囲む２×２の画素範囲を設定し、その画素範囲に存在するそれぞれの画素に対応する画素情報（Ｃｙ１１，Ｙｅ１２，Ｍｇ２１，Ｇｒ２２）をそのｐ１１におけるシアン、イエロ、マゼンタ、グリーンの情報とし、また、 ｐ１２点の色補間を行う際は、ｐ１２点を囲む２×２の画素範囲を設定し、その画素範囲に存在するそれぞれの画素に対応する画素情報（Ｙｅ１２，Ｃｙ１３，Ｇｒ２２，Ｍｇ２３）をそのｐ１２におけるシアン、イエロ、マゼンタ、グリーンの情報とする。
【０００６】
（ｂ）図４（ａ）に示す例において、色補間すべき点を取り囲む３×３の画素範囲を設定し、その画素範囲内に存在する同じ色同志の平均を求める。たとえば、Ｇｒ２２の色補間を行う際は、Ｇｒ２２を囲む３×３の画素範囲を設定し、Ｇｒ２２の位置のマゼンタＭｇ２２は、Ｍｇ２１とＭｇ２３の平均、つまり、 Ｍｇ２２＝（Ｍｇ２１＋Ｍｇ２３）／２で求める。また、 Ｇｒ２２の位置のイエロＹｅ２２は、Ｙｅ１２とＹｅ３２の平均、つまり、Ｙｅ２２＝（Ｙｅ１２＋Ｙｅ３２）／２で求める。 また、Ｇｒ２２の位置のシアンＣｙ２２は、Ｃｙ１１，Ｃｙ１３， Ｃｙ３１，Ｃｙ３３の平均、つまり、シアンＣｙ２２＝（Ｃｙ１１＋Ｃｙ１３＋Ｃｙ３１＋Ｃｙ３３）／４で求める。なお、グリーンＧｒ２２はそのＧｒ２２の色情報をそのまま用いる。つまり、Ｇｒ２２＝Ｇｒ２２とする。
【０００７】
【発明が解決しようとする課題】
ところで、前述したように、単板式ＣＣＤ（以下では、単にＣＣＤという）で撮像して得られた画像には偽色がしばしば現れるが、この偽色の発生の原因を説明するには、各画素に対するＣＣＤの出力情報値（画素情報）を輝度成分と色成分とに分けて考えることが都合がよい。ここでは、輝度成分として輝度Ｙ、色成分として、Ｒ（赤），Ｇ（緑），Ｂ（青）の原色系の色成分で考え、色変換式を以下のように想定して説明を行う。
【０００８】
ここでは、輝度Ｙが、
Ｙ＝（Ｃｙ＋Ｙｅ＋Ｍｇ＋Ｇｒ）／４ （１）
で表されるものとすると、これにより、Ｒ（赤）の色成分は、Ｒ−Ｙで表され、それをＲｙとし、
Ｒ−Ｙ＝Ｒｙ＝｛（Ｍｇ＋Ｙｅ）−（Ｇｒ＋Ｃｙ）｝ （２）
で表すことができるものとする。また、Ｂ（青）の色成分は、 Ｂ−Ｙで表され、それをＢｙとし、
Ｂ−Ｙ＝Ｂｙ＝｛（Ｍｇ＋Ｃｙ）−（Ｇｒ＋Ｙｅ）｝ （３）
で表されるものとする。
【０００９】
これらの式から、たとえば、赤の色成分Ｒ−Ｙがプラス方向に大きければ、その部分は赤の色成分の強い画像となり、マイナス方向に大きければ、赤の補色であるシアンの色成分の強い画像となる。また、青の色成分Ｂ−Ｙがプラス方に大きければ、その部分は青色成分の強い画像となり、マイナス方向に大きければ、青の補色である黄色成分の強い画像となる。
【００１０】
また、説明を簡単にするため、原画像全面が白色で全面が同じ輝度の光がＣＣＤに入射されている場合を想定する。
【００１１】
このときの輝度をａとすると、ＣＣＤ全面から取り出される輝度はａとなる。上述の色変換式において、白色の輝度ａを出力させるためには、 Ｃｙ＝Ｙｅ＝Ｍｇ＝Ｇｒ＝ａの信号がＣＣＤに入力される必要があり、これを（２）式と（３）式に代入すれば、Ｒｙ＝Ｂｙ＝０となり、ＣＣＤ撮像素子で得られた画像も、原画像と同様に色が付いていない白い画像が再現できることがわかる。
【００１２】
次に、原画像の輝度が原画像内の場所によって変化している場合を考える。なお、原画像の色は全面が白であることに変わりはない（色の変化はない）ものとする。たとえば、図５のような色配列（図３、図４と同じである）のＣＣＤにおいて、輝度が各画素の列ごとに変化しているものとする。
【００１３】
ここで示される例では、第１番目の列Ａ１（Ｃｙ１１，Ｍｇ２１，Ｃｙ３１，・・・の列）の輝度がｂ１、第２番目の列Ａ２（Ｙｅ１２，Ｇｒ２２，Ｙｅ３２，・・・の列）の輝度がｂ２、第３番目の列Ａ３（ Ｃｙ１３，Ｍｇ２３，Ｃｙ３３，・・・の列）の輝度がｂ３，第４番目の列Ａ４（Ｙｅ１４，Ｇｒ２４，Ｙｅ３４，・・・の列）の輝度がｂ４というように変化しているものとする。簡単にするため、同一列における輝度の変化はなく同一列内の輝度は同じであるとする。つまり、第１番目の列を例に取れば、Ｃｙ１１，Ｍｇ２１，Ｃｙ３１，Ｍｇ４１，Ｃｙ５１はどれも輝度ｂ１である。
【００１４】
このように、原画像全面の色は白であるという条件は変わらず、輝度のみそれぞれの列ごとにｂ１，ｂ２，ｂ３，・・・と変化する場合、それぞれの画素に対するＣＣＤからの出力情報（画素情報）は、前述のＣｙ＝Ｙｅ＝Ｍｇ＝Ｇｒ＝ａから、それぞれの第１番目の行Ｂ１におけるそれぞれの画素については、Ｃｙ１１＝ｂ１、Ｙｅ１２＝ｂ２、 Ｃｙ１３＝ｂ３、Ｙｅ１４＝ｂ４、・・・となる。
【００１５】
また、同一列においては輝度の変化はないので、たとえば、第２番目の行Ｂ２においては、 Ｍｇ２１＝ｂ１、Ｇｒ２２＝ｂ２、 Ｍｇ２３＝ｂ３、Ｇｒ２４＝ｂ４、・・・、第３番目の行Ｂ３においては、 Ｃｙ３１＝ｂ１、Ｙｅ３２＝ｂ２、Ｃｙ３３＝ｂ３、Ｙｅ３４＝ｂ４、・・・となる。以降の行においても同様である。
【００１６】
ここで、ｂ１＝ｂ、ｂ２＝２ｂ、ｂ３＝４ｂ、ｂ４＝８ｂ、・・・とした場合を考える。図６はこのような条件において、各画素が出力する値を併記して示すもので、それぞれの画素に併記された括弧内の値はそれぞれの画素対応の画素情報を示している。
【００１７】
この図６で示すような各列ごとに輝度の変化があるとき、（２）式、（３）式がどのような値となるかを調べる。なお、このときの色補間方法は前述の（ａ）で示した色補間方法を用いるものとする。つまり、図４（ａ）におけるｐ１１点における画素は、それを囲む２×２の画素を用いて色補間するので、この場合、Ｃｙ１１、Ｙｅ１１、Ｍｇ２１、Ｇｒ２２を用いて色補間が行われることになる。これらＣｙ１１、Ｙｅ１１、Ｍｇ２１、Ｇｒ２２における各画素情報を（２）式と（３）式に代入し、ｐ１１点における赤の色成分Ｒｙ１１と青の色成分Ｂｙ１１を求める。
【００１８】

となる。また、

と求められる。同様にして、ｐ１２点におけるＲｙ１２，Ｂｙ１２と、ｐ１３点におけるＲｙ１３，Ｂｙ１３と、ｐ１４点におけるＲｙ１４，Ｂｙ１４とを求めると、
Ｒｙ１２＝０、Ｂｙ１２＝＋４ｂ （６）
Ｒｙ１３＝０、Ｂｙ１３＝−８ｂ （７）
Ｒｙ１４＝０、Ｂｙ１４＝＋１６ｂ （８）
と求めることができる。ここで、値が０ということは色成分が現れないということであり、０以外の数値が出るということは何らかの色成分があらわれるということである。
【００１９】
そして、そのときの数値が正である場合には、その色成分方向の色が出ることを表しており、そのときの数値が負である場合には、その色成分の補色が出ることを表している。ここで上述の結果は、Ｒｙ１１，Ｒｙ１２，Ｒｙ１３，Ｒｙ１４はすべて０であるため、赤色成分は現れていないことを示している。
【００２０】
一方、Ｂｙについて見ると、この場合、Ｂｙ１１＝−２ｂ、Ｂｙ１２＝＋４ｂ、Ｂｙ１３＝−８ｂ、Ｂｙ１４＝＋１６であるから、Ｂｙ１１は黄色成分が現れ、 Ｂｙ１２は青色成分が現れ、 Ｂｙ１３は黄色成分が現れ、 Ｂｙ１４は青色成分が現れることになる。
【００２１】
すなわち、図４（ｂ）において、ｐ１１点は黄色成分が現れ、ｐ１２点は青色成分が現れ、ｐ１３点は黄色成分が現れ、ｐ１４点は青色成分が現れることになる。ここでの説明では、図５に示したように、輝度は列ごとのみに変化させており、同一列内では同じとしているので、ｐ１１，ｐ２１，ｐ３１，ｐ４１の列はいずれも同じ色成分（黄色成分）が現れ、ｐ１２，ｐ２２，ｐ３２，ｐ４２の列はいずれも同じ色成分（青色成分）が現れ、ｐ１３，ｐ２３，ｐ３３，ｐ４３はいずれも同じ色成分（黄色成分）が現れ、ｐ１４，ｐ２４，ｐ３４，ｐ４４はいずれも同じ色成分（青色成分）が現れる。
【００２２】
これによって、本来、原画像は全面白色であり撮像後の画像も全面白色として出力されるはずが、この場合、ｐ１１点の列（ｐ１１，ｐ２１，ｐ３１，ｐ４１）、 ｐ１２点の列（ｐ１２，ｐ２２，ｐ３２，ｐ４２）、ｐ１３点の列（ｐ１３，ｐ２３，ｐ３３，ｐ４３）、ｐ１４点の列（ｐ１４，ｐ２４，ｐ３４，ｐ４４）は、それぞれ黄色と青色の縦縞が交互に現れることになり、これがいわゆる偽色といわれるものである。
【００２３】
以上は（ａ）の色補間方法における偽色発生について説明したが、（ｂ）における色補間方法においても同様に偽色が発生する。この（ｂ）における色補間方法は、補間すべき点を囲む３×３の画素を設定し、その３×３の画素に対応する色成分を用いて補間するものであり、図４（ａ）において、Ｇｒ２２、Ｍｇ２３、Ｇｒ２４、Ｍｇ２５、・・・を補間すべき画素として考えたとき、これらそれぞれの画素におけるＲｙ，Ｂｙ（ ＲＹ２２，Ｂｙ２２、Ｒｙ２３，Ｂｙ２３、Ｒｙ２４，Ｂｙ２４、Ｒｙ２５，Ｂｙ２５） を上述同様に求めると、この場合、
ＲＹ２２＝０、Ｂｙ２２＝ｂ
Ｒｙ２３＝０、Ｂｙ２３＝−２ｂ
Ｒｙ２４＝０、Ｂｙ２４＝＋４ｂ
Ｒｙ２５＝０、Ｂｙ２５＝−８ｂ
と求められ、やはり、黄色と青色の縦縞が交互に現れることになる。
【００２４】
以上、２つの色補間方法における偽色発生について説明したが、いずれの方法においても偽色が発生することがわかる。また、上述の説明では、（１）式〜（３）式のような色変換式を定義して説明したが、他の色変換式を用いても同様に偽色は発生する。また、これまでの説明では、白のような無彩色における偽色発生について説明したが、有彩色であっても同様の傾向があり、原画像に対し黄色が強調されたラインと青色が強調されたラインが交互に現れる。なお、偽色として現れる色はこの場合は、黄色と青色であったが、これは、ＣＣＤの色配列によって異なる。また、この偽色は、任意の位置に１つの色成分しか持たない単板式のＣＣＤ特有のものである。
【００２５】
そこで本発明は、単板式ＣＣＤにおいて発生する偽色を、色補間処理を行う際に簡単な処理を施すことにより抑制可能とすることを目的としている。
【００２６】
【課題を解決するための手段】
上述した目的を達成するために、本発明の単板式固体撮像素子の色変換方法は、 単板式固体撮像素子から出力される画素対応の画素情報を用いてある注目画素の色補間を行う単板式固体撮像素子の色補間方法において、各画素における輝度成分を求め、求められた各画素ごとの輝度成分を用いて各画素ごとにその画素情報から輝度成分と色成分とを分離し、分離して得られた色成分を用いてある注目画素の色成分の補間を行った後に、当該注目画素における輝度成分をその注目画素の各色成分に与えることで当該注目画素の色補間を行うようにしている。
【００２７】
また、本発明の単板式固体撮像素子の色補間処理プログラムを記録した記録媒体は、単板式固体撮像素子から出力される画素対応の画素情報を用いてある注目画素の色補間を行う単板式固体撮像素子の色補間処理プログラムを記録した記録媒体であって、その色補間処理プログラムは、各画素における輝度成分を求める手順と、求められた各画素ごとの輝度成分を用いて各画素ごとにその画素情報から輝度成分と色成分とを分離して色成分を得る手順と、その色成分を用いてある注目画素の色成分の補間を行う手順と、当該注目画素における輝度成分をその注目画素の各色成分に与えることで当該注目画素の色補間を行う手順とを含むものである。
【００２８】
これら各発明において、前記各画素における輝度成分は、各画素において、当該画素に対して設定された範囲内に存在する画素のそれぞれの画素情報を用いて輝度成分を求めるための色補間処理を行い、その色補間処理によって得られた画素情報から求め、前記分離して得られた色成分を用いてある注目画素の色補間を行う処理は、前記注目画素に対して設定された範囲内に存在する各画素ごとに得られた色成分によって当該注目画素の色補間処理を行うようにしている。
【００２９】
このように本発明は、各画素ごとにその画素情報から輝度成分と色成分を分離し、分離された色成分を用いてある注目画素の色成分の補間を行った後に、当該注目画素における輝度成分をその注目画素の各色成分に与えることで当該注目画素の色補間を行うようにしている。これにより、ＣＣＤから出力される画像に偽色が発生するのを抑えることができる。
【００３０】
偽色は、ＣＣＤ撮像素子側では各画素情報の変化が、輝度の変化により発生しているのか、その位置の色の具合により発生するのかがわからず、輝度成分と色成分を併せ持ったものが画素情報の変化として出力され、ＣＣＤから出力されるそのような画素情報を用いて色補間が行われることによって発生するものと考えられる。したがって、画素情報を輝度成分と色成分とに分離して色補間処理を行えば偽色の発生を抑えることができる。
【００３１】
これを実現するために、まず、各画素ごとの輝度成分を求める必要があるが、その輝度成分は、各画素において、当該画素に対して設定された範囲内に存在する画素のそれぞれの画素情報を用いて色補間処理を行い、それによって補間された画素情報から求められる。そして、このように求められた輝度成分を用いて各画素の画素情報（色成分と輝度成分を併せ持っている）から色成分を抽出する。具体的には、画素情報は色成分と輝度成分の乗算値となっているので、画素情報を輝度成分で除算すれば色成分を得ることができる。
【００３２】
また、前記輝度成分から分離されて得られた色成分を用いてある注目画素の色補間を行う処理は、前記注目画素に対して設定された範囲内に存在する各画素ごとに得られた色成分によって当該注目画素の色補間処理を行う。そして、その後で、輝度成分を付加（輝度成分を色成分に乗算）することで最終的な色補間処理が行える。
【００３３】
このように、色補間処理を行う際に、簡単な処理を付加するだけで確実に偽色の発生を抑えることができる。
【００３４】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。なお、この実施の形態で説明する内容は、本発明の単板式固体撮像素子の色補間方法についての説明であるとともに、本発明の単板式固体撮像素子の色補間処理プログラムを記録した記録媒体における色補間処理プログラムの具体的な処理内容をも含むものである。
【００３５】
前述したように偽色の発生する原因としては、ＣＣＤ側では各画素値の変化が、輝度の変化により発生しているのか、その位置の色の具合により発生するのかがわからず、輝度成分と色成分を併せ持ったものが画素情報の変化として出力され、ＣＣＤから出力されるそのような画素情報を用いて色補間を行うことにより偽色が発生すると考えられる。したがって、画素情報を輝度成分と色成分とに分離して色補間処理を行えば偽色の発生を抑えることができると考えられる。
【００３６】
ここで、実際に画素の成分を分析すると、たとえば、Ｇｒの色の付いた画素を注目した場合、その注目画素に対するＣＣＤからの出力情報（画素情報）は、Ｇｒの輝度成分と色成分を同時に反映した値、つまり、輝度成分と色成分が乗算されたものとなっている。したがって、その注目画素の輝度成分を求め、Ｇｒに対するＣＣＤの出力情報（画素情報）をその輝度成分で除算すれば、色成分のみを抽出することができる。つまり、それぞれの画素についてその画素情報において輝度成分と色成分とを分離して考えることができる。
【００３７】
ここでも前述の従来技術の項で説明したと同様の例（図３から図６により説明した内容）を用いるものとする。具体的には、前述した（ｂ）の色補間方法を用いて注目画素の色補間を行い、色補間されたのち、その注目画素の輝度成分を求め、求められた輝度成分を用いてその注目画素の色成分のみを求める。これをそれぞれの画素について行う。
【００３８】
たとえば、Ｇｒ２２の位置の画素の輝度成分をＹ２２で表せば、Ｙ２２は
Ｙ２２＝ｂ・９／４
で表される。これは以下のように求めることができる。
【００３９】
すなわち、Ｙ２２は前述の（１）式を用いて、
Ｙ２２＝（Ｃｙ２２＋Ｙｅ２２＋Ｍｇ２２＋Ｇｒ２２）／４ （９）
で求められ、この（９）式を計算するに際して、まず、Ｇｒ２２の位置におけるＣｙ２２、Ｙｅ２２、Ｍｇ２２を求める。すなわち、Ｇｒ２２の位置における輝度成分Ｙ２２を求めるために、まずＧｒ２２の色補間を行う。すなわち、Ｇｒ２２の位置に、グリーン、シアン、イエロ、マゼンタの４つの色を揃える。グリーンはＧｒ２２をそのまま用いることができるから、他のＣｙ２２、Ｙｅ２２、Ｍｇ２２を求める必要がある。この色補間は前述の（ｂ）の手法を用いるものとする。まず、Ｃｙ２２は、
Ｃｙ２２＝（Ｃｙ１１＋Ｃｙ３１＋Ｃｙ１３＋Ｃｙ３３）／４ （１０）
で求められ、Ｙｅ２２は、
Ｙｅ２２＝（Ｙｅ１２＋Ｙｅ３２）／２ （１１）
で求められる。また、Ｍｇ２２は、
Ｍｇ２２＝（Ｍｇ２１＋Ｍｇ２３）／２ （１２）
で求められる。
【００４０】
（１０）式において、Ｃｙ１１＝Ｃｙ３１＝ｂ１であり、ここで、ｂ１＝ｂであるから、 Ｃｙ１１＝Ｃｙ３１＝ｂとなる。また、Ｃｙ１３＝Ｃｙ３３＝ｂ３であり、ｂ３＝４ｂであるから、 Ｃｙ１３＝Ｃｙ３３＝４ｂとなる。これらＣｙ１１＝Ｃｙ３１＝ｂ 、 Ｃｙ１３＝Ｃｙ３３＝４ｂ を（１０）式に代入すれば、Ｃｙ２２＝１０ｂ／４となる。
【００４１】
同様に、（１１）式において、Ｙｅ１２＝Ｙｅ３２＝ｂ２、ここで、ｂ２＝２ｂであるから、 Ｙｅ１２＝Ｙｅ３２＝２ｂとなり、これを（１１）式に代入すれば、Ｙｅ２２＝４ｂ／２となる。
【００４２】
同様に、（１２）式において、Ｍｇ２１＝ｂ１、Ｍｇ２３＝ｂ３、ここで、ｂ１＝ｂ，ｂ３＝４ｂであるから、 Ｍｇ２１＝ｂ、Ｍｇ２３＝４ｂとなり、これを（１２）式に代入すれば、Ｍｇ２２＝５ｂ／２となる。
【００４３】
これら、 Ｃｙ２２＝１０ｂ／４、Ｙｅ２２＝４ｂ／２、Ｍｇ２２＝５ｂ／２とＧｒ＝２ｂ（２ｂ＝ｂ２）を（９）式に代入すると、Ｙ２２＝ｂ・９／４と求められる。
【００４４】
このようにして、Ｇｒ２２の輝度成分Ｙ２２が求められると、この輝度成分Ｙ２２を用いて、Ｇｒ２２における色成分のみを求める。このＧｒ２２における色成分を小文字のｇｒ２２で表せば、ｇｒ２２は、Ｇｒ２２の出力情報を輝度成分Ｙ２２で除算することにより求められる。すなわち、
ｇｒ２２＝Ｇｒ２２／Ｙ２２ （１３）
で求められる。ここで、Ｇｒ２２の出力情報は上述したようにＧｒ＝２ｂであるから、Ｇｒ２２における色成分ｇｒ２２は、
ｇｒ２２＝２ｂ／（ｂ・９／４）＝８／９ （１４）
と求めることができる。
【００４５】
以上は、Ｇｒ２２の画素についてその画素値から輝度成分を分離して色成分ｇｒ２２のみを取り出す処理であったが、同様にして、他の位置に存在する画素についても、それぞれの画素値から輝度成分を分離して色成分のみを取り出すことができる。たとえば、Ｇｒ２２の右隣りのＭｇ２３の場合は次のようになる。
【００４６】
Ｙ２３＝（Ｃｙ２３＋Ｙｅ２３＋Ｍｇ２３＋Ｇｒ２３）／４ （１５）
で求められ、これを求めるために、まず、Ｍｇ２３の位置におけるＣｙ２３、Ｙｅ２３、Ｍｇ２３を求める。まず、Ｃｙ２３は、
Ｃｙ２３＝（Ｃｙ１３＋Ｃｙ３３）／２ （１６）
で求められ、Ｙｅ２３は、
Ｙｅ２３＝（Ｙｅ１２＋Ｙｅ３２＋Ｙｅ１４＋Ｙｅ３４）／４ （１７）
で求められる。また、Ｍｇ２３は、
Ｇｒ２３＝（Ｇｒ２２＋Ｇｒ２４）／２ （１８）
で求められる。
【００４７】
（１６）式において、Ｃｙ１３＝Ｃｙ３３＝ｂ３、ここで、ｂ３＝４ｂであるから、 Ｃｙ１３＝Ｃｙ３３＝４ｂとなる。これを（１６）式に代入すれば、Ｃｙ２３＝４ｂとなる。
【００４８】
また、（１７）式において、Ｙｅ１２＝Ｙｅ３２＝ｂ２であり、ｂ２＝２ｂであるから、 Ｙｅ１２＝Ｙｅ３２＝２ｂとなる。また、Ｙｅ１４＝Ｙｅ３４＝ｂ４であり、ｂ４＝８ｂであるから、Ｙｅ１４＝Ｙｅ３４＝８ｂとなる。これらＹｅ１２＝Ｙｅ３２＝２ｂ 、Ｙｅ１４＝Ｙｅ３４＝８ｂ を（１７）式に代入すれば、Ｙｅ２３＝５ｂとなる。
【００４９】
同様に、（１８）式において、Ｇｒ２２＝ｂ２、Ｇｒ２４＝ｂ４、ここで、ｂ２＝２ｂ，ｂ４＝８ｂであるから、Ｇｒ２２＝２ｂ、Ｇｒ２４＝８ｂとなり、これを（１８）式に代入すれば、Ｇｒ２３＝１０ｂ／２＝５ｂとなる。
【００５０】
これら、 Ｃｙ２３＝４ｂ、Ｙｅ２３＝５ｂ、Ｇｒ２３＝５ｂとＭｇ２３＝４ｂを（１５）式に代入すると、Ｙ２３＝ｂ・１８／４と求められる。
【００５１】
このようにして、Ｍｇ２３の輝度成分Ｙ２３が求められると、この輝度成分Ｙ２３を用いて、Ｍｇ２３における色成分のみを求める。このＭｇ２３における色成分を小文字のｍｇ２３で表せば、ｍｇ２３は、Ｍｇ２３の出力情報を輝度成分Ｙ２３で除算することにより求められる。すなわち、
ｍｇ２３＝Ｍｇ２３／Ｙ２３ （１９）
で求められる。ここで、Ｍｇ２３の出力情報は上述したように４ｂ（ｂ３＝４ｂ）であるから、Ｍｇ２３における色成分ｍｇ２３は、
ｍｇ２３＝４ｂ／（ｂ・１８／４）＝８／９ （２０）
と求めることができる。
【００５２】
図１は以上説明した手法を用いて、それぞれの画素について、その画素情報から輝度成分と色成分を分離したときの各画素の輝度成分の値と色成分の値を示すもので、括弧内において左側に記された値がその画素の輝度成分、右側に記された値がその画素の色成分である。たとえば、Ｇｒ２２の画素についてみれば、（９ｂ／４，８／９）と記されており、その輝度成分Ｙ２２は９ｂ／４であり、その色成分ｇｒ２２は８／９であることを示している。
【００５３】
なお、図１における最も外側に存在する画素のそれぞれの値は、この図１では図示されていないが、それよりも外側に存在する３×３の範囲の画素に基づいて求められているものとする。
【００５４】
そして、各画素ごとに輝度成分と色成分とを分離して得られた色成分のみを用いて各画素の色補間を行う。この色補間の方法は種々考えられるが、ここでは、前述した（ｂ）の手法を用いるものとする。ここで、Ｇｒ２２における色補間を行う例について説明する。
【００５５】
すなわち、このＧｒ２２から求められた色成分ｇｒ２２の他に、 Ｇｒ２２を中心とする３×３の範囲を設定して、その範囲内に存在するＣｙ１１，Ｃｙ３１，Ｃｙ１３，Ｃｙ３３と、Ｍｇ２１，Ｍｇ２３と、Ｙｅ１２，Ｙｅ３２のそれぞれの色成分を用いて色補間する。ここで、 Ｃｙ１１，Ｃｙ３１，Ｃｙ１３，Ｃｙ３３のそれぞれの色成分がｃｙ１１，ｃｙ３１，ｃｙ１３，ｃｙ３３と求められているとし、 Ｍｇ２１，Ｍｇ２３のそれぞれの色成分がｍｇ２１，ｍｇ２３と求められているとし、Ｙｅ１２，Ｙｅ３２のそれぞれの色成分がｙｅ１２，ｙｅ３２と求められているとすれば、これら各色成分を用いてＧｒ２２の色補間処理を行うと、Ｇｒ２２における各色成分ｃｙ２２，ｙｅ２２，ｍｇ２２は、
ｃｙ２２＝（ｃｙ１１＋ｃｙ３１＋ｃｙ１３＋ｃｙ３３）／４ （２１）
ｙｅ２２＝（ｙｅ１２＋ｙｅ３２）／２ （２２）
ｍｇ２２＝（mｇ２１＋mｇ２３）／２ （２３)
で表される。また、ｇｒ２２はそれをそのまま用いることができる。
【００５６】
そして、このように求められたＧｒ２２における各色（シアン、イエロ、マゼンタ、グリーン）の色成分に対し、その位置（Ｇｒ２２の位置）の輝度成分Ｙ２２を乗算することで、当該位置における各色の出力情報を得ることができる。これら各色の出力情報をＣｙ２２'、Ｙｅ２２'、Ｍｇ２２'、Ｇｒ２２'（＝ Ｇｒ２２） で表せば、
Ｃｙ２２'＝ｃｙ２２×Ｙ２２ （２４）
Ｙｅ２２'＝ｙｅ２２×Ｙ２２ （２５）
Ｍｇ２２'＝ｍｇ２２×Ｙ２２ （２６）
Ｇｒ２２'＝ｇｒ２２×Ｙ２２ （２７）
となり、これらがＧｒ２２の位置における色補間後の画素情報（輝度成分と色成分の両方を併せ持った値）となる。
【００５７】
図２は以上のある注目画素に対する処理手順を概略的に示すフローチャートであり、まず、各画素の輝度を求めるために、各画素を囲む３×３の範囲の設定して各画素画素の色補間を行い（ステップｓ１）、その色補間結果を用いて各画素における輝度成分を算出する（ステップｓ２）。次に、各画素の出力値を求められた輝度成分で除算し各画素ごとの色成分を求める（ステップｓ３）。そして、ある注目画素を囲む３×３の範囲の画素のそれぞれの色成分を用いて当該注目画素の色補間を行う（ステップｓ４）。この色補間処理は、それぞれの画素の色成分のみ（輝度成分が除去された色成分のみ）を用いた色補間処理である。そして、その色補間された当該注目画素の値に、先ほど求めた当該注目画素の輝度成分を乗算する（ステップｓ５）。これによってその注目画素の色補間処理が終了し、その色補間処理結果は、輝度成分と色成分を持った画素情報となる。
【００５８】
以上のようにして、それぞれの画素情報から輝度成分と色成分を分離し、色成分だけで色補間処理を行うことができる。
【００５９】
なお、ステップｓ１とステップｓ５で用いる輝度成分は、別の手法で求めた値を用いてもよい。例えば、ステップｓ５で用いる輝度成分に、エッジ強調処理を施したものを用いることにより、見かけ上、めりはりのある画像を得ることができる。
【００６０】
ここで、色補間後のある注目画素（Ｇｒ２２とする）におけるそれぞれの色の出力値Ｃｙ２２'、Ｙｅ２２'、Ｍｇ２２'、Ｇｒ２２'を用いて、前述の（２）式、（３）式からＲｙ２２とＢｙ２２がどのような値となるかを調べてみる。まず、上述の（２４）式〜（２７）式を計算し、 Ｃｙ２２'、Ｙｅ２２'、Ｍｇ２２'、Ｇｒ２２'を求める。図１からもわかるように、この場合、 ｃｙ２２＝ｙｅ２２＝ｍｇ２２＝ｇｒ２２＝８／９であり、Ｙ２２＝ｂ・９／４であるので、
Ｃｙ２２'＝（８／９）・（ ｂ・９／４）＝２ｂ （２８）
Ｙｅ２２'＝（８／９）・（ ｂ・９／４）＝２ｂ （２９）
Ｍｙ２２'＝（８／９）・（ ｂ・９／４）＝２ｂ （３０）
Ｇｒ２２'＝（８／９）・（ ｂ・９／４）＝２ｂ （３１）
が得られる。次に、これらを（２）式、（３）式にそれぞれ代入すると、Ｒｙ２２＝０、Ｂｙ２２＝０となる。このように、 Ｒｙ２２＝０、Ｂｙ２２＝０であるということは、その位置における画素は色成分が現れずに輝度の変化のみを持つということである。つまり、Ｇｒ２２の位置におけるＣＣＤからの出力画像は原画像と同じ白画像が再生できたことを示している。図１の例からもわかるように、他のすべての画素位置についても、分離したそれぞれの色成分の値は全面で同じ値となっている。したがって、どの画素位置においてもＲｙ＝０（Ｒｙ１１，Ｒｙ１２，Ｒｙ１３．・・・がすべて０）、Ｂｙ＝０（Ｂｙ１１，Ｂｙ１２，Ｂｙ１３．・・・がすべて０）となり、画像全面において色成分が現れずに輝度の変化のみを持つ画像となり、従来の技術の項で説明したようなラインごとにある色が交互に現れるような現象、つまり、偽色の発生がなくなる。
【００６１】
ちなみに、従来技術の説明では、（４）〜（８）式からもわかるように、図４（ｂ）において、ｐ１１，ｐ１２，ｐ１３・・・の列のそれぞれの点に対応するＲｙ１１、Ｒｙ１２，Ｒｙ１３、・・・はそれぞれ０となるが、それぞれの点に対応するＢｙ１１、Ｂｙ１２，Ｂｙ１３、・・・は、Ｂｙ１１＝−２ｂ、Ｂｙ＝＋４ｂ、Ｂｙ１３＝−８ｂというように交互に黄色成分と青成分が現れる結果となっていた。これに対して、本発明では、どの画素位置においてもＲｙ＝０、Ｂｙ＝０となり、このような偽色の発生が抑えられていることがわかる。
【００６２】
なお、以上の説明では説明をわかりやすくするため、原画像を白い画像として説明したが、色の付いた画像であっても偽色の発生を抑えて原画像を忠実に再現することができる。
【００６３】
また、これまでの説明では、 シアン、イエロ、マゼンタ、グリーンの補色系での説明であったがＲＧＢの原色系であっても同様に実施することができる。
【００６４】
また、ｃｙ２２、ｙｅ２２、ｍｇ２２、ｇｒ２２をＧｒ２２における画素出力として考え、これらｃｙ２２、ｙｅ２２、ｍｇ２２、ｇｒ２２からまずＲｙ'とＢｙ'を（２）式及び（３）式により求めたあとで、Ｒｙ＝Ｒｙ'×Ｙ２２、 Ｂｙ＝Ｂｙ'×Ｙ２２によってＲｙとＢｙを求めるようにしてもよい。これはＲＧＢに変換する場合も同様の手法を用いることができる。
【００６５】
さらに、本発明は以上説明した実施の形態に限定されるものではなく、たとえば、注目画素の輝度を求める方法や注目画素の色補間を行う方法などは特に限定されるものではなく、前述の実施の形態で説明した方法以外の方法を用いることもできる。
【００６６】
また、以上説明した本発明の処理を行う色補間処理プログラムは、フロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくことができ、本発明はその記録媒体をも含むものである。また、ネットワークから処理プログラムを得るようにしてもよい。
【００６７】
【発明の効果】
以上説明したように本発明によれば、各画素ごとにその画素情報から輝度成分と色成分を分離し、分離された色成分を用いてある注目画素の色成分の補間を行った後に、当該注目画素における輝度成分をその注目画素の各色成分に与えることで当該注目画素の色補間を行うようにしているので、単板式固体撮像素子から出力される画像に偽色を発生するのを抑えることができる。
【００６８】
これを実現するための処理は、各画素において、当該画素に対して設定された範囲内に存在する画素のそれぞれの画素情報を用いて色補間処理を行い、それによって補間された色情報から輝度成分を求め、その輝度成分を用いて各画素の画素情報（色成分と輝度成分を含んでいる）から色成分を抽出する（画素情報を輝度成分で除算する）。そして、その色成分を用いて注目画素の色補間処理を行ったのちに、その注目画素の輝度成分を付加（輝度成分を色成分に乗算）することで最終的な色補間処理を行う。このように、色補間処理を行う際に、簡単な処理を付加するだけで確実に偽色の発生を抑えることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を説明する図であり、ＣＣＤ撮像素子の色配列とそれぞれの色に対する出力情報を輝度成分と色成分に分離した場合の輝度成分と色成分の値の一例を示す図である。
【図２】本発明の実施の形態の概略的な処理手順を説明するフローチャートである。
【図３】単板式ＣＣＤ撮像素子の色配列の一例を説明する図である。
【図４】図３で示した単板式ＣＣＤ撮像素子における色補間を説明する図（図４(a)）およびｐ１１，ｐ１２，・・・における偽色の発生の例を説明する図である（図４(b)。
【図５】図３で示した単板式ＣＣＤの色配列における各列ごとに輝度の変化を生じている例を説明する図である。
【図６】図５で示した輝度変化を有する場合におけるＣＣＤ撮像素子の各色対応の出力値の例を示す図である。
【符号の説明】
Ｃｙ シアン
Ｙｅ イエロ
Ｍｇ マゼンタ
Ｇｒ グリーン
Ａ１，Ａ２，Ａ３，・・・ 色配列マトリクスの列
Ｂ１，Ｂ２，Ｂ３，・・・ 色配列マトリクスの行

Claims (2)

1. 単板式固体撮像素子から出力される画素対応の画素情報を用いてある注目画素の色補間を行う単板式固体撮像素子の色補間方法において、
   各画素における輝度成分を求め、求められた各画素ごとの輝度成分を用いて各画素ごとにその画素情報から輝度成分と色成分とを分離し、分離して得られた色成分を用いてある注目画素の色成分の補間を行った後に、当該注目画素における輝度成分をその注目画素の各色成分に与えることで当該注目画素の色補間を行い、
   前記各画素における輝度成分は、各画素において、当該画素に対して設定された範囲内に存在する画素のそれぞれの画素情報を用いて輝度成分を求めるための色補間処理を行い、その色補間処理によって得られた画素情報から求め、
   前記分離して得られた色成分を用いてある注目画素の色補間を行う処理は、前記注目画素に対して設定された範囲内に存在する各画素ごとに得られた色成分によって当該注目画素の色補間処理を行う、
   ことを特徴とする単板式固体撮像素子の色補間方法。
2. 単板式固体撮像素子から出力される画素対応の画素情報を用いてある注目画素の色補間を行う単板式固体撮像素子の色補間処理プログラムを記録した記録媒体であって、その色補間処理プログラムは、
   各画素における輝度成分を求める手順と、
   求められた各画素ごとの輝度成分を用いて各画素ごとにその画素情報から輝度成分と色成分とを分離して色成分を得る手順と、
   その色成分を用いてある注目画素の色成分の補間を行う手順と、
   当該注目画素における輝度成分をその注目画素の各色成分に与えることで当該注目画素の色補間を行う手順とを含み、
   前記各画素における輝度成分は、各画素において、当該画素に対して設定された範囲内に存在する画素のそれぞれの画素情報を用いて輝度成分を求めるための色補間処理を行い、その色補間処理によって得られた画素情報から求め、
   前記分離して得られた色成分を用いてある注目画素の色補間を行う処理は、前記注目画素に対して設定された範囲内に存在する各画素ごとに得られた色成分によって当該注目画素の色補間処理を行う、
   ことを特徴とする単板式固体撮像素子の色補間処理プログラムを記録した記録媒体。

Images