JP4333544B2 - 画像処理方法、及び画像処理装置、半導体装置、電子機器、画像処理プログラム、並びにコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、ＣＣＤやＣＭＯＳなどのカラー撮像センサを備えたデジタルカメラなどに用いられる画像処理装置などに係り、特に色補間処理によって発生する偽色の排除処理を目的とした画像処理方法、及び画像処理装置、半導体装置、電子機器、画像処理プログラム、並びにコンピュータ読み取り可能な記録媒体に関するものである。

一般に、デジタルビデオカメラやデジタルスチルカメラなどのデジタルカメラには、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像センサを３個使用した３板式と１個だけしか使用しない単板式とに大別される。
この３板式のデジタルカメラは、入射光をダイクロイックミラーなどで赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色に色分解し、色分解した光情報を３個の撮像センサによってそれぞれＲ、Ｇ、Ｂのデジタル画像に変換するものであり、光学系の構造は複雑になるものの高画質の画像を得ることができることから、主に業務用のデジタルビデオカメラや高級デジタルスチルカメラなどに利用されている。

これに対し、単板式のデジタルカメラは、１個の撮像センサ上にＲ、Ｇ、Ｂ各色をブロック状に並べた色フィルタを装着し、各画素について対応する色フィルタを透過してきた光情報をそれぞれデジタル化するようにしたものであり、３板式のそれに比べると画質はやや劣るものの、小型・軽量、低消費電力、低価格であるため、主に民生用のデジタルビデオカメラやデジタルスチルカメラとして極めて多く利用されている。

ちなみに、最近では民生用カラービデオカメラでも３板式のものを採用したものが製品化されてきている。また、撮像センサを２個用いる２板式もあり、この２板式は上記２つの方式の中間的な特徴を持つ方式であるが、現在ではあまり用いられていない。
そして、このような単板式のデジタルカメラにあっては、その構造上、欠落している色成分を予測補間するといった色補間処理が必要となってくるが、この色補間処理は、後に詳述するように注目画素周囲の画素値から推測によりその画素にない色のデータを生成するものであることから、画像のエッジ部などの画素値に急激な変化がある部分では、正確な値を算出できないことが多い。この結果、このように正確な値が算出できていないエッジ部には、本来と異なる色のバランスを持つ画素が発生してこれが偽色となって出現したり、画像がぼやけたりなどの画質を低下させる要因の１つとなっている。

そのため、従来では、例えば以下の特許文献１などに示すように、簡易的な色補間処理によって得られたＲＧＢデータをさらに輝度成分Ｙと色差成分Ｃと変換してから、それぞれの成分に高域強調や低域強調フィルタ処理を施すことによって画像特性の改善を図るようにしている。
一方、以下の特許文献２や３などに示すように、広い領域の画素データを用いて適応的に色補間を行うことで、偽色の発生や画像のぼやけといった画質低下を回避することを可能とした色補間方法も提案されている。
特開２００３−２４４７１１号公報 特開２００２−１０２８０号公報 特開２００１−２３１０５２号公報

ところで、前記従来技術のうち、特許文献１の方法は、色補間処理によって得られたＲＧＢデータをさらに輝度成分Ｙと色差成分Ｃとに変換するための変換式が固定されたものであることから、簡易的な色補間を施す際の処理単位（例えば、２×２画素単位や３×３画素単位）内である特定の色の値が大きいと、その値が大きい色の解像度に支配されてしまい、全体の解像度が低下してしまったようにみえることがある。

例えば、Ｒ画素及びＢ画素がそれぞれ１つずつで、残りが２つの画素がＧ画素からなる２×２画素の単位で色補間処理を行う場合、１つしか存在しないＲ画素（あるいはＢ画素）の値が極端に大きくとなると、そのＲ画素（あるいはＢ画素）の影響を強く受けた色補間処理が行われて実質的にＲ画素の解像度で画像が生成されたようになる。その結果、解像度が本来のセンサ解像度の半分のセンサを用いて得られたような低い解像度の画像となってしまうことが考えられる。

一方、前記特許文献２は、広い領域の画素データを用いて色補間処理を行うことから、多数のラインメモリなどが必要となったり、処理途中にて複雑な計算を用いる必要が出てくるため、全体として処理負荷が増大するといったおそれがある。また、ＲＧＢモザイク配列において、Ｇについては画素間の相関を利用して補間を行い、ＲとＢについてはＧデータの相関を利用して補間に利用する画素を決定するようになっているため、処理の切り換えポイントが画像のエッジ部などで頻繁に発生すると、滑らかなエッジが再現できないといった問題が発生するおそれがある。

また、両技術共に、特定色を正確に算出してから他の色を算出することを前提としているため、その算出処理が別途必要となり、これも処理負荷を増大させる要因になり得ると考えられる。
そこで、本発明はこのような課題を有効に解決するために案出されたものであり、その目的は、画像処理負荷が少なく、かつ解像度の低下を回避できると共に滑らかで自然なエッジを確実に再現することができる新規な画像処理方法、及び画像処理装置、半導体装置、電子機器、画像処理プログラム、並びにコンピュータ読み取り可能な記録媒体を提供するものである。

〔発明１〕上記課題を解決するために本発明１の画像処理方法は、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して色補間処理を施して各画素ごとに色データを求める工程と、当該色データを所定の変換式を用いて輝度信号Ｙと色差信号Ｃとに変換してそれぞれの信号に所定のフィルタリング処理を施す工程と、を有し、前記変換式を前記色データの各色の大きさに基づいて変化させるようにしたことを特徴とするものである。

すなわち、前述したように、単板式カラー撮像センサが出力する画素データに対する色補間処理によって得られた色データを、さらに輝度成分Ｙと色差成分Ｃと変換するための変換式は、固定されたものであることから、簡易的な色補間を施す際の処理単位内で１画素しかない、例えば「Ｒ」や「Ｂ」の値が大きすぎると、その色の解像度に支配されてしまい、全体の解像度が低下してしまったようにみえることがある。

そこで、本発明は、色補間処理後の色データを輝度成分Ｙと色差成分Ｃと変換するための変換式を前記色データの各色の大きさに基づいて能動的に変化させるようにしたものである。
これによって、ある特定の色の値が大きい場合には、その影響を少なくするように（ＹＣ）変換式を変化させることができるため、その色の解像度に支配されてしまうようなことがなくなって解像度の低下を回避できる。

また、色補間処理自体には手を加えることなく、従来の簡易的な色補間処理をそのまま利用することができるため、滑らかで自然なエッジを確実に再現できると共に、画像処理負荷の増大を招くこともない。
なお、本発明でいう、「色データ」とは、１画素ごとに「Ｒ（赤）」、「Ｇ（緑）」、「Ｂ（青）」フィルタを配置した３色フィルタ（一般的に原色フィルタと呼ばれている）で得られる色データの他に、１画素ごとに「Ｃ（シアン）」、「Ｍ（マゼンタ）」、「Ｙ（イエロ）」、「Ｇ（グリーン）」のフィルタを配置した４色フィルタ（一般的に補色フィルタと呼ばれている）で得られる色データをも含むものであり、また、原色フィルタに青紫のような色フィルタを加えたようなあらゆる色フィルタで得られる色データを対象としている（特に明示しない限り、以下の「画像処理方法」、「画像処理装置」、「画像処理プログラム」、「電子機器」、「画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体」においても同じである）。

また、本発明でいう「Ｙ」とは、輝度のようなものであるが輝度そのものを指すものではなく、色補間で得られたデータに対して解像度を決定する支配的なパラメータを指すものである。一般的には、これらは輝度信号であるが、本発明では色空間の輝度信号を正確に算出するのではなく、空間的な位置情報を優先した信号を輝度と呼ぶものとする（以下の「画像処理方法」、「画像処理装置」、「画像処理プログラム」、「電子機器」、「画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体」においても同じである）。

〔発明２〕発明２の画像処理方法は、
発明１に記載の画像処理方法において、前記変換式に使用する係数に、用意された所定の数値を用いることを特徴とするものである。
すなわち、（ＹＣ）変換式に使用する係数に自由な係数を用いると、ハードウェア化した場合に乗算器を合成する必要があり、ハードウェア資源をいたずらに浪費することがある。そのため、本発明のように変換式に使用する係数に予め用意された所定の数値、例えば、「０．１２５」、「０．２５」、「０．５」、「０．７２５」、「１．０」などの２＾ｎ（ｎ整数）とそれに類する係数に限定して用いれば、ハードウェア資源を大幅に節約することができる。また、ソフトウェアで考えた場合には、乗算処理よりも高速な演算を実現することが可能となる。なお、後述する実施の形態で用いている係数は、その限定の元で生成してあり、また、その条件下での実験で十分な効果を得ている。

〔発明３〕発明３の画像処理方法は、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して色補間処理を施して各画素ごとに色データを求める工程と、当該色データを所定の変換式を用いて輝度信号Ｙと色差信号Ｃとに変換してそれぞれの信号に所定のフィルタリング処理を施す工程と、各画素ごとに前記色補間処理で求められた色データのなかから最大値を検出する工程と、当該最大値と特定色の値との大きさの比を求める工程と、その比に基づいて前記変換式を決定する工程と、を有することを特徴とするものである。

すなわち、前述したように従来のＹＣ変換処理で用いる変換式は、各係数の数値などが固定されたものであることから、例えば「Ｒ」や「Ｂ」の値が大きすぎると、その色の解像度に支配されてしまい、全体の解像度が低下してしまったようにみえることがある。
そのため、本発明は色データの各色のなかから最大値を有する色を検出し、その色に輝度データが支配されないように当該最大値と他の色の値との大きさの比を求め、その比に基づいて前記変換式を決定するようにしたものである。

これによって、発明１と同様に、ある特定の色の値が大きい場合には、生成される輝度データへのその色の寄与率を下げてその影響を少なくするように変換式を決定することができるため、その色の解像度に支配されるのを防止して解像度の低下を回避することが可能となる。
また、色補間処理自体には手を加えることなく、従来の簡易的な色補間処理をそのまま利用することができるため、滑らかで自然なエッジを確実に再現できると共に、画像処理
負荷の増大を招くこともない。

〔発明４〕発明４の画像処理方法は、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して、赤のフィルタが設けられたＲ画素及び青のフィルタが設けられたＢ画素がそれぞれ１つずつのみ存在する２×２画素単位、又は前記Ｒ画素及びＢ画素のうちいずれか１つの画素を中心としてその周囲に前記いずれか１つの画素とは異なる色の画素が存在する３×３画素単位、あるいは前記Ｒ画素とＢ画素がそれぞれ２つ存在する３×３画素単位として、
色補間処理を施して各画素ごとにＲＧＢの色データを算出する固定と、当該色データを所定の変換式を用いて輝度信号Ｙと色差信号Ｃとに変換してそれぞれの信号に所定のフィルタリング処理を施す工程と、を有し、前記変換式のうち、輝度信号Ｙは、Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（但し、Ｋ１＋Ｋ２＋Ｋ１＝１．０）にて算出すると共に、前記色差信号Ｃ（Ｃｂ、Ｃｒ）は、前記ＲとＹとの差分、及び前記ＢとＹの差分にてそれぞれ算出し、かつ、前記Ｋ１及びＫ２の値を前記色補間処理で算出された色データのＲＧＢ各色の大きさに基づいて変化させるようにしたことを特徴とするものである。

これによって、発明１及び２と同様に、解像度の低下や画像処理負荷の増大を回避できると共に、２×２画素単位あるいは３×３画素単位で、「Ｋ１」あるいは「Ｋ２」のいずれか一方のみのパラメータを操作するだけで変換式を決定することができるため、変動する適切な変換式を容易に決定することができる。
なお、後述するように単板式のカラー撮像センサの色フィルタは、モザイク配列の配色となっており、殆どが２×２画素単位の繰り返しで構成されている。そして、ＲＧＢ３色の場合は２×２画素のなかにＧが千鳥状に配置されており、また、これに青紫を加えた場合やＣＭＹＧ４色の場合は２×２画素のなかにそれぞれ異なった色が１つずつ配置されているのが一般的である。

〔発明５〕発明５の画像処理方法は、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して色補間処理を施して各画素ごとに色データを求める工程と、当該色データを所定の変換式を用いて輝度信号Ｙと色差信号Ｃとに変換してそれぞれの信号に所定のフィルタリング処理を施す工程とを有し、前記変換式は少なくとも２種類以上有し、当該複数の変換式のなかから、前記色データの各色の大きさに基づいて前記変換式を選択して用いるようにしたことを特徴とするものである。

すなわち、前記１〜４の発明は、従来固定的であった変換式を色データに基づいて最適に変化させるようにしたものであるのに対し、本発明は、予め前記変換式を少なくとも２種類以上用意しておき、当該複数の変換式のなかから、前記色データの各色の大きさに基づいて最適な変換式を切り換えて用いるようにしたものである。
これによって前記発明１と同様な効果を得ることができると共に、１画素ごとに１つの変換式を変化させる方法に比べてより高速にＹＣ変換処理を実現することができる。

〔発明６〕発明６の画像処理方法は、
請求項５に記載の画像処理方法において、前記色補間処理は、前記単板式のカラー撮像センサの各画素ごとに、赤のフィルタが設けられたＲ画素及び青のフィルタが設けられたＢ画素がそれぞれ１つずつのみ存在する２×２画素単位、又は前記Ｒ画素及びＢ画素のうちいずれか１つの画素を中心としてその周囲に前記いずれか１つの画素とは異なる色の画素が存在する３×３画素単位、あるいは前記Ｒ画素とＢ画素がそれぞれ２つ存在する３×３画素単位として実施するものであって、前記Ｒ画素又はＢ画素のうちいずれか一方の値と他の色の値の大きさに応じて前記変換式を切り換えるようにすることを特徴とするものである。
これによって、２×２画素単位、又は３×３画素単位で実施されるような、いわゆる簡易的な色補間処理によって特に生じやすい解像度の低下を効果的に回避することができる。

〔発明７〕本発明７の画像処理方法は、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して色補間処理を施して各画素ごとに色データを求める工程と、当該色データを２種類以上の変換式を用いてそれぞれ独立に輝度信号Ｙと色差信号Ｃとに変換してからそれぞれの輝度信号Ｙ同士と色差信号Ｃ同士を所定の係数を用いて合成し、合成後の輝度信号Ｙと色差信号Ｃに対してそれぞれ所定のフィルタリング処理を施す工程とを、有することを特徴とするものである。

すなわち、前記１〜６の発明は原則として１つの色データに対して１つの変換式を用いてＹＣ変換するのに対し、本発明は、１つの色データを２種類以上の変換式を用いてそれぞれ独立に輝度信号Ｙと色差信号ＣとにＹＣ変換してからそれぞれの輝度信号Ｙ同士と色差信号Ｃ同士を所定の係数を用いて合成し、合成後の輝度信号Ｙと色差信号Ｃに対してフィルタリング処理を施すようにしたものである。
これによって、前記発明１と同様な効果を得ることができると共に、発明４と同様にいずれか１つの変換式を代えるだけで多種類の変換式を決定することができるため、変動する適切な変換式を容易に決定することができる。

〔発明８〕発明８の画像処理方法は、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して色補間処理を施して各画素ごとに色データを求める工程と、当該色データを２種類以上の変換式を用いてそれぞれ独立に輝度信号Ｙと色差信号Ｃとに変換してそれぞれの信号に所定のフィルタリング処理を施し、フィルタリング処理後の輝度信号Ｙと色差信号Ｃを再度色データに逆変換処理して逆変換後の各色データを所定の係数を用いて合成する工程と、を有することを特徴とするものである。

すなわち、前記発明６は、１つの色データを２種類以上の変換式を用いてそれぞれ独立に輝度信号Ｙと色差信号ＣとにＹＣ変換してからそれぞれの輝度信号Ｙ同士と色差信号Ｃ同士を所定の係数を用いて合成して合成後の輝度信号Ｙと色差信号Ｃに対してフィルタリング処理を施すようにしたのに対し、本発明は、１つの色データを２種類以上の変換式を用いてそれぞれ独立に輝度信号Ｙと色差信号ＣとにＹＣ変換した後、そのままそれぞれの信号に所定のフィルタリング処理を施し、フィルタリング処理後の輝度信号Ｙと色差信号Ｃを再度色データに逆変換処理して逆変換後の各色データを所定の係数を用いて合成するようにものである。
これによって、前記発明１と同様な効果を得ることができると共に、その合成比を変えるだけで、多数の変換式を用意しなくとも多数の様々なパターンの処理結果を得ることができる。

〔発明９〕発明９の画像処理方法は、
発明７又は８に記載の画像処理方法において、前記色補間処理は、前記単板式のカラー撮像センサの各画素ごとに、赤のフィルタが設けられたＲ画素及び青のフィルタが設けられたＢ画素がそれぞれ１つずつのみ存在する２×２画素単位、又は前記Ｒ画素及びＢ画素のうちいずれか１つの画素を中心としてその周囲に前記いずれか１つの画素とは異なる色の画素が存在する３×３画素単位、あるいは前記Ｒ画素とＢ画素がそれぞれ２つ存在する３×３画素単位で実施するものであることを特徴とするものである。
これによって、２×２画素単位、又は３×３画素単位で実施されるような、いわゆる簡易的な色補間処理によって特に生じやすい解像度の低下を、少ない変換式でも効果的に回避することができる。

〔発明１０〕発明１０の画像処理装置は、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して色補間処理を施して各画素ごとに色データを求める色補間処理部と、当該色補間処理部で求められた前記色データを所定の変換式を用いて輝度信号Ｙと色差信号Ｃとに変換するＹＣ変換部と、当該ＹＣ変換部で変換された輝度信号Ｙと色差信号Ｃに対してそれぞれ所定のフィルタリング処理を施すフィルタリング部と、を備え、前記ＹＣ変換部は、前記変換式を前記色データの各色の大きさに基づいて変化させるようになっていることを特徴とするものである。

これによって、発明１と同様に、ある特定の色の値が大きい場合には、その影響を少なくするように変換式を変化させることができるため、その色の解像度に支配されてしまうようなことがなくなって解像度の低下を回避できる。
また、色補間処理自体には手を加えることなく、従来の簡易的な色補間処理をそのまま利用することができるため、滑らかで自然なエッジを確実に再現できると共に、画像処理負荷の増大を招くこともない。

〔発明１１〕発明１１の画像処理装置は、
発明１０に記載の画像処理装置において、前記ＹＣ変換部は、前記変換式に使用する係数に、用意された所定の数値を用いるようになっていることを特徴とするものである。
これによって、発明２と同様にハードウェア資源を大幅に節約することができ、また、ソフトウェアで考えた場合には、乗算処理よりも高速な演算を実現することが可能となる。

〔発明１２〕発明１２の画像処理装置は、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して色補間処理を施して各画素ごとに色データを求める色補間処理部と、当該色補間処理部で求められた前記色データを所定の変換式を用いて輝度信号Ｙと色差信号Ｃとに変換するＹＣ変換部と、当該ＹＣ変換部で変換された輝度信号Ｙと色差信号Ｃに対してそれぞれ所定のフィルタリング処理を施すフィルタリング部と、を備え、
前記ＹＣ変換部は、前記色補間処理で算出された色データの各色のなかから最大値を有する色を検出し、当該最大値と他の色の値との大きさの比を求め、その比に基づいて前記変換式を決定するようになっていることを特徴とするものである。
これによって、発明１と同様に、解像度の低下を回避できると共に、色補間処理自体には何ら手を加えることなく、従来の簡易的な色補間処理をそのまま利用することができるため、滑らかで自然なエッジを確実に再現できると共に、画像処理負荷の増大を招くこともない。

〔発明１２〕発明１２の画像処理装置は、
画像処理装置単板式のカラー撮像センサが出力する１画素１色の画素データに対して、赤のフィルタが設けられたＲ画素及び青のフィルタが設けられたＢ画素がそれぞれ１つずつのみ存在する２×２画素単位、又はＲ画素及びＢ画素のうちいずれか１つの画素を中心としてその周囲に他の色の画素が存在する３×３画素単位、あるいは前記Ｒ画素とＢ画素がそれぞれ２つ存在する３×３画素単位で色補間処理を施して各画素ごとにＲＧＢデータを算出する色補間処理部と、当該色補間処理部で算出された前記ＲＧＢデータを所定の変換式を用いて輝度信号Ｙと色差信号Ｃとに変換するＹＣ変換部と、当該ＹＣ変換部で変換された輝度信号Ｙと色差信号Ｃに対してそれぞれ所定のフィルタリング処理を施すようにしたフィルタリング部と、を備え、前記ＹＣ変換部は、前記変換式のうち、輝度信号Ｙは、Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（但し、Ｋ１＋Ｋ２＋Ｋ１＝１．０）に基づいて算出すると共に、前記色差信号Ｃ（Ｃｂ、Ｃｒ）は、前記ＲとＹとの差分、及び前記ＢとＹの差分にそれぞれ基づいて算出し、かつ、前記Ｋ１及びＫ２の値を前記色補間処理で算出されたＲＧＢデータの各色の大きさに基づいて変化させるようになっていることを特徴とするものである。
これによって、発明１と同様に、解像度の低下や画像処理負荷の増大を回避できると共に、２×２画素単位あるいは３×３画素単位で、Ｋ１あるいはＫ２のいずれか一方のみのパラメータを操作するだけで変換式を決定することができるため、変動する適切な変換式を容易に決定することができる。

〔発明１３〕発明１３の画像処理装置は、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して色補間処理を施して各画素ごとに色データを求める色補間処理部と、当該色補間処理部で算出された前記色データを所定の変換式を用いて輝度信号Ｙと色差信号Ｃとに変換するＹＣ変換部と、当該ＹＣ変換部で変換された輝度信号Ｙと色差信号Ｃに対してそれぞれ所定のフィルタリング処理を施すフィルタリング部と、を備え、
前記ＹＣ変換部は、前記変換式を２種類以上備え、前記色データごとの各色の大きさに基づいて前記変換式を切り換えるようになっていることを特徴とするものである。
これによって前記発明１と同様な効果を得ることができると共に、１画素ごとに１つの変換式を変化させる方法に比べてより高速にＹＣ変換処理を実現することができる。

〔発明１４〕発明１４の画像処理装置は、
発明１３に記載の画像処理装置において、前記色補間処理部における色補間処理は、前記単板式のカラー撮像センサの各画素ごとに、赤のフィルタが設けられたＲ画素及び青のフィルタが設けられたＢ画素がそれぞれ１つずつのみ存在する２×２画素単位、又は前記Ｒ画素及びＢ画素のうちいずれか１つを中心としてその周囲に他の色の画素が存在する３×３画素単位、あるいはＲ画素とＢ画素がそれぞれ２つ存在する３×３画素単位で実施するものであって、前記Ｒ画素又はＢ画素のうちいずれか一方の値の大きさに応じて前記変換式を切り換えるようになっていることを特徴とするものである。
これによって、２×２画素単位、又は３×３画素単位で実施されるような、いわゆる簡易的な色補間処理によって特に生じやすい解像度の低下を効果的に回避することができる。

〔発明１５〕発明１５の画像処理装置は、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して色補間処理を施して各画素ごとに色データを算出する色補間処理部と、当該色補間処理部で算出された前記色データを２種類以上の変換式を用いてそれぞれ独立に輝度信号Ｙと色差信号Ｃとに変換してからそれぞれの輝度信号Ｙ同士と色差信号Ｃ同士を所定の係数を用いて合成するＹＣ変換部と、当該ＹＣ変換部で合成した後の輝度信号Ｙと色差信号Ｃに対してそれぞれ所定のフィルタリング処理を施すフィルタリング部と、を備えたことを特徴とするものである。
これによって、前記発明１と同様な効果を得ることができると共に、発明４と同様にいずれか１つの変換式を代えるだけで多種類の変換式を決定することができるため、変動する適切な変換式を容易に決定することができる。

〔発明１６〕発明１６の画像処理装置は、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して色補間処理を施して各画素ごとに色データを算出する色補間処理部と、当該色補間処理部で算出された前記色データをそれぞれ異なる変換式を用いて独自にそれぞれ輝度信号Ｙと色差信号Ｃとに変換するＹＣ変換部と、当該各ＹＣ変換部でそれぞれ変換された輝度信号Ｙと色差信号Ｃに対してそれぞれ所定のフィルタリング処理を施すフィルタリング部と、当該フィルタリング部でフィルタリング後の輝度信号Ｙと色差信号Ｃを独自にそれぞれ色データに逆変換する逆変換部と、当該逆変換部で変換された各色データを所定の係数を用いて合成するデータ合成部と、を備えたことを特徴とするものである。
これによって、前記発明１と同様な効果を得ることができると共に、その混合比を代えるだけで、多数の変換式を用意しなくとも多数の様々なパターンの処理結果を得ることができる。

〔発明１７〕発明１７の画像処理装置は、
発明１５又は１６に記載の画像処理装置において、前記色補間処理部における色補間処理は、前記単板式のカラー撮像センサの各画素ごとに、赤のフィルタが設けられたＲ画素及び青のフィルタが設けられたＢ画素がそれぞれ１つずつのみ存在する２×２画素単位、又はＲ画素及びＢ画素のうちいずれか１つを中心としてその周囲に他の色の画素が存在する３×３画素単位、あるいはＲ画素とＢ画素がそれぞれ２つ存在する３×３画素単位で実施するようになっていることを特徴とするものである。
これによって、２×２画素単位、又は３×３画素単位で実施されるような、いわゆる簡易的な色補間処理によって特に生じやすい解像度の低下を、少ない変換式でも効果的に回避することができる。

〔発明１８〕発明１８の半導体装置は、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して色補間処理を施して各画素ごとに色データを求める色補間処理部と、当該色補間処理部で求められた前記色データを所定の変換式を用いて輝度信号Ｙと色差信号Ｃとに変換するＹＣ変換部と、当該ＹＣ変換部で変換された輝度信号Ｙと色差信号Ｃに対してそれぞれ所定のフィルタリング処理を施すフィルタリング部と、を備え、前記ＹＣ変換部は、前記変換式を前記色データの各色の大きさに基づいて変化させるようになっていることを特徴とするものである。
これによって、発明１や１０などと同様な効果が得られると共に、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの１チップ素子の形態で提供することができるため、小型のデジタルビデオカメラやデジタルスチルカメラなどに容易に搭載して活用することができる。

〔発明１９〕発明１９の半導体装置は、
発明１８に記載の半導体装置において、前記ＹＣ変換部は、前記変換式に使用する係数に、用意された所定の数値を用いるようになっていることを特徴とするものである。
これによって、発明２や１１などと同様な効果が得られると共に、発明１８と同様に、ＡＳＩＣなどの１チップ素子の形態で提供することができるため、小型のデジタルビデオカメラやデジタルスチルカメラなどに容易に搭載して活用することができる。

〔発明２０〕発明２０の半導体装置は、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して色補間処理を施して各画素ごとに色データを求める色補間処理部と、当該色補間処理部で求められた前記色データを所定の変換式を用いて輝度信号Ｙと色差信号Ｃとに変換するＹＣ変換部と、当該ＹＣ変換部で変換された輝度信号Ｙと色差信号Ｃに対してそれぞれ所定のフィルタリング処理を施すフィルタリング部と、を備えた半導体装置であって、
前記ＹＣ変換部は、前記色補間処理で算出された色データの各色のなかから最大値を有する色を検出し、当該最大値と他の色の値との大きさの比を求め、その比に基づいて前記変換式を決定するようになっていることを特徴とするものである。
これによって、発明１や１２などと同様な効果が得られると共に、発明１８と同様に、ＡＳＩＣなどの１チップ素子の形態で提供することができるため、小型のデジタルビデオカメラやデジタルスチルカメラなどに容易に搭載して活用することができる。

〔発明２１〕発明２１の半導体装置は、
画像処理装置単板式のカラー撮像センサが出力する１画素１色の画素データに対して、赤のフィルタが設けられたＲ画素及び青のフィルタが設けられたＢ画素がそれぞれ１つずつのみ存在する２×２画素単位、又はＲ画素及びＢ画素のうちいずれか１つを中心としてその周囲に他の色の画素が存在する３×３画素単位、あるいは前記Ｒ画素とＢ画素がそれぞれ２つ存在する３×３画素単位で色補間処理を施して各画素ごとにＲＧＢデータを算出する色補間処理部と、当該色補間処理部で算出された前記ＲＧＢデータを所定の変換式を用いて輝度信号Ｙと色差信号Ｃとに変換するＹＣ変換部と、当該ＹＣ変換部で変換された輝度信号Ｙと色差信号Ｃに対してそれぞれ所定のフィルタリング処理を施すようにしたフィルタリング部と、を備えた半導体装置であって、前記ＹＣ変換部は、前記変換式のうち、輝度信号Ｙは、Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（但し、Ｋ１＋Ｋ２＋Ｋ１＝１．０）に基づいて算出すると共に、前記色差信号Ｃ（Ｃｂ、Ｃｒ）は、前記ＲとＹとの差分、及び前記ＢとＹの差分にそれぞれ基づいて算出し、かつ、前記Ｋ１及びＫ２の値を前記色補間処理で算出されたＲＧＢデータの各色の大きさに基づいて変化させるようになっていることを特徴とするものである。
これによって、発明１や１３などと同様な効果が得られると共に、発明１８と同様に、ＡＳＩＣなどの１チップ素子の形態で提供することができるため、小型のデジタルビデオカメラやデジタルスチルカメラなどに容易に搭載して活用することができる。

〔発明２２〕発明２２の半導体装置は、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して色補間処理を施して各画素ごとに色データを求める色補間処理部と、当該色補間処理部で算出された前記色データを所定の変換式を用いて輝度信号Ｙと色差信号Ｃとに変換するＹＣ変換部と、当該ＹＣ変換部で変換された輝度信号Ｙと色差信号Ｃに対してそれぞれ所定のフィルタリング処理を施すフィルタリング部と、を備えた半導体装置であって、
前記ＹＣ変換部は、前記変換式を２種類以上備え、前記色データごとの各色の大きさに基づいて前記変換式を切り換えるようになっていることを特徴とするものである。
これによって前記発明１や１４などと同様な効果が得られると共に、発明１８と同様に、ＡＳＩＣなどの１チップ素子の形態で提供することができるため、小型のデジタルビデオカメラやデジタルスチルカメラなどに容易に搭載して活用することができる。

〔発明２３〕発明１４の半導体装置は、
発明２２に記載の半導体装置において、前記色補間処理部における色補間処理は、前記単板式のカラー撮像センサの各画素ごとに、赤のフィルタが設けられたＲ画素及び青のフィルタが設けられたＢ画素がそれぞれ１つずつのみ存在する２×２画素単位、又は前記Ｒ画素及びＢ画素のうちいずれか１つを中心としてその周囲に他の色の画素が存在する３×３画素単位、あるいはＲ画素とＢ画素がそれぞれ２つ存在する３×３画素単位で実施するものであって、前記Ｒ画素又はＢ画素のうちいずれか一方の値の大きさに応じて前記変換式を切り換えるようになっていることを特徴とするものである。
これによって、発明１５などと同様な効果が得られると共に、発明１８と同様に、ＡＳＩＣなどの１チップ素子の形態で提供することができるため、小型のデジタルビデオカメラやデジタルスチルカメラなどに容易に搭載して活用することができる。

〔発明２３〕発明２３の半導体装置は、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して色補間処理を施して各画素ごとに色データを算出する色補間処理部と、当該色補間処理部で算出された前記色データを２種類以上の変換式を用いてそれぞれ独立に輝度信号Ｙと色差信号Ｃとに変換してからそれぞれの輝度信号Ｙ同士と色差信号Ｃ同士を所定の係数を用いて合成するＹＣ変換部と、当該ＹＣ変換部で合成した後の輝度信号Ｙと色差信号Ｃに対してそれぞれ所定のフィルタリング処理を施すフィルタリング部と、を備えたことを特徴とするものである。
これによって、前記発明１や１５などと同様な効果が得られると共に、発明１８と同様に、ＡＳＩＣなどの１チップ素子の形態で提供することができるため、小型のデジタルビデオカメラやデジタルスチルカメラなどに容易に搭載して活用することができる。

〔発明２４〕発明２４の半導体装置は、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して色補間処理を施して各画素ごとに色データを算出する色補間処理部と、当該色補間処理部で算出された前記色データをそれぞれ異なる変換式を用いて独自にそれぞれ輝度信号Ｙと色差信号Ｃとに変換するＹＣ変換部と、当該各ＹＣ変換部でそれぞれ変換された輝度信号Ｙと色差信号Ｃに対してそれぞれ所定のフィルタリング処理を施すフィルタリング部と、当該フィルタリング部でフィルタリング後の輝度信号Ｙと色差信号Ｃを独自にそれぞれ色データに逆変換する逆変換部と、当該逆変換部で変換された各色データを所定の係数を用いて合成するデータ合成部と、を備えたことを特徴とするものである。
これによって、前記発明１や１６などと同様な効果が得られると共に、発明１８と同様に、ＡＳＩＣなどの１チップ素子の形態で提供することができるため、小型のデジタルビデオカメラやデジタルスチルカメラなどに容易に搭載して活用することができる。

〔発明２５〕発明２５の半導体装置は、
発明２３又は２４に記載の半導体装置において、前記色補間処理部における色補間処理は、前記単板式のカラー撮像センサの各画素ごとに、赤のフィルタが設けられたＲ画素及び青のフィルタが設けられたＢ画素がそれぞれ１つずつのみ存在する２×２画素単位、又はＲ画素及びＢ画素のうちいずれか１つを中心としてその周囲に他の色の画素が存在する３×３画素単位、あるいはＲ画素とＢ画素がそれぞれ２つ存在する３×３画素単位で実施するようになっていることを特徴とするものである。
これによって、発明１７などと同様な効果が得られると共に、発明１８と同様に、ＡＳＩＣなどの１チップ素子の形態で提供することができるため、小型のデジタルビデオカメラやデジタルスチルカメラなどに容易に搭載して活用することができる。

〔発明２６〕発明２６の電子機器は、
前記発明１０〜１７のいずれかに記載の画像処理装置を備えたことを特徴とするものである。
これによって、画像処理速度が速く、かつ解像度の低下がない高画質な画像を表示できる電子機器を提供することができる。
ここで、本発明でいう「電子機器」とは、デジタル画像を扱うことができるものであれば特に限定されるものでなく、デジタルカメラ、デジタルスチルカメラ、デジタルムービーカメラ、携帯電話に装備されたカメラ、Ｗｅｂカメラ、監視カメラ、ネットワークカメラなどが含まれる。

〔発明２７〕発明２７の電子機器は、
前記発明１８〜２５のいずれかに記載の半導体装置を備えたことを特徴とするものである。
これによって、画像処理速度が速く、かつ解像度の低下がない高画質な画像を表示できる電子機器を提供することができる。

〔発明２８〕発明２８の画像処理プログラムは、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して色補間処理を施して各画素ごとに色データを求める色補間手段と、当該色補間手段で算出された前記色データを所定の変換式を用いて輝度信号Ｙと色差信号Ｃとに変換するＹＣ変換手段と、当該ＹＣ変換手段で変換された輝度信号Ｙと色差信号Ｃに対してそれぞれ所定のフィルタリング処理を施すフィルタリング手段と、をコンピュータに実現させる画像処理プログラムであって、
前記ＹＣ変換手段は、前記変換式を前記色データの各色の大きさに基づいて変化させるようになっていることを特徴とするものである。

これによって、発明１と同様に、解像度の低下を回避できると共に、滑らかで自然なエッジを確実に再現でき、画像処理負荷の増大を招くこともない。
また、専用のコンピュータシステムのみならず、パソコン（ＰＣ）などの汎用のコンピュータシステムを用いてソフトウェア上で実現することができるため、専用のハードウェアを用意して実現する場合に比べて、経済的かつ容易にその機能を実現することができる。また、プログラムの書き換えだけで容易にその機能の改変を行うこともできる。

〔発明２９〕発明２９の画像処理プログラムは、
発明２８に記載の画像処理プログラムにおいて、前記ＹＣ変換部は、前記変換式に使用する係数に、用意された所定の数値を用いるようになっていることを特徴とするものである。
これによって、発明２と同様にハードウェア資源を大幅に節約することができ、また、ソフトウェアで考えた場合には、乗算処理よりも高速な演算を実現することが可能となる。

〔発明３０〕発明３０の画像処理プログラムは、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して色補間処理を施して各画素ごとに色データを算出する色補間処理部と、当該色補間処理部で算出された前記色データを所定の変換式を用いて輝度信号Ｙと色差信号Ｃとに変換するＹＣ変換部と、当該ＹＣ変換部で変換された輝度信号Ｙと色差信号Ｃに対してそれぞれ所定のフィルタリング処理を施すフィルタリング部と、をコンピュータに実現させる画像処理プログラムであって、前記ＹＣ変換部は、前記色補間処理で算出された色データの各色のなかから最大値を有する色を検出し、当該最大値と他の色の値との大きさの比を求め、その比に基づいて前記変換式を決定するようになっていることを特徴とするものである。
これによって、発明３などと同様な効果が得られるばかりでなく、発明１９と同様に、専用のコンピュータシステムのみならず、パソコン（ＰＣ）などの汎用のコンピュータシステムを用いてソフトウェア上で実現することができるため、専用のハードウェアを用意して実現する場合に比べて、経済的かつ容易にその機能を実現することができる。また、プログラムの書き換えだけで容易にその機能の改変を行うこともできる。

〔発明３１〕発明３１の画像処理プログラムは、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して、赤のフィルタが設けられたＲ画素及び青のフィルタが設けられたＢ画素がそれぞれ１つずつのみ存在する２×２画素単位、又はＲ画素及びＢ画素のうちいずれか１つを中心としてその周囲に他の色の画素が存在する３×３画素単位、あるいは前記Ｒ画素とＢ画素がそれぞれ２つ存在する３×３画素単位で色補間処理を施して各画素ごとにＲＧＢデータを算出する色補間処理部と、当該色補間処理部で算出された前記ＲＧＢデータを所定の変換式を用いて輝度信号Ｙと色差信号Ｃとに変換するＹＣ変換部と、当該ＹＣ変換部で変換された輝度信号Ｙと色差信号Ｃに対してそれぞれ所定のフィルタリング処理を施すようにしたフィルタリング部と、をコンピュータに実現させる画像処理プログラムであって、
前記ＹＣ変換部は、前記変換式のうち、輝度信号Ｙは、Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（但し、Ｋ１＋Ｋ２＋Ｋ１＝１．０）に基づいて算出すると共に、前記色差信号Ｃ（Ｃｂ、Ｃｒ）は、前記ＲとＹとの差分、及び前記ＢとＹの差分にそれぞれ基づいて算出し、かつ、前記Ｋ１及びＫ２の値を前記色補間処理で算出されたＲＧＢデータの各色の大きさに基づいて変化させるようになっていることを特徴とするものである。

これによって、発明４などと同様な効果が得られると共に、発明２０などと同様に、専用のハードウェアを用意して実現する場合に比べて、経済的かつ容易にその機能を実現することができる。また、プログラムの書き換えだけで容易にその機能の改変を行うこともできる。

〔発明３２〕発明３２の画像処理プログラムは、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して色補間処理を施して各画素ごとに色データを算出する色補間手段と、当該色補間手段で算出された前記色データを所定の変換式を用いて輝度信号Ｙと色差信号Ｃとに変換するＹＣ変換手段と、当該ＹＣ変換手段で変換された輝度信号Ｙと色差信号Ｃに対してそれぞれ所定のフィルタリング処理を施すフィルタリング手段と、を少なくともコンピュータに実現させる画像処理プログラムであって、前記ＹＣ変換手段は、前記変換式を２種類以上備え、前記色データごとの各色の大きさに基づいて前記変換式を切り換えて用いるようになっていることを特徴とするものである。
これによって、発明５などと同様な効果が得られると共に、発明２０などと同様に、専用のハードウェアを用意して実現する場合に比べて、経済的かつ容易にその機能を実現することができる。また、プログラムの書き換えだけで容易にその機能の改変を行うこともできる。

〔発明３３〕発明３３の画像処理プログラムは、
発明３２に記載の画像処理プログラムにおいて、前記色補間処理部における色補間処理は、前記単板式のカラー撮像センサの各画素ごとに、赤のフィルタが設けられたＲ画素及び青のフィルタが設けられたＢ画素がそれぞれ１つずつのみ存在する２×２画素単位、又はＲ画素及びＢ画素のうちいずれか１つを中心としてその周囲に他の色の画素が存在する３×３画素単位、あるいはＲ画素とＢ画素がそれぞれ２つ存在する３×３画素単位で実施するものであって、前記Ｒ画素又はＢ画素のうちいずれか一方の値の大きさに応じて前記変換式を切り換えるようになっていることを特徴とするものである。
これによって、発明６などと同様な効果が得られると共に、発明２０などと同様に、専用のハードウェアを用意して実現する場合に比べて、経済的かつ容易にその機能を実現することができる。また、プログラムの書き換えだけで容易にその機能の改変を行うこともできる。

〔発明３４〕発明３４の画像処理プログラムは、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して色補間処理を施して各画素ごとに色データを求める色補間処理部と、当該色補間処理部で求められた前記色データを２種類以上の変換式を用いてそれぞれ独立に輝度信号Ｙと色差信号Ｃとに変換してからそれぞれの輝度信号Ｙ同士と色差信号Ｃ同士を所定の係数を用いて合成するＹＣ変換部と、当該ＹＣ変換部で合成した後の輝度信号Ｙと色差信号Ｃに対してそれぞれ所定のフィルタリング処理を施すフィルタリング部と、を備えたことを特徴とするものである。
これによって、発明７などと同様な効果が得られると共に、発明１９などと同様に、専用のハードウェアを用意して実現する場合に比べて、経済的かつ容易にその機能を実現することができる。また、プログラムの書き換えだけで容易にその機能の改変を行うこともできる。

〔発明３５〕発明３５の画像処理プログラムは、
単板式のカラー撮像センサが出力する１画素１色の画素データに対して色補間処理を施して各画素ごとに色データを求める色補間手段と、当該色補間手段で求められた前記色データをそれぞれ異なる変換式を用いて独自にそれぞれ輝度信号Ｙと色差信号Ｃとに変換するＹＣ変換手段と、当該各ＹＣ変換手段でそれぞれ変換された輝度信号Ｙと色差信号Ｃに対してそれぞれ所定のフィルタリング処理を施すフィルタリング手段と、当該フィルタリング部でフィルタリング後の輝度信号Ｙと色差信号Ｃを独自にそれぞれ色データに逆変換する逆変換手段と、当該逆変換手段で変換された各色データを所定の係数を用いて合成するデータ合成手段と、をコンピュータで実現させることを特徴とするものである。
これによって、発明８などと同様な効果が得られると共に、発明２０などと同様に、専用のハードウェアを用意して実現する場合に比べて、経済的かつ容易にその機能を実現することができる。また、プログラムの書き換えだけで容易にその機能の改変を行うこともできる。

〔発明３６〕発明３６の画像処理プログラムは、
発明３４又は３５に記載の画像処理プログラムにおいて、前記色補間処理部における色補間処理は、前記単板式のカラー撮像センサの各画素ごとに、赤のフィルタが設けられたＲ画素及び青のフィルタが設けられたＢ画素がそれぞれ１つずつのみ存在する２×２画素単位、又はＲ画素及びＢ画素のうちいずれか１つの画素を中心としてその周囲に他の色の画素が存在する３×３画素単位、あるいはＲ画素とＢ画素がそれぞれ２つ存在する３×３画素単位で実施するようになっていることを特徴とするものである。
これによって、発明９などと同様な効果が得られると共に、発明２０などと同様に、専用のハードウェアを用意して実現する場合に比べて、経済的かつ容易にその機能を実現することができる。また、プログラムの書き換えだけで容易にその機能の改変を行うこともできる。

〔発明３７〕発明３７のコンピュータ読み取り可能な記録媒体は、
前記発明２８〜３６のいずれかに記載の画像処理プログラムを記録したことを特徴とするものである。
これにより、前記発明２８〜３６のいずれかに記載の画像処理プログラムをＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、ＦＤなどの記録媒体を介して容易に授受することが可能となる。
〔発明３８〕発明３８の画像処理方法は、
赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する工程と、
前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から、前記Ｒ値と前記Ｂ値と前記Ｇ値のうち値が大きい色に対応する前記Ｋ１または前記Ｋ２の値が他の前記Ｋ１と前記Ｋ２の値より小さく設定されている第１の変換式を選択し、前記第１の変換式に基づき輝度信号Ｙを算出し、前記Ｒ値と前記輝度信号Ｙとの差分と前記Ｂ値と前記輝度信号Ｙとの差分に基づき色差信号Ｃを算出するＹＣ変換処理工程と、
前記輝度信号Ｙを高域強調フィルタに、前記色差信号Ｃを低域強調フィルタにかけるフィルタリング処理を施す工程と、を有する、ことを特徴とする。
〔発明３９〕発明３９の画像処理方法は、
発明３８において、前記複数の変換式が前記Ｋ１と前記Ｋ２と前記Ｋ３との組み合わせにより設定されていることを特徴とする。
〔発明４０〕発明４０の画像処理方法は、
赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する工程と、
前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から第１の変換式と第２の変換式とを選択し、前記第１の変換式に基づき第１の輝度信号Ｙを算出し、前記Ｒ値と前記第１の輝度信号Ｙとの差分と前記Ｂ値と前記第１の輝度信号Ｙとの差分に基づき第１の色差信号Ｃを算出し、前記第２の変換式に基づき第２の輝度信号Ｙを算出し、前記Ｒ値と前記第２の輝度信号Ｙとの差分と前記Ｂ値と前記第２の輝度信号Ｙとの差分に基づき第２の色差信号Ｃを算出するＹＣ変換処理工程と、
前記第１の輝度信号Ｙと前記第２の輝度信号Ｙとをテーブルに基づき合成し第３の輝度信号Ｙを生成し、前記第１の色差信号Ｃと前記第２の色差信号Ｃとをテーブルに基づき合成し第３の色差信号Ｃを生成する合成処理工程と、
前記第３の輝度信号Ｙを高域強調フィルタに、前記第３の色差信号Ｃを低域強調フィルタにかけるフィルタリング処理を施す工程と、を有する、ことを特徴とする。
〔発明４１〕発明４１の画像処理方法は、
赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する工程と、
前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から第１の変換式と第２の変換式とを選択し、前記第１の変換式に基づき第１の輝度信号Ｙを算出し、前記Ｒ値と前記第１の輝度信号Ｙとの差分と前記Ｂ値と前記第１の輝度信号Ｙとの差分に基づき第１の色差信号Ｃを算出し、前記第２の変換式に基づき第２の輝度信号Ｙを算出し、前記Ｒ値と前記第２の輝度信号Ｙとの差分と前記Ｂ値と前記第２の輝度信号Ｙとの差分に基づき第２の色差信号Ｃを算出するＹＣ変換処理工程と、
前記第１の輝度信号Ｙおよび前記第２の輝度信号Ｙを高域強調フィルタに、前記第１の色差信号Ｃおよび前記第２の色差信号Ｃを低域強調フィルタにかけるフィルタリング処理を施す工程と、
前記第１の輝度信号Ｙと前記第２の輝度信号Ｙとをテーブルに基づき合成し第３の輝度信号Ｙを生成し、前記第１の色差信号Ｃと前記第２の色差信号Ｃとをテーブルに基づき合成し第３の色差信号Ｃを生成する合成処理工程と、を有する、ことを特徴とする。
〔発明４２〕発明４２の画像処理方法は、
発明３７ないし４１において、前記色補間処理は、前記単板式のカラー撮像センサの各画素ごとに、赤色に対応するＲ画素及び青色に対応するＢ画素がそれぞれ１つずつのみ存在する２×２画素単位、又は赤色に対応するＲ画素及び青色に対応するＢ画素のうちいずれか１つの画素を中心としてその周囲に前記いずれか１つの画素とは異なる色の画素が存在する３×３画素単位、あるいは赤色に対応するＲ画素と青色に対応するＢ画素がそれぞれ２つ存在する３×３画素単位で実施するものであることを特徴とする。
〔発明４３〕発明４３の画像処理装置は、
赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する色補間処理部と、
前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から、前記Ｒ値と前記Ｂ値と前記Ｇ値のうち値が大きい色に対応する前記Ｋ１または前記Ｋ２の値が他の前記Ｋ１と前記Ｋ２の値より小さく設定されている第１の変換式を選択し、前記第１の変換式に基づき輝度信号Ｙを算出し、前記Ｒ値と前記輝度信号Ｙとの差分と前記Ｂ値と前記輝度信号Ｙとの差分に基づき色差信号Ｃを算出するＹＣ変換部と、
前記輝度信号Ｙを高域強調フィルタに、前記色差信号Ｃを低域強調フィルタにかけるフィルタリング処理を施すフィルタリング部と、を有する、ことを特徴とする。
〔発明４４〕発明４４の画像処理装置は、
赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する色補間処理部と、
前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から第１の変換式と第２の変換式とを選択し、前記第１の変換式に基づき第１の輝度信号Ｙを算出し、前記Ｒ値と前記第１の輝度信号Ｙとの差分と前記Ｂ値と前記第１の輝度信号Ｙとの差分に基づき第１の色差信号Ｃを算出し、前記第２の変換式に基づき第２の輝度信号Ｙを算出し、前記Ｒ値と前記第２の輝度信号Ｙとの差分と前記Ｂ値と前記第２の輝度信号Ｙとの差分に基づき第２の色差信号Ｃを算出するＹＣ変換部と、
前記第１の輝度信号Ｙと前記第２の輝度信号Ｙとをテーブルに基づき合成し第３の輝度信号Ｙを生成し、前記第１の色差信号Ｃと前記第２の色差信号Ｃとをテーブルに基づき合成し第３の色差信号Ｃを生成するデータ合成部と、
前記第３の輝度信号Ｙを高域強調フィルタに、前記第３の色差信号Ｃを低域強調フィルタにかけるフィルタリング部と、を有する、ことを特徴とする。
〔発明４５〕発明４５の画像処理装置は、
赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する色補間処理部と、
前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から第１の変換式と第２の変換式とを選択し、前記第１の変換式に基づき第１の輝度信号Ｙを算出し、前記Ｒ値と前記第１の輝度信号Ｙとの差分と前記Ｂ値と前記第１の輝度信号Ｙとの差分に基づき第１の色差信号Ｃを算出し、前記第２の変換式に基づき第２の輝度信号Ｙを算出し、前記Ｒ値と前記第２の輝度信号Ｙとの差分と前記Ｂ値と前記第２の輝度信号Ｙとの差分に基づき第２の色差信号Ｃを算出するＹＣ変換部と、
前記第１の輝度信号Ｙおよび前記第２の輝度信号Ｙを高域強調フィルタに、前記第１の色差信号Ｃおよび前記第２の色差信号Ｃを低域強調フィルタにかけるフィルタリング部と、
前記第１の輝度信号Ｙと前記第２の輝度信号Ｙとをテーブルに基づき合成し第３の輝度信号Ｙを生成し、前記第１の色差信号Ｃと前記第２の色差信号Ｃとをテーブルに基づき合成し第３の色差信号Ｃを生成するデータ合成部と、を有する、ことを特徴とする。
〔発明４６〕発明４６の半導体装置は、
赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する色補間処理部と、
前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から、前記Ｒ値と前記Ｂ値と前記Ｇ値のうち値が大きい色に対応する前記Ｋ１または前記Ｋ２の値が他の前記Ｋ１と前記Ｋ２の値より小さく設定されている第１の変換式を選択し、前記第１の変換式に基づき輝度信号Ｙを算出し、前記Ｒ値と前記輝度信号Ｙとの差分と前記Ｂ値と前記輝度信号Ｙとの差分に基づき色差信号Ｃを算出するＹＣ変換部と、
前記輝度信号Ｙを高域強調フィルタに、前記色差信号Ｃを低域強調フィルタにかけるフィルタリング処理を施すフィルタリング部と、を有する、ことを特徴とする。
〔発明４７〕発明４７の半導体装置は、
赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する色補間処理部と、
前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から第１の変換式と第２の変換式とを選択し、前記第１の変換式に基づき第１の輝度信号Ｙを算出し、前記Ｒ値と前記第１の輝度信号Ｙとの差分と前記Ｂ値と前記第１の輝度信号Ｙとの差分に基づき第１の色差信号Ｃを算出し、前記第２の変換式に基づき第２の輝度信号Ｙを算出し、前記Ｒ値と前記第２の輝度信号Ｙとの差分と前記Ｂ値と前記第２の輝度信号Ｙとの差分に基づき第２の色差信号Ｃを算出するＹＣ変換部と、
前記第１の輝度信号Ｙと前記第２の輝度信号Ｙとをテーブルに基づき合成し第３の輝度信号Ｙを生成し、前記第１の色差信号Ｃと前記第２の色差信号Ｃとをテーブルに基づき合成し第３の色差信号Ｃを生成するデータ合成部と、
前記第３の輝度信号Ｙを高域強調フィルタに、前記第３の色差信号Ｃを低域強調フィルタにかけるフィルタリング部と、を有する、ことを特徴とする。
〔発明４８〕発明４８の半導体装置は、
赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する色補間処理部と、
前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から第１の変換式と第２の変換式とを選択し、前記第１の変換式に基づき第１の輝度信号Ｙを算出し、前記Ｒ値と前記第１の輝度信号Ｙとの差分と前記Ｂ値と前記第１の輝度信号Ｙとの差分に基づき第１の色差信号Ｃを算出し、前記第２の変換式に基づき第２の輝度信号Ｙを算出し、前記Ｒ値と前記第２の輝度信号Ｙとの差分と前記Ｂ値と前記第２の輝度信号Ｙとの差分に基づき第２の色差信号Ｃを算出するＹＣ変換部と、
前記第１の輝度信号Ｙおよび前記第２の輝度信号Ｙを高域強調フィルタに、前記第１の色差信号Ｃおよび前記第２の色差信号Ｃを低域強調フィルタにかけるフィルタリング部と、
前記第１の輝度信号Ｙと前記第２の輝度信号Ｙとをテーブルに基づき合成し第３の輝度信号Ｙを生成し、前記第１の色差信号Ｃと前記第２の色差信号Ｃとをテーブルに基づき合成し第３の色差信号Ｃを生成するデータ合成部と、を有する、ことを特徴とする。
〔発明４９〕発明４９の電子機器は、
発明４３ないし４５の画像処理装置を備えたことを特徴とする。
〔発明５０〕発明５０の電子機器は、
前記請求項４６ないし４８の半導体装置を備えたことを特徴とする。
〔発明５１〕発明５１の画像処理プログラムは、
赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する色補間手段と、
前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から、前記Ｒ値と前記Ｂ値と前記Ｇ値のうち値が大きい色に対応する前記Ｋ１または前記Ｋ２の値が他の前記Ｋ１と前記Ｋ２の値より小さく設定されている第１の変換式を選択し、前記第１の変換式に基づき輝度信号Ｙを算出し、前記Ｒ値と前記輝度信号Ｙとの差分と前記Ｂ値と前記輝度信号Ｙとの差分に基づき色差信号Ｃを算出するＹＣ変換手段と、
前記輝度信号Ｙを高域強調フィルタに、前記色差信号Ｃを低域強調フィルタにかけるフィルタリング処理を施すフィルタリング手段と、を有する、ことを特徴とする。
〔発明５２〕発明５２の画像処理プログラムは、
赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する色補間手段と、
前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から第１の変換式と第２の変換式とを選択し、前記第１の変換式に基づき第１の輝度信号Ｙを算出し、前記Ｒ値と前記第１の輝度信号Ｙとの差分と前記Ｂ値と前記第１の輝度信号Ｙとの差分に基づき第１の色差信号Ｃを算出し、前記第２の変換式に基づき第２の輝度信号Ｙを算出し、前記Ｒ値と前記第２の輝度信号Ｙとの差分と前記Ｂ値と前記第２の輝度信号Ｙとの差分に基づき第２の色差信号Ｃを算出するＹＣ変換手段と、
前記第１の輝度信号Ｙと前記第２の輝度信号Ｙとをテーブルに基づき合成し第３の輝度信号Ｙを生成し、前記第１の色差信号Ｃと前記第２の色差信号Ｃとをテーブルに基づき合成し第３の色差信号Ｃを生成するデータ合成手段と、
前記第３の輝度信号Ｙを高域強調フィルタに、前記第３の色差信号Ｃを低域強調フィルタにかけるフィルタリング手段と、を有する、ことを特徴とする。
〔発明５３〕発明５３の画像処理プログラムは、
赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する色補間手段と、
前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から第１の変換式と第２の変換式とを選択し、前記第１の変換式に基づき第１の輝度信号Ｙを算出し、前記Ｒ値と前記第１の輝度信号Ｙとの差分と前記Ｂ値と前記第１の輝度信号Ｙとの差分に基づき第１の色差信号Ｃを算出し、前記第２の変換式に基づき第２の輝度信号Ｙを算出し、前記Ｒ値と前記第２の輝度信号Ｙとの差分と前記Ｂ値と前記第２の輝度信号Ｙとの差分に基づき第２の色差信号Ｃを算出するＹＣ変換手段と、
前記第１の輝度信号Ｙおよび前記第２の輝度信号Ｙを高域強調フィルタに、前記第１の色差信号Ｃおよび前記第２の色差信号Ｃを低域強調フィルタにかけるフィルタリング手段と、
前記第１の輝度信号Ｙと前記第２の輝度信号Ｙとをテーブルに基づき合成し第３の輝度信号Ｙを生成し、前記第１の色差信号Ｃと前記第２の色差信号Ｃとをテーブルに基づき合成し第３の色差信号Ｃを生成するデータ合成手段と、を有する、ことを特徴とする。
〔発明５４〕発明５４のコンピュータ読み取り可能な記録媒体は、
前記請求項５１〜５３の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。

以下、本発明を実施するための最良の形態を添付図面を参照しながら詳述する。
図１は、本発明に係る画像処理装置１００の実施の１形態を示したものである。
図示するように、この画像処理装置１００は、任意の被写体を捉えるためのカメラレンズ（以下、単に「レンズ」と称す）１０と、このレンズ１０を介して通過してきた画像を取り込むための単板式のカラー撮像センサ２０と、このカラー撮像センサ２０で取り込まれた画像に対して簡易的な色補間処理を実施する色補間処理部３０と、この色補間処理部３０で色補間処理された後の色（ＲＧＢ）データを輝度成分（Ｙ）と色差成分（ＣｂＣｒ）との分離するＹＣ変換部４０と、このＹＣ変換部４０で分離された輝度成分（Ｙ）と色差成分（ＣｂＣｒ）に対して所定のフィルタリング処理を施すフィルタリング部５０と、このフィルタリング部５０でフィルタリング処理されたＹＣ信号を元の色（ＲＧＢ）信号に変換処理する逆変換部６０と、この逆変換部６０で色信号に戻された後の画像データをホワイトバランス処理やγ補正処理などの所定の画像処理を経てから視覚的に出力する画像出力部７０とから主に構成されている。

また、フィルタリング部５０は、輝度成分Ｙに対して前記色補間処理部３０で失われる画像のエッジなどの輪郭情報を補償あるいは強調して画像の鮮明化を図るための輪郭強調部５２と、色差成分Ｃに対して前記色補間処理に伴って生じた偽色を排除する偽色処理部５４とから構成されている。
そして、この画像処理装置１００を構成するレンズ１０、カラー撮像センサ２０、色補間処理部３０、ＹＣ変換部４０、フィルタリング部５０、逆変換部６０、画像出力部７０などは、いずれも基本的には従来と同様のものをそのまま適用可能となっており、そのうち特にＹＣ変換部４０の部分が本発明の特徴部分を構成するようになっている。

すなわち、このＹＣ変換部４０は、後に詳述するが、複数のＹＣ変換式を備え、色補間処理部３０から送られる各画素の色データごとに最適なＹＣ変換式を選択して色補間処理後の色データを輝度成分（Ｙ）と色差成分（ＣｂＣｒ）とに分離する機能を提供するようになっている。
また、この画像処理装置１００を構成する色補間処理部３０、ＹＣ変換部４０、フィルタリング部５０、逆変換部６０などにおける各処理機能は、具体的には中央演算処理装置や主記憶装置などからなるハードウェアと、各処理用に製作された専用のソフトウェア（処理プログラム）とからなるコンピュータシステムによって実現されるようにすることもできる。

すなわち、この画像処理装置１００を実現するためのコンピュータシステムは、例えば図２に示すように、各種制御や演算処理を担う中央演算処理装置であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０と、主記憶装置（Ｍａｉｎ Ｓｔｒａｇｅ）に用いられるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９１と、読み出し専用の記憶装置であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９２と、ハードディスクドライブ装置（ＨＤＤ）や半導体メモリなどの補助記憶装置（Ｓｅｃｏｎｄａｒｙ Ｓｔｏｒａｇｅ）９３、及びモニタ（ＬＣＤ（液晶ディスプレイ）やＣＲＴ（陰極線管））などからなる出力装置９４や、入力装置９５（すなわち、本発明にあってはカラー撮像センサ２０）と、これらの入出力インターフェース（Ｉ／Ｆ）９６などとの間を、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスやＩＳＡ（Ｉｎｄｕｓｔｒｉａｌ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ；アイサ）バスなどからなるプロセッサバス、メモリバス、システムバス、入出力バスなどの各種内外バス９７によってバス接続したものである。

そして、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、フレキシブルディスクなどの記録媒体、あるいは通信ネットワーク（ＬＡＮ、ＷＡＮ、インターネットなど）Ｎを介して供給される各種制御用プログラムやデータなどを補助記憶装置９３などにインストールすると共にそのプログラムやデータを必要に応じて主記憶装置９１にロードし、その主記憶装置９１にロードされたプログラムに従ってＣＰＵ９０が各種リソースを駆使して所定の制御及び演算処理を行い、その処理結果（処理データ）をバス９７を介して出力装置９４に出力して表示すると共に、そのデータを必要に応じて補助記憶装置９３によって形成されるデータベースに適宜記憶、保存（更新）処理するようにしたものである。

また、このカラー撮像センサ２０は、従来と同様にＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像センサをそのまま適用したものであり、また、単板式のものについて特に顕著な効果が得られるというものであって、単板式のみならず２板式でも適用可能である。

また、画像出力部７０は、直接的には処理前後の画像を視覚的に表示するものであり、ＣＲＴやＬＣＤなどのソフトコピー装置の他、レーザープリンタやインクジェットプリンタなどのハードコピー装置に加え、いわゆるグラフィックアクセラレータやビデオカードなどと称される画像出力専用の回路（基板）なども含まれる。
なお、このカラー撮像センサ２０を用いた画像処理装置では、他にカラー撮像センサ２０などをコントロールするためのブロック（例えば露出制御など）や、色を処理するためのブロック（例えば、オートホワイトバランス）などが必要になることがあるが、本発明にはそれらのブロックは関与するところが少なく、従来の技術などを用いれば構成することができるので、本実施の形態では割愛する。

また、これら各部１０，２０，３０，４０，５０，６０，７０は、携帯用デジタルカメラやハンディビデオカメラなどのように１つのケーシング内に一体的に収容されていても良く、また、各部のうち一部、例えば液晶モニタなどからなる画像出力部７０だけが物理的に独立した形態であっても良い。
次に、このような構成をした本発明の画像処理装置１００による画像処理方法の一例について説明する。

先ず、単板式のカラー撮像センサ２０で取り込まれた画像データは、センサ固有のノイズ除去処理や明るさを調整するゲイン調整処理などを経てＡ／Ｄ変換された後、図３に示すように、色補間処理部３０に送られ、この色補間処理部３０によってすべての画素に対して簡易的な色補間処理が施されて（ステップＳ１０１）からＹＣ変換部４０に送られる。

ここで、この色補間処理部３０で行われる簡易的な色補間処理の例について、図４〜図７などを用いて簡単に説明する。
この色補間処理部３０における色補間処理とは、単板式のＣＣＤなどのカラー撮像センサ２０などによって撮像された画像データの場合に、各画素ごとに欠落している色情報を近傍の同色画素から予測補間し、１画素にＲＧＢなどの各原色信号を復元する処理のことである。
例えば、単板式のＣＣＤ上に装着される赤、緑、青の各色をブロック状に並べたカラーフィルタの配列が、図４に示すようにＢ（青：Ｂｌｕｅ）及びＲ（赤：Ｒｅｄ）がそれぞれ１つずつで、Ｇ（緑：Ｇｒｅｅｎ）が２つのフィルムからなる基本パターンが縦横に配置されている場合であって、色補間処理の対象となる注目画素が図中中央に位置している「Ｒ１」と仮定すると、この注目画素「Ｒ１」に相当する画素には「赤」に関する色情報しか存在しない。

そのため、図５（ａ）に示すように、注目画素「Ｒ１」についての「赤」に関する色情報はそのまま採用することになるが、「緑」に関する色情報（Ｇｉｐ）については同図（ｂ）に示すように、その注目画素「Ｒ１」を囲む周囲近傍の「緑」に関する画素の色情報の平均値、すなわち、注目画素「Ｒ１」の上下左右に位置する４つの「緑」に関する画素「Ｇ１」、「Ｇ４」、「Ｇ２」、「Ｇ３」の画素値を求め、その画素値の平均値（（Ｇ１＋Ｇ４＋Ｇ２＋Ｇ３）×０．２５）がその注目画素「Ｒ１」の「緑」に関する色情報（Ｇｉｐ）として予測補間されることになる。

また、同じくその注目画素「Ｒ１」についての「青」に関する色情報（Ｂｉｐ）は同図（ｃ）に示すように、注目画素「Ｒ１」を囲む周囲近傍の「青」に関する画素の色情報の平均値、すなわち、注目画素「Ｒ１」の斜め上下左右に位置する４つの「青」に関する画素「Ｂ１」、「Ｂ４」、「Ｂ２」、「Ｂ３」の画素値を求め、その画素値の平均値（（Ｂ１＋Ｂ４＋Ｂ２＋Ｂ３）×０．２５）が同じくその注目画素「Ｒ１」の「青」に関する色情報（Ｂｉｐ）として予測補間されることになる。

そして、このような色補間処理をすべての画素に対してシーケンシャル的に、あるいは複数の領域に分割して同時並行的に行うことで、各画素ごとに欠落している色成分を予測補間して画像本来の色を再現するようにしている。
なお、このように３×３画素単位で色補間処理するパターンでは、前記のように１つの「Ｒ（Ｒ１）」画素を中心とするパターンの他に、図６（Ａ）に示すように、１つの「Ｂ（Ｂ１）」を中心とするパターンと、同図（Ｂ）に示すように、「Ｇ（Ｇ４）」を中心とするパターンの３つのパターンが考えられる。そして、図６（Ｂ）のパターンでは、「Ｇ」は、その注目画素の重みを大きくした５つの「Ｇ」の重みつき平均値が、また、「Ｒ」は、その注目画素の上下に位置する２つの画素（Ｒ２，Ｒ４）の平均値が、また、「Ｂ」は、その注目画素の左右に位置する２つの画素（Ｂ１、Ｂ２）の平均値がそれぞれその注目画素のＲ値及びＢ値として採用されることになる。

また、このような簡易的な色補間処理としては、前記のように３×３画素単位で実施する他に、図７に示すように２×２画素単位で実施する方法も一般的に用いられている。このような２×２画素単位で実施する場合は、各画素間の格子部分に色補間処理対象となる注目画素が存在するものと仮定し、その注目画素の「Ｒ値」及び「Ｂ値」については、その２×２パターン内に１つずつある「Ｒ（Ｒ１）」及び「Ｂ（Ｂ１）」をそのまま利用し、「Ｇ値」については、そのパターン内に２つずつある「Ｇ（Ｇ１、（Ｇ３））」の平均値を利用するようにしている。

そして、このように色補間処理部３０における色補間処理は、その周囲の画素値を利用して推測によりその（注目）画素にない色のデータを生成するようになっていることから、画像のエッジ部などの画素値に急激な変化がある部分では、正確な値を算出することができずに本来と異なる色のバランスを持つ画素が発生しやすくなる。
このため、これを排除するために色補間処理によって生成された色データに対してその後のフィルタリング処理が必要となってくる。

すなわち、図３のフローに示すように、色補間処理が施された色データは、その後、ＹＣ変換部４０に送られ、ここで輝度信号（Ｙ）と色差信号（Ｃ）とに変換処理される（ステップＳ１０３）。
このＹＣ変換部４０における色（ＲＧＢ）データから輝度信号（Ｙ）と色差信号（Ｃ）への変換処理は、その色データの値によって複数用意されたＹＣ変換式のいずれかを選択して利用することになる。

例えば、色補間処理部３０で得られた色データがＲＧＢ値である場合、先ず、「Ｇ」の値に対して「Ｒ」と「Ｂ」の値がどれほど大きい値になるかを判定し、以下のようにｔ１＜ｔ２＜ｔ３…といった複数の閾値を決めるパラメータを設定してそれぞれに異なった複数のＹＣ変換式Ａ、Ｂ、Ｃ…を作成し、これをＹＣ変換部４０に保存する。
Ｒ、Ｂ ＜ Ｇ×ｔ１ → 変換式Ａ
Ｇ×ｔ１≦ Ｒ、Ｂ ＜ Ｇ×ｔ２ → 変換式Ｂ
Ｇ×ｔ２≦ Ｒ、Ｂ ＜ Ｇ×ｔ３ → 変換式Ｃ
Ｇ×ｔ３≦ …
図８は、このＹＣ変換式として５つのＹＣ変換式Ａ〜Ｅの一例を示したものであり、図９は、その閾値条件と使用する変換式との関係を示したものである。

図８に示す５つのＹＣ変換式Ａ〜Ｅの場合では、輝度信号Ｙは、Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（但し、Ｋ１＋Ｋ２＋Ｋ１＝１．０）に基づいて算出されると共に、色差信号Ｃ（Ｃｂ、Ｃｒ）は、前記「Ｒ」と「Ｙ」との差分、及び前記「Ｂ」と「Ｙ」の差分にそれぞれ基づいて算出されている。
例えば、図８のＹＣ変換式Ａでは、係数「Ｋ１」が「０．２５」、係数「Ｋ２」が「０．５」となっており、全輝度信号Ｙに対する「Ｇ」の値は、「０．５」、「Ｒ」及び「Ｂ」の値はそれぞれ「０．２５」ずつとなっている。また、色差信号「Ｃｂ」は、「Ｒ」と「Ｙ」との差分である「−０．２５、−０．５、０．７５」、色差信号「Ｃｒ」は、「Ｂ」と「Ｙ」の差分である「０．７５、−０．５、−０．２５」となっている。

図９（１）は、４つの閾値「ｔ１（１．１２５）」、「ｔ２（１．３７５）」、「ｔ３（１．６２５）」、「ｔ４（１．８７５）」を用いて色補間処理部３０で得られた色データを５つのパターンに振り分け、それぞれのパターンに対して前記５つのＹＣ変換式Ａ〜Ｅを割り当てる例を示したものである。
従って、この図９（１）のテーブルによれば、色補間処理部３０で得られたＲＧＢ値を解析した結果、「Ｒ」又は「Ｂ」の値が、「Ｇ」×１．１２５よりも小さい場合は、ＹＣ変換式Ａが選択され、「Ｇ」×１．１２５以上で、かつ「Ｇ」×１．３７５よりも小さい場合はＹＣ変換式Ｂが選択される。さらに、「Ｒ」又は「Ｂ」の値が、「Ｇ」×１．３７５以上で、かつ「Ｇ」×１．６２５よりも小さい場合ＹＣ変換式Ｃが選択されることになる。すなわち、「Ｒ」又は「Ｂ」の値が大きくなるに従って、「Ｇ」の値も大きくなる変換式が選択されて、「Ｒ」又は「Ｂ」の値による影響が低減されるようになっている。

また、同図（２）、（３）は、それぞれ２つ及び１つの閾値を用いて色データを３つ及び２つのパターンに振り分け、それぞれのパターンに対して前記５つのＹＣ変換式Ａ〜Ｅのうち適当なＹＣ変換式を割り当てる例を示したものである。
このように本発明の特徴部分であるＹＣ変換処理は、予め複数のＹＣ変換式を用意しておき、そのＹＣ変換式のなかから色データの値に応じて適当なＹＣ変換式を選択するようにしたものであり、これによって簡易的な色補間を施す際の処理単位内で１画素しかない、「Ｒ」や「Ｂ」の値が大きすぎるような場合でも、その色の解像度に支配されることなく、全体の解像度の低下を未然に回避することができる。

また、色補間処理部３０における色補間処理自体には何ら手を加えることなく、従来の簡易的な色補間処理をそのまま利用することができるため、滑らかで自然なエッジを確実に再現できると共に、画像処理負荷の増大を招くこともない。
なお、本実施の形態でいう、「色データ」とは、１画素ごとに「Ｒ（赤）」、「Ｇ（緑）」、「Ｂ（青）」フィルタを配置した３色フィルタ（一般的に原色フィルタと呼ばれている）で得られる色データの他に、１画素ごとに「Ｃ（シアン）」、「Ｍ（マゼンタ）」、「Ｙ（イエロ）」、「Ｇ（グリーン）」のフィルタを配置した４色フィルタ（一般的に補色フィルタと呼ばれている）で得られる色データをも含むものであり、また、原色フィルタに青紫のような色フィルタを加えたようなあらゆる色フィルタで得られる色データも含むものである。また、使用するＹＣ変換式の数（種類）は、特に限定するものでないが一般に多いほどより適したＹＣ変換処理を達成することが可能であるが、その分適したＹＣ変換式を選択するなどのハードウェア、ソフトウェア的な処理負荷が増大し、反対に少ないと期待した画質向上がみられない。従って、実際に発明者が行った実験によるサンプル画像の検証だけでも２種類の切り換えでは、従来方式よりも画質的に劣化する部分が発生することから、少なくとも３種類の切り換えは必須であり、望ましくは、５種類以上のＹＣ変換式を用意して適宜切り換えて用いることが好ましい。

そして、このようにしてＹＣ変換部４０で最適なＹＣ変換式が選択されたならば、そのＹＣ変換式によって色データを輝度信号（Ｙ）と色差信号（Ｃ）とに分離し、分離された輝度信号（Ｙ）と色差信号（Ｃ）のうち、輝度信号（Ｙ）は、フィルタリング部５０の輪郭強調部５２に送られ、この輪郭強調部５２によって、例えば、ハイパスフィルタ（ＨＰＦ：Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ：高域強調フィルタ）がかけられて、色補間処理に伴ってなまった輝度画像のエッジ部が鮮鋭化（シャープにする）されて輪郭が補償・強調される。すなわち、前記のような色補間処理には、欠落して色情報の予測補間効果と共に低い空間周波数成分が強調されるＬＰＦ効果が生じるため、画像のエッジ部がなまり、高い空間周波数成分が減少する。そのため、この輪郭強調部５２によってなまった画像の高い空間周波数成分をここでは、ＨＰＦで強調することによって輝度画像の鮮鋭化を図るようにしている。

一方、色差信号（Ｃ）は、同じくフィルタリング部５０の偽色処理部５４へ送られ、ここでローパスフィルタ（ＬＰＦ：Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ：低域強調フィルタ）などを用いて色補間処理に伴って発生した偽色を排除するための処理が実施される（ステップＳ１０７）。
そして、このようにしてそれぞれ所定のフィルタリング処理が実施された輝度信号（Ｙ）と色差信号（Ｃ）は、逆変換部６０へ送られて元の色（ＲＧＢ）データに変換された後、ホワイトバランス処理などの汎用の画像処理を経てから、画像出力部７０に送られてもＬＣＤモニタなどに表示されたり、プリントアウトされて鑑賞などに供されることになる。

次に、図１０〜図１４は、本発明に係る画像処理装置１００の他の実施の形態を示したものである。
図示するように、本実施の形態は、前述したＹＣ変換部４０、フィルタリング部５０、逆変換部６０を複数系統（図では２系統）用意し、それぞれの系統で色補間処理後の色データを独立して並列処理し、それぞれの系統で得られた各色データをその後流側に新設されたデータ合成部８０で所定の割合に応じて合成するようにしたものである。

すなわち、前記実施の形態のよる方法は、異なったＹＣ変換式によって変換されたＹＣデータを１つの同じプレーン上の画像とみなしてフィルタリング処理を行うようにしたものであるため、閾値の僅かな違いによりＹＣ変換式が変化するとＹＣの値は全く異なるものとなる場合が考えられる。例えば、（Ｒ、Ｇ、Ｂ）＝（１００，２００，１５０）を図８に示したＹＣ変換式Ａを用いてＹＣ変換すると、
（Ｙ、Ｃｂ、Ｃｒ）＝（１６２．５、−１２．５、−６２．５）となるが、ＹＣ変換式Ｅを用いてＹＣ変換すると、
（Ｙ、Ｃｂ、Ｃｒ）＝（２００、−５０、−１００）となり、その結果が大きく異なる場合がある。

従って、これらは異なるプレーンと考えることができるため、本実施の形態では、各ＹＣ変換式ごとにプレーンを用意してそれぞれにフィルタリング処理を施して色データを作成し、画素ごとに適切なＹＣ変換式で作成された色データを選択し、選択された色データを合成することが適当であるが、それぞれに対して独立にプレーンを用意すると、並列して計算すべき処理が非常に多数になってしまう。例えば、図８に示したような５つのＹＣ変換式を用いる場合を考えると、「ＹＣ変換→フィルタリング→逆変換」といった処理の流れが５系統（５パス）必要となる。

しかし、実際には５つの変換式すべてのパスを用意する必要はない。例えば、図８に示す変換式Ｃは、変換式ＡとＥの変換式を１：１の割合で合成したものと同一である（実施には、フィルタリング処理などの影響により微妙な結果の差は生ずるものの同等と考えることができる）。
従って、例えば、図８に示したＹＣ変換式Ａ、Ｅといった２つのＹＣ変換式を用い、それぞれ２つの変換式による処理は全く独立にそれぞれ算出し、色補間処理後の各色データの比に応じてデータ合成部８０で合成するようにすれば、前記実施の形態と同様な結果が得られると共に、その合成比を変えるだけで、多数のＹＣ変換式を用意しなくとも多数の様々なパターンの処理結果を得ることができる。

ここで、２つの色データの合成割合は、図１１（１）〜（３）のテーブルに示すように、それぞれ４つ、２つ、１つの閾値を用いた５通り、３通り、２通りなどが考えられる。例えば、図１１（１）のテーブルでは、「Ｒ」又は「Ｂ」の値が、「Ｇ」×１．１２５よりも小さい場合は、ＹＣ変換式Ａで変換された値のみを用い、「Ｇ」×１．１２５以上、「Ｇ」×１．３７５未満の場合は、ＹＣ変換式Ａを用いて変換された値を「０．７５」の割合で、ＹＣ変換式Ｅを用いて変換された値を「０．２５」の割合で併用することで最適な色データを得ることが可能となる。

ここで、各ＹＣ変換式による変換結果の合成率の選択肢を図１１（３）のように２つだけにすると、閾値の不適切さによるエッジの適切な再現性が低下する傾向がみられることから、閾値設定の余裕の観点からも各ＹＣ変換式による変換結果の合成率の選択肢は多い方がより適切な色データ（画像）を得ることができる。特に、本実施の形態では合成率の選択肢を多少増やしてもハードウェア的、ソフトウェア的に煩雑さは殆ど変わらないと考えられるため、実際の検証結果からも合成率の選択肢は、５段階程度が望ましいと考えられる。

なお、図１２は、本実施の形態で用いた５つのＹＣ変換式Ａ〜Ｅに対応する逆変換式（ＹＣ→ＲＧＢ）の一例を示したものである。
また、本実施の形態では、画素値としてすべて「輝度」に関する値を用いて記述したが、「輝度」に代わって「濃度」に関する値を用いても同様の処理が可能である。
但し、「輝度」は、光量に比例し、値が大きくなるほど明るくなる（例えば、輝度が２倍になると光量も２倍となる）が、「濃度」は値が大きくなるほど暗くなるという性質がある。すなわち、「濃度」は、１０を底とする対数で光の伝送を定義するようになっており、濃度が２倍になると、光量は１／１０倍となる。

従って、前記画素値として「輝度」に代わって「濃度」に関する値を使用する場合は、切り換え条件を変更するか、あるいは、濃度を輝度に変換するといった処理が必要となってくる。
また、前記実施の形態では、ＹＣ変換式の係数として予め用意された所定の係数を用いたり、また、ＹＣ変換式自体を予め用意された、いくつかのＹＣ変換式のなかから選択するようにしているが、処理ごとに、最適な係数あるいはＹＣ変換式を作成してこれを使用するようにしても良い。例えば、図１３に示すようにＲ／Ｇ、Ｂ／Ｇの比のうち、いずれか大きい値を示す方を選択し、その値に基づいて各係数Ｋ１〜Ｋ９を決定することができる。ここで、図１３の横軸は算出される比の値、縦軸はそれぞれの比の値において使用すべき各係数Ｋ１〜Ｋ９の値を示している。

また、前述したように、各画素ごとに前記色補間処理で求められた色データのなかから最大値を検出し、当該最大値と特定色の値との大きさの比を求め、その比に基づいて前記変換式を決定するに際し、その比に基づいて変換式を選択する他のバリエーションとしては、以下に示すものが考えられる。
すなわち、前記実施の形態では、Ｙの算出において、ＲとＢに係る係数が同一になるように制御している（Ｋ１＝Ｋ３）が、ＧとＲ、Ｂの比の大きさを比較して独立に制御することも可能となる。このバリエーションでは、特定の色（Ｇ）と特定色以外の色（Ｒ、Ｂ）との比に基づいて特定色外の色それぞれの比を独立に求めて変換式を制御するという処理となる。

係数の変化のさせ方について、図１３などに示すようなＹＣ変換式をベースに考えると、Ｃｂ＝Ｂ−Ｙ、Ｃｒ＝Ｒ−Ｙにて定義して算出されるようになっているので、Ｙの変換式だけを決定すれば、ＣｂとＣｒは計算により求まるので省略する。
そこで、Ｙ＝Ｋ１・Ｒ＋Ｋ２・Ｇ＋Ｋ３・Ｂ（Ｙ＝０．２５Ｒ＋０．５Ｇ＋０．２５Ｂを基本）としてＫ１〜Ｋ３を定義する。

Ｒ／Ｇの比の範囲より、図１４の図表に従って基本式からＫ１はαだけ減算し、Ｋ２はαだけ加算する。また、Ｂ／Ｇの比の範囲より、図１５の図表に従って基本式からＫ１はβだけ減算し、Ｋ２はβだけ加算する。
従って、各Ｒ／ＧとＢ／Ｇのそれぞれの比によって、
Ｋ１＝Ｋ１−α、Ｋ２＝Ｋ１＋α＋β、Ｋ３＝Ｋ２−β
に従って変換式を生成でき、作成した変換式を用いてＹＣｂＣｒ変換を実施できる。
なお、逆変換式は、ガウス消去法などの手法を用いて算出することができるので省略する。

また、本発明に係る画像処理プログラムは、ハードディスクドライブ装置（ＨＤＤ）や不揮発性半導体記録媒体以外に、適宜交換・流通可能な記録媒体、例えば、ＦＤ、ＨＤ、ＭＤなどの磁気記憶型記録媒体、図１６に示すように、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどの光学的読取方式記録媒体Ｒ、ＭＯなどの磁気・光学的記録媒体などのコンピュータ読み取り可能な記録媒体に記録可能であり、これらの記録媒体を利用すれば、所望するユーザなどに対して本発明の画像処理プログラムを容易に提供することができる。

また、本実施の形態では単板式の撮像センサを用い、１画素１色の画像データの場合について説明したが、本発明の画像処理方法法は、いわゆる２板式の撮像センサで得られる１画素二色の画像データについても適用可能である。

本発明に係る画像処理装置の実施の１形態を示すブロック図である。 画像処理装置を実現するハードウェア構成を示すブロック図である。 色補間処理から画像出力までの流れを示すフローチャート図である。 カラーフィルタの配列パターンの一例を示す図である。 ３×３画素単位の色補間処理の一例を示す説明図である。 カラーフィルタの色補間処理パターンを示す図である。 ２×２画素単位の色補間処理一例を示す図である。 ＹＣ変換式の例を示す図である。 色データの閾値条件と使用するＹＣ変換式との対応関係の例を示す図である。 本発明に係る画像処理装置の他の実施の形態を示すブロック図である。 色データの閾値条件と変換式合成の重みとの対応関係を示す図である。 本実施の形態で用いたＹＣ変換式に対応する逆変換式の一例を示す図である。 変換式で用いられる係数とその比との関係を示すグラフ図である。 Ｒ／Ｇの比に基づく係数αに関する図表である。 Ｂ／Ｇの比に基づく係数βに関する図表である。 本発明に係る画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体の一例を示す概念図である。

符号の説明

１０…カメラレンズ、２０…カラー撮像センサ、３０…色補間処理部、４０…ＹＣ変換
部、５０…フィルタリング部、５２…輪郭強調部、５４…偽色処理部、６０…逆変換部、７０…画像出力部、８０…データ合成部、９０…ＣＰＵ、９１…ＲＡＭ、９２…ＲＯＭ、９３…補助記憶装置、９４…出力装置、９５…入力装置（カラー撮像センサ）、９６…入出力インターフェース、９７…バス、１００…画像処理装置、Ｒ…コンピュータ読み取り可能な記録媒体。

Claims (17)

1. 赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する工程と、
   前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から、前記Ｒ値と前記Ｂ値と前記Ｇ値のうち値が大きい色に対応する前記Ｋ１または前記Ｋ２の値が他の前記Ｋ１と前記Ｋ２の値より小さく設定されている第１の変換式を選択し、前記第１の変換式に基づき輝度信号Ｙを算出し、前記Ｒ値と前記輝度信号Ｙとの差分と前記Ｂ値と前記輝度信号Ｙとの差分に基づき色差信号Ｃを算出するＹＣ変換処理工程と、
   前記輝度信号Ｙを高域強調フィルタに、前記色差信号Ｃを低域強調フィルタにかけるフィルタリング処理を施す工程と、を有する、ことを特徴とする画像処理方法。
2. 請求項１に記載の画像処理方法において、
   前記複数の変換式が前記Ｋ１と前記Ｋ２と前記Ｋ３との組み合わせにより設定されていることを特徴とする画像処理方法。
3. 赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する工程と、
   前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から第１の変換式と第２の変換式とを選択し、前記第１の変換式に基づき第１の輝度信号Ｙを算出し、前記Ｒ値と前記第１の輝度信号Ｙとの差分と前記Ｂ値と前記第１の輝度信号Ｙとの差分に基づき第１の色差信号Ｃを算出し、前記第２の変換式に基づき第２の輝度信号Ｙを算出し、前記Ｒ値と前記第２の輝度信号Ｙとの差分と前記Ｂ値と前記第２の輝度信号Ｙとの差分に基づき第２の色差信号Ｃを算出するＹＣ変換処理工程と、
   前記第１の輝度信号Ｙと前記第２の輝度信号Ｙとをテーブルに基づき合成し第３の輝度信号Ｙを生成し、前記第１の色差信号Ｃと前記第２の色差信号Ｃとをテーブルに基づき合成し第３の色差信号Ｃを生成する合成処理工程と、
   前記第３の輝度信号Ｙを高域強調フィルタに、前記第３の色差信号Ｃを低域強調フィルタにかけるフィルタリング処理を施す工程と、を有する、ことを特徴とする画像処理方法。
4. 赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する工程と、
   前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から第１の変換式と第２の変換式とを選択し、前記第１の変換式に基づき第１の輝度信号Ｙを算出し、前記Ｒ値と前記第１の輝度信号Ｙとの差分と前記Ｂ値と前記第１の輝度信号Ｙとの差分に基づき第１の色差信号Ｃを算出し、前記第２の変換式に基づき第２の輝度信号Ｙを算出し、前記Ｒ値と前記第２の輝度信号Ｙとの差分と前記Ｂ値と前記第２の輝度信号Ｙとの差分に基づき第２の色差信号Ｃを算出するＹＣ変換処理工程と、
   前記第１の輝度信号Ｙおよび前記第２の輝度信号Ｙを高域強調フィルタに、前記第１の色差信号Ｃおよび前記第２の色差信号Ｃを低域強調フィルタにかけるフィルタリング処理を施す工程と、
   前記第１の輝度信号Ｙと前記第２の輝度信号Ｙとをテーブルに基づき合成し第３の輝度信号Ｙを生成し、前記第１の色差信号Ｃと前記第２の色差信号Ｃとをテーブルに基づき合成し第３の色差信号Ｃを生成する合成処理工程と、を有する、ことを特徴とする画像処理方法。
5. 請求項１ないし４のいずれか一項に記載の画像処理方法において、
   前記色補間処理は、前記単板式のカラー撮像センサの各画素ごとに、赤色に対応するＲ画素及び青色に対応するＢ画素がそれぞれ１つずつのみ存在する２×２画素単位、又は赤色に対応するＲ画素及び青色に対応するＢ画素のうちいずれか１つの画素を中心としてその周囲に前記いずれか１つの画素とは異なる色の画素が存在する３×３画素単位、あるいは赤色に対応するＲ画素と青色に対応するＢ画素がそれぞれ２つ存在する３×３画素単位で実施するものであることを特徴とする画像処理方法。
6. 赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する色補間処理部と、
   前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から、前記Ｒ値と前記Ｂ値と前記Ｇ値のうち値が大きい色に対応する前記Ｋ１または前記Ｋ２の値が他の前記Ｋ１と前記Ｋ２の値より小さく設定されている第１の変換式を選択し、前記第１の変換式に基づき輝度信号Ｙを算出し、前記Ｒ値と前記輝度信号Ｙとの差分と前記Ｂ値と前記輝度信号Ｙとの差分に基づき色差信号Ｃを算出するＹＣ変換部と、
   前記輝度信号Ｙを高域強調フィルタに、前記色差信号Ｃを低域強調フィルタにかけるフィルタリング処理を施すフィルタリング部と、を有する、ことを特徴とする画像処理装置。
7. 赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する色補間処理部と、
   前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から第１の変換式と第２の変換式とを選択し、前記第１の変換式に基づき第１の輝度信号Ｙを算出し、前記Ｒ値と前記第１の輝度信号Ｙとの差分と前記Ｂ値と前記第１の輝度信号Ｙとの差分に基づき第１の色差信号Ｃを算出し、前記第２の変換式に基づき第２の輝度信号Ｙを算出し、前記Ｒ値と前記第２の輝度信号Ｙとの差分と前記Ｂ値と前記第２の輝度信号Ｙとの差分に基づき第２の色差信号Ｃを算出するＹＣ変換部と、
   前記第１の輝度信号Ｙと前記第２の輝度信号Ｙとをテーブルに基づき合成し第３の輝度信号Ｙを生成し、前記第１の色差信号Ｃと前記第２の色差信号Ｃとをテーブルに基づき合成し第３の色差信号Ｃを生成するデータ合成部と、
   前記第３の輝度信号Ｙを高域強調フィルタに、前記第３の色差信号Ｃを低域強調フィルタにかけるフィルタリング部と、を有する、ことを特徴とする画像処理装置。
8. 赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する色補間処理部と、
   前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から第１の変換式と第２の変換式とを選択し、前記第１の変換式に基づき第１の輝度信号Ｙを算出し、前記Ｒ値と前記第１の輝度信号Ｙとの差分と前記Ｂ値と前記第１の輝度信号Ｙとの差分に基づき第１の色差信号Ｃを算出し、前記第２の変換式に基づき第２の輝度信号Ｙを算出し、前記Ｒ値と前記第２の輝度信号Ｙとの差分と前記Ｂ値と前記第２の輝度信号Ｙとの差分に基づき第２の色差信号Ｃを算出するＹＣ変換部と、
   前記第１の輝度信号Ｙおよび前記第２の輝度信号Ｙを高域強調フィルタに、前記第１の色差信号Ｃおよび前記第２の色差信号Ｃを低域強調フィルタにかけるフィルタリング部と、
   前記第１の輝度信号Ｙと前記第２の輝度信号Ｙとをテーブルに基づき合成し第３の輝度信号Ｙを生成し、前記第１の色差信号Ｃと前記第２の色差信号Ｃとをテーブルに基づき合成し第３の色差信号Ｃを生成するデータ合成部と、を有する、ことを特徴とする画像処理装置。
9. 赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する色補間処理部と、
   前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から、前記Ｒ値と前記Ｂ値と前記Ｇ値のうち値が大きい色に対応する前記Ｋ１または前記Ｋ２の値が他の前記Ｋ１と前記Ｋ２の値より小さく設定されている第１の変換式を選択し、前記第１の変換式に基づき輝度信号Ｙを算出し、前記Ｒ値と前記輝度信号Ｙとの差分と前記Ｂ値と前記輝度信号Ｙとの差分に基づき色差信号Ｃを算出するＹＣ変換部と、
   前記輝度信号Ｙを高域強調フィルタに、前記色差信号Ｃを低域強調フィルタにかけるフィルタリング処理を施すフィルタリング部と、を有する、ことを特徴とする半導体装置。
10. 赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する色補間処理部と、
    前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から第１の変換式と第２の変換式とを選択し、前記第１の変換式に基づき第１の輝度信号Ｙを算出し、前記Ｒ値と前記第１の輝度信号Ｙとの差分と前記Ｂ値と前記第１の輝度信号Ｙとの差分に基づき第１の色差信号Ｃを算出し、前記第２の変換式に基づき第２の輝度信号Ｙを算出し、前記Ｒ値と前記第２の輝度信号Ｙとの差分と前記Ｂ値と前記第２の輝度信号Ｙとの差分に基づき第２の色差信号Ｃを算出するＹＣ変換部と、
    前記第１の輝度信号Ｙと前記第２の輝度信号Ｙとをテーブルに基づき合成し第３の輝度信号Ｙを生成し、前記第１の色差信号Ｃと前記第２の色差信号Ｃとをテーブルに基づき合成し第３の色差信号Ｃを生成するデータ合成部と、
    前記第３の輝度信号Ｙを高域強調フィルタに、前記第３の色差信号Ｃを低域強調フィルタにかけるフィルタリング部と、を有する、ことを特徴とする半導体装置。
11. 赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する色補間処理部と、
    前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から第１の変換式と第２の変換式とを選択し、前記第１の変換式に基づき第１の輝度信号Ｙを算出し、前記Ｒ値と前記第１の輝度信号Ｙとの差分と前記Ｂ値と前記第１の輝度信号Ｙとの差分に基づき第１の色差信号Ｃを算出し、前記第２の変換式に基づき第２の輝度信号Ｙを算出し、前記Ｒ値と前記第２の輝度信号Ｙとの差分と前記Ｂ値と前記第２の輝度信号Ｙとの差分に基づき第２の色差信号Ｃを算出するＹＣ変換部と、
    前記第１の輝度信号Ｙおよび前記第２の輝度信号Ｙを高域強調フィルタに、前記第１の色差信号Ｃおよび前記第２の色差信号Ｃを低域強調フィルタにかけるフィルタリング部と、
    前記第１の輝度信号Ｙと前記第２の輝度信号Ｙとをテーブルに基づき合成し第３の輝度信号Ｙを生成し、前記第１の色差信号Ｃと前記第２の色差信号Ｃとをテーブルに基づき合成し第３の色差信号Ｃを生成するデータ合成部と、を有する、ことを特徴とする半導体装置。
12. 前記請求項６ないし８のいずれか１項に記載の画像処理装置を備えたことを特徴とする電子機器。
13. 前記請求項９ないし１１のいずれか１項に記載の半導体装置を備えたことを特徴とする電子機器。
14. 赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する色補間手段と、
    前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から、前記Ｒ値と前記Ｂ値と前記Ｇ値のうち値が大きい色に対応する前記Ｋ１または前記Ｋ２の値が他の前記Ｋ１と前記Ｋ２の値より小さく設定されている第１の変換式を選択し、前記第１の変換式に基づき輝度信号Ｙを算出し、前記Ｒ値と前記輝度信号Ｙとの差分と前記Ｂ値と前記輝度信号Ｙとの差分に基づき色差信号Ｃを算出するＹＣ変換手段と、
    前記輝度信号Ｙを高域強調フィルタに、前記色差信号Ｃを低域強調フィルタにかけるフィルタリング処理を施すフィルタリング手段と、を有する、ことを特徴とする画像処理プログラム。
15. 赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する色補間手段と、
    前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から第１の変換式と第２の変換式とを選択し、前記第１の変換式に基づき第１の輝度信号Ｙを算出し、前記Ｒ値と前記第１の輝度信号Ｙとの差分と前記Ｂ値と前記第１の輝度信号Ｙとの差分に基づき第１の色差信号Ｃを算出し、前記第２の変換式に基づき第２の輝度信号Ｙを算出し、前記Ｒ値と前記第２の輝度信号Ｙとの差分と前記Ｂ値と前記第２の輝度信号Ｙとの差分に基づき第２の色差信号Ｃを算出するＹＣ変換手段と、
    前記第１の輝度信号Ｙと前記第２の輝度信号Ｙとをテーブルに基づき合成し第３の輝度信号Ｙを生成し、前記第１の色差信号Ｃと前記第２の色差信号Ｃとをテーブルに基づき合成し第３の色差信号Ｃを生成するデータ合成手段と、
    前記第３の輝度信号Ｙを高域強調フィルタに、前記第３の色差信号Ｃを低域強調フィルタにかけるフィルタリング手段と、を有する、ことを特徴とする画像処理プログラム。
16. 赤色に対応するＲ画素と青色に対応するＢ画素と緑色に対応するＧ画素とを有する単板式のカラー撮像センサから出力される、前記Ｒ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＲ画素色データを生成し、前記Ｇ画素に対応するＲ画素データに色補間処理を施して前記Ｒ画素に対応するＧ画素色データを生成し、前記Ｂ画素に対応するＢ画素データに色補間処理を施して前記Ｂ画素に対応するＢ画素色データを生成する色補間手段と、
    前記Ｒ画素色データに含まれるＲ値とＧ値とＢ値のうち、前記Ｇ値に対する前記Ｒ値と前記Ｂ値との大きさに基づき閾値条件を判定し、前記閾値条件に基づき式Ｒ×Ｋ１＋Ｇ×Ｋ２＋Ｂ×Ｋ１（ただし、前記Ｒ値をＲ、前記Ｇ値をＧ、前記Ｂ値をＢとし、Ｋ１＋Ｋ２＋Ｋ１＝１．０とする。）を有する複数の変換式の中から第１の変換式と第２の変換式とを選択し、前記第１の変換式に基づき第１の輝度信号Ｙを算出し、前記Ｒ値と前記第１の輝度信号Ｙとの差分と前記Ｂ値と前記第１の輝度信号Ｙとの差分に基づき第１の色差信号Ｃを算出し、前記第２の変換式に基づき第２の輝度信号Ｙを算出し、前記Ｒ値と前記第２の輝度信号Ｙとの差分と前記Ｂ値と前記第２の輝度信号Ｙとの差分に基づき第２の色差信号Ｃを算出するＹＣ変換手段と、
    前記第１の輝度信号Ｙおよび前記第２の輝度信号Ｙを高域強調フィルタに、前記第１の色差信号Ｃおよび前記第２の色差信号Ｃを低域強調フィルタにかけるフィルタリング手段と、
    前記第１の輝度信号Ｙと前記第２の輝度信号Ｙとをテーブルに基づき合成し第３の輝度信号Ｙを生成し、前記第１の色差信号Ｃと前記第２の色差信号Ｃとをテーブルに基づき合成し第３の色差信号Ｃを生成するデータ合成手段と、を有する、ことを特徴とする画像処理プログラム。
17. 前記請求項１４〜１６のいずれか１項に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images