JP5409864B2 - 輝度信号生成装置及び輝度信号生成方法、並びに撮像装置 - Google Patents

Description

本発明は輝度信号生成装置及び輝度信号生成方法並びに撮像装置に関する。本発明は特に、原色ベイヤー配列の色フィルタを用いた撮像素子により得られる信号から輝度信号を生成する装置及び方法、並びにそれらを用いる撮像装置に関する。

ＣＣＤイメージセンサやＣＭＯＳイメージセンサのような、光量を検出可能な撮像素子を用いてカラー画像を生成するため、色フィルタを透過させた光を撮像素子に入射させる構成が一般に用いられている。

色フィルタには、用いる色の種類や、画素毎に割り当てる色の配列などによって様々な種類が存在するが、色の種類は原色（赤、緑、青）又は補色（シアン、マゼンタ、イエロー）が、色配列についてはベイヤー配列がそれぞれ広く用いられている。

図２４は、原色ベイヤー配列の１単位を示す図である。実際には、同様の配列が撮像素子の画素数に応じて繰り返される。Ｒが赤、Ｇ１及びＧ２は緑、Ｂが青である。

図２５は、図２４に示す原色ベイヤー配列の色フィルタを用いて輝度信号を生成する従来方法のうち、緑（Ｇ）信号のみから輝度信号(OG信号)を生成するOutOfGreen方式を実現する輝度生成回路の構成例を示す図である。

まず、撮像素子の出力（２２０４）をデジタル化したＲＡＷ信号２２００に対してZero挿入回路２２０１を適用して、Ｇ画素以外の値を０とする（２２０５）。次に、垂直方向の帯域を制限するローパスフィルタ(V-LPF)回路２２０２及び水平方向の帯域を制限するローパスフィルタ(H-LPF)回路２２０３を適用し、輝度信号を得る。以下、OutOfGreen方式で得られる輝度信号をOG信号という。

また、図２４に示す原色ベイヤー配列の色フィルタを用いて輝度信号を生成する従来方法の別の例として、ＲＧＢ全ての画素を用いて輝度信号(SWY信号)を生成するＳＷＹ方式がある。

図２６は、ＳＷＹ方式を実現する輝度生成回路の構成例を示す図である。
図２５との比較から明らかなように、ＳＷＹ方式は、OutOfGreen方式における、Zero挿入回路２２０１を用いずに輝度信号を得る方式である。以下、ＳＷＹ方式で得られる輝度信号をＳＷＹ信号という。

図２７は、OG信号とＳＷＹ信号の解像可能な空間周波数特性を示す図である。
ｘ軸は被写体の水平（Ｈ）方向の周波数空間を、ｙ軸は垂直（Ｖ）方向の周波数空間を示し、原点から遠ざかるほど空間周波数が高い。OG信号はＧ信号のみから輝度信号を生成するため、水平及び垂直方向の解像限界は撮像素子のナイキスト周波数（軸上、π／２）に等しい。しかし、斜め方向は画素が存在しないラインが存在するため、斜め方向の限界解像周波数は水平垂直と比較して低く、結果としてひし形上の空間周波数領域２４００が解像可能な空間周波数となる。

一方、ＳＷＹ信号は、全ての画素を用いて信号をつくるため、被写体が無彩色の場合、図のような正方形領域２４０１が解像可能な空間周波数となる。しかしながら、例えば赤い被写体においては、Ｒ画素以外からの画素からは輝度信号が出力されないため、無彩色被写体に比べ、水平及び垂直方向とも半分となる空間周波数範囲２４０２でしか解像しない。

特許文献１では、図２７における、OG信号の斜め領域２４０３については、ＳＷＹ信号で置換する方法を提案している。ただし、有彩色被写体はＳＷＹ信号の解像限界周波数が下がるため、斜め領域２４０３が無彩色被写体である場合に限り、OG信号をＳＷＹ信号で置換する。その後、生成された輝度信号を用いてエッジ強調成分を検出し、輝度信号に加算して最終輝度信号を生成する。

一方、特許文献２では、被写体の角度に応じて、予め用意した複数の補間フィルタを使い分けて輝度信号を生成し、その後エッジ強調を行なって最終輝度信号を生成する方法を提案している。

また、特許文献３では、特許文献１と同様、OG信号とＳＷＹ信号を、被写体の色相及び彩度に応じて加重加算する方法を提案している。具体的には、低彩度被写体被写体はＳＷＹ信号、高彩度被写体かつＭｇ（マゼンタ）、Ｇ（グリーン）の被写体にはＳＷＹ信号を使用し、その他有彩色被写体についてはOG信号を使用する。その後、ＭＩＸ信号でエッジ強調成分を算出し、別途生成した輝度信号に加算して最終輝度信号を生成する。

更に、特許文献４記載の方法では、OG信号を用いて第１の高周波信号を生成するとともに、全色画素の信号から、水平及び垂直方向だけではなく、斜め方向の帯域も制限した角度適応型ＳＷＹ方式で生成した輝度信号を用いて第２の高周波信号を生成する。そして、信号の空間周波数に応じて第１の高周波信号と第２の高周波信号を加重加算して第３の高周波信号を生成し、OG信号と第３の高周波信号を加算して最終的な輝度信号を生成する。

特開２００３−３４８６０９号公報 特開２００３−１９６６４９号公報 特許第３６９９８７３号公報 特開２００８−７２３７７号公報

しかしながら、特許文献１記載の手法を原色ベイヤー配列の色フィルタを用いて得た信号に適用する場合、図２６に示した輝度信号生成回路で生成したＳＷＹ信号を用いると、斜め４５度及び１３５度付近に偽解像信号（折り返し歪み）が発生する弊害があった。これは、図２６の回路では、Ｈ方向及びＶ方向のみ帯域制限しているため、斜め４５度及び１３５度方向における帯域制限が十分でないことによるものと考えられる。

また、有彩色被写体についてはOG信号を用いるので、有彩色被写体についての斜め方向の解像度は向上しない。更に、OG信号の一部（斜め領域２４０３）をＳＷＹ信号に置換えた後の輝度信号でエッジ強調信号を生成すると、OG信号とＳＷＹ信号の切り替わり部分が強調され、不自然なテクスチャーが発生しやすい。

また、特許文献２の手法は、被写体の確度に応じた複数の補間フィルタを予め用意し、かつ保持する必要がある。色の構成を例えばＮＴＳＣ−ＲＧＢ空間とすると、輝度信号構成比であるＲ：Ｇ：Ｂ＝３：６：１を維持する補間フィルタを準備する必要がある。その結果、フィルタの係数が限定され、被写体の角度に最適なフィルタ処理が行えないという問題がある。また、特許文献１と同様、複数の補間方法で算出された輝度信号を混在させてからエッジ強調を実施しているため、算出方法の異なる輝度信号の微妙な切り替わりが強調されてしまう。

また、特許文献３の手法では、OG信号の代わりにＳＷＹ信号を使用するのがＭｇとＧの被写体であるため、有彩色被写体のうちＭｇとＧ以外の被写体の解像度は向上しない。更に、特許文献１及び特許文献２の手法と同様、複数の手法で算出された輝度信号を加重加算してからエッジ強調を実施しているため、手法の切り替わり部分が強調されてしまう。

また、特許文献４では、赤色被写体における画質劣化を抑制するため、赤色領域を検出し、その領域はOG信号から生成した第１の高周波信号を用いて最終的な輝度信号を生成していた。そのため、赤色被写体がぼける、特に赤色と区別のつきにくい金髪などがぼけるといった現象や、赤色の斜め線の折り返し歪みが除去できないという問題があった。
また、色フィルタの分光分布特性によっては青色被写体について同様の問題が発生する。

本発明はこのような従来技術の問題点に鑑みてなされたものである。本発明の一目的は、赤色又は青色被写体について斜め方向成分における折り返し歪みの発生を抑制可能な輝度信号生成装置及び輝度信号生成方法を提供することにある。

上述の目的は、原色ベイヤー配列の色フィルタを備えた撮像素子から読み出した画像信号から、エッジ強調された輝度信号を画素毎に生成する輝度信号生成装置であって、画像信号から輝度信号を生成する輝度信号生成手段と、撮像素子の全色の画素の画像信号を用いて第１の高周波信号を生成する第１の高周波信号生成手段と、撮像素子のうち、赤色又は青色のいずれか一方の画素の画像信号を用いて第２の高周波信号を生成する第２の高周波信号生成手段と、画像信号から、着目画素が赤色又は青色のいずれか一方に近い色かどうかの尺度を示す指標を算出する算出手段と、指標に基づき、着目画素が赤色又は青色のいずれか一方に近い色であるほど、第２の高周波信号の割合が高くなるように第１の高周波信号と第２の高周波信号を加重加算して着目画素に対する高周波信号を生成する第１の加重加算手段と、輝度信号生成手段が着目画素に対して生成した輝度信号に、着目画素に対する高周波信号を加算して、着目画素に対するエッジ強調された輝度信号を生成する加算手段を有することを特徴とする輝度信号生成装置によって達成される。

また、上述の目的は、原色ベイヤー配列の色フィルタを備えた撮像素子から読み出した画像信号から、エッジ強調された輝度信号を画素毎に生成する輝度信号生成方法であって、輝度信号生成手段が、画像信号から輝度信号を生成する輝度信号生成工程と、第１の高周波信号生成手段が、撮像素子の全色の画素の画像信号を用いて第１の高周波信号を生成する第１の高周波信号生成工程と、第２の高周波信号生成手段が、撮像素子のうち、赤色又は青色のいずれか一方の画素の画像信号を用いて第２の高周波信号を生成する第２の高周波信号生成工程と、算出手段が、画像信号から、着目画素が赤色又は青色のいずれか一方に近い色かどうかの尺度を示す指標を算出する算出工程と、第１の加重加算手段が、指標に基づき、着目画素が赤色又は青色のいずれか一方に近い色であるほど、第２の高周波信号の割合が高くなるように第１の高周波信号と第２の高周波信号を加重加算して着目画素に対する高周波信号を生成する第１の加重加算工程と、加算手段が、輝度信号生成工程が着目画素に対して生成した輝度信号に、着目画素に対する高周波信号を加算して、着目画素に対するエッジ強調された輝度信号を生成する加算工程を有することを特徴とする輝度信号生成方法によっても達成される。

このような構成により、本発明によれば、赤色又は青色被写体についても斜め方向成分における折り返し歪みの発生を抑制した輝度信号を生成することができる。

本発明の第１の実施形態に係る輝度信号生成装置の構成例を示すブロック図である。 本発明の第１の実施形態に係る輝度信号生成装置に用いるローパスフィルタの周波数特性の例を示す図である。 本発明の第１の実施形態に係る輝度信号生成装置に用いる２次元空間フィルタの係数の例を示す図である。 本発明の第１の実施形態における角度信号生成回路の構成例を示すブロック図である。 本発明の第１の実施形態における第１のHVD加重加算回路の構成例を示すブロック図である。 図５における第１の係数算出回路の入出力特性例を示す図である。 本発明の第１の実施形態における色処理回路の構成例を示すブロック図である。 本発明の第１の実施形態における第１及び第２のGR加重加算回路の構成例を示すブロック図である。 図８における第１の赤色度算出回路の入出力特性例を示す図である。 図８における第２の赤色度算出回路の入出力特性例を示す図である。 図８における第２の係数算出回路の入出力特性例を示す図である。 本発明の第２の実施形態に係る輝度信号生成装置の構成例を示すブロック図である。 本発明の第２の実施形態に係る輝度信号生成装置における適応補間回路の構成例を示すブロック図である。 図１３におけるDiffH信号生成回路及びDiffV信号生成回路の動作を説明する図である。 図１３におけるG係数算出回路の入出力特性例を示す図である。 本発明の第２の実施形態に係る輝度信号生成装置における斜め加重加算回路の構成例を示すブロック図である。 適応OG信号とSWY信号が解像可能な周波数空間を示す図である。 図１６における第２のSWY係数算出回路の入出力特性例を示す図である。 図１６における第３のSWY係数算出回路の構成例を示すブロック図である。 図１９におけるCalSwyUse3の入出力特性例を示す図である。 図１６における第４のSWY係数算出回路の構成例を示すブロック図である。 図２１におけるCalSwyUse4の入出力特性例を示す図である。 図１６における第５のSWY係数算出回路の構成例を示すブロック図である。 原色ベイヤー配列の１単位を示す図である。 OG方式による輝度信号生成回路の構成例を示すブロック図である。 SWY方式による輝度信号生成回路の構成例を示すブロック図である。 OG信号とSWY信号の解像可能な空間周波数特性を示す図である。

（第１の実施形態）
以下、図面を参照して、本発明をその好適かつ例示的な実施形態に基づき詳細に説明する。
図１は本発明の第１の実施形態に係る輝度信号生成装置の構成例を示すブロック図である。本実施形態の輝度信号生成装置は、原色ベイヤー配列の色フィルタを備える撮像素子を用いる撮像装置において、いわゆる現像処理等の信号処理を行なう信号処理回路で好適に実現可能である。

また、輝度信号生成装置は、撮像素子から読み出した画素毎の画像信号を用い、画素毎の輝度信号を生成する。従って、特に述べないが、以下の処理は着目画素を順次更新しながら、着目画素ごとに実行される。

（第１の輝度信号の算出）
原色ベイヤー配列の色フィルタを備える撮像素子（図示せず）から読み出され、デジタルデータ化及びホワイトバランス処理が行なわれた画像信号がＲＡＷ信号１００として入力される。

第１のローパスフィルタとしての垂直ローパスフィルタ(V-LPF)１０１および水平ローパスフィルタ(H-LPF)１０２は、ＲＡＷ信号１００の水平および垂直方向の帯域を制限し、輝度信号Yhv_1を生成する。

図２は本実施形態の輝度信号生成装置に用いるローパスフィルタの周波数特性の例を示す図である。図２において、ｘ軸が空間周波数、ｙ軸が通過ゲインを示している。V-LPF１０１、V-LPF１０２は、撮像素子のナイキスト周波数Nでゲインが０となる周波数特性２００を有している。一方、後述するように、V-LPF１１６、H-LPF１１７は、撮像素子のナイキスト周波数Nの半分の周波数(N/2)でゲインが０となる周波数特性２０１を有する。
通常、白黒（無彩色）被写体には、周波数特性２００を有するV-LPF１０１及びH-LPF１０２を適用する。

H-LPF１０２から出力される輝度信号Yhv_1は、第１のHVD加重加算回路１１４に供給される。輝度信号Yhv_1はまた、２次元ローパスフィルタD45-LPF１０３及びD135-LPF１０６、及び垂直バンドパスフィルタ(V-LPF)１０９及び水平バンドパスフィルタ(H-BPF)１１１に供給される。

図３は、本実施形態の輝度信号生成装置に用いる２次元空間フィルタの係数の例を示す図である。図３において、（ａ）はD45-LPF１０３、（ｂ）はD135-LPF１０６、（ｃ）は後述するD135-BPF１０４、（ｄ）は後述するD45-BPF１０７の係数の例を示す。

D45-LPF１０３は、輝度信号Yhv_1の４５度方向の帯域を制限した輝度信号Yd45_1を生成して、第１のHVD加重加算回路１１４に供給する。
D135-LPF１０６は、輝度信号Yhv_1の１３５度方向の帯域を制限した輝度信号Yd135_1を生成して、第１のHVD加重加算回路１１４に供給する。

第１のHVD加重加算回路１１４は、水平及び垂直方向に帯域制限された輝度信号Yhv_1、さらに４５度方向または１３５度方向がそれぞれ帯域制限された輝度信号Yd45_1及び輝度信号Yd135_1を加重加算し、第１の輝度信号Yh_1を生成する。

次に、第１のHVD加重加算回路１１４での加重加算方法について説明する。
第１のHVD加重加算回路１１４は、被写体の角度に応じた加重加算係数により、３つの輝度信号を加重加算する。

まず、ＲＡＷ信号１００から、OG信号生成回路１４０でOG信号を生成する。OG信号生成回路１４０は、図２５を用いて説明した方法でOG信号を生成する。角度信号生成回路１５０は、OG信号から被写体の角度を示す角度信号angleSigDを生成し、第１のHVD加重加算回路１１４に供給する。

図４は、角度信号生成回路の構成例を示すブロック図である。OG信号３００は、２次元バンドパスフィルタであるD135-BPF３０１及びD45-BPF３０３へ入力される。D135-BPF３０１及びD45-BPF３０３は、それぞれ図３の（ｃ）及び（ｄ）に示す係数を有し、４５度線及び１３５度線を強調する。
絶対値回路(ABS)３０２及び３０４は、D135-BPF３０１及びD45-BPF３０３の出力から、それぞれ、４５度線検出信号及び１３５度線検出信号を生成する。

減算回路３０５は、ABS３０２からの４５度線検出信号からABS３０４からの１３５度線検出信号を減算し、減算結果を角度信号(angleSigD)３０６とする。角度信号angleSigDは、正なら４５度線、負なら１３５度線を意味する。また、出力信号の振幅が小さい領域は水平および垂直線を意味する。

図５は、第１の輝度信号生成手段としての第１のHVD加重加算回路１１４の構成例を示すブロック図である。
第１の係数算出回路１１４１は、角度信号angleSigDの値に基づき、加重加算係数D_UseRatioを求めて出力する。極性判別回路１１４２は角度信号angleSigDの極性を判別し、極性（正負）に基づいてセレクタ１１４３を制御することで、輝度信号Yd45_1及び輝度信号Yd135_1の一方を第１の演算回路１１４４へ供給する。具体的には、極性判別回路１１４２は、角度信号angleSigDの極性が正の場合には輝度信号Yd45_1を、負の場合には輝度信号Yd135_1を第１の演算回路１１４４へ供給するようにセレクタ１１４３を制御する。

第１の演算回路１１４４は、第１の係数算出回路１１４１からの加重加算係数D_UseRatioを用いて、輝度信号Yhv_1及び、輝度信号Yd45_1又は輝度信号Yd135_1を加重加算し、第１の輝度信号Yh_1を算出する。

図６は、第１の係数算出回路１１４１の入出力特性例を示す図である。
角度信号angleSigDの絶対値（振幅）が０から予め設定した閾値Ｐ１まで（0 ≦ |angleSigD| ≦ P1)は水平もしくは垂直信号であることから、第１の係数算出回路１１４１は、係数D_UseRatioを０とする。一方、完全な斜め信号を表す閾値Ｐ２以上の区間（P2 ＜ |angleSigD|)は係数D_UseRatioを１２８とする。一方、閾値Ｐ１からＰ２の区間（P1 ＜ |angleSigD| ＜ P2)は、線形補間出力する。

このようにして、第１の係数算出回路１１４１は、角度信号の絶対値|angleSigD|に基づいて加重加算係数D_UseRatioを求め、第１の演算回路１１４４に供給する。

第１の演算回路１１４４は、以下の式（１−１）及び（１−２）を用いて、第１の輝度信号Yh_1を生成する。

ここで、Yhv_1は水平及び垂直方向が帯域制限された輝度信号、Yd45_1及びYd135_1はさらに４５度方向及び１３５度方向が帯域制限された４５度輝度信号及び１３５度輝度信号をそれぞれ示す。

（第１の高周波信号の算出）
V-LPF１０１およびH-LPF１０２により、垂直及び水平方向の帯域が制限された輝度信号Yhv_1は、垂直バンドパスフィルタ(V-BPF)１０９および水平バンドパスフィルタ(H-BPF)１１１で垂直および水平方向のエッジ成分が検出される。それぞれのエッジ成分は垂直ゲイン回路(V-Gain)１１０および水平ゲイン回路(H-Gain)１１２で予め設定したゲインが乗じられた後、加算回路１１３によって加算され、第１の水平垂直エッジ信号（高周波信号）AChv_1となる。

一方、D45-LPF１０３によりさらに４５度方向の帯域が制限された輝度信号は、１３５度方向のAC成分（エッジ成分もしくは高周波成分）を検出するD135-BPF１０４（係数は図３の（ｃ）に示す）で４５度線のエッジ成分が抽出される。その後ゲイン回路１０５によってゲイン調整され、４５度線用エッジ信号ACd45_1が算出される。同様に、D135-LPF１０６でさらに１３５度方向の帯域が制限された輝度信号は、D45-BPF１０７（係数は図３の（ｄ）に示す）で１３５度方向のエッジ成分が抽出される。その後、ゲイン回路１０８によってゲイン調整され、１３５度線エッジ信号Acd135_1が算出される。

第２のHVD加重加算回路１１５は、第１の高周波信号生成手段として機能する。第２のHVD加重加算回路１１５で、第１の輝度信号Yh_1の生成時に使用した加重加算係数D_UseRatioと３つのエッジ信号を以下の式（１−３）および（１−４）に従って加重加算し、第１の高周波信号AC_1を生成する。

第２のHVD加重加算回路１１５は、Yhv_1, Yd45_1,Yd135_1に代えてAChv_1, ACd45_1,ACd135_1を入力とすること以外、図５に示した第１のHVD加重加算回路１１４と同様の構成であってよい。または、加重加算係数D_UseRatioと、角度信号angleSigDの極性情報を第１のHVD加重加算回路１１４から取得することもできる。この場合には、第１の係数算出回路１１４１と極性判別回路１１４２は不要である。

（第２の輝度信号（赤色被写体用）の算出）
赤色被写体用の第２の輝度信号は、第１の輝度信号と同様の処理で生成するが、処理における帯域制限フィルタの特性が異なる。

ＲＡＷ信号１００は、V-LPF１１６およびH-LPF１１７で水平および垂直方向の帯域が制限される。第２のローパスフィルタとしてのV-LPF１１６およびH-LPF１１７は、図２の周波数特性２０１を有する。すなわち、ＲＡＷ信号１００の帯域を、V-LPF１０１およびH-LPF１０２の周波数特性２００の約半分（撮像素子のナイキスト周波数の約半分）に制限する。

これは、原色フィルタの場合、特に赤色被写体では、緑画素及び青画素からの出力信号値がほぼ０となるため、撮像素子による空間サンプリングによるナイキスト周波数が垂直方向、水平方向とも通常の無彩色被写体の半分になるからである。

H-LPF１１７から出力される輝度信号Yhv_2は、輝度信号Yhv_1と同様に処理されて、第３及び第４の加重加算回路１２９及び１３０により第２の輝度信号Yh_2および第２の高周波信号AC_2が生成される。

具体的には、輝度信号Yhv_2は、D45-LPF１１８及びD135-LPF１２１で４５度方向及び１３５度方向の帯域が制限され信号Yd45_2及びYd135_2として第３のHVD加重加算回路１２９に供給される。また、輝度信号Yhv_2は、そのままの状態でも第３のHVD加重加算回路１２９に供給される。

第２の輝度信号生成手段としての第３のHVD加重加算回路１２９は、第１のHVD加重加算回路１１４と同様の構成を有し、角度信号angleSigDから加重加算係数D_UseRatioを算出する。そして、第３の加重加算回路１２９は、以下の式（１−５）および式（１−６）を用いて、第２の輝度信号Yh_2を生成する。

ここで、Yhv_2は水平及び垂直方向が帯域制限された輝度信号、Yd45_2及びYd135_2はさらに４５度方向及び１３５度方向が帯域制限された４５度輝度信号及び１３５度輝度信号をそれぞれ示す。これら信号が、垂直方向及び水平方向での帯域制限がYhv_1、Yd45_1及びYd135_1と異なることは、上述したとおりである。

（第２の高周波信号（赤色被写体用）の算出）
V-LPF１１６およびH-LPF１１７により、垂直及び水平方向の帯域が制限された輝度信号Yhv_2は、垂直バンドパスフィルタ(V-BPF)１２４および水平バンドパスフィルタ(H-BPF)１２６で垂直および水平方向のエッジ成分が検出される。それぞれのエッジ成分は垂直ゲイン回路(V-Gain)１２５および水平ゲイン回路(H-Gain)１２７で予め設定したゲインが乗じられた後、加算回路１２８によって加算され、第２の水平垂直エッジ信号（高周波信号）AChv_2となる。

一方、D45-LPF１１８によりさらに４５度方向の帯域が制限された輝度信号は、１３５度方向のAC成分（エッジ成分もしくは高周波成分）を検出するD135-BPF１１９（係数は図３の（ｃ）に示す）で４５度線のエッジ成分が抽出される。その後ゲイン回路１２０によってゲイン調整され、４５度線用エッジ信号ACd45_2が算出される。同様に、D135-LPF１２１でさらに１３５度方向の帯域が制限された輝度信号は、D45-BPF１２２（係数は図３の（ｄ）に示す）で１３５度方向のエッジ成分が抽出される。その後、ゲイン回路１２３によってゲイン調整され、１３５度線エッジ信号Acd135_2が算出される。

第４のHVD加重加算回路１３０は第２の高周波信号生成手段として機能する。第４のHVD加重加算回路１３０で、第２の輝度信号Yh_2の生成時に使用した加重加算係数D_UseRatioと３つのエッジ信号を以下の式（１−７）および（１−８）に従って加重加算し、第２のエッジ信号AC_2を生成する。

第４のHVD加重加算回路１１５は、Yhv_1, Yd45_1,Yd135_1に代えてAChv_2, ACd45_2,ACd135_2を入力とすること以外、図５に示した第１のHVD加重加算回路１１４と同様の構成であってよい。または、加重加算係数D_UseRatioと、角度信号angleSigDの極性情報を第３のHVD加重加算回路１２９から取得することもできる。この場合には、第１の係数算出回路１１４１と極性判別回路１１４２は不要である。

（第１と第２の輝度信号および高周波信号の加重加算）
第１及び第３のHVD加重加算回路１１４及び１２９で生成された第１の輝度信号Yh_1と第２の輝度信号Yh_2は、第１の加重加算手段としての第１のGR加重加算回路１３１で加重加算され、第３の輝度信号Yh_3となる。

本実施形態の第１のGR加重加算回路１３１は、赤色被写体以外の通常被写体に対しては第１の輝度信号Yh_1信号を１００％使用する。また、第１のGR加重加算回路１３１は、赤色被写体は垂直方向及び水平方向の帯域を第１の輝度信号Yh_1の半分に制限した第２の輝度信号Yh_2信号を１００％使用する。

このような加重加算を行うことで、原色フィルタを備えた撮像装置の輝度信号生成時に全画素の情報を用いる場合（例えばＳＷＹ方式を用いた場合）、赤色被写体に対しても折り返し歪みの発生を十分に抑制した輝度信号を生成することができる。

図７は、図１における色処理回路１６０の構成例を示すブロック図である。
色処理回路１６０は、ＲＡＷ信号１００から、被写体の赤さを判別するための信号として、位相角信号Chromaθ及び彩度信号ChromaSigを生成し、第１及び第２のGR加重加算回路１３１及び１３２に供給する。

図７において、ＲＡＷ信号１００は、色補間回路６０１において、画素毎に補間演算（ロ−パスフィルタ処理）が実施され、その後、色差信号生成回路６０２によって色差信号R-Y(Ry)信号及びB-Y(By)信号に変換される。

色相角検出回路６０３は、画素毎に生成された色差信号に、以下の式（１−９）を適用して色相角信号Chromaθを生成する。

また、彩度算出回路６０４は、色差信号生成回路６０２で生成された色差信号に以下の式（１−１０）を適用して彩度信号ChromaSigを生成する。

色処理回路１６０で生成された色相角信号Chromaθ及び彩度信号ChromaSigは、第１及び第２のGR加重加算回路１３１及び１３２へ出力される。

図８は、第１及び第２のGR加重加算回路１３１及び１３２の構成例を示すブロック図である。
第１の赤色度算出回路１３１１は、図９に示すような入出力特性を有し、色相角信号Chromaθを、被写体の赤さを示す指標の１つとしての第１の赤色度RedSig_1に変換する。

図９に示す例では、色相角信号Chromaθの値が０から予め定めた閾値Ｐ１まで(Chromaθ≦P1)と、閾値Ｐ４以上(P4≦Chromaθ)の範囲は、赤以外の色を表すものとして、RedSig_1を０とする。一方、閾値Ｐ２からＰ３の範囲(P2≦Chromaθ≦P3)は、赤色を表すものとして、第１の赤色度RedSig_1を１２８とする。その他の範囲(P1＜Chromaθ＜P2，P3＜Chromaθ＜P4)は、１２８と０を線形補間した値を有する第１の赤色度RedSig_1を出力する。Ｐ１〜Ｐ４は、赤色度の閾値として予め定めておくことができる。

第２の赤色度算出回路１３１２は、図１０に示すような入出力特性を有し、彩度信号ChromaSigを、被写体の赤さの尺度を示す指標の１つとしての第２の赤色度RedSig_2に変換する。
図１０に示す例では、彩度信号ChromaSigの値が０から予め定めた閾値Ｃ１まで(ChromaSig≦C1)は、低彩度でありノイズの影響があるため、RedSig_2を０とする。閾値Ｃ２以上(C2≦ChromaSig)の範囲は赤色を表すものとして、第２の赤色度RedSig_2を１２８とする。その他の範囲(C1＜ChromaSig＜C2)は、１２８と０を線形補間した値を有する第２の赤色度RedSig_2を出力する。Ｃ１〜Ｃ２は、赤色度の閾値として予め定めておくことができる。

第３の赤色度算出回路１３１３は、第１の赤色度RedSig_1と第２の赤色度RedSig_2を以下の式（１−１１）に従って乗算して、第３の赤色度RedSig_3を算出する。

第２の係数算出回路１３１４は、図１１に示すような入出力特性を有し、第３の赤色度RedSig_3からGR加重加算係数Yh2UseRatioを出力する。

図１１に示す例では、第３の赤色度RedSig_3の値が０から予め定めた閾値Ｔｈ１まで(RedSig_3≦Th1)は、赤色でないため、GR加重加算係数Yh2UseRatioを０とする。閾値Ｔｈ２以上(Th2≦RedSig_3)の範囲は赤色を表すものとして、GR加重加算係数Yh2UseRatioを１２８とする。その他の範囲(Th1＜RedSig_3＜Th2)は、１２８と０を線形補間した値を有するGR加重加算係数Yh2UseRatioを出力する。Ｔｈ１〜Ｔｈ２は、赤色度の閾値として予め定めておくことができる。

このような入出力特性により、赤色被写体には第２の輝度信号Yh_2が、赤色でない被写体には第１の輝度信号Yh_1がそれぞれ１００％用いられ、中間色の被写体には第１及び第２の輝度信号Yh_1及びYh_2が赤味に応じた割合で用いられる。

最後に、第２の演算回路１３１５が、加重加算係数Yh2UseRatioを用い、以下の式（１−１２）及び式（１−１３）に従い、第１の輝度信号Yh_1と第２の輝度信号Yh_2から、第３の輝度信号Yh_3を算出する。また、第２の加重加算手段としての第２のGR加重加算回路１３２においても、同様にして、第１の高周波信号AC_1と第２の高周波信号AC_2を加重加算し、第３の高周波信号AC_3を生成する。

なお、第２のGR加重加算回路１３２においては、第１のGR加重加算回路１３１から加重加算係数Yh2UseRatioを取得して用いても良い。この場合、第２のGR加重加算回路１３２は、図８における第２の演算回路１３１５のみを有すればよい。

または、第２のGR加重加算回路１３２が加重加算係数Yh2UseRatioを算出し、第１のGR加重加算回路１３１が第２のGR加重加算回路１３２から加重加算係数Yh2UseRatioを取得しても良い。この場合、第１のGR加重加算回路１３１は、図８における第２の演算回路１３１５のみを有すればよい。
加算回路１３３は、第３の輝度信号Yh_3と第３の高周波信号AC_3を加算し、加算結果を最終輝度信号として出力する。

本実施形態では、水平及び垂直方向の解像度が低下する被写体色として赤色被写体を想定して説明した。しかし、色フィルタの分光分布特性によっては青色被写体についてＲ画素及びＧ画素の出力がほぼ０になる場合がある。この場合には、赤色度の代わりに青色度を検出し、青色被写体に対して同様の処理を適用し、第２の輝度信号Yh_2を導入して輝度信号を生成することができる。また、赤色及び青色の両被写体に対して第２の輝度信号Yh_2を用いるように構成しても良い。

以上説明したように、本実施形態によれば、原色ベイヤー配列の色フィルタを用いた撮像素子から得られる画像信号から輝度信号を生成する輝度信号生成装置において、垂直方向及び水平方向の帯域を第１の範囲に制限して第１の輝度信号を生成する。また、垂直方向及び水平方向の帯域を第１の範囲よりも狭い第２の範囲に制限して第２の輝度信号を生成する。そして、被写体の色の赤さ又は青さが強いほど、第２の輝度信号の割合を高めて第１及び第２の輝度信号を加重加算して、最終的な輝度信号を生成する。そのため、赤色被写体や青色被写体に対しても、折り返し歪みの発生を十分抑制した輝度信号を生成することができる。

また、本実施形態では、高周波信号についても同様に帯域制限範囲の異なる第１の高周波信号及び第２の高周波信号を生成して、被写体の色の赤さ又は青さが強いほど、第２の高周波信号の割合を高めて第１及び第２の高周波信号を加重加算する。そして、このような高周波信号を用いて輝度信号を生成するので、赤色被写体や青色被写体に対しても、ぼけを抑制した、解像度の高い輝度信号を生成することができる。

（第２の実施形態）
図１２は本発明の第２の実施形態に係る輝度信号生成装置の構成例を示すブロック図である。図１２において、第１の実施形態と同様の構成には同様の参照数字を付し、重複する説明は省略する。本実施形態において、全てのLPFは帯域制限する方向について図２の２００で示した周波数特性を有するものとする。

（第１の高周波信号の算出）
第１の実施形態における第１の高周波信号AC_1と同様の手法で生成する。

ＲＡＷ信号１００は、第１の実施形態におけるV-LPF１０１及びH-LPF１０２と同等のV-LPF１０１７およびH-LPF１０１８でそれぞれ垂直方向及び水平方向の帯域が制限される。そして、V-BPF１０９およびH-BPF１１１により、垂直および水平方向のエッジ成分が検出される。それぞれのエッジ成分はゲイン回路１１０および１１２で予め設定したゲインが乗じられ加算回路１１３で加算されて、第１の水平垂直エッジ信号AChv_1が算出される。

一方、第１の実施形態におけるD45-LPF１０３と同等のD45-LPF１０１９で４５度方向の帯域が制限された輝度信号Yhv_1は、D135-BPF１０４で４５度線のエッジ成分が抽出される。そして、ゲイン回路１０５によってゲイン調整され、第１の４５度線用エッジ信号ACd45_1が算出される。

同様に、第１の実施形態におけるD135-LPF１０６と同等のD135-LPF１０２２で１３５度方向の帯域が制限された輝度信号Yhv_1は、D45-BPF１０７で１３５度方向のエッジ成分が抽出される。そして、ゲイン回路１０８によってゲイン調整され、第１の１３５度線エッジ信号Acd135_1が算出される。
第１のHVD加重加算回路１１５は、第１の実施形態で算出した加重加算係数D_UseRatioを用いて３つのエッジ信号を加重加算し、第１の高周波信号AC_1を生成する。

（第２の高周波信号（赤色被写体用）の算出）
第１の実施形態における第２の高周波信号とほぼ同様の手法で生成するが、本実施形態ではＲＡＷ信号１００の全ての画素信号を用いて高周波成分を求めるのではなく、Ｒ画素以外に０挿入処理した信号を用いる点が第１の実施形態と異なる。このように、Ｒ画素以外を０とすることにより、赤色被写体撮影時に、Ｒ画素以外の色画素から微小な振幅の輝度信号への折り返し歪みを防ぐことができる。また、ＲＡＷ信号の垂直方向及び水平方向の帯域を、第１の高周波信号と同等に制限する点においても第１の実施形態と異なる。

ＲＡＷ信号１００は、０挿入回路１００１で、Ｒ画素以外の画素信号値が０に置換される。その後、V-LPF１００４およびH-LPF１００５で垂直方向及び水平方向の帯域がナイキスト周波数以下に制限される。また、V-BPF１２４およびH-BPF１２６で水平および垂直方向のエッジ成分が検出され、それぞれゲイン回路１２５、１２７でゲインが乗じられた後、加算回路１２８によって加算され、エッジ信号AChv_2が算出される。

一方、D45-LPF１００６で４５度方向の帯域が制限された画像信号は、D135-BPF１１９で４５度線のエッジ成分が抽出され、ゲイン回路１２０によってゲイン調整されて、エッジ信号ACd45_2が算出される。同様に、D135-LPF１００９で１３５度方向の帯域が制限された画像信号は、D45-BPF１２２で１３５度線のエッジ成分が抽出され、ゲイン回路１２３によってゲイン調整されて、エッジ信号ACd135_2が算出される。
第２のHVD加重加算回路１３０は、加重加算係数D_UseRatioを用いて３つのエッジ信号を加重加算し、第２のエッジ信号AC_2を生成する。

（第３の高周波信号の算出）
第１の実施形態ではＳＷＹ信号を用いて高周波信号を算出しているため、水平及び垂直のナイキスト周波数付近の解像度が劣化する。そこで、適応的に補間したOG信号を用いて第３の高周波信号を生成することで、ナイキスト周波数付近の解像度劣化を防ぐ。

０挿入回路１０３２〜加算回路１０３８は、緑色画素の画像信号から高周波信号を生成する第３の高周波信号生成手段として機能する。
ＲＡＷ信号１００は、０挿入回路１０３２でＧ画素以外の画素信号値が０に置換され、適応補間回路１０３３は、０挿入されたＲＡＷ信号１００を適応補間して適応OG信号を生成する。

図１３は、本実施形態における適応補間回路１０３３の構成例を示すブロック図である。
適応補間回路１０３３には、０挿入回路１０３２でＧ画素以外の画素信号値が０に置換されたＲＡＷ信号１００と、置換前のＲＡＷ信号１００の両方が入力される。

０置換されたＲＡＷ信号１００は、V-LPH１１０２により垂直方向の帯域が制限され、Gv信号が生成される。Gv信号はG加重加算回路１１０５に入力される一方、H-LPF１１０３に入力される。H-LPF１１０３はGv信号の水平方向の帯域を制限し、垂直方向及び水平方向の帯域が制限されたGhv信号を生成する。Ghv信号はG加重加算回路１１０５に入力される。H-LPF１１０４は、０置換されたＲＡＷ信号１００の水平方向の帯域を制限し、Gh信号を生成して、G加重加算回路１１０５に入力する。

このようにして、Ｇ画素以外が０とされた信号の（１）垂直方向の帯域が制限されたＧｖ信号、（２）水平方向の帯域が制限されたＧｈ信号、（３）垂直及び水平方向の帯域が制限されたＧｈｖ信号が生成され、いずれもG加重加算回路１１０５へ入力される。

一方、DiffH信号生成回路(DiffH)１１０６、DiffV信号生成回路(DiffV)１１０７は、０挿入されていないＲＡＷ信号１００から、以下のようにしてDiffH信号及びDiffV信号を生成する。

図１４は、DiffH信号生成回路１１０６及びDiffV信号生成回路１１０７の動作を説明する図である。着目画素をＰ２２とした場合、DiffH信号生成回路１１０６及びDiffV信号生成回路１１０７は、以下の式（２−１）及び（２−２）に従って、DiffH信号及びDiffV信号を生成する。
DiffH = |P21-P23|+|2×P22-P20-P24| （２−１）
DiffV = |P12-P32|+|2×P22-P02-P42| （２−２）
なお、式中のＰ１２〜Ｐ４２は、図１４における対応画素の信号値である。

被写体が縦縞の場合、DiffH信号が大きくなり、横縞の場合DiffV信号の値が大きくなる。減算器１１０８は、DiffH信号からDiffV信号を減算し、着目画素が傾いた線に対応する度合いを示すDiffHV信号を出力する。
すなわち、
DiffHV = DiffH - DiffV
である。

係数算出回路(Tsig)１１０９は、DiffHV信号に基づいて加重加算係数を算出し、G加重加算回路１１０５へ供給する。

図１５は、G係数算出回路１１０９の入出力特性例を示す図である。
横軸がDiffHV信号、縦軸が加重加算係数Tsigの値をそれぞれ示す。DiffHV≦Ｔｈ０の場合は、DiffVがDiffHより大きいため横縞領域であると判定される。この場合、G加重加算回路１１０５がGh信号を１００％使用するTsig値（Tsig=-128）が出力される。

Ｔｈ１＜DiffHV＜Ｔｈ２の区間は、DiffVとDiffHが互いに近い値であるため、斜め領域と判定される。この区間では、G加重加算回路１１０５がGhv信号を１００％使用するTsig値（Tsig=0）が出力される。
更に、DiffHV≧Ｔｈ３の場合は、DiffHがDiffVより大きいため縦縞領域であると判定される。この場合には、Gv信号を１００％使用するTsig値（Tsig=128）が出力される。

Ｔｈ０＜DiffHV≦Ｔｈ１の区間は、−１２８から０まで線形的に変化するように決定されたTsigを出力する。同様に、Ｔｈ２≦DiffHV＜Ｔｈ３の区間は、０から１２８まで線形的に変化するように決定されたTsigを出力する。

G加重加算回路１１０５は、このように決定されたTsigの値に基づいて、Gh信号、Gv信号、Ghv信号は、を以下の式（２−３）及び（２−４）を用いて加重加算し、適応OG信号を生成する。

適応補間回路１０３３によって生成された適応OG信号は、V-BPF１０３４で垂直方向のエッジ成分が検出され、ゲイン回路１０３５でゲイン調整される。一方、適応OG信号は、H-BPF１０３６で水平方向のエッジ成分が検出され、ゲイン回路１０３７でゲイン調整される。ゲイン調整後の垂直及び水平エッジ成分は加算回路１０３８で加算され、第３の高周波信号AC_3として斜め加重加算回路１０３９に送られる。

（第１と第３の高周波信号の加重加算）
斜め加重加算回路１０３９は、全色画素(SWY信号）から生成した第１の高周波信号AC_1と、適応OG信号から生成した第３の高周波信号AC_3を、以下の式（２−５）に従って加重加算し、第４の高周波信号AC_4を生成する。

図１６は、本実施形態の斜め加重加算回路１０３９の構成例を示すブロック図である。
第２の加重加算手段としての斜め加重加算回路１０３９は、第１〜第４のSWY係数算出回路１０６０〜１０６３で第１〜第４のSWY係数SWYUseRatio_1~4を求める。そして、これら次いで第５のSWY係数算出回路１０６４において、第１〜第４のSWY係数SWYUseRatio_1~4から最終的な加重加算係数SWYUseRatioを求める。第３の演算回路１０６５は、上述の式（２−５）に従った加重加算を行い、第４の高周波信号AC_4を求める。

（１）SWYUseRatio_1（第１のSWY係数）の算出
図１７は、適応OG信号とSWY信号が解像可能な周波数空間を示す図である。
ここで、第３の高周波信号AC_3が折り返し歪みの影響を受ける領域は、斜め領域１４００である。よって、斜め領域１４００を第１の高周波信号AC_1で置換すれば、折り返し歪みのない第４の高周波信号AC_4が生成できる。よって第１の実施形態で使用した角度信号AngleSigDを用いることで、加重加算係数を算出できる。

角度信号AngleSigDは、正なら４５度線、負なら１３５度線となり、また信号値の絶対量が大きければ、より４５度および１３５度線に近くなり、小さいければ０度および９０度線に近くなるとなる特徴を持っている。

これにより、第１のSWY係数算出回路１０６０により、角度信号AngleSigDから第１のSWY係数SWYUseRatio_1を求めることができる。具体的には、第１の実施形態で使用した、第１の係数算出回路１１４１と同様の入出力特性（図６において、出力値D_UseRatioをSWYUseRatio_1としたもの）を第１のSWY係数算出回路１０６０に持たせればよい。

（２）SWYUseRatio_2（第２のSWY係数）の算出
図１７における水平垂直領域１４０１は適応OG信号から生成されている第３の高周波信号AC_3を用いる。これは第３の高周波信号AC_3が、適応OG信号に基づくことで、水平及び垂直の両方向について必ず帯域が制限されているSWY信号から生成された第２の高周波信号AC_2より解像度が良好であることによる。

水平垂直領域１４０１は、図１３及び図１４説明したDiffH信号及びDiffV信号を用いて判別することができる。上述の通り、被写体が縦縞の場合、DiffHの値は大きくなりDiffVは０となる。また被写体が横縞の場合、DiffVの値は大きくなりDiffH０となる。

従って、図１８に示す入出力特性を有する第２のSWY係数算出回路１０６１を用いることにより、DiffHV信号から第２のSWY係数SWYUseRatio_2を算出することができる。図１８において、入力信号|DiffHV|の値が０からＰ１までは値が小さいため斜め線であり、第２のSWY係数SWYUseRatio_2を１２８とする。また、Ｐ２以上は完全に横縞又は縦縞であり、第２のSWY係数SWYUseRatio_2を０とする。また、Ｐ１からＰ２の区間は、第２のSWY係数SWYUseRatio_2の値を１２８と０とを線形補間した値とする。

（３）SWYUseRatio_3（第３のSWY係数）の算出
図１７における水平及び垂直のナイキスト周波数付近の領域（ナイキスト領域）１４０２は、（２）と同じ理由から、第３の高周波信号AC_3を用いるのが好ましい。ナイキスト領域１４０２は、Ｇ１画素信号とＧ２画素信号の位相ずれを検出することで判別可能である。

図１９は、第３のSWY係数算出回路１０６２の構成例を示すブロック図である。
０挿入回路１６０１及び１０６４は、ＲＡＷ信号１００のＧ１及びＧ２画素以外の画素信号値を０とした信号をそれぞれ生成する。水平及び垂直方向の補間のためのローパスフィルタ（V-LPF１６０２、H-LPF１６０３、V-LPF１６０５、H-LPF１０６６）により、０とされた画素に値が補間される。

次に、減算回路１６０７により、補間されたＧ１信号（H-LPF１０６３の出力）と補間されたＧ２信号(H-LPF１０６６の出力）の差分が求められ、差分の絶対値を絶対値回路(abs)１６０８で求め、領域判別信号sigDiffGとして出力する。

領域判別信号sigDiffGを、図２０に示すような入出力特性を有するCalSwyUse3 １６０９を用い、第３のSWY係数SWYUseRatio_3を算出する。CalSwyUse3 １６０９は、演算回路であっても、テーブルであっても良い。

領域判別信号sigDiffGの値が０からＰ１までは値が小さいため斜め線であり、第３のSWY係数SWYUseRatio_3を１２８とする。またＰ２以上では完全に横縞又は縦縞であるため、第３のSWY係数SWYUseRatio_3を０とする。また、Ｐ１からＰ２の区間は、第３のSWY係数SWYUseRatio_3の値を１２８と０とを線形補間した値とする。

（４）SWYUseRatio_4（第４のSWY係数）の算出
図１７における低周波領域１４０３は、第１の高周波信号AC_1を用いるのが好ましい。低周波領域１４０３は、ＲＡＷ信号に低周波領域を検出するフィルタを適用することで検出可能である。

図２１は、第４のSWY係数算出回路１０６３の構成例を示すブロック図である。
ＲＡＷ信号１００は、V-LPF１８０１及びH-LPF１８０２により、垂直方向及び水平方向の帯域が制限される。その後、さらに水平方向のバンドパスフィルタ(H-BPF)１８０３と垂直方向のバンドパスフィルタ(V-BPF)１８０４が別々に適用される。そして減算器１８０５によって、H-BPF１８０３の出力からV-BPF１８０４の出力を減算する。絶対値回路(abs)１８０６は減算結果の絶対値を算出し、低域検出用信号LowFとして出力される。

そして、図２２に示すような入出力特性を有するCalSwyUse4 １８０７を用い、第４のSWY係数SWYUseRatio_4を算出する。CalSwyUse4 １８０７は、演算回路であっても、テーブルであっても良い。

低域検出用信号LowFの値が０からＰ１までは値が小さいため高周波領域であり、第４のSWY係数SWYUseRatio_4を１２８とする。また、Ｐ２以上は低周波領域であるため、第４のSWY係数SWYUseRatio_4を０とする。Ｐ１からＰ２の区間は、第４のSWY係数SWYUseRatio_4の値を１２８と０とを線形補間した値とする。
第５のSWY係数算出回路１０６４は、第１のSWY係数SWYUseRatio_1から第４のSWY係数SWYUseRatio_4から、最終的な加重加算係数SWYUseRatioを算出する。

図２３は、第５のSWY係数算出回路１０６４の構成例を示すブロック図である。
乗算器２００４は、第１のSWY係数SWYUseRatio_1と第２のSWY係数SWYUseRatio_2を乗算し、シフター２００５により右方向に７ビットシフト演算される。シフター２００５により、乗算器２００４の出力は１／１２８倍される。

シフター２００５の出力は乗算器２００６により第３のSWY係数SWYUseRatio_3と乗算され、乗算結果がシフター２００７により右方向に７ビットシフト演算される。最後に、シフター２００７の出力は乗算器２００８により第４のSWY係数SWYUseRatio_4と乗算され、乗算結果が最終の加重加算係数SWYUseRatioとして出力される。

すなわち、
SWYUseRatio=SWYUseRatio_1*SWYUseRatio_2/128*SWYUseRatio_3/128*SWYUseRatio_4*/128
である。

第３の演算回路１０６５は、上述の式（２−５）に従った加重加算を行い、第１及び第３の高周波信号AC_1及びAC_3から、第４の高周波信号AC_4を求める。

（第２と第４の高周波信号の加重加算）
図１２における第３のGR加重加算回路１０５１は、第４の高周波信号AC_4と第２の高周波信号AC_2を加重加算し、以下の式（２−６）に従って第５の高周波信号AC_5を生成する。第３のGR加重加算回路１０５１は、AC_1がAC_4に、AC_3がAC_5に、加重加算係数の名称がAC2UseRatioとなることを除き、図８に示した第１の実施形態における第２のGR加重加算回路１３２と同様の構成であってよい。

（最終輝度信号の生成）
図１２に戻り、適応補間回路１０３３で生成された適応OG信号は、ゲイン回路１０４６にも供給される。ゲイン回路１０４６は、適応OG信号に０.６倍のゲインを乗じて出力する。

一方、ＲＡＷ信号１００は、０挿入回路１０４０でＲ画素以外の画素信号値が０に置換され、V-LPF１０４１とH-LPF１０４２で補間演算された後、ゲイン回路１０４７に供給される。ゲイン回路１０４７はR信号に０.３倍のゲインを乗じて出力する。

更に、ＲＡＷ信号１００は０挿入回路１０４３でＢ画素以外の画素信号値が０に置換され、V-LPF１０４４とH-LPF１０４５で補間演算された後、ゲイン回路１０４８に供給される。ゲイン回路１０４８はB信号に０.１倍のゲインを乗じて出力する。

ゲイン回路１０４７及び１０４８の出力信号は加算回路１０４９で加算され、さらに加算回路１０５０でゲイン回路１０４６の出力信号と加算されて、輝度信号Yhとなる。
その後、加算回路１０５２で第５の高周波信号AC_5と輝度信号Yhとが加算され、エッジ強調された最終輝度信号YhFinalが生成される。

以上説明したように、本実施形態では、Ｇ画素の信号のみから生成した第３の高周波信号の斜め領域についてはＲＧＢ全色画素の信号から生成した第１の高周波信号で置き換えるように加重加算した第４の高周波信号を生成する。そのため、従来のOG信号の斜めの解像度がSWY信号に置換され、大幅に解像度が向上する。

さらに、第４の高周波信号とは別に、Ｒ画素の信号のみを用いて第２の高周波信号を生成し、被写体が赤である尺度を示す赤色度が高いほど第２の高周波信号の重みを大きくして両者を加重加算して最終的な高周波信号を生成する。そのため、赤色被写体においても斜め領域の解像度が向上し、かつ、エッジ強調の効いた輝度信号を生成できる。

なお、第２の高周波信号と第４の高周波信号を加重加算する方法は、上記の方法に限られるものではない。被写体が赤である尺度を示す赤色度が高いほど第２の高周波信号に対して高いゲインをかけ、第４の高周波信号に、このゲインをかけた第２の高周波信号を加算することで、第２の高周波信号と第４の高周波信号を加重加算する構成としても構わない。赤い被写体であってもＧ画素からある程度の出力が得られるような分光特性の色フィルタを備えた撮像素子の出力からは、このような加重加算のほうが良好な輝度信号を生成できることがある。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。

上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。

また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

Claims (5)

1. 原色ベイヤー配列の色フィルタを備えた撮像素子から読み出した画像信号から、エッジ強調された輝度信号を画素毎に生成する輝度信号生成装置であって、
   前記画像信号から輝度信号を生成する輝度信号生成手段と、
   前記撮像素子の全色の画素の画像信号を用いて第１の高周波信号を生成する第１の高周波信号生成手段と、
   前記撮像素子のうち、赤色又は青色のいずれか一方の画素の画像信号を用いて第２の高周波信号を生成する第２の高周波信号生成手段と、
   前記画像信号から、着目画素が前記赤色又は青色のいずれか一方に近い色かどうかの尺度を示す指標を算出する算出手段と、
   前記指標に基づき、前記着目画素が前記赤色又は青色のいずれか一方に近い色であるほど、前記第２の高周波信号の割合が高くなるように前記第１の高周波信号と前記第２の高周波信号を加重加算して前記着目画素に対する高周波信号を生成する第１の加重加算手段と、
   前記輝度信号生成手段が前記着目画素に対して生成した輝度信号に、前記着目画素に対する高周波信号を加算して、前記着目画素に対するエッジ強調された輝度信号を生成する加算手段を有することを特徴とする輝度信号生成装置。
2. さらに、前記撮像素子の緑色画素の画像信号から第３の高周波信号を生成する第３の高周波信号生成手段と、
   前記着目画素が傾いた線に対応する度合いを検出する傾き検出手段と、
   前記着目画素が傾いた線に対応する度合いが高いほど、前記第３の高周波信号の割合が高くなるように前記第１の高周波信号と前記第３の高周波信号とを加重加算して第４の高周波信号を生成する第２の加重加算手段とをさらに有し、
   前記第１の加重加算手段が、前記第１の高周波信号に代えて前記第４の高周波信号と前記第２の高周波信号とを加重加算して前記着目画素に対する高周波信号を生成することを特徴とする請求項１記載の輝度信号生成装置。
3. 原色ベイヤー配列の色フィルタを備えた撮像素子と、
   請求項１又は請求項２に記載の輝度信号生成装置とを有することを特徴とする撮像装置。
4. 原色ベイヤー配列の色フィルタを備えた撮像素子から読み出した画像信号から、エッジ強調された輝度信号を画素毎に生成する輝度信号生成方法であって、
   輝度信号生成手段が、前記画像信号から輝度信号を生成する輝度信号生成工程と、
   第１の高周波信号生成手段が、前記撮像素子の全色の画素の画像信号を用いて第１の高周波信号を生成する第１の高周波信号生成工程と、
   第２の高周波信号生成手段が、前記撮像素子のうち、赤色又は青色のいずれか一方の画素の画像信号を用いて第２の高周波信号を生成する第２の高周波信号生成工程と、
   算出手段が、前記画像信号から、着目画素が前記赤色又は青色のいずれか一方に近い色かどうかの尺度を示す指標を算出する算出工程と、
   第１の加重加算手段が、前記指標に基づき、前記着目画素が前記赤色又は青色のいずれか一方に近い色であるほど、前記第２の高周波信号の割合が高くなるように前記第１の高周波信号と前記第２の高周波信号を加重加算して前記着目画素に対する高周波信号を生成する第１の加重加算工程と、
   加算手段が、前記輝度信号生成工程が前記着目画素に対して生成した輝度信号に、前記着目画素に対する高周波信号を加算して、前記着目画素に対するエッジ強調された輝度信号を生成する加算工程を有することを特徴とする輝度信号生成方法。
5. コンピュータに、請求項４記載の輝度信号生成方法の各工程を実行させるためのプログラム。

Images