JP3926019B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP3926019B2 JP3926019B2 JP01708398A JP1708398A JP3926019B2 JP 3926019 B2 JP3926019 B2 JP 3926019B2 JP 01708398 A JP01708398 A JP 01708398A JP 1708398 A JP1708398 A JP 1708398A JP 3926019 B2 JP3926019 B2 JP 3926019B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- color signal
- signal
- output
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、電子スチルカメラのような撮像装置における高画質化、小型化に関する。
【０００２】
【従来の技術】
従来、電子スチルカメラのような撮像装置においては、小型化のために１枚の撮像素子（以下、単板撮像素子と呼ぶ）を用いている。図１９は従来における撮像素子の代表的な色フィルタ配列の一例を示す図である。図において、ＲはＲの光を通過させる分光特性を持った色フィルタを有した撮像素子であり、同様にＢ、Ｇについてもそれぞれの色フィルタを有した撮像素子である。図１９に示されるように、ｎラインにはＧ、Ｒが２画素毎に配列され、ｎ＋１ラインではＢ、Ｇが２画素毎に配列されている。したがって、Ｒ、Ｂ信号は上下４画素毎（図中の斜線部）に、Ｇ信号は２画素毎に得られることとなり、撮像素子の画素数の各信号を得て解像度の向上を図るには、得られている画素信号より演算処理を行い撮像素子数のＲ、Ｇ、Ｂ信号を生成することとなる。
【０００３】
図２０は上記図１９に示された原色の色フィルタを用いた撮像素子において、撮像素子からの信号よりＲ、Ｇ、Ｂ信号を生成する従来の撮像装置の構成の一例を示すブロック図である。図２０において、１０１は撮像素子、１０２はフレームメモリ、１０３はフレームメモリ１０２における信号をＲ、Ｇ、Ｂそれぞれの信号に分離する分離手段、１０４は補間手段であり、上記撮像素子１０１は、図１９に示すように、画素Ｒ、Ｇ、Ｂから構成される。
【０００４】
次に、動作を説明する。撮像素子１０１から各画素信号Ｒ、Ｇ、Ｂを読み出し、フレームメモリ１０２に各画素信号を取り込む。前記フレームメモリ１０２に取り込まれた信号から、分離手段１０３により各信号を分離し、それぞれを補間手段１０４へと送る。補間手段１０４では、各Ｒ、Ｇ、Ｂ信号において得られていない画素の信号を隣接画素の信号より補間生成し、撮像素子すべての画素数のＲＧＢ信号を算出し出力される。
【０００５】
ここで、上記補間手段１０４における補間方法の一例について図２１により説明する。分離手段１０３により分離されたＲ、Ｇ、Ｂ信号は図２１（ａ）（ｂ）（ｃ）に示されるようになり、図中Ｇ、Ｒ、Ｂで示された画素が撮像素子１０２より得られた各信号であり、一方、空白の画素が得られていない画素信号である。Ｇ信号（図２１（ａ））については、垂直ｎライン、水平ｍ番目の画素位置の信号ｇ（以下、画素位置（ｎ，ｍ）と記す。）を補間するために、上下方向の隣接画素の差分（｜Ｇ（ｎ−１，ｍ）−Ｇ（ｎ＋１，ｍ）｜）と左右方向の隣接画素の差分（｜Ｇ（ｎ，ｍ−１）−Ｇ（ｎ，ｍ＋１）｜）を求め、この差分が少ない方向の画素信号により補間する。例えば、左右方向の隣接画素の差分が少ない場合は、ｇ（ｎ，ｍ）＝（Ｇ（ｎ，ｍ−１）＋Ｇ（ｎ，ｍ＋１））／２として算出し、上下方向の隣接画素の差分が少ない場合は、ｇ（ｎ，ｍ）＝（Ｇ（ｎ−１，ｍ）＋Ｇ（ｎ＋１，ｍ））／２として算出する。
【０００６】
ＲおよびＢ信号（図２１（ｂ）および（ｃ））については、まず水平方向の画素の補間を行い、次に垂直方向で補間を行う。例えば図２１（ｂ）のＲについては、垂直ｎ−１ライン、ｎ＋１ラインでの補間を行い、画素位置（ｎ−１，ｍ）（ｎ＋１，ｍ）の信号を、
ｒ（ｎ−１，ｍ）＝（Ｒ（ｎ−１，ｍ−１）＋Ｒ（ｎ−１，ｍ＋１））／２
ｒ（ｎ＋１，ｍ）＝（Ｒ（ｎ＋１，ｍ−１）＋Ｒ（ｎ＋１，ｍ＋１））／２
のように算出し、つぎにｎラインの画素を上下（ｎ−１およびｎ＋１ライン）の画素の補間により各水平画素位置ｍ−１、ｍ、ｍ＋１の信号を求める。Ｂについても同様な方法で得られる。
【０００７】
以上の補間方法により、補間手段１０４の出力において、撮像素子すべての画素数のＲ、Ｇ、Ｂ信号を算出することができる。
【０００８】
また、図２２は特開平６−１７８３０７号公報に示された上下２画素を混合して読み出す画素混合方式の撮像素子による従来の撮像装置の一例を示しており、上記の従来例と同様、撮像素子からの信号を水平走査３ラインから補間生成するよう構成する場合のブロック図を示したものである。同図において、１０５は撮像素子、１０６はフレームメモリ、１０７は信号選択回路、１０８は色補間回路、１０９はＲＧＢマトリクスである。撮像素子１０５は、図２２に示すように、４つの画素Ａ，Ｂ，Ｃ，Ｄ（以下、各画素信号に付けられた番号は画素位置を示す）から構成され、画素混合読み出しにより色信号が生成できるようにＡ、Ｂの画素が１ライン毎に交互に配列される。
【０００９】
次に、動作を説明する。撮像素子１０５から画素混合読み出しせずそのまま各画素信号を読み出し、フレームメモリ１０６に各画素信号を取り込む。前記フレームメモリ１０６に取り込まれた信号から、信号選択回路１０７により隣接した垂直３ラインの信号を選択し、色補間回路１０８へと送る。色補間回路１０８では、上記垂直３ラインの信号から各色信号Ａ、Ｂ、Ｃ、Ｄを補間生成した後、ＲＧＢマトリクス回路１０９によりＲＧＢ信号として出力される。
【００１０】
ここで、上記色補間回路１０８では各色信号を補間生成するのであるが、この補間方法について説明する。例えば、ｎ２ラインの色信号補間生成では、信号選択回路１０７により垂直３ラインｎ１，ｎ２，ｎ３の信号が選択されて色補間回路１０８へと送られており、ｎ２ラインにおいて得られている色信号はＣ、Ｄ画素であり、Ａ，Ｂの画素はない。したがって、Ａ，Ｂの画素については垂直方向でのｎ１、ｎ３ラインの信号より補間するのであるが、ｎ１、ｎ３ラインではＡ，Ｂの画素位置が異なるので、水平方向の補間係数を変えることとなる。いま、補間後の色信号のｎ２ラインの３番目の画素（ｎ２，３）に対し、補間前の水平５画素より各色信号Ａ′、Ｂ′、Ｃ′、Ｄ′を補間生成するとすると、例えば、Ｃ′、Ｄ′については、水平方向のみ中心に重みをつけて補間生成し、
Ｃ23′＝（Ｃ21／２＋ Ｃ23＋ Ｃ25／２）／２
Ｄ23′＝（Ｄ22＋ Ｄ24）／２
とする。一方、 Ａ′、Ｂ′に対しては、
Ａ23′＝（Ａ11／４＋ Ａ13／２＋ Ａ15／４ ）／２＋（Ａ31／４＋ Ａ33／２＋Ａ35／４）／２
Ｂ23′＝（Ｂ12／２＋ Ｂ14／２）／２＋（Ｂ32／２＋ Ｂ34／２）／２
なる式から水平画素に重みをつけ補間することができる。
【００１１】
次に、ｎ３ラインの色信号の補間生成では、Ａ、Ｂの画素はｎ３ラインから補間生成し、Ｃ、Ｄ画素についてはｎ２、ｎ４ラインから補間生成する。つまり、画素位置（３、３）において、例えば、
Ａ33′＝（Ａ32＋ Ａ34）／２
Ｂ33′＝（Ｂ31／２＋ Ｂ33＋ Ｂ35／２）／２
Ｃ33′＝（ Ｃ21／４＋ Ｃ23／２＋ Ｃ25／４）／２＋（Ｃ41／４＋ Ｃ43／２＋Ｃ45／４）／２
Ｄ33′＝（Ｄ22／２＋ Ｄ24／２）／２＋（Ｄ42／２＋ Ｄ44／２）／２
となる。
【００１２】
以下、Ａ，Ｂの画素配置がライン毎で入れ替わることを考慮し、ｎ４ラインでは、画素位置（４、３）に対し、
Ａ43′＝（Ａ31／４＋Ａ33／２＋Ａ35／４）／２＋（Ａ51／４＋Ａ53／２＋Ａ55／４）／２
Ｂ43′＝（Ｂ32／２＋ Ｂ34／２）／２＋（Ｂ52／２＋ Ｂ54／２）／２
Ｃ43′＝（Ｃ41／２＋ Ｃ43＋ Ｃ45／２）／２
Ｄ43′＝（Ｄ42＋ Ｄ44）／２
ｎ５ラインでは、画素位置（５、３）に対し、
Ａ53′＝（Ａ52＋ Ａ54）／２
Ｂ53′＝（Ｂ52＋ Ｂ54）／２
Ｃ53′＝（Ｃ41／４＋Ｃ43／２＋Ｃ45／４）／２＋（Ｃ61／４＋Ｃ63／２＋Ｃ65／４）／２
Ｄ53′＝（Ｄ42／２＋ Ｄ44／２）／２＋（Ｄ62／２＋Ｄ64／２）／２
となる。以後、上記ｎ２、ｎ３，ｎ４、ｎ５ラインでの補間方法を順次繰り返すことにより、色信号Ａ′、Ｂ′、Ｃ′、Ｄ′を生成することとなる。
【００１３】
したがって、垂直３ラインにより色信号を補間生成しているので、色信号の垂直解像度劣化の少ない撮像素子の画素数の信号を得られる。なお、上記では、４つの色信号をＡ，Ｂ，Ｃ，Ｄとして説明しているが、これは、例えば、Ｍｇ（マゼンダ）、Ｇ（グリーン）、Ｃｙ（シアン）、Ｙｅ（イエロー）の４色が考えられ、また、色補間回路１０８での補間係数については色信号を補間生成できる係数であればよい。
【００１４】
【発明が解決しようとする課題】
従来の撮像装置は、水平方向の隣接画素と上下のラインにおける画素信号による補間によって色信号を生成するよう構成されており、得られた色信号からの画像におけるエッジ等局所的な領域での空間周波数の変化を考慮しておらず、そのため、偽色、偽輪郭が生じるという問題点があった。
【００１５】
この発明は上記のような問題点を解消するためになされたもので、垂直２行水平２列の上下４画素において、第１の色信号に対する分光感度特性を持つ第１の色フィルタと第２の色信号に対する分光感度特性を持つ第２の色フィルタとが垂直１行目に配列され、垂直２行目には上記垂直１行目における第１の色フィルタが配列された画素位置と同一の列に第３の色信号に対する分光感度特性を持つ第３の色フィルタが配列され、第２の色フィルタと同一の列に第１の色信号に対する分光感度特性を持つ第１の色フィルタが配列されており、上記上下４画素の色フィルタが順次垂直および水平方向に繰り返し配列される撮像素子を備えた撮像装置において、上記第１の色フィルタの位置における第１の色信号の所定画素位置におけるエッジ成分に基づき、第１の色信号における所定画素位置での信号を算出して撮像素子の画素数の信号を復元し、復元した第１の色信号と上記エッジ成分に基づき、第２および第３の色信号を算出して撮像素子の画素数分の信号を復元することにより、偽色、偽輪郭の軽減された画像を得る撮像装置を得ることを目的とする。
【００１６】
【課題を解決するための手段】
この発明に係る撮像装置は、垂直２行水平２列の上下４画素において、第１の色信号に対する分光感度特性を持つ第１の色フィルタと第２の色信号に対する分光感度特性を持つ第２の色フィルタとが第１の行に配列され、第２の行においては上記第１の行における第１の色フィルタが配列された画素位置と同一の列に第３の色信号に対する分光感度特性を持つ第３の色フィルタが配列され、第２の色フィルタと同一の列に上記第１の色フィルタと同一の第１の色信号に対する分光感度特性を持つ第１の色フィルタが配列されており、上記上下４画素の色フィルタが順次垂直および水平方向に繰り返し配列される撮像素子を備えた撮像装置において、上記第１の色フィルタの位置における第１の色信号の所定画素位置の周辺画素信号に基づき、所定画素位置におけるエッジ成分を判定するエッジ判定手段と、前記エッジ判定手段の出力に基づき、上記第１、第２、第３の色フィルタの位置における第１、第２および第３の色信号により第１の色信号における上記所定画素位置での信号を算出する第１の算出手段と、上記エッジ判定手段の出力に基づき、第１の算出手段の出力と、第２および第３の色信号により第２および第３の色信号における信号を算出する第２の算出手段とを備え、上記撮像素子における画素数の第１、第２、第３の色信号を得るものである。
【００１７】
また、この発明に係る撮像装置は、前記エッジ判定手段が、上記第１の色信号の所定画素位置における左右の隣接画素の差の絶対値を算出して水平方向のエッジ成分を検出する水平方向エッジ検出手段と、第１の色信号の所定画素位置における上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する垂直方向エッジ検出手段と、前記水平方向エッジ検出手段と垂直方向エッジ検出手段からの出力に基づき、前記所定画素における水平または垂直方向のエッジ成分を判定する判定手段を備えるものである。
【００１８】
また、この発明に係る撮像装置は、前記エッジ判定手段における判定手段が、上記水平方向エッジ検出手段からの出力または上記垂直方向エッジ検出手段からの出力が予め定めた値より大きい場合は、上記所定画素の周辺画素にエッジ成分を検出したとし、さらに、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より大きい場合は垂直方向により相関があり、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より小さい場合は水平方向により相関があると判定するとともに、上記水平方向エッジ検出手段および垂直方向エッジ検出手段からの出力がともに予め定めた値より小さい場合にはエッジ成分を検出しないと判定するものである。
【００１９】
また、この発明に係る撮像装置は、前記第１の算出手段が、第２の色信号Ｂのある所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対し水平方向のローパスフィルタを介した値Ａｈｌｐｆ（ｌ、ｍ ）、Ｂｈｌｐｆ（ｌ、ｍ）を算出し、前記水平方向ローパスフィルタからの出力信号であるＡｈｌｐｆ（ｌ、ｍ）とＢｈｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｈｌｐｆ（ｌ、ｍ）／Ｂｈｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の画素位置においても同様に第１の色信号Ａにおける画素値を算出する水平方向信号算出手段と、上記所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対し垂直方向のローパスフィルタを介した値Ａｖｌｐｆ（ｌ、ｍ）、Ｂｖｌｐｆ（ｌ、ｍ）を算出し、前記垂直方向ローパスフィルタからの出力信号であるＡｖｌｐｆ （ｌ、ｍ）とＢｖｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｖｌｐｆ（ｌ、ｍ）／Ｂｖｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の画素位置においても同様に第１の色信号Ａにおける画素値を算出する垂直方向信号算出手段と、第１の色信号Ａにおける上記所定画素ｌ行ｍ列の位置での上下左右の隣接画素の平均値よりｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を算出する平均値算出手段とを備え、上記エッジ判定手段の出力に基づき、上記水平方向信号算出手段の出力または垂直方向信号算出手段出力、または、平均値算出手段からの出力より選択し、上記所定画素ｌ行ｍ列における第１の色信号Ａの画素値Ａ（ｌ、ｍ）を得て、撮像素子における画素数の第１の色信号を得るものである。
【００２０】
また、この発明に係る撮像装置は、前記第１の算出する手段が、上記エッジ判定手段の出力が所定画素ｌ行ｍ列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第１の色信号を得るものである。
【００２１】
また、この発明に係る撮像装置は、上記第２の算出手段が、所定画素ｌ行ｍ列の位置において、上記第１の算出手段からの出力Ａに対して水平方向のローパスフィルタを介した値Ａ１ｈｌｐｆ（ｌ、ｍ）と垂直方向ローパスフィルタを介した値Ａ１ｖｌｐｆ（ｌ、ｍ）を算出し、第２の色信号Ｂに対し水平方向のローパスフィルタを介した値Ｂ１ｈｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対し垂直方向のローパスフィルタを介した値Ｃ１ｖｌｐｆ（ｌ、ｍ）（または、第２の色信号Ｂに対し垂直方向のローパスフィルタを介した値Ｂ１ｖｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対して水平方向のローパスフィルタを介した値Ｃ１ｈｌｐｆ（ｌ、ｍ ））とを算出し、Ａ１ｈｌｐｆ（ｌ、ｍ）とＢ１ｈｌｐｆ（ｌ、ｍ）との比（またはＣ１ｈｌｐｆ（ｌ、ｍ）との比）と、Ａ１ｖｌｐｆ（ｌ、ｍ）とＣ１ｖｌｐｆ（ｌ、ｍ）との比（または、Ｂ１ｖｌｐｆ（ｌ、ｍ）との比）と、上記第１の算出手段からの出力Ａにおける所定画素ｌ行ｍ列での画素値Ａ（ｌ、ｍ）から、ｌ行ｍ列の第２の色信号Ｂと第３の色信号Ｃにおける画素値Ｂ（ｌ、ｍ）とＣ（ｌ、ｍ）を、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝、（または、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）× ｛Ｂ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝）により算出する信号算出手段を備えるとともに、上記ｌ行ｍ列の位置とは異なる所定画素ｘ行ｙ列の位置において、上記第１の算出手段からの出力Ａに対し水平方向のローパスフィルタを介した値Ａ２ｈｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第２の色信号Ｂに対し水平方向のローパスフィルタを介した値Ｂ２ｈｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｈｌｐｆ（ｘ、ｙ）とＢ２ｈｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｈｌｐｆ（ｘ、ｙ）／Ａ２ｈｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃにおいても同様にＣ信号を算出する水平方向信号算出手段と、上記第１の算出手段からの出力Ａに対し垂直方向のローパスフィルタを介した値Ａ２ｖｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第２の色信号Ｂに対し垂直方向のローパスフィルタを介した値Ｂ２ｖｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｖｌｐｆ（ｘ、ｙ）とＢ２ｖｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｖｌｐｆ （ｘ、ｙ）／Ａ２ｖｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃにおいても同様にＣ信号を算出する垂直方向信号算出手段と、上記信号算出手段からの出力における第２、第３の色信号での所定画素ｘ行ｙ列の位置において、斜めに隣接する画素の平均値を算出する平均値算出手段とを備え、上記エッジ判定手段の出力に基づき、前記水平方向信号算出手段、垂直方向信号算出手段、平均値算出手段からのそれぞれの出力から選択して、上記所定画素ｘ行ｙ列での第２、第３の色信号を得て、撮像素子における画素数の第２、第３の色信号を得るものである。
【００２２】
さらに、この発明に係る撮像装置は、前記第２の算出手段が、上記エッジ判定手段の出力が所定画素ｘ行ｙ列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第２、第３の色信号を得るものである。
【００２３】
【発明の実施の形態】
以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１はこの発明の実施の形態１による電子スチルカメラにおける撮像素子の色フィルタ配列の一例を示す図であり、原色の色フィルタを用い、各光電変換素子を独立に呼び出す方式の撮像素子を示している。図において、Ｇは垂直方向２ｉ（ｉ＝０、１、２、…）、水平方向２ｊ（ｊ＝０、１、２、…）の画素位置（以下、画素位置（２ｉ，２ｊ）のように記す。）と、画素位置（２ｉ＋１、２ｊ＋１）にあり、Ｇ信号を通過させる分光特性を持った第１の色フィルタ、Ｒは画素位置（２ｉ、２ｊ＋１）にあり、Ｒ信号を通過させる分光特性を持った第２の色フィルタ、Ｂは画素位置（２ｉ＋１、２ｊ）にあり、Ｂ信号を通過させる分光特性を持った第３の色フィルタである。図１に示されるように、Ｒ、Ｂ信号は上下４画素毎（図中の斜線部）に、Ｇ信号は２画素毎に得られることとなり、この上下４画素が垂直水平方向に繰り返し配列されている。
【００２４】
図２は上記図１に示された色フィルタ配列の撮像素子をもつ実施の形態１による電子スチルカメラにおける撮像装置の構成を示すブロック図である。図において、１は図１に示す色フィルタ配列で構成された撮像素子、２はＡ／Ｄコンバータ、３はフレームメモリ、４はＲ、Ｇ、Ｂの各画素信号を分離しそれぞれの信号を出力する分離手段、５はＧ信号における所定画素でのエッジを判定する第１のエッジ判定手段、６は上記分離手段４からの各信号および前記第１のエッジ判定手段５からの出力に基づき、撮像素子１での総画素数のＧ信号を得るようＧの復元を行うＧ成分復元手段である。７は上記Ｇ成分復元手段６の出力である総画素数の信号を持つ復元後のＧ信号と、上記分離手段４からのＲ、Ｂ信号からＲ、Ｂにおける画素位置（２ｉ、２ｊ）および（２ｉ＋１，２ｊ＋１）での画素を復元するための第１のＲＢ成分復元手段、８は上記Ｇ成分復元手段６からのＧ信号における所定画素でのエッジを判定する第２のエッジ判定手段、９は上記第１のＲＢ成分復元手段７からのＲ、Ｂ信号と上記第２のエッジ判定手段８からの出力に基づき、Ｒにおける画素位置（２ｉ＋１，２ｊ）での画素Ｒ、およびＢにおける画素位置（２ｉ，２ｊ＋１）での画素Ｂを復元するための第２のＲＢ成分復元手段である。
【００２５】
また、図３は上記第１のエッジ判定手段５およびＧ成分復元手段６の一構成例を示すブロック図である。図において、１１はＧ信号の所定画素における左右の画素の差分つまりエッジ成分を検出する水平方向エッジ検出手段、１２はＧ信号の所定画素における上下画素の差分であるエッジ成分を検出する垂直方向エッジ検出手段、１３は前記水平および垂直方向エッジ検出手段１１および１２から出力により、水平垂直方向での周辺画素での信号レベルの変化を判定し、その判定結果を出力する判定手段であり、水平方向エッジ検出手段１１、垂直方向エッジ検出手段１２および判定手段１３により第１のエッジ判定手段５を構成する。１４はＧ信号の所定画素での上下左右の画素の平均値を算出する平均値算出手段、１５〜１７は水平方向のローパスフィルタ、１８はＲ信号と水平方向ローパスフィルタ１５の位置における出力信号Ｇｈｌｐｆおよび水平方向ローパスフィルタ１６の位置における出力信号Ｒｈｌｐｆから演算を行い、水平方向に相関をもつ画素位置（２ｉ、２ｊ＋１）でのＧ信号を出力する演算手段、１９はＢ信号と水平方向ローパスフィルタ１５の位置における出力信号Ｇｈｌｐｆおよび水平方向ローパスフィルタ１７の位置における出力信号Ｂｈｌｐｆにより演算を行い、水平方向に相関をもつ画素位置（２ｉ＋１、２ｊ）でのＧ信号を出力する演算手段である。２０〜２２は垂直方向のローパスフィルタ、２３はＲ信号と垂直方向ローパスフィルタ２０の位置における出力信号Ｇｖｌｐｆおよび垂直方向ローパスフィルタ２１の位置における出力信号Ｒｖｌｐｆにより演算を行い、垂直方向に相関をもつ画素位置（２ｉ、２ｊ＋１）でのＧ信号を出力する演算手段、２４はＢ信号と垂直方向ローパスフィルタ２０の位置における出力信号Ｇｖｌｐｆおよび垂直方向ローパスフィルタ２２の位置における出力信号Ｂｖｌｐｆにより演算を行い、垂直方向に相関をもつ画素位置（２ｉ＋１、２ｊ）でのＧ信号を出力する演算手段である。２５は切り換え手段であり、上記第１のエッジ判定手段５からの周辺画素の信号レベル変化を判定した結果と画素位置に基づき、Ｇの画素信号を上記平均値算出手段１４、演算手段１８、１９および演算手段２３、２４、分離手段４からの信号より、切り換え選択する。
【００２６】
また、図４は第２のエッジ判定手段８および第２のＲＢ成分復元手段９の一構成例を示すブロック図である。図において、第２のエッジ判定手段８は、Ｇ信号の所定画素における左右の画素の差分を検出する水平方向エッジ検出手段３０、および上下画素の差分を検出する垂直方向エッジ検出手段３１、前記水平および垂直方向エッジ検出手段３０および３１からの出力により、水平垂直方向での周辺画素での信号レベルの変化を判定し、Ｒ信号の画素位置（２ｉ＋１，２ｊ）に対する判定結果とＢ信号の画素位置（２ｉ＋１，２ｊ）に対する判定結果を出力する判定手段３２により構成される。Ｒにおける画素位置（２ｉ＋１，２ｊ）での画素Ｒ、およびＢにおける画素位置（２ｉ，２ｊ＋１）での画素Ｂを復元するための第２のＲＢ成分復元手段９においては、３３はＲ信号での斜め方向に隣接する画素の平均値を算出するＲ平均値算出手段、３４はＧ成分復元手段６からのＧ信号と第１のＲＢ復元手段７からのＲ信号により、Ｒにおける画素位置（２ｉ＋１，２ｊ）での画素信号を水平方向の隣接画素により演算するＲ水平方向演算手段、３５は垂直方向の隣接画素により、前記と同様にして画素位置（２ｉ＋１，２ｊ）での画素信号を演算するＲ垂直方向演算手段、３６は上記第２のエッジ判定手段８からの判定結果に基づき、画素位置に応じＲ画素を切り換えるＲ切り換え手段であり、３７はＢ信号での斜め方向に隣接する画素の平均値を算出するＢ平均値算出手段、３８はＧ成分復元手段６からのＧ信号と第１のＲＢ復元手段７からのＢ信号により、Ｂにおける画素位置（２ｉ，２ｊ＋１）での画素信号を水平方向の隣接画素により演算するＢ水平方向演算手段、３９は垂直方向の隣接画素により、前記と同様にして画素位置（２ｉ，２ｊ＋１）での画素信号を演算するＢ垂直方向演算手段、４０は上記第２のエッジ判定手段８からの判定結果に基づき、画素位置に応じＢ画素を切り換えるＢ切り換え手段である。
【００２７】
次に動作について説明する。撮像素子１から各画素信号Ｒ、Ｇ、Ｂを読み出し、その出力はＡ／Ｄコンバータ２によりＡ／Ｄ変換され、フレームメモリ３に入力される。フレームメモリ３に入力された信号から、分離手段４により各Ｒ、Ｇ、Ｂ信号を分離し、Ｇ信号は第１のエッジ判定手段５とＧ成分復元手段６へと送られ、Ｒ、Ｂ信号はＧ成分復元手段６および第１のＲＢ復元手段７へと送られる。第１のエッジ判定手段５ではＧ信号における所定画素位置でのエッジ成分を判定して判定結果をＧ成分復元手段６へと送り、Ｇ成分復元手段６では上記第１のエッジ判定手段５からの判定結果の基づき、撮像素子１での総画素数のＧ信号を得るようＧ成分の画素信号の復元を行うのであるが、この動作を図３に従って説明する。
【００２８】
第１のエッジ判定手段５において、Ｇ信号は水平方向エッジ検出手段１１および垂直方向エッジ判定手段１２へと入力される。いま、撮像素子１におけるＧ成分は図１にあるように画素位置（２ｉ、２ｊ）と（２ｉ＋１、２ｊ＋１）で得られており、撮像素子の画素数のＧ信号を得るために、画素位置（２ｉ、２ｊ＋１）と（２ｉ＋１、２ｊ）の画素での信号を求めることとなる。図５は分離手段４からのそれぞれの画素位置でのＧ信号を示す図であり、図中Ｇは撮像素子１からのＧ信号を、ｇは信号が得られていない画素を示している。よって、水平方向エッジ検出手段１１および垂直方向エッジ判定手段１２では、画素位置（２ｉ、２ｊ＋１）および（２ｉ＋１、２ｊ）（図５中斜線で示すｇ）での左右および上下の画素の差分つまりエッジ成分を検出する。水平方向エッジ検出手段１１では、上記画素位置での左右の画素の差の絶対値ΔＨを得て、これを判定手段１３へと出力し、垂直方向エッジ検出手段１２では、上下の画素の差の絶対値ΔＶを得て、判定手段１３へと出力する。例えば、画素位置（２ｉ、２ｊ＋１）においては、水平方向エッジ検出手段１１で、
ΔＨ＝｜Ｇ（２ｉ、２ｊ）−Ｇ（２ｉ、２ｊ＋２）｜ （１）
を算出し、垂直方向エッジ検出手段１２で
ΔＶ＝｜Ｇ（２ｉ−１、２ｊ＋１）−Ｇ（２ｉ＋１、２ｊ＋１）｜ （２）
を算出し、上記ΔＨ、ΔＶを判定手段１３へと送る。以下、この画素の差の絶対値をエッジ成分と呼ぶ。
【００２９】
上記判定手段１３では、水平方向でのエッジ成分ΔＨおよび垂直方向エッジ成分ΔＶにより、水平垂直方向での周辺画素での信号レベルの変化を判定し、その判定結果を示す信号ｅｄ１を出力する。つまり、ΔＨとΔＶの両方が予め定めた値ｔｈ１以下の場合は、周辺画素での信号レベルの変化がないと判定し、例えばｅｄ１＝１として出力する。一方、ΔＨまたはΔＶが予め定めた値ｔｈ１より大きい場合は、その画素においてエッジ成分があると判定し、さらに、ΔＨ＞ΔＶの場合は垂直方向に相関が高いと判定して例えばｅｄ１＝２を出力し、ΔＨ≦ΔＶの場合は水平方向に相関が高いと判定して例えばｅｄ１＝３を出力する。なお、Ｇが得られている画素位置（２ｉ、２ｊ）、（２ｉ＋１、２ｊ＋１）においてはエッジ成分を判定する必要はなく、判定手段１３からは例えばｅｄ１＝０を出力するものとする。判定手段１３の出力ｅｄ１はＧ成分復元手段６における切り換え手段２５へと送られる。
【００３０】
次に、Ｇ成分復元手段６において、Ｇ信号は平均値算出手段１４および水平方向ローパスフィルタ１５、垂直方向ローパスフィルタ２０へと入力される。平均値算出手段１４では、画素位置（２ｉ、２ｊ＋１）および（２ｉ＋１、２ｊ）において上下左右４画素の値の平均値ｇａを算出し、切り換え手段２５へと送る。水平方向ローパスフィルタ１５からはＧの水平方向のローパスフィルタを介した値Ｇｈｌｐｆが、垂直方向ローパスフィルタ２０からはＧの垂直方向のローパスフィルタを介した値Ｇｖｌｐｆが出力され、例えば画素位置（２ｉ、２ｊ＋１）では次式のように算出される。
Ｇｈｌｐｆ＝｛Ｇ（２ｉ、２ｊ）＋ Ｇ（２ｉ、２ｊ−２）
＋Ｇ（２ｉ、２ｊ＋２）＋Ｇ（２ｉ、２ｊ＋４）｝／４ （３）
Ｇｖｌｐｆ＝｛Ｇ（２ｉ−３、２ｊ＋１）＋ Ｇ（２ｉ−１、２ｊ＋１）
＋Ｇ（２ｉ＋１、２ｊ＋１）＋Ｇ（２ｉ＋３、２ｊ＋１）｝／４ （４）
上記水平方向ローパスフィルタ１５の出力Ｇｈｌｐｆは演算手段１８および１９へ、垂直方向ローパスフィルタ２０の出力Ｇｖｌｐｆは演算手段２３および２４へと送られる。
【００３１】
一方、Ｒ信号は水平方向ローパスフィルタ１６、垂直方向ローパスフィルタ２１へと入力されて、水平および垂直方向のローパスフィルタを介した値Ｒｈｌｐｆ、Ｒｖｌｐｆを出力し、Ｂ信号については水平方向ローパスフィルタ１７、垂直方向ローパスフィルタ２２へと入力され、それぞれ水平および垂直方向のローパスフィルタを介した値Ｂｈｌｐｆ、Ｂｖｌｐｆを出力する。ここで、撮像素子１におけるＲ成分は図１にあるように画素位置（２ｉ、２ｊ＋１）で得られ、分離手段４からのそれぞれの画素位置でのＲ信号は図６（ａ）示されるようになり、また、Ｂ成分は画素位置（２ｉ＋１、２ｊ）で得られ、分離手段４からの各画素位置でのＢ信号は図６（ｂ）に示されるようになる。なお、空白の画素は撮像素子により信号を得られていない画素である。したがって、画素位置（２ｉ、２ｊ＋１）ではＲ信号の水平および垂直方向ローパスフィルタ１６および２１を介した値を例えば次式により得る。
また、画素位置（２ｉ＋１、２ｊ）ではＢ信号の水平および垂直方向ローパスフィルタ１７および２２を介した値を例えば次式により得る。
【００３２】
なお、上記式（３）〜（８）は各水平方向ローパスフィルタおよび垂直方向ローパスフィルタ出力の算出例であり、フィルタのタップ数および係数は上記式（３）〜（８）に限るものではなく、他のタップ数および係数でもよい。
【００３３】
そして、上記水平方向ローパスフィルタ１６での出力Ｒｈｌｐｆは演算手段１８へと送られ、演算手段１８へはＲ信号と水平方向ローパスフィルタ１５の出力信号Ｇｈｌｐｆも入力されており、画素位置（２ｉ、２ｊ＋１）での水平方向の相関をもつＧ信号ｇｈ１（２ｉ、２ｊ＋１）を次式
ｇｈ１（２ｉ、２ｊ＋１）＝Ｒ（２ｉ、２ｊ＋１）×（Ｇｈｌｐｆ／Ｒｈｌｐｆ） （９）
により算出し、切り換え手段２５へと送る。また、垂直方向ローパスフィルタ２１での出力Ｒｖｌｐｆは演算手段２３へと送られ、演算手段２３へはＲ信号と垂直方向ローパスフィルタ２０の出力信号Ｇｖｌｐｆも入力されており、画素位置（２ｉ、２ｊ＋１）での垂直方向に相関をもつＧ信号ｇｖ１（２ｉ、２ｊ＋１）を次式
ｇｖ１（２ｉ、２ｊ＋１）＝Ｒ（２ｉ、２ｊ＋１）×（Ｇｖｌｐｆ／Ｒｖｌｐｆ） （１０）
により算出し、切り換え手段２５へと送る。
【００３４】
同様に、上記水平方向ローパスフィルタ１７での出力Ｂｈｌｐｆは演算手段１９へと送られ、演算手段１９へはＢ信号と水平方向ローパスフィルタ１５の出力信号Ｇｈｌｐｆも入力されており、画素位置（２ｉ＋１、２ｊ）での水平方向の相関をもつＧ信号ｇｈ２（２ｉ＋１、２ｊ）を次式
ｇｈ２（２ｉ＋１、２ｊ）＝Ｂ（２ｉ＋１、２ｊ）×（Ｇｈｌｐｆ／Ｂｈｌｐｆ） （１１）
により算出し、切り換え手段２５へと送る。また、垂直方向ローパスフィルタ２２での出力Ｂｖｌｐｆは演算手段２４へと送られ、演算手段２４へはＢ信号と垂直方向ローパスフィルタ２０の出力信号Ｇｖｌｐｆも入力されており、画素位置（２ｉ＋１、２ｊ）での垂直方向に相関をもつＧ信号ｇｖ２（２ｉ＋１、２ｊ）を次式
ｇｖ２（２ｉ＋１、２ｊ）＝Ｂ（２ｉ＋１、２ｊ）×（Ｇｖｌｐｆ／Ｂｖｌｐｆ） （１２）
により算出し、切り換え手段２５へと送る。
【００３５】
上記式（９）〜（１２）による算出方式は、局所的領域での色の変化が少ないことを前提としており、つまり、局所的な領域での各色信号の比はほぼ等しいことにより、水平方向または垂直方向における局所的な領域での各色信号の比はＲ、Ｇ、Ｂの水平方向または垂直方向のローパスフィルタを介した値の比で与えられる。
【００３６】
切り換え手段２５では、第１のエッジ判定手段５における判定手段１３からの周辺画素の信号レベル変化を判定した結果ｅｄ１と画素位置に基づき、Ｇの画素信号を上記平均値算出手段１４、演算手段１８、１９および演算手段２３、２４、分離手段４からの信号より選択し切り換える。つまり、判定手段１３による出力信号ｅｄ１が‘２’を示す場合、すなわち、その画素においてエッジ成分があると判定されるが、ΔＨ＞ΔＶで垂直方向に相関が高いと判定される場合は、各画素位置での垂直方向に相関を持つＧを出力する演算手段の信号を選択する。判定手段１３による出力信号ｅｄ１が‘３’を示す場合、すなわち、その画素においてエッジ成分があると判定されるが、ΔＨ≦ΔＶで水平方向に相関が高いと判定される場合には、各画素位置での水平方向に相関を持つＧを出力する演算手段の信号を選択する。さらに、判定手段１３による出力信号ｅｄ１が‘１’を示す場合には、ΔＨとΔＶの両方が予め定めた値ｔｈ１以下であり、周辺画素での信号レベルの変化がないと判定されるため、周波数の変化を考慮する必要がなく、平均値算出手段１４によるＧ信号ｇａを選択する。
【００３７】
すなわち、切り換え手段２５において、画素位置（２ｉ、２ｊ＋１）のＧ信号ｇ（２ｉ、２ｊ＋１）の場合は、判定手段１３からの出力ｅｄ１＝１では平均値算出手段１４からのＧ信号ｇａを、ｅｄ＝２の場合は演算手段２３からのＧ信号ｇｖ１を、ｅｄ＝３の場合は演算手段１８からのＧ信号ｇｈ１を選択し、一方、画素位置（２ｉ＋１、２ｊ）のＧ信号ｇ（２ｉ＋１、２ｊ）の場合は、判定手段１３からの出力ｅｄ１＝１では平均値算出手段１４からのＧ信号ｇａを、ｅｄ＝２の場合は演算手段２４からのＧ信号ｇｖ２を、ｅｄ＝３の場合は演算手段１９からのＧ信号ｇｈ２を選択する。なお、Ｇが得られている画素位置（２ｉ、２ｊ）、（２ｉ＋１、２ｊ＋１）においては、判定手段１３からは例えばｅｄ１＝０が出力されており、このときは分離手段４からのＧ信号をそのまま出力すればよい。
【００３８】
したがって、Ｇ成分復元手段６からは画素位置（２ｉ、２ｊ）、（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）、（２ｉ＋１、２ｊ＋１）それぞれの画素でのＧ信号が出力され、つまり、撮像素子の画素数分の解像度のＧ信号を得られる。このＧ成分復元手段６からの出力Ｇ０は次に、第１のＲＢ成分復元手段７、および第２のエッジ判定手段８と第２のＲＢ成分復元手段９へと送られる。
【００３９】
次に、第１のＲＢ成分復元手段７では、分離手段４からのＲ、Ｂ信号（図６ （ａ）および（ｂ））と上記Ｇ成分復元手段６からの全画素の信号をもつＧ信号Ｇ０により、Ｒ、Ｂ信号それぞれにおける画素位置（２ｉ、２ｊ）および（２ｉ＋１，２ｊ＋１）での画素を復元生成する。図７（ａ）、（ｂ）は第１のＲＢ成分復元手段７におけるＲ、Ｂ信号の算出を説明するための各画素のＲ、Ｂを示す図であり、図中ｒおよびｂは第１のＲＢ成分復元手段７において復元生成されるＲ、Ｂ画素信号を示している。Ｒ信号での画素位置（２ｉ、２ｊ）においては、水平方向に隣接するの２ｉラインの画素が撮像素子１より得られており、また、Ｇ信号はＧ成分復元手段６により全画素復元されている（図５）。よって、画素位置（２ｉ、２ｊ）において、Ｇ、Ｒ信号に対して水平方向のローパスフィルタを介した値Ｇ１ｈｌｐｆ、Ｒ１ｈｌｐｆを例えば、
により算出し、このＧ１ｈｌｐｆとＲ１ｈｌｐｆの比と画素Ｇ（２ｉ、２ｊ）により、画素位置（２ｉ、２ｊ）でのＲ信号ｒ（２ｉ、２ｊ）を次式により算出する。
ｒ（２ｉ、２ｊ）＝ Ｇ（２ｉ、２ｊ）×（Ｒ１ｈｌｐｆ／Ｇ１ｈｌｐｆ）
＝Ｇ（２ｉ、２ｊ）×（ Ｒ（２ｉ、２ｊ−１）＋Ｒ（２ｉ、２ｊ＋１））
／（ｇ（２ｉ、２ｊ−１）＋ｇ（２ｉ、２ｊ＋１）） （１５）
【００４０】
また、画素位置（２ｉ＋１、２ｊ＋１）においては、垂直方向に隣接する２ｊ＋１列の画素が撮像素子１より得られており、また、Ｇ信号はＧ成分復元手段６により全画素復元されているので、画素位置（２ｉ＋１、２ｊ＋１）において、Ｇ、Ｒ信号に対して垂直方向のローパスフィルタを介した値Ｇ１ｖｌｐｆ、Ｒ１ｖｌｐｆを例えば、
により算出し、このＧ１ｖｌｐｆとＲ１ｖｌｐｆの比と画素Ｇ（２ｉ＋１、２ｊ＋１）により、画素位置（２ｉ＋１、２ｊ＋１）でのＲ信号ｒ（２ｉ＋１、２ｊ＋１）を次式により算出する。
ｒ（２ｉ＋１、２ｊ＋１）＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｒ１ｖｌｐｆ／Ｇ１ｖｌｐｆ）
＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｒ（２ｉ、２ｊ＋１）＋Ｒ（２ｉ＋２、２ｊ＋１））
／（ｇ（２ｉ、２ｊ＋１）＋ｇ（２ｉ＋２、２ｊ＋１）） （１８）
【００４１】
同様に、Ｂ信号については、画素位置（２ｉ、２ｊ）においては、垂直方向に隣接する２ｊ列の画素が撮像素子１より得られており、また、Ｇ信号はＧ成分復元手段６により全画素復元されている（図５）。よって、画素位置（２ｉ、２ｊ）において、Ｇ、Ｂ信号に対して垂直方向のローパスフィルタを介した値Ｇ１ｖｌｐｆ、Ｂ１ｖｌｐｆを例えば、
により算出し、このＧ１ｖｌｐｆとＢ１ｖｌｐｆの比と画素Ｇ（２ｉ、２ｊ）により、画素位置（２ｉ、２ｊ）でのＢ信号ｂ（２ｉ、２ｊ）を次式により算出する。
ｂ（２ｉ、２ｊ）＝ Ｇ（２ｉ、２ｊ）×（Ｂ１ｖｌｐｆ／Ｇ１ｖｌｐｆ）
＝Ｇ（２ｉ、２ｊ）×（ Ｂ（２ｉ−１、２ｊ）＋Ｂ（２ｉ＋１、２ｊ））
／（ｇ（２ｉ−１、２ｊ）＋ｇ（２ｉ＋１、２ｊ）） （２１）
【００４２】
また、画素位置（２ｉ＋１、２ｊ＋１）においては、水平方向に隣接するの２ｉ＋１ラインの画素が撮像素子１より得られており、また、Ｇ信号はＧ成分復元手段６により全画素復元されている。よって、画素位置（２ｉ＋１、２ｊ＋１）において、Ｇ、Ｂ信号に対して水平方向のローパスフィルタを介した値Ｇ１ｈｌｐｆ、Ｂ１ｈｌｐｆを例えば、
により算出し、このＧ１ｈｌｐｆとＢ１ｈｌｐｆの比と画素Ｇ（２ｉ＋１、２ｊ＋１）により、画素位置（２ｉ＋１、２ｊ＋１）でのＢ信号ｂ（２ｉ＋１、２ｊ＋１）を次式により算出する。
ｂ（２ｉ＋１、２ｊ＋１）＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｂ１ｈｌｐｆ／Ｇ１ｈｌｐｆ）
＝Ｇ（２ｉ＋１、２ｊ＋１）×（ Ｂ（２ｉ＋１、２ｊ）＋Ｂ（２ｉ＋１、２ｊ＋２））
／（ｇ（２ｉ＋１、２ｊ）＋ｇ（２ｉ＋１、２ｊ＋２）） （２４）
【００４３】
なお、上記式（１５）、（１８）、（２１）、（２４）は上記Ｇでの復元方法と同様局所的領域での色信号の変化が少ないことを前提としており、つまり、各信号の比は局所的な領域ではほぼ等しいということによる。また、式（１３）〜（２４）におけるＧ１ｈｌｐｆ、Ｇ１ｖｌｐｆ、Ｒ１ｈｌｐｆ、Ｒ１ｖｌｐｆ、Ｂ１ｈｌｐｆ、Ｂ１ｖｌｐｆの算出式は、水平および垂直方向のローパスフィルタ出力の算出例であり、フィルタのタップ数および係数は上記に限るものではなく、他のタップ数および係数であってもよい。そして、第１のＲＢ成分復元手段７からは図７に示すＲ、ｒおよびＢ、ｂの画素信号Ｒ１およびＢ１が出力されて、第２のＲＢ成分復元手段９へと送られる。
【００４４】
次に、第２のＲＢ成分復元手段９および第２のエッジ判定手段８の動作について図４により説明する。第２のエッジ判定手段８において、Ｇ成分復元手段６から出力されたＧ信号Ｇ０は水平方向エッジ検出手段３０および垂直方向エッジ判定手段３１へと入力され、画素位置（２ｉ、２ｊ＋１）および（２ｉ＋１、２ｊ）の画素での左右および上下の画素の差分つまりエッジ成分を検出する。水平方向エッジ検出手段３０では、上記画素位置での左右の画素の差の絶対値ΔＨを得て、これを判定手段３２へと出力し、垂直方向エッジ検出手段３１では、上下の画素の差の絶対値ΔＶを得て、判定手段３２へと出力する。例えば、上記画素位置（２ｉ、２ｊ＋１）においては、水平方向エッジ検出手段３０で、
ΔＨ＝｜Ｇ（２ｉ、２ｊ）−Ｇ（２ｉ、２ｊ＋２）｜
を算出し、垂直方向エッジ検出手段３１で、
ΔＶ＝｜ Ｇ（２ｉ−１、２ｊ＋１）−Ｇ（２ｉ＋１、２ｊ＋１）｜
を算出し、上記ΔＨ、ΔＶを判定手段３２へと送る。以下、この画素の差の絶対値をエッジ成分と呼ぶ。
【００４５】
上記判定手段３２では、水平方向でのエッジ成分ΔＨおよび垂直方向エッジ成分ΔＶにより、水平垂直方向での周辺画素での信号レベルの変化を判定し、その判定結果を示す信号を出力するのであるが、ここで、上記第１のＲＢ成分復元手段７により、Ｒ信号Ｒ１では画素位置（２ｉ＋１、２ｊ）以外の画素信号が得られており（図７（ａ））、Ｂ信号Ｂ１では画素位置（２ｉ、２ｊ＋１）以外の画素信号が得られている（図７（ｂ））。したがって、画素位置（２ｉ＋１、２ｊ）でのエッジ成分を判定した結果ｅｄｒをＲ信号の画素位置（２ｉ＋１，２ｊ）の復元に対して出力し、一方、画素位置（２ｉ、２ｊ＋１）でのエッジ成分を判定した結果ｅｄｂをＢ信号の画素位置（２ｉ、２ｊ＋１）の復元に対して出力する。すなわち、画素位置（２ｉ＋１、２ｊ）における判定結果ｅｄｒと画素位置（２ｉ、２ｊ＋１）における判定結果ｅｄｂにおいて、ΔＨとΔＶの両方が予め定めた値ｔｈ２以下の場合は、周辺画素での信号レベルの変化がないと判定し、例えばｅｄｒ＝１およびｅｄｂ＝１として出力する。一方、ΔＨまたはΔＶが予め定めた値ｔｈ２より大きい場合は、その画素においてエッジ成分があると判定し、さらに、ΔＨ＞ΔＶの場合は垂直方向に相関が高いと判定して、例えばｅｄｒ＝２およびｅｄｂ＝２を出力し、ΔＨ≦ΔＶの場合は水平方向に相関が高いと判定して例えばｅｄｒ＝３およびｅｄｂ＝３を出力する。なお、Ｒ、Ｂが得られている画素位置においてはエッジ成分を判定する必要はなく、判定手段３２からは例えばｅｄｒ＝０およびｅｄｂ＝０を出力するものとする。そして、判定手段３２の出力ｅｄｒは第２のＲＢ成分復元手段９におけるＲ切り換え手段３６へ、また、出力ｅｄｂは第２のＲＢ成分復元手段９におけるＢ切り換え手段４０へと送られる。
【００４６】
次に、第２のＲＢ成分復元手段９において、第１のＲＢ成分復元手段７からのＲ信号出力Ｒ１はＲ平均値算出手段３３、Ｒ水平方向演算手段３４およびＲ垂直方向演算手段３５、Ｒ切り換え手段３６へと入力される。図８（ａ）は第２のＲＢ成分復元手段９において画素位置（２ｉ＋１、２ｊ）のＲ信号の復元を説明するための図であり、図中Ｒおよびｒで示された画素は撮像素子で得られた信号と上記第１のＲＢ復元手段７において復元された画素信号であり、よって、斜線で示されたｒ′画素の信号を求めることとなる。まず、Ｒ平均値算出手段３３では、Ｒ信号Ｒ１において、画素位置（２ｉ＋１、２ｊ）での斜め方向に隣接する４画素Ｒ（２ｉ、２ｊ−１）、Ｒ（２ｉ、２ｊ＋１）、Ｒ（２ｉ＋２、２ｊ−１）、Ｒ（２ｉ＋２、２ｊ＋１）の平均値ｒａを次式により算出する。
ｒａ（２ｉ＋１、２ｊ）＝｛ Ｒ（２ｉ、２ｊ−１）＋Ｒ（２ｉ、２ｊ＋１）
＋ Ｒ（２ｉ＋２、２ｊ−１）＋Ｒ（２ｉ＋２、２ｊ＋１）｝／４
【００４７】
Ｒ水平方向演算手段３４ではＧ成分復元手段６からのＧ信号Ｇ０（図５）も入力されており、ＲおよびＧ信号の画素位置（２ｉ＋１，２ｊ）において、水平方向のローパスフィルタを介した値Ｒ２ｈｌｐｆ、Ｇ２ｈｌｐｆを例えば、
により算出し、このＲ２ｈｌｐｆとＧ２ｈｌｐｆの比と画素ｇ（２ｉ＋１、２ｊ）により、次式の演算で（２ｉ＋１，２ｊ）の水平方向に相関を持つ画素値ｒｈを算出し出力する。
ｒｈ（２ｉ＋１、２ｊ）＝ｇ（２ｉ＋１、２ｊ）×（Ｒ２ｈｌｐｆ／Ｇ２ｈｌｐｆ）
＝ｇ（２ｉ＋１、２ｊ）
×（ ｒ（２ｉ＋１、２ｊ−１）＋ｒ（２ｉ＋１、２ｊ＋１））
／（Ｇ（２ｉ＋１、２ｊ−１）＋Ｇ（２ｉ＋１、２ｊ＋１）） （２７）
【００４８】
Ｒ垂直方向演算手段３５ではＧ成分復元手段６からのＧ信号Ｇ０も入力されており、ＲおよびＧ信号における画素位置（２ｉ＋１，２ｊ）において、垂直方向のローパスフィルタを介した値Ｒ２ｖｌｐｆ、Ｇ２ｖｌｐｆを例えば、
Ｒ２ｖｌｐｆ＝（ｒ（２ｉ、２ｊ）＋ｒ（２ｉ＋２、２ｊ））／２ （２８）
Ｇ２ｖｌｐｆ＝（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ＋２、２ｊ））／２ （２９）
により算出し、このＲ２ｖｌｐｆとＧ２ｖｌｐｆの比と画素ｇ（２ｉ＋１、２ｊ）により、次式の演算で（２ｉ＋１，２ｊ）の垂直方向に相関を持つ画素値ｒｖを算出し出力する。
ｒｖ（２ｉ＋１、２ｊ）＝ｇ（２ｉ＋１、２ｊ）×（Ｒ２ｖｌｐｆ／Ｇ２ｖｌｐｆ）
＝ｇ（２ｉ＋１、２ｊ）×（ｒ（２ｉ、２ｊ）＋ｒ（２ｉ＋２、２ｊ））
／（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ＋２、２ｊ）） （３０）
【００４９】
なお、上記式（２７）、（３０）は上述したように、局所的領域での色信号の変化が少ないことを前提としており、つまり、各信号の比は局所的な領域ではほぼ等しいということにより、また、式（２５）〜（３０）におけるＧ２ｈｌｐｆ、Ｇ２ｖｌｐｆ、Ｒ２ｈｌｐｆ、Ｒ２ｖｌｐｆの算出式は、水平および垂直方向のローパスフィルタ出力の算出例であり、フィルタのタップ数および係数は上記に限るものではなく、他のタップ数および係数であってもよい。そして、上記出力ｒｈおよびｒｖはともにＲ切り換え手段３６へと送られる。
【００５０】
Ｒ切り換え手段３６では、第２のエッジ判定手段８における判定手段３２からの周辺画素の信号レベル変化を判定した結果ｅｄｒに基づき、画素位置（２ｉ＋１、２ｊ）の信号を上記Ｒ平均値算出手段３３、Ｒ水平方向演算手段３４およびＲ垂直方向演算手段３５、第１のＲＢ成分復元手段７からの信号より選択し切り換える。つまり、判定手段３２による出力信号ｅｄｒが‘２’を示す場合、すなわち、その画素においてエッジ成分があると判定されるが、ΔＨ＞ΔＶで垂直方向に相関が高いと判定される場合は、垂直方向に相関を持つＲを出力するＲ垂直方向演算手段３５の信号ｒｖを選択する。判定手段３２による出力信号ｅｄｒが‘３’を示す場合、すなわち、その画素においてエッジ成分があると判定されるが、ΔＨ≦ΔＶで水平方向に相関が高いと判定される場合には、水平方向に相関を持つＲを出力するＲ水平方向演算手段３４の信号を選択する。さらに、判定手段３２による出力信号ｅｄｒが‘１’を示す場合には、ΔＨとΔＶの両方が予め定めた値ｔｈ２以下であり、周辺画素での信号レベルの変化がないと判定されるため、周波数の変化を考慮する必要がなく、Ｒ平均値算出手段３３によるＲ信号ｒａを選択する。なお、Ｒが得られている画素位置（２ｉ、２ｊ）、（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ＋１）においては、判定手段３２からは例えばｅｄｒ＝０が出力されており、このときは第１のＲＢ成分復元手段７からのＲ信号をそのまま出力すればよい。
【００５１】
Ｂ信号についても上記Ｒ信号での処理と同様であり、第２のＲＢ成分復元手段９において、第１のＲＢ成分復元手段７からのＢ信号出力Ｂ１はＢ平均値算出手段３７、Ｂ水平方向演算手段３８およびＢ垂直方向演算手段３９、Ｂ切り換え手段４０へと入力される。図８（ｂ）は第２のＲＢ成分復元手段９において画素位置（２ｉ、２ｊ＋１）のＢ信号の復元を説明するための図であり、図中Ｂおよびｂで示された画素は撮像素子で得られた信号と上記第１のＲＢ復元手段７において復元された画素信号であり、よって、斜線で示されたｂ′画素の信号を求めることとなる。まず、Ｂ平均値算出手段３７では、Ｂ信号Ｂ１において、画素位置（２ｉ、２ｊ＋１）での斜め方向に隣接する４画素の平均値ｂａを次式により算出する。
ｂａ（２ｉ、２ｊ＋１）＝｛Ｂ（２ｉ−１、２ｊ）＋Ｂ（２ｉ−１、２ｊ＋２）
＋Ｂ（２ｉ＋１、２ｊ）＋Ｂ（２ｉ＋１、２ｊ＋２）｝／４
【００５２】
Ｂ水平方向演算手段３８ではＧ成分復元手段６からのＧ信号Ｇ０（図５）も入力されており、ＢおよびＧ信号における画素位置（２ｉ，２ｊ＋１）において、水平方向のローパスフィルタを介した値Ｂ２ｈｌｐｆ、Ｇ３ｈｌｐｆを例えば、Ｂ２ｈｌｐｆ＝（ｂ（２ｉ、２ｊ）＋ｂ（２ｉ、２ｊ＋２））／２ （３１）
Ｇ３ｈｌｐｆ＝（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ、２ｊ＋２））／２ （３２）
により算出し、このＢ２ｈｌｐｆとＧ３ｈｌｐｆの比と画素ｇ（２ｉ、２ｊ＋１）により、次式の演算で（２ｉ，２ｊ＋１）の水平方向に相関を持つ画素値ｂｈを算出し出力する。
ｂｈ（２ｉ、２ｊ＋１）＝ｇ（２ｉ、２ｊ＋１）×（Ｂ２ｈｌｐｆ／Ｇ３ｈｌｐｆ）
＝ｇ（２ｉ、２ｊ＋１）×（ｂ（２ｉ、２ｊ）＋ｂ（２ｉ、２ｊ＋２））
／（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ、２ｊ＋２）） （３３）
【００５３】
Ｂ垂直方向演算手段３９ではＧ成分復元手段６からのＧ信号Ｇ０も入力されており、ＢおよびＧ信号における画素位置（２ｉ，２ｊ＋１）において、垂直方向のローパスフィルタを介した値Ｂ２ｖｌｐｆ、Ｇ３ｖｌｐｆを例えば、
により算出し、このＢ２ｖｌｐｆとＧ３ｖｌｐｆの比と画素ｇ（２ｉ、２ｊ＋１）により、次式の演算で（２ｉ，２ｊ＋１）の垂直方向に相関を持つ画素値ｂｖを算出し出力する。
ｂｖ（２ｉ、２ｊ＋１）＝ｇ（２ｉ、２ｊ＋１）×（Ｂ２ｖｌｐｆ／Ｇ３ｖｌｐｆ）
＝ｇ（２ｉ、２ｊ＋１）×（ｂ（２ｉ−１、２ｊ＋１）＋ｂ（２ｉ＋１、２ｊ＋１））
／（Ｇ（２ｉ−１、２ｊ＋１）＋Ｇ（２ｉ＋１、２ｊ＋１））（３６）
【００５４】
なお、上記式（３３）、（３６）は上述したように、局所的領域での色信号の変化が少ないことを前提としており、つまり、各信号の比は局所的な領域ではほぼ等しいということにより、また、式（３１）〜（３６）におけるＧ３ｈｌｐｆ、Ｇ３ｖｌｐｆ、Ｂ２ｈｌｐｆ、Ｂ２ｖｌｐｆの算出式は、水平および垂直方向のローパスフィルタ出力の算出例であり、フィルタのタップ数および係数は上記に限るものではなく、他のタップ数および係数であってもよい。そして、上記出力ｂｈおよびｂｖはともにＢ切り換え手段４０へと送られる。
【００５５】
Ｂ切り換え手段４０では、第２のエッジ判定手段８における判定手段３２からの周辺画素の信号レベル変化を判定した結果ｅｄｂに基づき、画素位置（２ｉ、２ｊ＋１）の信号を上記Ｂ平均値算出手段３７、Ｂ水平方向演算手段３８およびＢ垂直方向演算手段３９、第１のＲＢ成分復元手段７からの信号より選択し切り換える。つまり、判定手段３２による出力信号ｅｄｂが‘２’を示す場合、すなわち、その画素においてエッジ成分があると判定されるが、ΔＨ＞ΔＶで垂直方向に相関が高いと判定される場合は、垂直方向に相関を持つＲを出力するＲ垂直方向演算手段３９の信号ｂｖを選択する。判定手段３２による出力信号ｅｄｂが‘３’を示す場合、すなわち、その画素においてエッジ成分があると判定されるが、ΔＨ≦ΔＶで水平方向に相関が高いと判定される場合には、水平方向に相関を持つＢを出力するＢ水平方向演算手段３８の信号を選択する。さらに、判定手段３２による出力信号ｅｄｂが‘１’を示す場合には、ΔＨとΔＶの両方が予め定めた値ｔｈ２以下であり、周辺画素での信号レベルの変化がないと判定されるため、周波数の変化を考慮する必要がなく、Ｂ平均値算出手段３７によるＢ信号ｂａを選択する。なお、Ｂが得られている画素位置（２ｉ、２ｊ）、（２ｉ＋１、２ｊ）、（２ｉ＋１、２ｊ＋１）においては、判定手段３２からは例えばｅｄｂ＝０が出力されており、このときは第１のＲＢ成分復元手段７からのＢ信号をそのまま出力すればよい。
【００５６】
以上より、第２のＲＢ成分復元手段９からは画素位置（２ｉ、２ｊ）、（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）、（２ｉ＋１、２ｊ＋１）それぞれの画素でのＲおよびＢ信号が出力され、つまり、撮像素子の画素数分の解像度のＲ、Ｂ信号を得られるとになる。Ｇ信号は上記Ｇ成分復元手段６においてすでに撮像素子の画素数分の解像度の信号を得ており、したがって、Ｇ成分を用い水平垂直方向のエッジ成分を判定して局所的な領域での空間周波数の変化を判定し、その判定結果に基づき各色信号の生成を切り換えるともに、エッジ成分が所定値を越える場合の信号の算出において、局所的な領域での色信号の比により算出を行い、エッジ成分が所定値以下では周辺画素の平均値で求めるので、そのため、偽色、偽輪郭が軽減された画像を得ることになる。
【００５７】
図９は、ゾーンプレートを画像シミュレーションにより処理した場合の水平方向において発生する偽色レベル（color-alias level 、縦軸）と解像度（横軸）との関係を示すものであり、上記図２０による従来技術による処理後の偽色レベルを波線で示し、図２による実施の形態１による処理後の偽色レベルを実線で示している。従来の技術による処理では多くの偽色が発生しているが、実施の形態１による処理では偽色の発生が抑圧されている。各処理でこの水平方向の偽色信号のレベルを積分して比較すると、約１８．４ｄＢの抑圧効果がある。
【００５８】
また、図１０は、垂直方向での発生する偽色レベル（color-alias level 、縦軸）と解像度（横軸）との関係を示すものであり、上記と同様に、上記図２０による従来技術による処理後の偽色レベルを波線で示し、図２による実施の形態１による処理後の偽色レベルを実線で示している。従来の技術による処理では多くの偽色が発生しているが、実施の形態１による処理では偽色の発生が抑圧されており、垂直方向の偽色信号のレベルを積分して比較すると、約１８．５ｄＢの抑圧効果がある。
【００５９】
さらに、図１１および図１２は、ゾーンプレートを画像シミュレーションにより処理した場合の水平方向における輝度信号のレベルをＲＧＢ信号より算出して縦軸に、解像度を横軸に示した図であり、図２による実施の形態１による処理後の場合を図１１に、上記図２０による従来技術による処理後の場合を図１２に示す。また、垂直方向における輝度信号のレベルと解像度との関係を、図１３に図２による実施の形態１による処理後の場合を、図１４に上記図２０による従来技術による処理後の場合示す。水平および垂直方向どちらに対しても、従来の技術による処理に比較して実施の形態１による処理ではレベルの低下が少なく、水平垂直方向の解像度が向上している。
【００６０】
なお、上記実施の形態１では、撮像素子１の色フィルタの配列を図１に示す原色の色フィルタであり、各光電変換素子を独立に呼び出す方式の撮像素子とし、画素位置（２ｉ，２ｊ）と画素位置（２ｉ＋１、２ｊ＋１）（ｉ＝０、１、２、…、ｊ＝０、１、２、…）にＧ信号を通過させる分光特性を持った第１の色フィルタを、画素位置（２ｉ、２ｊ＋１）にＲ信号を通過させる分光特性を持った第２の色フィルタを、画素位置（２ｉ＋１、２ｊ）にＢ信号を通過させる分光特性を持った第３の色フィルタを配列した場合として説明したが、撮像素子におけるは第１、第２および第３の色フィルタの分光特性はＲ、Ｇ、Ｂに限るものではなく、例えば画素混合方式の撮像素子であってもよく、図１５に示すように、画素位置（２ｉ，２ｊ）と画素位置（２ｉ＋１、２ｊ＋１）（ｉ＝０、１、２、…、ｊ＝０、１、２、…）に第１の信号Ａを通過させる分光特性を持った第１の色フィルタを、画素位置（２ｉ、２ｊ＋１）に第２の信号Ｂを通過させる分光特性を持った第２の色フィルタを、画素位置（２ｉ＋１、２ｊ）に第３の信号Ｃを通過させる分光特性を持った第３の色フィルタを配列し、上記実施の形態１の処理により撮像素子の画素数分の各Ａ、Ｂ、Ｃの信号を復元した後ＲＧＢの色信号を再生できればよく、上記と同様の効果を奏する。
【００６１】
また、上記実施の形態１では、図１および図１５の撮像素子の色フィルタの配列を画素位置（２ｉ，２ｊ）と画素位置（２ｉ＋１、２ｊ＋１）（ｉ＝０、１、２、…、ｊ＝０、１、２、…）に第１の色フィルタを、画素位置（２ｉ、２ｊ＋１）に第２の色フィルタを、画素位置（２ｉ＋１、２ｊ）に第３の色フィルタを配列した場合（図１、１５中の斜線部分）として説明したが、図１６に示されるように、画素位置（２ｉ，２ｊ＋１）と画素位置（２ｉ＋１、２ｊ）（ｉ＝０、１、２、…、ｊ＝０、１、２、…）に第１の色フィルタを、画素位置（２ｉ、２ｊ）に第２の色フィルタを、画素位置（２ｉ＋１、２ｊ＋１）に第３の色フィルタを配列した場合（図１６中の斜線部分）でも同様の効果を奏し、上下４画素毎にｎラインには第１の色フィルタ、第２の色フィルタが配列され、ｎ＋１ラインでは第３の色フィルタと第１の色フィルタが配列されて、上下のラインで第１のフィルタが斜め方向の画素に配列されていればよい。
【００６２】
また、上記実施の形態１において、第１のエッジ判定手段５および第２のエッジ判定手段８においての判定結果を示す信号を、ΔＨとΔＶの両方が予め定めた値以下の場合は‘１’とし、エッジ成分があると判定しΔＨ＞ΔＶの場合は‘２’とし、ΔＨ≦ΔＶの場合は‘３’とし、画素信号が得られている画素位置においては‘０’として出力する場合について説明しているが、これに限るものではなく、それぞれの判定結果を区別できる信号を出力するのであれば、他の値であってもよい。
【００６３】
なお、上記実施の形態１では、ハードウェアにより図２の構成の処理を行う場合について説明しているが、撮像装置におけるソフトウェアにより同様の処理を行うことができることは言うまでもなく、上記実施の形態１と同様の効果を奏する。
【００６４】
実施の形態２．
実施の形態１では第１のエッジ判定手段５において、Ｇ信号における画素位置（２ｉ、２ｊ＋１）および（２ｉ＋１、２ｊ）での上下左右でのエッジ成分を判定し、第２のエッジ判定手段８においては、Ｒ信号の復元に対してＧ信号における画素位置（２ｉ＋１、２ｊ）でのエッジ成分を、Ｂ信号の復元に対しＧ信号における画素位置（２ｉ、２ｊ＋１）でのエッジ成分を判定するよう構成したが、どちらも画素位置（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）での左右および上下の画素のエッジ成分を検出しており、これらの画素位置での上下左右の画素信号は撮像素子より得られた信号であるため、同一のエッジ成分を求めることとなる。よって、図１７に示すように、１つのＧ成分エッジ判定手段によりＧ信号における画素位置（２ｉ、２ｊ＋１）および（２ｉ＋１、２ｊ）でのエッジ成分を判定するような構成とすることもできる。
【００６５】
図１７において、１〜４、６〜７、および９は上記実施の形態１での撮像装置と同一のものであり、４１はＧ成分エッジ判定手段であり、水平方向エッジ検出手段４２、垂直方向エッジ検出手段４３、判定手段４４により構成される。
【００６６】
次に動作を説明する。撮像素子１から各画素信号Ｒ、Ｇ、Ｂを読み出し、Ａ／Ｄコンバータ２によりＡ／Ｄ変換されてフレームメモリ３に入力され、分離手段４により各Ｒ、Ｇ、Ｂ信号を分離し、Ｇ成分復元手段６、第１のＲＢ復元手段７および第２のＲＢ復元手段９で撮像素子の画素数の各信号を生成し復元する動作は上記実施の形態１と同一であるのでその詳細な説明は省略する。
【００６７】
Ｇ成分エッジ判定手段４１には分離手段４におけるＧ信号（図１８）が入力され、Ｇ成分エッジ判定手段４１内の水平方向エッジ検出手段４２、垂直方向エッジ検出手段４３へと与えられる。水平方向エッジ検出手段４２および垂直方向エッジ検出手段４３においては画素位置（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）（図１８中斜線で示す画素）での左右および上下の画素の差分つまりエッジ成分を検出する。つまり、水平方向エッジ検出手段４２では、上記画素位置での左右の画素の差の絶対値ΔＨｇを得て、これを判定手段４４へと出力し、垂直方向エッジ検出手段４３では、上下の画素の差の絶対値ΔＶｇを得て、判定手段５５へと出力する。例えば、画素位置（２ｉ、２ｊ＋１）においては、水平方向エッジ検出手段４２で、
ΔＨｇ＝｜Ｇ（２ｉ、２ｊ）−Ｇ（２ｉ、２ｊ＋２）｜
を算出し、垂直方向エッジ検出手段４３で
ΔＶｇ＝｜ Ｇ（２ｉ−１、２ｊ＋１）−Ｇ（２ｉ＋１、２ｊ＋１）｜
を算出し、上記ΔＨｇ、ΔＶｇを判定手段４４へと送る。
【００６８】
上記判定手段４４では、水平方向でのエッジ成分ΔＨｇおよび垂直方向エッジ成分ΔＶｇにより、水平垂直方向での周辺画素での信号レベルの変化を判定し、入力されるＧ信号の各画素位置に応じて、その判定結果を示す信号ｅｄ１をＧ成分復元手段６へ、ｅｄｒ、ｅｄｂを第２のＲＢ成分復元手段９へと出力する。各判定信号は、ΔＨｇとΔＶｇの両方が予め定めた値以下の場合は、周辺画素での信号レベルの変化がないと判定し、例えば‘１’とする。一方、ΔＨｇまたはΔＶｇが予め定めた値より大きい場合は、その画素においてエッジ成分があると判定し、さらに、ΔＨｇ＞ΔＶｇの場合は垂直方向に相関が高いと判定して例えば‘２’とし、ΔＨｇ≦ΔＶｇの場合は水平方向に相関が高いと判定して例えば、‘３’とする。ここで、Ｇ成分復元手段６においては、画素位置（２ｉ、２ｊ＋１）と（２ｉ＋１、２ｊ）での画素を復元するため、両画素位置において上記エッジ判定結果をｅｄ１として出力し、Ｇが得られている画素位置（２ｉ、２ｊ）、（２ｉ＋１、２ｊ＋１）においては例えばｅｄ１＝０を出力する。そして、判定手段４４の出力ｅｄ１はＧ成分復元手段６における切り換え手段２５へと送られる。
【００６９】
一方、第２のＲＢ成分復元手段９においては、Ｒ信号の画素位置（２ｉ＋１，２ｊ）の復元を行い、Ｂ信号の画素位置（２ｉ、２ｊ＋１）の復元を行う。よって、画素位置（２ｉ＋１、２ｊ）において上記エッジ成分を判定した結果をｅｄｒとして、第２のＲＢ成分復元手段９での処理する画素位置にタイミングを合わせて出力し、他の画素位置（２ｉ、２ｊ）、（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ＋１）においては例えばｅｄｒ＝０を出力する。そして、判定手段４４の出力ｅｄｒは第２のＲＢ成分復元手段９におけるＲ切り換え手段３６へと送られる。一方、画素位置（２ｉ、２ｊ＋１）において上記エッジ成分を判定した結果をｅｄｂとして、第２のＲＢ成分復元手段９での処理する画素位置にタイミングを合わせて出力し、他の画素位置（２ｉ、２ｊ）、（２ｉ＋１、２ｊ）、（２ｉ＋１、２ｊ＋１）においては例えばｅｄｂ＝０を出力する。そして、判定手段４４の出力ｅｄｂは第２のＲＢ成分復元手段９におけるＢ切り換え手段４０へと送られる。
【００７０】
よって、Ｇ成分エッジ判定手段４１において、上記Ｇ成分復元手段６および第２のＲＢ成分復元手段９におけるＧ、Ｒ、Ｂ信号を復元する画素位置に対応するＧ信号でのエッジ成分の判定結果を出力されることとなる。
【００７１】
なお、上記実施の形態２では、画素位置（２ｉ、２ｊ）、（２ｉ＋１、２ｊ＋１）にＧ信号が、画素位置（２ｉ、２ｊ＋１）にＲ信号が、画素位置（２ｉ＋１、２ｊ＋１）にＢ信号が撮像素子より得られる場合について説明したが、上記実施の形態１同様、画素位置（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）にＧ信号が、画素位置（２ｉ、２ｊ）にＲ信号が、画素位置（２ｉ＋１、２ｊ＋１）にＢ信号が配列されていてもよく、また、色信号はＲＧＢに限ることはない。
【００７２】
また、上記実施の形態１と同様、実施の形態２においても、図１７の構成の処理を撮像装置におけるソフトウェアにより同様の処理を行うことができることは言うまでもなく、上記実施の形態２と同様の効果を奏する。
【００７３】
【発明の効果】
この発明は、以上説明したように構成されているので、以下に示すような効果を奏する。
【００７４】
この発明に係る撮像装置によれば、画素位置（２ｉ、２ｊ）（ｉ＝０、１、２、…およびｊ＝０、１、２、…）と（２ｉ＋１、２ｊ＋１）に第１の色信号を通過させる分光特性を持った第１の色フィルタを、画素位置（２ｉ、２ｊ＋１）に第２の色信号を通過させる分光特性を持った第２の色フィルタ、画素位置（２ｉ＋１、２ｊ）に第３の色信号を通過させる分光特性を持った第３の色フィルタを配列した上下４画素が垂直水平方向に繰り返し配列された撮像素子において、第１の色フィルタの位置における第１の色信号の画素位置（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）において、周辺画素信号に基づきエッジ成分を判定し、この判定結果に基づき、第１、第２および第３の色信号により第１の色信号の上記画素位置での信号を算出して撮像素子の画素数の第１の色信号を復元し、上記エッジ判定結果に基づき、復元された第１の色信号と各色フィルタからの色信号により第２および第３の色信号を算出し撮像素子の画素数の第２、第３の色信号を得ることにより、偽色、偽輪郭の軽減された画像を得ることができる。
【００７５】
また、この発明に係る撮像装置によれば、エッジ判定手段が、第１の色信号の所定画素における左右の隣接画素の差の絶対値を算出して水平方向のエッジ成分ΔＨを検出し、上下の画素の差の絶対値を算出して垂直方向のエッジ成分ΔＶを検出して、水平方向のエッジ成分ΔＨと垂直方向のエッジ成分ΔＶに基づき、前記所定画素における水平または垂直方向のエッジ成分を判定する判定することにより、局所的な領域での水平、垂直方向の空間周波数の変化を判定することができ、偽色、偽輪郭の軽減された画像を得ることができる。
【００７６】
また、この発明に係る撮像装置によれば、前記エッジ判定手段における判定手段が、上記水平方向エッジ検出手段からの出力ΔＨまたは上記垂直方向エッジ検出手段からの出力ΔＶが予め定めた値より大きい場合は、所定画素の周辺画素にエッジ成分を検出したとし、さらに、ΔＨ＞ΔＶであれば垂直方向により相関があり、ΔＨ≦ΔＶであれば水平方向により相関があると判定するとともに、上記ΔＨとΔＶがともに予め定めた値より小さい場合にはエッジ成分を検出しないと判定することにより、局所的な領域での水平、垂直方向の空間周波数の変化を判定することができ、偽色、偽輪郭の軽減された画像を得ることができる。
【００７７】
また、この発明に係る撮像装置によれば、第１の色信号を算出して復元する手段が、第２の色信号Ｂのある所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置（ｌ＝２ｉ、ｍ＝２ｊ＋１またはｌ＝２ｉ＋１、ｍ＝２ｊ）において、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対して水平方向のローパスフィルタを介した値Ａｈｌｐｆ（ｌ、ｍ）、Ｂｈｌｐｆ（ｌ、ｍ）を算出し、前記水平方向ローパスフィルタからの出力信号であるＡｈｌｐｆ（ｌ、ｍ）とＢｈｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｈｌｐｆ（ｌ、ｍ）／Ｂｈｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の画素位置においても同様に第１の色信号Ａにおける画素値を算出する水平方向信号算出手段と、上記所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対して垂直方向のローパスフィルタを介した値Ａｖｌｐｆ（ｌ、ｍ）、Ｂｖｌｐｆ（ｌ、ｍ）を算出し、前記垂直方向ローパスフィルタからの出力信号であるＡｖｌｐｆ（ｌ、ｍ）とＢｖｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａである画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｖｌｐｆ（ｌ、ｍ）／Ｂｖｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の画素位置においても同様に第１の色信号Ａにおける画素値を算出する垂直方向信号算出手段と、第１の色信号Ａにおける上記所定画素ｌ行ｍ列の位置での上下左右の隣接画素の平均値よりｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を算出する平均値算出手段とを備え、上記エッジ判定手段の出力に基づき、上記水平方向信号算出手段の出力または垂直方向信号算出手段出力、または、平均値算出手段からの出力より選択し、上記所定画素ｌ行ｍ列における第１の色信号Ａの画素値Ａ（ｌ、ｍ）を得て、撮像素子における画素数の第１の色信号を得ることにより、偽色、偽輪郭の軽減された画像を得ることができる。
【００７８】
また、この発明に係る撮像装置によれば、前記第１の色信号を算出する手段が、上記エッジ判定手段の出力が所定画素ｌ行ｍ列位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第１の色信号を得ることにより、偽色、偽輪郭の軽減された画像を得ることができる。
【００７９】
また、この発明に係る撮像装置によれば、第２、第３の色信号を算出して復元する手段が、所定画素ｌ行ｍ列の位置（ｌ＝２ｉ、ｍ＝２ｊまたはｌ＝２ｉ＋１、ｍ＝２ｊ＋１）において、上記第１の色信号を算出する手段からの出力Ａに対し水平方向のローパスフィルタを介した値Ａ１ｈｌｐｆ（ｌ、ｍ）と垂直方向ローパスフィルタを介した値Ａ１ｖｌｐｆ（ｌ、ｍ）を算出し、第２の色信号Ｂに対して水平方向のローパスフィルタを介した値Ｂ１ｈｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対して垂直方向のローパスフィルタを介した値Ｃ１ｖｌｐｆ（ｌ、ｍ）（または、第２の色信号Ｂに対して垂直方向のローパスフィルタを介した値Ｂ１ｖｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対して水平方向のローパスフィルタを介した値Ｃ１ｈｌｐｆ（ｌ、ｍ））とを算出し、Ａ１ｈｌｐｆ（ｌ、ｍ）とＢ１ｈｌｐｆ（ｌ、ｍ）との比（またはＣ１ｈｌｐｆ（ｌ、ｍ）との比）と、Ａ１ｖｌｐｆ（ｌ、ｍ）とＣ１ｖｌｐｆ（ｌ、ｍ）との比（または、Ｂ１ｖｌｐｆ（ｌ、ｍ）との比）と、第１の色信号を算出する手段からの出力Ａにおける所定画素ｌ行ｍ列での画素値Ａ（ｌ、ｍ）から、ｌ行ｍ列の第２の色信号Ｂと第３の色信号Ｃにおける画素値Ｂ（ｌ、ｍ）とＣ（ｌ、ｍ）を、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝、（または、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｈｌｐｆ （ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝）により算出する信号算出手段を備えるとともに、上記ｌ行ｍ列の位置とは異なる所定画素ｘ行ｙ列の位置（ｘ＝２ｉ＋１、ｙ＝２ｊまたはｘ＝２ｉ、ｙ＝２ｊ＋１）において、上記第１の色信号を算出する手段からの出力Ａに対し水平方向のローパスフィルタを介した値Ａ２ｈｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第２の色信号Ｂに対し水平方向のローパスフィルタを介した値Ｂ２ｈｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｈｌｐｆ（ｘ、ｙ）とＢ２ｈｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｈｌｐｆ（ｘ、ｙ）／Ａ２ｈｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃにおいても同様にＣ信号を算出する水平方向信号算出手段と、上記第１の色信号を算出する手段からの出力Ａに対し垂直方向のローパスフィルタを介した値Ａ２ｖｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第２の色信号Ｂに対して垂直方向のローパスフィルタを介した値Ｂ２ｖｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｖｌｐｆ（ｘ、ｙ）とＢ２ｖｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｖｌｐｆ（ｘ、ｙ）／Ａ２ｖｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃにおいても同様にＣ信号を算出する垂直方向信号算出手段と、上記信号算出手段からの出力における第２、第３の色信号での所定画素ｘ行ｙ列の位置において、斜めに隣接する画素の平均値を算出する平均値算出手段とを備え、上記エッジ判定手段の出力に基づき、前記水平方向信号算出手段、垂直方向信号算出手段、平均値算出手段からのそれぞれの出力から選択して、上記所定画素ｘ行ｙ列での第２、第３の色信号を得て、撮像素子における画素数の第２、第３の色信号を得ることにより、偽色、偽輪郭の軽減された画像を得ることができる。
【００８０】
さらに、この発明に係る撮像装置によれば、前記第２、第３の色信号を算出する手段が、上記エッジ判定手段の出力が所定画素ｘ行ｙ列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第２、第３の色信号を得ることにより、偽色、偽輪郭の軽減された画像を得ることができる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１における撮像素子の色フィルタの配列の一例を示す図である。
【図２】 この発明の実施の形態１による撮像装置の構成の一例を示すブロック図である。
【図３】 この発明の実施の形態１による撮像装置における第１のエッジ判定手段５とＧ成分復元手段６の構成の一例を示すブロック図である。
【図４】 この発明の実施の形態１による撮像装置における第２のエッジ判定手段８と第２のＲＢ成分復元手段９の構成の一例を示すブロック図である。
【図５】 この発明の実施の形態１による撮像装置におけるＧ信号の復元の動作を説明するためのＧ信号の画素を示す図である。
【図６】 この発明の実施の形態１による撮像装置におけるＧ信号の復元の動作を説明するためのＲ信号およびＢ信号の画素を示す図である。
【図７】 この発明の実施の形態１による撮像装置における第１のＲＢ成分復元装置７の動作を説明するためのＲ、Ｂ信号の画素を示す図である。
【図８】 この発明の実施の形態１による撮像装置における第２のエッジ判定手段８と第２のＲＢ成分復元手段９の動作を説明するためのＲ、Ｂ信号の画素を示す図である。
【図９】 この発明の実施の形態１による撮像装置と従来の装置により処理したシミュレーション画像での水平方向の解像度での偽色レベルを示す図である。
【図１０】 この発明の実施の形態１による撮像装置と従来の装置により処理したシミュレーション画像での垂直方向の解像度での偽色レベルを示す図である。
【図１１】 この発明の実施の形態１による撮像装置により処理したシミュレーション画像での水平方向の解像度での輝度信号のレベルを示す図である。
【図１２】 従来の装置により処理したシミュレーション画像での水平方向の解像度での輝度信号のレベルを示す図である。
【図１３】 この発明の実施の形態１による撮像装置により処理したシミュレーション画像での垂直方向の解像度での輝度信号のレベルを示す図である。
【図１４】 従来の装置により処理したシミュレーション画像での垂直方向の解像度での輝度信号のレベルを示す図である。
【図１５】 この発明の実施の形態１による撮像素子の他の色フィルタ配列の例を示す図である。
【図１６】 この発明の実施の形態１による撮像素子の他の色フィルタ配列の例を示す図である。
【図１７】 この発明の実施の形態２による撮像装置の構成の一例を示すブロック図である。
【図１８】 この発明の実施の形態２による撮像装置におけるＧ成分エッジ判定手段４１の動作を説明するためのＧ信号の画素を示す図である。
【図１９】 従来の撮像装置における撮像素子の色フィルタ配列の一例を示す図である。
【図２０】 従来の撮像装置の構成の一例を示すブロック図である。
【図２１】 従来の撮像装置の動作を説明するための各信号の画素を示す図である。
【図２２】 従来の撮像装置の他の構成の例を示すブロック図である。
【符号の説明】
１ 撮像素子、２ Ａ／Ｄコンバータ、３ フレームメモリ、４ 分離手段、５ 第１のエッジ判定手段、６ Ｇ成分復元手段、７ 第１のＲＢ成分復元手段、８ 第２のエッジ判定手段、９ 第２のＲＢ成分復元手段、１１，３０，４２水平方向エッジ検出手段、１２，３１，４３ 垂直方向エッジ検出手段、１３判定手段、１４ 平均値算出手段、１５〜１７ 水平方向ローパスフィルタ、１８，１９ 演算手段、２０〜２２ 垂直方向ローパスフィルタ、２３、２４ 演算手段、２５ 切り換え手段、３２ 判定手段、３３ Ｒ平均値算出手段、３４ Ｒ水平方向演算手段、３５ Ｒ垂直方向演算手段、３６ Ｒ切り換え手段、３７ Ｂ平均値算出手段、３８ Ｂ水平方向演算手段、３９ Ｂ垂直方向演算手段、４０ Ｂ切り換え手段、４１ Ｇ成分エッジ判定手段、４４判定手段。
【発明の属する技術分野】
この発明は、電子スチルカメラのような撮像装置における高画質化、小型化に関する。
【０００２】
【従来の技術】
従来、電子スチルカメラのような撮像装置においては、小型化のために１枚の撮像素子（以下、単板撮像素子と呼ぶ）を用いている。図１９は従来における撮像素子の代表的な色フィルタ配列の一例を示す図である。図において、ＲはＲの光を通過させる分光特性を持った色フィルタを有した撮像素子であり、同様にＢ、Ｇについてもそれぞれの色フィルタを有した撮像素子である。図１９に示されるように、ｎラインにはＧ、Ｒが２画素毎に配列され、ｎ＋１ラインではＢ、Ｇが２画素毎に配列されている。したがって、Ｒ、Ｂ信号は上下４画素毎（図中の斜線部）に、Ｇ信号は２画素毎に得られることとなり、撮像素子の画素数の各信号を得て解像度の向上を図るには、得られている画素信号より演算処理を行い撮像素子数のＲ、Ｇ、Ｂ信号を生成することとなる。
【０００３】
図２０は上記図１９に示された原色の色フィルタを用いた撮像素子において、撮像素子からの信号よりＲ、Ｇ、Ｂ信号を生成する従来の撮像装置の構成の一例を示すブロック図である。図２０において、１０１は撮像素子、１０２はフレームメモリ、１０３はフレームメモリ１０２における信号をＲ、Ｇ、Ｂそれぞれの信号に分離する分離手段、１０４は補間手段であり、上記撮像素子１０１は、図１９に示すように、画素Ｒ、Ｇ、Ｂから構成される。
【０００４】
次に、動作を説明する。撮像素子１０１から各画素信号Ｒ、Ｇ、Ｂを読み出し、フレームメモリ１０２に各画素信号を取り込む。前記フレームメモリ１０２に取り込まれた信号から、分離手段１０３により各信号を分離し、それぞれを補間手段１０４へと送る。補間手段１０４では、各Ｒ、Ｇ、Ｂ信号において得られていない画素の信号を隣接画素の信号より補間生成し、撮像素子すべての画素数のＲＧＢ信号を算出し出力される。
【０００５】
ここで、上記補間手段１０４における補間方法の一例について図２１により説明する。分離手段１０３により分離されたＲ、Ｇ、Ｂ信号は図２１（ａ）（ｂ）（ｃ）に示されるようになり、図中Ｇ、Ｒ、Ｂで示された画素が撮像素子１０２より得られた各信号であり、一方、空白の画素が得られていない画素信号である。Ｇ信号（図２１（ａ））については、垂直ｎライン、水平ｍ番目の画素位置の信号ｇ（以下、画素位置（ｎ，ｍ）と記す。）を補間するために、上下方向の隣接画素の差分（｜Ｇ（ｎ−１，ｍ）−Ｇ（ｎ＋１，ｍ）｜）と左右方向の隣接画素の差分（｜Ｇ（ｎ，ｍ−１）−Ｇ（ｎ，ｍ＋１）｜）を求め、この差分が少ない方向の画素信号により補間する。例えば、左右方向の隣接画素の差分が少ない場合は、ｇ（ｎ，ｍ）＝（Ｇ（ｎ，ｍ−１）＋Ｇ（ｎ，ｍ＋１））／２として算出し、上下方向の隣接画素の差分が少ない場合は、ｇ（ｎ，ｍ）＝（Ｇ（ｎ−１，ｍ）＋Ｇ（ｎ＋１，ｍ））／２として算出する。
【０００６】
ＲおよびＢ信号（図２１（ｂ）および（ｃ））については、まず水平方向の画素の補間を行い、次に垂直方向で補間を行う。例えば図２１（ｂ）のＲについては、垂直ｎ−１ライン、ｎ＋１ラインでの補間を行い、画素位置（ｎ−１，ｍ）（ｎ＋１，ｍ）の信号を、
ｒ（ｎ−１，ｍ）＝（Ｒ（ｎ−１，ｍ−１）＋Ｒ（ｎ−１，ｍ＋１））／２
ｒ（ｎ＋１，ｍ）＝（Ｒ（ｎ＋１，ｍ−１）＋Ｒ（ｎ＋１，ｍ＋１））／２
のように算出し、つぎにｎラインの画素を上下（ｎ−１およびｎ＋１ライン）の画素の補間により各水平画素位置ｍ−１、ｍ、ｍ＋１の信号を求める。Ｂについても同様な方法で得られる。
【０００７】
以上の補間方法により、補間手段１０４の出力において、撮像素子すべての画素数のＲ、Ｇ、Ｂ信号を算出することができる。
【０００８】
また、図２２は特開平６−１７８３０７号公報に示された上下２画素を混合して読み出す画素混合方式の撮像素子による従来の撮像装置の一例を示しており、上記の従来例と同様、撮像素子からの信号を水平走査３ラインから補間生成するよう構成する場合のブロック図を示したものである。同図において、１０５は撮像素子、１０６はフレームメモリ、１０７は信号選択回路、１０８は色補間回路、１０９はＲＧＢマトリクスである。撮像素子１０５は、図２２に示すように、４つの画素Ａ，Ｂ，Ｃ，Ｄ（以下、各画素信号に付けられた番号は画素位置を示す）から構成され、画素混合読み出しにより色信号が生成できるようにＡ、Ｂの画素が１ライン毎に交互に配列される。
【０００９】
次に、動作を説明する。撮像素子１０５から画素混合読み出しせずそのまま各画素信号を読み出し、フレームメモリ１０６に各画素信号を取り込む。前記フレームメモリ１０６に取り込まれた信号から、信号選択回路１０７により隣接した垂直３ラインの信号を選択し、色補間回路１０８へと送る。色補間回路１０８では、上記垂直３ラインの信号から各色信号Ａ、Ｂ、Ｃ、Ｄを補間生成した後、ＲＧＢマトリクス回路１０９によりＲＧＢ信号として出力される。
【００１０】
ここで、上記色補間回路１０８では各色信号を補間生成するのであるが、この補間方法について説明する。例えば、ｎ２ラインの色信号補間生成では、信号選択回路１０７により垂直３ラインｎ１，ｎ２，ｎ３の信号が選択されて色補間回路１０８へと送られており、ｎ２ラインにおいて得られている色信号はＣ、Ｄ画素であり、Ａ，Ｂの画素はない。したがって、Ａ，Ｂの画素については垂直方向でのｎ１、ｎ３ラインの信号より補間するのであるが、ｎ１、ｎ３ラインではＡ，Ｂの画素位置が異なるので、水平方向の補間係数を変えることとなる。いま、補間後の色信号のｎ２ラインの３番目の画素（ｎ２，３）に対し、補間前の水平５画素より各色信号Ａ′、Ｂ′、Ｃ′、Ｄ′を補間生成するとすると、例えば、Ｃ′、Ｄ′については、水平方向のみ中心に重みをつけて補間生成し、
Ｃ23′＝（Ｃ21／２＋ Ｃ23＋ Ｃ25／２）／２
Ｄ23′＝（Ｄ22＋ Ｄ24）／２
とする。一方、 Ａ′、Ｂ′に対しては、
Ａ23′＝（Ａ11／４＋ Ａ13／２＋ Ａ15／４ ）／２＋（Ａ31／４＋ Ａ33／２＋Ａ35／４）／２
Ｂ23′＝（Ｂ12／２＋ Ｂ14／２）／２＋（Ｂ32／２＋ Ｂ34／２）／２
なる式から水平画素に重みをつけ補間することができる。
【００１１】
次に、ｎ３ラインの色信号の補間生成では、Ａ、Ｂの画素はｎ３ラインから補間生成し、Ｃ、Ｄ画素についてはｎ２、ｎ４ラインから補間生成する。つまり、画素位置（３、３）において、例えば、
Ａ33′＝（Ａ32＋ Ａ34）／２
Ｂ33′＝（Ｂ31／２＋ Ｂ33＋ Ｂ35／２）／２
Ｃ33′＝（ Ｃ21／４＋ Ｃ23／２＋ Ｃ25／４）／２＋（Ｃ41／４＋ Ｃ43／２＋Ｃ45／４）／２
Ｄ33′＝（Ｄ22／２＋ Ｄ24／２）／２＋（Ｄ42／２＋ Ｄ44／２）／２
となる。
【００１２】
以下、Ａ，Ｂの画素配置がライン毎で入れ替わることを考慮し、ｎ４ラインでは、画素位置（４、３）に対し、
Ａ43′＝（Ａ31／４＋Ａ33／２＋Ａ35／４）／２＋（Ａ51／４＋Ａ53／２＋Ａ55／４）／２
Ｂ43′＝（Ｂ32／２＋ Ｂ34／２）／２＋（Ｂ52／２＋ Ｂ54／２）／２
Ｃ43′＝（Ｃ41／２＋ Ｃ43＋ Ｃ45／２）／２
Ｄ43′＝（Ｄ42＋ Ｄ44）／２
ｎ５ラインでは、画素位置（５、３）に対し、
Ａ53′＝（Ａ52＋ Ａ54）／２
Ｂ53′＝（Ｂ52＋ Ｂ54）／２
Ｃ53′＝（Ｃ41／４＋Ｃ43／２＋Ｃ45／４）／２＋（Ｃ61／４＋Ｃ63／２＋Ｃ65／４）／２
Ｄ53′＝（Ｄ42／２＋ Ｄ44／２）／２＋（Ｄ62／２＋Ｄ64／２）／２
となる。以後、上記ｎ２、ｎ３，ｎ４、ｎ５ラインでの補間方法を順次繰り返すことにより、色信号Ａ′、Ｂ′、Ｃ′、Ｄ′を生成することとなる。
【００１３】
したがって、垂直３ラインにより色信号を補間生成しているので、色信号の垂直解像度劣化の少ない撮像素子の画素数の信号を得られる。なお、上記では、４つの色信号をＡ，Ｂ，Ｃ，Ｄとして説明しているが、これは、例えば、Ｍｇ（マゼンダ）、Ｇ（グリーン）、Ｃｙ（シアン）、Ｙｅ（イエロー）の４色が考えられ、また、色補間回路１０８での補間係数については色信号を補間生成できる係数であればよい。
【００１４】
【発明が解決しようとする課題】
従来の撮像装置は、水平方向の隣接画素と上下のラインにおける画素信号による補間によって色信号を生成するよう構成されており、得られた色信号からの画像におけるエッジ等局所的な領域での空間周波数の変化を考慮しておらず、そのため、偽色、偽輪郭が生じるという問題点があった。
【００１５】
この発明は上記のような問題点を解消するためになされたもので、垂直２行水平２列の上下４画素において、第１の色信号に対する分光感度特性を持つ第１の色フィルタと第２の色信号に対する分光感度特性を持つ第２の色フィルタとが垂直１行目に配列され、垂直２行目には上記垂直１行目における第１の色フィルタが配列された画素位置と同一の列に第３の色信号に対する分光感度特性を持つ第３の色フィルタが配列され、第２の色フィルタと同一の列に第１の色信号に対する分光感度特性を持つ第１の色フィルタが配列されており、上記上下４画素の色フィルタが順次垂直および水平方向に繰り返し配列される撮像素子を備えた撮像装置において、上記第１の色フィルタの位置における第１の色信号の所定画素位置におけるエッジ成分に基づき、第１の色信号における所定画素位置での信号を算出して撮像素子の画素数の信号を復元し、復元した第１の色信号と上記エッジ成分に基づき、第２および第３の色信号を算出して撮像素子の画素数分の信号を復元することにより、偽色、偽輪郭の軽減された画像を得る撮像装置を得ることを目的とする。
【００１６】
【課題を解決するための手段】
この発明に係る撮像装置は、垂直２行水平２列の上下４画素において、第１の色信号に対する分光感度特性を持つ第１の色フィルタと第２の色信号に対する分光感度特性を持つ第２の色フィルタとが第１の行に配列され、第２の行においては上記第１の行における第１の色フィルタが配列された画素位置と同一の列に第３の色信号に対する分光感度特性を持つ第３の色フィルタが配列され、第２の色フィルタと同一の列に上記第１の色フィルタと同一の第１の色信号に対する分光感度特性を持つ第１の色フィルタが配列されており、上記上下４画素の色フィルタが順次垂直および水平方向に繰り返し配列される撮像素子を備えた撮像装置において、上記第１の色フィルタの位置における第１の色信号の所定画素位置の周辺画素信号に基づき、所定画素位置におけるエッジ成分を判定するエッジ判定手段と、前記エッジ判定手段の出力に基づき、上記第１、第２、第３の色フィルタの位置における第１、第２および第３の色信号により第１の色信号における上記所定画素位置での信号を算出する第１の算出手段と、上記エッジ判定手段の出力に基づき、第１の算出手段の出力と、第２および第３の色信号により第２および第３の色信号における信号を算出する第２の算出手段とを備え、上記撮像素子における画素数の第１、第２、第３の色信号を得るものである。
【００１７】
また、この発明に係る撮像装置は、前記エッジ判定手段が、上記第１の色信号の所定画素位置における左右の隣接画素の差の絶対値を算出して水平方向のエッジ成分を検出する水平方向エッジ検出手段と、第１の色信号の所定画素位置における上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する垂直方向エッジ検出手段と、前記水平方向エッジ検出手段と垂直方向エッジ検出手段からの出力に基づき、前記所定画素における水平または垂直方向のエッジ成分を判定する判定手段を備えるものである。
【００１８】
また、この発明に係る撮像装置は、前記エッジ判定手段における判定手段が、上記水平方向エッジ検出手段からの出力または上記垂直方向エッジ検出手段からの出力が予め定めた値より大きい場合は、上記所定画素の周辺画素にエッジ成分を検出したとし、さらに、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より大きい場合は垂直方向により相関があり、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より小さい場合は水平方向により相関があると判定するとともに、上記水平方向エッジ検出手段および垂直方向エッジ検出手段からの出力がともに予め定めた値より小さい場合にはエッジ成分を検出しないと判定するものである。
【００１９】
また、この発明に係る撮像装置は、前記第１の算出手段が、第２の色信号Ｂのある所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対し水平方向のローパスフィルタを介した値Ａｈｌｐｆ（ｌ、ｍ ）、Ｂｈｌｐｆ（ｌ、ｍ）を算出し、前記水平方向ローパスフィルタからの出力信号であるＡｈｌｐｆ（ｌ、ｍ）とＢｈｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｈｌｐｆ（ｌ、ｍ）／Ｂｈｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の画素位置においても同様に第１の色信号Ａにおける画素値を算出する水平方向信号算出手段と、上記所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対し垂直方向のローパスフィルタを介した値Ａｖｌｐｆ（ｌ、ｍ）、Ｂｖｌｐｆ（ｌ、ｍ）を算出し、前記垂直方向ローパスフィルタからの出力信号であるＡｖｌｐｆ （ｌ、ｍ）とＢｖｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｖｌｐｆ（ｌ、ｍ）／Ｂｖｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の画素位置においても同様に第１の色信号Ａにおける画素値を算出する垂直方向信号算出手段と、第１の色信号Ａにおける上記所定画素ｌ行ｍ列の位置での上下左右の隣接画素の平均値よりｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を算出する平均値算出手段とを備え、上記エッジ判定手段の出力に基づき、上記水平方向信号算出手段の出力または垂直方向信号算出手段出力、または、平均値算出手段からの出力より選択し、上記所定画素ｌ行ｍ列における第１の色信号Ａの画素値Ａ（ｌ、ｍ）を得て、撮像素子における画素数の第１の色信号を得るものである。
【００２０】
また、この発明に係る撮像装置は、前記第１の算出する手段が、上記エッジ判定手段の出力が所定画素ｌ行ｍ列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第１の色信号を得るものである。
【００２１】
また、この発明に係る撮像装置は、上記第２の算出手段が、所定画素ｌ行ｍ列の位置において、上記第１の算出手段からの出力Ａに対して水平方向のローパスフィルタを介した値Ａ１ｈｌｐｆ（ｌ、ｍ）と垂直方向ローパスフィルタを介した値Ａ１ｖｌｐｆ（ｌ、ｍ）を算出し、第２の色信号Ｂに対し水平方向のローパスフィルタを介した値Ｂ１ｈｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対し垂直方向のローパスフィルタを介した値Ｃ１ｖｌｐｆ（ｌ、ｍ）（または、第２の色信号Ｂに対し垂直方向のローパスフィルタを介した値Ｂ１ｖｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対して水平方向のローパスフィルタを介した値Ｃ１ｈｌｐｆ（ｌ、ｍ ））とを算出し、Ａ１ｈｌｐｆ（ｌ、ｍ）とＢ１ｈｌｐｆ（ｌ、ｍ）との比（またはＣ１ｈｌｐｆ（ｌ、ｍ）との比）と、Ａ１ｖｌｐｆ（ｌ、ｍ）とＣ１ｖｌｐｆ（ｌ、ｍ）との比（または、Ｂ１ｖｌｐｆ（ｌ、ｍ）との比）と、上記第１の算出手段からの出力Ａにおける所定画素ｌ行ｍ列での画素値Ａ（ｌ、ｍ）から、ｌ行ｍ列の第２の色信号Ｂと第３の色信号Ｃにおける画素値Ｂ（ｌ、ｍ）とＣ（ｌ、ｍ）を、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝、（または、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）× ｛Ｂ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝）により算出する信号算出手段を備えるとともに、上記ｌ行ｍ列の位置とは異なる所定画素ｘ行ｙ列の位置において、上記第１の算出手段からの出力Ａに対し水平方向のローパスフィルタを介した値Ａ２ｈｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第２の色信号Ｂに対し水平方向のローパスフィルタを介した値Ｂ２ｈｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｈｌｐｆ（ｘ、ｙ）とＢ２ｈｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｈｌｐｆ（ｘ、ｙ）／Ａ２ｈｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃにおいても同様にＣ信号を算出する水平方向信号算出手段と、上記第１の算出手段からの出力Ａに対し垂直方向のローパスフィルタを介した値Ａ２ｖｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第２の色信号Ｂに対し垂直方向のローパスフィルタを介した値Ｂ２ｖｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｖｌｐｆ（ｘ、ｙ）とＢ２ｖｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｖｌｐｆ （ｘ、ｙ）／Ａ２ｖｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃにおいても同様にＣ信号を算出する垂直方向信号算出手段と、上記信号算出手段からの出力における第２、第３の色信号での所定画素ｘ行ｙ列の位置において、斜めに隣接する画素の平均値を算出する平均値算出手段とを備え、上記エッジ判定手段の出力に基づき、前記水平方向信号算出手段、垂直方向信号算出手段、平均値算出手段からのそれぞれの出力から選択して、上記所定画素ｘ行ｙ列での第２、第３の色信号を得て、撮像素子における画素数の第２、第３の色信号を得るものである。
【００２２】
さらに、この発明に係る撮像装置は、前記第２の算出手段が、上記エッジ判定手段の出力が所定画素ｘ行ｙ列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第２、第３の色信号を得るものである。
【００２３】
【発明の実施の形態】
以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１はこの発明の実施の形態１による電子スチルカメラにおける撮像素子の色フィルタ配列の一例を示す図であり、原色の色フィルタを用い、各光電変換素子を独立に呼び出す方式の撮像素子を示している。図において、Ｇは垂直方向２ｉ（ｉ＝０、１、２、…）、水平方向２ｊ（ｊ＝０、１、２、…）の画素位置（以下、画素位置（２ｉ，２ｊ）のように記す。）と、画素位置（２ｉ＋１、２ｊ＋１）にあり、Ｇ信号を通過させる分光特性を持った第１の色フィルタ、Ｒは画素位置（２ｉ、２ｊ＋１）にあり、Ｒ信号を通過させる分光特性を持った第２の色フィルタ、Ｂは画素位置（２ｉ＋１、２ｊ）にあり、Ｂ信号を通過させる分光特性を持った第３の色フィルタである。図１に示されるように、Ｒ、Ｂ信号は上下４画素毎（図中の斜線部）に、Ｇ信号は２画素毎に得られることとなり、この上下４画素が垂直水平方向に繰り返し配列されている。
【００２４】
図２は上記図１に示された色フィルタ配列の撮像素子をもつ実施の形態１による電子スチルカメラにおける撮像装置の構成を示すブロック図である。図において、１は図１に示す色フィルタ配列で構成された撮像素子、２はＡ／Ｄコンバータ、３はフレームメモリ、４はＲ、Ｇ、Ｂの各画素信号を分離しそれぞれの信号を出力する分離手段、５はＧ信号における所定画素でのエッジを判定する第１のエッジ判定手段、６は上記分離手段４からの各信号および前記第１のエッジ判定手段５からの出力に基づき、撮像素子１での総画素数のＧ信号を得るようＧの復元を行うＧ成分復元手段である。７は上記Ｇ成分復元手段６の出力である総画素数の信号を持つ復元後のＧ信号と、上記分離手段４からのＲ、Ｂ信号からＲ、Ｂにおける画素位置（２ｉ、２ｊ）および（２ｉ＋１，２ｊ＋１）での画素を復元するための第１のＲＢ成分復元手段、８は上記Ｇ成分復元手段６からのＧ信号における所定画素でのエッジを判定する第２のエッジ判定手段、９は上記第１のＲＢ成分復元手段７からのＲ、Ｂ信号と上記第２のエッジ判定手段８からの出力に基づき、Ｒにおける画素位置（２ｉ＋１，２ｊ）での画素Ｒ、およびＢにおける画素位置（２ｉ，２ｊ＋１）での画素Ｂを復元するための第２のＲＢ成分復元手段である。
【００２５】
また、図３は上記第１のエッジ判定手段５およびＧ成分復元手段６の一構成例を示すブロック図である。図において、１１はＧ信号の所定画素における左右の画素の差分つまりエッジ成分を検出する水平方向エッジ検出手段、１２はＧ信号の所定画素における上下画素の差分であるエッジ成分を検出する垂直方向エッジ検出手段、１３は前記水平および垂直方向エッジ検出手段１１および１２から出力により、水平垂直方向での周辺画素での信号レベルの変化を判定し、その判定結果を出力する判定手段であり、水平方向エッジ検出手段１１、垂直方向エッジ検出手段１２および判定手段１３により第１のエッジ判定手段５を構成する。１４はＧ信号の所定画素での上下左右の画素の平均値を算出する平均値算出手段、１５〜１７は水平方向のローパスフィルタ、１８はＲ信号と水平方向ローパスフィルタ１５の位置における出力信号Ｇｈｌｐｆおよび水平方向ローパスフィルタ１６の位置における出力信号Ｒｈｌｐｆから演算を行い、水平方向に相関をもつ画素位置（２ｉ、２ｊ＋１）でのＧ信号を出力する演算手段、１９はＢ信号と水平方向ローパスフィルタ１５の位置における出力信号Ｇｈｌｐｆおよび水平方向ローパスフィルタ１７の位置における出力信号Ｂｈｌｐｆにより演算を行い、水平方向に相関をもつ画素位置（２ｉ＋１、２ｊ）でのＧ信号を出力する演算手段である。２０〜２２は垂直方向のローパスフィルタ、２３はＲ信号と垂直方向ローパスフィルタ２０の位置における出力信号Ｇｖｌｐｆおよび垂直方向ローパスフィルタ２１の位置における出力信号Ｒｖｌｐｆにより演算を行い、垂直方向に相関をもつ画素位置（２ｉ、２ｊ＋１）でのＧ信号を出力する演算手段、２４はＢ信号と垂直方向ローパスフィルタ２０の位置における出力信号Ｇｖｌｐｆおよび垂直方向ローパスフィルタ２２の位置における出力信号Ｂｖｌｐｆにより演算を行い、垂直方向に相関をもつ画素位置（２ｉ＋１、２ｊ）でのＧ信号を出力する演算手段である。２５は切り換え手段であり、上記第１のエッジ判定手段５からの周辺画素の信号レベル変化を判定した結果と画素位置に基づき、Ｇの画素信号を上記平均値算出手段１４、演算手段１８、１９および演算手段２３、２４、分離手段４からの信号より、切り換え選択する。
【００２６】
また、図４は第２のエッジ判定手段８および第２のＲＢ成分復元手段９の一構成例を示すブロック図である。図において、第２のエッジ判定手段８は、Ｇ信号の所定画素における左右の画素の差分を検出する水平方向エッジ検出手段３０、および上下画素の差分を検出する垂直方向エッジ検出手段３１、前記水平および垂直方向エッジ検出手段３０および３１からの出力により、水平垂直方向での周辺画素での信号レベルの変化を判定し、Ｒ信号の画素位置（２ｉ＋１，２ｊ）に対する判定結果とＢ信号の画素位置（２ｉ＋１，２ｊ）に対する判定結果を出力する判定手段３２により構成される。Ｒにおける画素位置（２ｉ＋１，２ｊ）での画素Ｒ、およびＢにおける画素位置（２ｉ，２ｊ＋１）での画素Ｂを復元するための第２のＲＢ成分復元手段９においては、３３はＲ信号での斜め方向に隣接する画素の平均値を算出するＲ平均値算出手段、３４はＧ成分復元手段６からのＧ信号と第１のＲＢ復元手段７からのＲ信号により、Ｒにおける画素位置（２ｉ＋１，２ｊ）での画素信号を水平方向の隣接画素により演算するＲ水平方向演算手段、３５は垂直方向の隣接画素により、前記と同様にして画素位置（２ｉ＋１，２ｊ）での画素信号を演算するＲ垂直方向演算手段、３６は上記第２のエッジ判定手段８からの判定結果に基づき、画素位置に応じＲ画素を切り換えるＲ切り換え手段であり、３７はＢ信号での斜め方向に隣接する画素の平均値を算出するＢ平均値算出手段、３８はＧ成分復元手段６からのＧ信号と第１のＲＢ復元手段７からのＢ信号により、Ｂにおける画素位置（２ｉ，２ｊ＋１）での画素信号を水平方向の隣接画素により演算するＢ水平方向演算手段、３９は垂直方向の隣接画素により、前記と同様にして画素位置（２ｉ，２ｊ＋１）での画素信号を演算するＢ垂直方向演算手段、４０は上記第２のエッジ判定手段８からの判定結果に基づき、画素位置に応じＢ画素を切り換えるＢ切り換え手段である。
【００２７】
次に動作について説明する。撮像素子１から各画素信号Ｒ、Ｇ、Ｂを読み出し、その出力はＡ／Ｄコンバータ２によりＡ／Ｄ変換され、フレームメモリ３に入力される。フレームメモリ３に入力された信号から、分離手段４により各Ｒ、Ｇ、Ｂ信号を分離し、Ｇ信号は第１のエッジ判定手段５とＧ成分復元手段６へと送られ、Ｒ、Ｂ信号はＧ成分復元手段６および第１のＲＢ復元手段７へと送られる。第１のエッジ判定手段５ではＧ信号における所定画素位置でのエッジ成分を判定して判定結果をＧ成分復元手段６へと送り、Ｇ成分復元手段６では上記第１のエッジ判定手段５からの判定結果の基づき、撮像素子１での総画素数のＧ信号を得るようＧ成分の画素信号の復元を行うのであるが、この動作を図３に従って説明する。
【００２８】
第１のエッジ判定手段５において、Ｇ信号は水平方向エッジ検出手段１１および垂直方向エッジ判定手段１２へと入力される。いま、撮像素子１におけるＧ成分は図１にあるように画素位置（２ｉ、２ｊ）と（２ｉ＋１、２ｊ＋１）で得られており、撮像素子の画素数のＧ信号を得るために、画素位置（２ｉ、２ｊ＋１）と（２ｉ＋１、２ｊ）の画素での信号を求めることとなる。図５は分離手段４からのそれぞれの画素位置でのＧ信号を示す図であり、図中Ｇは撮像素子１からのＧ信号を、ｇは信号が得られていない画素を示している。よって、水平方向エッジ検出手段１１および垂直方向エッジ判定手段１２では、画素位置（２ｉ、２ｊ＋１）および（２ｉ＋１、２ｊ）（図５中斜線で示すｇ）での左右および上下の画素の差分つまりエッジ成分を検出する。水平方向エッジ検出手段１１では、上記画素位置での左右の画素の差の絶対値ΔＨを得て、これを判定手段１３へと出力し、垂直方向エッジ検出手段１２では、上下の画素の差の絶対値ΔＶを得て、判定手段１３へと出力する。例えば、画素位置（２ｉ、２ｊ＋１）においては、水平方向エッジ検出手段１１で、
ΔＨ＝｜Ｇ（２ｉ、２ｊ）−Ｇ（２ｉ、２ｊ＋２）｜ （１）
を算出し、垂直方向エッジ検出手段１２で
ΔＶ＝｜Ｇ（２ｉ−１、２ｊ＋１）−Ｇ（２ｉ＋１、２ｊ＋１）｜ （２）
を算出し、上記ΔＨ、ΔＶを判定手段１３へと送る。以下、この画素の差の絶対値をエッジ成分と呼ぶ。
【００２９】
上記判定手段１３では、水平方向でのエッジ成分ΔＨおよび垂直方向エッジ成分ΔＶにより、水平垂直方向での周辺画素での信号レベルの変化を判定し、その判定結果を示す信号ｅｄ１を出力する。つまり、ΔＨとΔＶの両方が予め定めた値ｔｈ１以下の場合は、周辺画素での信号レベルの変化がないと判定し、例えばｅｄ１＝１として出力する。一方、ΔＨまたはΔＶが予め定めた値ｔｈ１より大きい場合は、その画素においてエッジ成分があると判定し、さらに、ΔＨ＞ΔＶの場合は垂直方向に相関が高いと判定して例えばｅｄ１＝２を出力し、ΔＨ≦ΔＶの場合は水平方向に相関が高いと判定して例えばｅｄ１＝３を出力する。なお、Ｇが得られている画素位置（２ｉ、２ｊ）、（２ｉ＋１、２ｊ＋１）においてはエッジ成分を判定する必要はなく、判定手段１３からは例えばｅｄ１＝０を出力するものとする。判定手段１３の出力ｅｄ１はＧ成分復元手段６における切り換え手段２５へと送られる。
【００３０】
次に、Ｇ成分復元手段６において、Ｇ信号は平均値算出手段１４および水平方向ローパスフィルタ１５、垂直方向ローパスフィルタ２０へと入力される。平均値算出手段１４では、画素位置（２ｉ、２ｊ＋１）および（２ｉ＋１、２ｊ）において上下左右４画素の値の平均値ｇａを算出し、切り換え手段２５へと送る。水平方向ローパスフィルタ１５からはＧの水平方向のローパスフィルタを介した値Ｇｈｌｐｆが、垂直方向ローパスフィルタ２０からはＧの垂直方向のローパスフィルタを介した値Ｇｖｌｐｆが出力され、例えば画素位置（２ｉ、２ｊ＋１）では次式のように算出される。
Ｇｈｌｐｆ＝｛Ｇ（２ｉ、２ｊ）＋ Ｇ（２ｉ、２ｊ−２）
＋Ｇ（２ｉ、２ｊ＋２）＋Ｇ（２ｉ、２ｊ＋４）｝／４ （３）
Ｇｖｌｐｆ＝｛Ｇ（２ｉ−３、２ｊ＋１）＋ Ｇ（２ｉ−１、２ｊ＋１）
＋Ｇ（２ｉ＋１、２ｊ＋１）＋Ｇ（２ｉ＋３、２ｊ＋１）｝／４ （４）
上記水平方向ローパスフィルタ１５の出力Ｇｈｌｐｆは演算手段１８および１９へ、垂直方向ローパスフィルタ２０の出力Ｇｖｌｐｆは演算手段２３および２４へと送られる。
【００３１】
一方、Ｒ信号は水平方向ローパスフィルタ１６、垂直方向ローパスフィルタ２１へと入力されて、水平および垂直方向のローパスフィルタを介した値Ｒｈｌｐｆ、Ｒｖｌｐｆを出力し、Ｂ信号については水平方向ローパスフィルタ１７、垂直方向ローパスフィルタ２２へと入力され、それぞれ水平および垂直方向のローパスフィルタを介した値Ｂｈｌｐｆ、Ｂｖｌｐｆを出力する。ここで、撮像素子１におけるＲ成分は図１にあるように画素位置（２ｉ、２ｊ＋１）で得られ、分離手段４からのそれぞれの画素位置でのＲ信号は図６（ａ）示されるようになり、また、Ｂ成分は画素位置（２ｉ＋１、２ｊ）で得られ、分離手段４からの各画素位置でのＢ信号は図６（ｂ）に示されるようになる。なお、空白の画素は撮像素子により信号を得られていない画素である。したがって、画素位置（２ｉ、２ｊ＋１）ではＲ信号の水平および垂直方向ローパスフィルタ１６および２１を介した値を例えば次式により得る。
なお、上記式（３）〜（８）は各水平方向ローパスフィルタおよび垂直方向ローパスフィルタ出力の算出例であり、フィルタのタップ数および係数は上記式（３）〜（８）に限るものではなく、他のタップ数および係数でもよい。
【００３３】
そして、上記水平方向ローパスフィルタ１６での出力Ｒｈｌｐｆは演算手段１８へと送られ、演算手段１８へはＲ信号と水平方向ローパスフィルタ１５の出力信号Ｇｈｌｐｆも入力されており、画素位置（２ｉ、２ｊ＋１）での水平方向の相関をもつＧ信号ｇｈ１（２ｉ、２ｊ＋１）を次式
ｇｈ１（２ｉ、２ｊ＋１）＝Ｒ（２ｉ、２ｊ＋１）×（Ｇｈｌｐｆ／Ｒｈｌｐｆ） （９）
により算出し、切り換え手段２５へと送る。また、垂直方向ローパスフィルタ２１での出力Ｒｖｌｐｆは演算手段２３へと送られ、演算手段２３へはＲ信号と垂直方向ローパスフィルタ２０の出力信号Ｇｖｌｐｆも入力されており、画素位置（２ｉ、２ｊ＋１）での垂直方向に相関をもつＧ信号ｇｖ１（２ｉ、２ｊ＋１）を次式
ｇｖ１（２ｉ、２ｊ＋１）＝Ｒ（２ｉ、２ｊ＋１）×（Ｇｖｌｐｆ／Ｒｖｌｐｆ） （１０）
により算出し、切り換え手段２５へと送る。
【００３４】
同様に、上記水平方向ローパスフィルタ１７での出力Ｂｈｌｐｆは演算手段１９へと送られ、演算手段１９へはＢ信号と水平方向ローパスフィルタ１５の出力信号Ｇｈｌｐｆも入力されており、画素位置（２ｉ＋１、２ｊ）での水平方向の相関をもつＧ信号ｇｈ２（２ｉ＋１、２ｊ）を次式
ｇｈ２（２ｉ＋１、２ｊ）＝Ｂ（２ｉ＋１、２ｊ）×（Ｇｈｌｐｆ／Ｂｈｌｐｆ） （１１）
により算出し、切り換え手段２５へと送る。また、垂直方向ローパスフィルタ２２での出力Ｂｖｌｐｆは演算手段２４へと送られ、演算手段２４へはＢ信号と垂直方向ローパスフィルタ２０の出力信号Ｇｖｌｐｆも入力されており、画素位置（２ｉ＋１、２ｊ）での垂直方向に相関をもつＧ信号ｇｖ２（２ｉ＋１、２ｊ）を次式
ｇｖ２（２ｉ＋１、２ｊ）＝Ｂ（２ｉ＋１、２ｊ）×（Ｇｖｌｐｆ／Ｂｖｌｐｆ） （１２）
により算出し、切り換え手段２５へと送る。
【００３５】
上記式（９）〜（１２）による算出方式は、局所的領域での色の変化が少ないことを前提としており、つまり、局所的な領域での各色信号の比はほぼ等しいことにより、水平方向または垂直方向における局所的な領域での各色信号の比はＲ、Ｇ、Ｂの水平方向または垂直方向のローパスフィルタを介した値の比で与えられる。
【００３６】
切り換え手段２５では、第１のエッジ判定手段５における判定手段１３からの周辺画素の信号レベル変化を判定した結果ｅｄ１と画素位置に基づき、Ｇの画素信号を上記平均値算出手段１４、演算手段１８、１９および演算手段２３、２４、分離手段４からの信号より選択し切り換える。つまり、判定手段１３による出力信号ｅｄ１が‘２’を示す場合、すなわち、その画素においてエッジ成分があると判定されるが、ΔＨ＞ΔＶで垂直方向に相関が高いと判定される場合は、各画素位置での垂直方向に相関を持つＧを出力する演算手段の信号を選択する。判定手段１３による出力信号ｅｄ１が‘３’を示す場合、すなわち、その画素においてエッジ成分があると判定されるが、ΔＨ≦ΔＶで水平方向に相関が高いと判定される場合には、各画素位置での水平方向に相関を持つＧを出力する演算手段の信号を選択する。さらに、判定手段１３による出力信号ｅｄ１が‘１’を示す場合には、ΔＨとΔＶの両方が予め定めた値ｔｈ１以下であり、周辺画素での信号レベルの変化がないと判定されるため、周波数の変化を考慮する必要がなく、平均値算出手段１４によるＧ信号ｇａを選択する。
【００３７】
すなわち、切り換え手段２５において、画素位置（２ｉ、２ｊ＋１）のＧ信号ｇ（２ｉ、２ｊ＋１）の場合は、判定手段１３からの出力ｅｄ１＝１では平均値算出手段１４からのＧ信号ｇａを、ｅｄ＝２の場合は演算手段２３からのＧ信号ｇｖ１を、ｅｄ＝３の場合は演算手段１８からのＧ信号ｇｈ１を選択し、一方、画素位置（２ｉ＋１、２ｊ）のＧ信号ｇ（２ｉ＋１、２ｊ）の場合は、判定手段１３からの出力ｅｄ１＝１では平均値算出手段１４からのＧ信号ｇａを、ｅｄ＝２の場合は演算手段２４からのＧ信号ｇｖ２を、ｅｄ＝３の場合は演算手段１９からのＧ信号ｇｈ２を選択する。なお、Ｇが得られている画素位置（２ｉ、２ｊ）、（２ｉ＋１、２ｊ＋１）においては、判定手段１３からは例えばｅｄ１＝０が出力されており、このときは分離手段４からのＧ信号をそのまま出力すればよい。
【００３８】
したがって、Ｇ成分復元手段６からは画素位置（２ｉ、２ｊ）、（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）、（２ｉ＋１、２ｊ＋１）それぞれの画素でのＧ信号が出力され、つまり、撮像素子の画素数分の解像度のＧ信号を得られる。このＧ成分復元手段６からの出力Ｇ０は次に、第１のＲＢ成分復元手段７、および第２のエッジ判定手段８と第２のＲＢ成分復元手段９へと送られる。
【００３９】
次に、第１のＲＢ成分復元手段７では、分離手段４からのＲ、Ｂ信号（図６ （ａ）および（ｂ））と上記Ｇ成分復元手段６からの全画素の信号をもつＧ信号Ｇ０により、Ｒ、Ｂ信号それぞれにおける画素位置（２ｉ、２ｊ）および（２ｉ＋１，２ｊ＋１）での画素を復元生成する。図７（ａ）、（ｂ）は第１のＲＢ成分復元手段７におけるＲ、Ｂ信号の算出を説明するための各画素のＲ、Ｂを示す図であり、図中ｒおよびｂは第１のＲＢ成分復元手段７において復元生成されるＲ、Ｂ画素信号を示している。Ｒ信号での画素位置（２ｉ、２ｊ）においては、水平方向に隣接するの２ｉラインの画素が撮像素子１より得られており、また、Ｇ信号はＧ成分復元手段６により全画素復元されている（図５）。よって、画素位置（２ｉ、２ｊ）において、Ｇ、Ｒ信号に対して水平方向のローパスフィルタを介した値Ｇ１ｈｌｐｆ、Ｒ１ｈｌｐｆを例えば、
ｒ（２ｉ、２ｊ）＝ Ｇ（２ｉ、２ｊ）×（Ｒ１ｈｌｐｆ／Ｇ１ｈｌｐｆ）
＝Ｇ（２ｉ、２ｊ）×（ Ｒ（２ｉ、２ｊ−１）＋Ｒ（２ｉ、２ｊ＋１））
／（ｇ（２ｉ、２ｊ−１）＋ｇ（２ｉ、２ｊ＋１）） （１５）
【００４０】
また、画素位置（２ｉ＋１、２ｊ＋１）においては、垂直方向に隣接する２ｊ＋１列の画素が撮像素子１より得られており、また、Ｇ信号はＧ成分復元手段６により全画素復元されているので、画素位置（２ｉ＋１、２ｊ＋１）において、Ｇ、Ｒ信号に対して垂直方向のローパスフィルタを介した値Ｇ１ｖｌｐｆ、Ｒ１ｖｌｐｆを例えば、
ｒ（２ｉ＋１、２ｊ＋１）＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｒ１ｖｌｐｆ／Ｇ１ｖｌｐｆ）
＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｒ（２ｉ、２ｊ＋１）＋Ｒ（２ｉ＋２、２ｊ＋１））
／（ｇ（２ｉ、２ｊ＋１）＋ｇ（２ｉ＋２、２ｊ＋１）） （１８）
【００４１】
同様に、Ｂ信号については、画素位置（２ｉ、２ｊ）においては、垂直方向に隣接する２ｊ列の画素が撮像素子１より得られており、また、Ｇ信号はＧ成分復元手段６により全画素復元されている（図５）。よって、画素位置（２ｉ、２ｊ）において、Ｇ、Ｂ信号に対して垂直方向のローパスフィルタを介した値Ｇ１ｖｌｐｆ、Ｂ１ｖｌｐｆを例えば、
ｂ（２ｉ、２ｊ）＝ Ｇ（２ｉ、２ｊ）×（Ｂ１ｖｌｐｆ／Ｇ１ｖｌｐｆ）
＝Ｇ（２ｉ、２ｊ）×（ Ｂ（２ｉ−１、２ｊ）＋Ｂ（２ｉ＋１、２ｊ））
／（ｇ（２ｉ−１、２ｊ）＋ｇ（２ｉ＋１、２ｊ）） （２１）
【００４２】
また、画素位置（２ｉ＋１、２ｊ＋１）においては、水平方向に隣接するの２ｉ＋１ラインの画素が撮像素子１より得られており、また、Ｇ信号はＧ成分復元手段６により全画素復元されている。よって、画素位置（２ｉ＋１、２ｊ＋１）において、Ｇ、Ｂ信号に対して水平方向のローパスフィルタを介した値Ｇ１ｈｌｐｆ、Ｂ１ｈｌｐｆを例えば、
ｂ（２ｉ＋１、２ｊ＋１）＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｂ１ｈｌｐｆ／Ｇ１ｈｌｐｆ）
＝Ｇ（２ｉ＋１、２ｊ＋１）×（ Ｂ（２ｉ＋１、２ｊ）＋Ｂ（２ｉ＋１、２ｊ＋２））
／（ｇ（２ｉ＋１、２ｊ）＋ｇ（２ｉ＋１、２ｊ＋２）） （２４）
【００４３】
なお、上記式（１５）、（１８）、（２１）、（２４）は上記Ｇでの復元方法と同様局所的領域での色信号の変化が少ないことを前提としており、つまり、各信号の比は局所的な領域ではほぼ等しいということによる。また、式（１３）〜（２４）におけるＧ１ｈｌｐｆ、Ｇ１ｖｌｐｆ、Ｒ１ｈｌｐｆ、Ｒ１ｖｌｐｆ、Ｂ１ｈｌｐｆ、Ｂ１ｖｌｐｆの算出式は、水平および垂直方向のローパスフィルタ出力の算出例であり、フィルタのタップ数および係数は上記に限るものではなく、他のタップ数および係数であってもよい。そして、第１のＲＢ成分復元手段７からは図７に示すＲ、ｒおよびＢ、ｂの画素信号Ｒ１およびＢ１が出力されて、第２のＲＢ成分復元手段９へと送られる。
【００４４】
次に、第２のＲＢ成分復元手段９および第２のエッジ判定手段８の動作について図４により説明する。第２のエッジ判定手段８において、Ｇ成分復元手段６から出力されたＧ信号Ｇ０は水平方向エッジ検出手段３０および垂直方向エッジ判定手段３１へと入力され、画素位置（２ｉ、２ｊ＋１）および（２ｉ＋１、２ｊ）の画素での左右および上下の画素の差分つまりエッジ成分を検出する。水平方向エッジ検出手段３０では、上記画素位置での左右の画素の差の絶対値ΔＨを得て、これを判定手段３２へと出力し、垂直方向エッジ検出手段３１では、上下の画素の差の絶対値ΔＶを得て、判定手段３２へと出力する。例えば、上記画素位置（２ｉ、２ｊ＋１）においては、水平方向エッジ検出手段３０で、
ΔＨ＝｜Ｇ（２ｉ、２ｊ）−Ｇ（２ｉ、２ｊ＋２）｜
を算出し、垂直方向エッジ検出手段３１で、
ΔＶ＝｜ Ｇ（２ｉ−１、２ｊ＋１）−Ｇ（２ｉ＋１、２ｊ＋１）｜
を算出し、上記ΔＨ、ΔＶを判定手段３２へと送る。以下、この画素の差の絶対値をエッジ成分と呼ぶ。
【００４５】
上記判定手段３２では、水平方向でのエッジ成分ΔＨおよび垂直方向エッジ成分ΔＶにより、水平垂直方向での周辺画素での信号レベルの変化を判定し、その判定結果を示す信号を出力するのであるが、ここで、上記第１のＲＢ成分復元手段７により、Ｒ信号Ｒ１では画素位置（２ｉ＋１、２ｊ）以外の画素信号が得られており（図７（ａ））、Ｂ信号Ｂ１では画素位置（２ｉ、２ｊ＋１）以外の画素信号が得られている（図７（ｂ））。したがって、画素位置（２ｉ＋１、２ｊ）でのエッジ成分を判定した結果ｅｄｒをＲ信号の画素位置（２ｉ＋１，２ｊ）の復元に対して出力し、一方、画素位置（２ｉ、２ｊ＋１）でのエッジ成分を判定した結果ｅｄｂをＢ信号の画素位置（２ｉ、２ｊ＋１）の復元に対して出力する。すなわち、画素位置（２ｉ＋１、２ｊ）における判定結果ｅｄｒと画素位置（２ｉ、２ｊ＋１）における判定結果ｅｄｂにおいて、ΔＨとΔＶの両方が予め定めた値ｔｈ２以下の場合は、周辺画素での信号レベルの変化がないと判定し、例えばｅｄｒ＝１およびｅｄｂ＝１として出力する。一方、ΔＨまたはΔＶが予め定めた値ｔｈ２より大きい場合は、その画素においてエッジ成分があると判定し、さらに、ΔＨ＞ΔＶの場合は垂直方向に相関が高いと判定して、例えばｅｄｒ＝２およびｅｄｂ＝２を出力し、ΔＨ≦ΔＶの場合は水平方向に相関が高いと判定して例えばｅｄｒ＝３およびｅｄｂ＝３を出力する。なお、Ｒ、Ｂが得られている画素位置においてはエッジ成分を判定する必要はなく、判定手段３２からは例えばｅｄｒ＝０およびｅｄｂ＝０を出力するものとする。そして、判定手段３２の出力ｅｄｒは第２のＲＢ成分復元手段９におけるＲ切り換え手段３６へ、また、出力ｅｄｂは第２のＲＢ成分復元手段９におけるＢ切り換え手段４０へと送られる。
【００４６】
次に、第２のＲＢ成分復元手段９において、第１のＲＢ成分復元手段７からのＲ信号出力Ｒ１はＲ平均値算出手段３３、Ｒ水平方向演算手段３４およびＲ垂直方向演算手段３５、Ｒ切り換え手段３６へと入力される。図８（ａ）は第２のＲＢ成分復元手段９において画素位置（２ｉ＋１、２ｊ）のＲ信号の復元を説明するための図であり、図中Ｒおよびｒで示された画素は撮像素子で得られた信号と上記第１のＲＢ復元手段７において復元された画素信号であり、よって、斜線で示されたｒ′画素の信号を求めることとなる。まず、Ｒ平均値算出手段３３では、Ｒ信号Ｒ１において、画素位置（２ｉ＋１、２ｊ）での斜め方向に隣接する４画素Ｒ（２ｉ、２ｊ−１）、Ｒ（２ｉ、２ｊ＋１）、Ｒ（２ｉ＋２、２ｊ−１）、Ｒ（２ｉ＋２、２ｊ＋１）の平均値ｒａを次式により算出する。
ｒａ（２ｉ＋１、２ｊ）＝｛ Ｒ（２ｉ、２ｊ−１）＋Ｒ（２ｉ、２ｊ＋１）
＋ Ｒ（２ｉ＋２、２ｊ−１）＋Ｒ（２ｉ＋２、２ｊ＋１）｝／４
【００４７】
Ｒ水平方向演算手段３４ではＧ成分復元手段６からのＧ信号Ｇ０（図５）も入力されており、ＲおよびＧ信号の画素位置（２ｉ＋１，２ｊ）において、水平方向のローパスフィルタを介した値Ｒ２ｈｌｐｆ、Ｇ２ｈｌｐｆを例えば、
ｒｈ（２ｉ＋１、２ｊ）＝ｇ（２ｉ＋１、２ｊ）×（Ｒ２ｈｌｐｆ／Ｇ２ｈｌｐｆ）
＝ｇ（２ｉ＋１、２ｊ）
×（ ｒ（２ｉ＋１、２ｊ−１）＋ｒ（２ｉ＋１、２ｊ＋１））
／（Ｇ（２ｉ＋１、２ｊ−１）＋Ｇ（２ｉ＋１、２ｊ＋１）） （２７）
【００４８】
Ｒ垂直方向演算手段３５ではＧ成分復元手段６からのＧ信号Ｇ０も入力されており、ＲおよびＧ信号における画素位置（２ｉ＋１，２ｊ）において、垂直方向のローパスフィルタを介した値Ｒ２ｖｌｐｆ、Ｇ２ｖｌｐｆを例えば、
Ｒ２ｖｌｐｆ＝（ｒ（２ｉ、２ｊ）＋ｒ（２ｉ＋２、２ｊ））／２ （２８）
Ｇ２ｖｌｐｆ＝（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ＋２、２ｊ））／２ （２９）
により算出し、このＲ２ｖｌｐｆとＧ２ｖｌｐｆの比と画素ｇ（２ｉ＋１、２ｊ）により、次式の演算で（２ｉ＋１，２ｊ）の垂直方向に相関を持つ画素値ｒｖを算出し出力する。
ｒｖ（２ｉ＋１、２ｊ）＝ｇ（２ｉ＋１、２ｊ）×（Ｒ２ｖｌｐｆ／Ｇ２ｖｌｐｆ）
＝ｇ（２ｉ＋１、２ｊ）×（ｒ（２ｉ、２ｊ）＋ｒ（２ｉ＋２、２ｊ））
／（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ＋２、２ｊ）） （３０）
【００４９】
なお、上記式（２７）、（３０）は上述したように、局所的領域での色信号の変化が少ないことを前提としており、つまり、各信号の比は局所的な領域ではほぼ等しいということにより、また、式（２５）〜（３０）におけるＧ２ｈｌｐｆ、Ｇ２ｖｌｐｆ、Ｒ２ｈｌｐｆ、Ｒ２ｖｌｐｆの算出式は、水平および垂直方向のローパスフィルタ出力の算出例であり、フィルタのタップ数および係数は上記に限るものではなく、他のタップ数および係数であってもよい。そして、上記出力ｒｈおよびｒｖはともにＲ切り換え手段３６へと送られる。
【００５０】
Ｒ切り換え手段３６では、第２のエッジ判定手段８における判定手段３２からの周辺画素の信号レベル変化を判定した結果ｅｄｒに基づき、画素位置（２ｉ＋１、２ｊ）の信号を上記Ｒ平均値算出手段３３、Ｒ水平方向演算手段３４およびＲ垂直方向演算手段３５、第１のＲＢ成分復元手段７からの信号より選択し切り換える。つまり、判定手段３２による出力信号ｅｄｒが‘２’を示す場合、すなわち、その画素においてエッジ成分があると判定されるが、ΔＨ＞ΔＶで垂直方向に相関が高いと判定される場合は、垂直方向に相関を持つＲを出力するＲ垂直方向演算手段３５の信号ｒｖを選択する。判定手段３２による出力信号ｅｄｒが‘３’を示す場合、すなわち、その画素においてエッジ成分があると判定されるが、ΔＨ≦ΔＶで水平方向に相関が高いと判定される場合には、水平方向に相関を持つＲを出力するＲ水平方向演算手段３４の信号を選択する。さらに、判定手段３２による出力信号ｅｄｒが‘１’を示す場合には、ΔＨとΔＶの両方が予め定めた値ｔｈ２以下であり、周辺画素での信号レベルの変化がないと判定されるため、周波数の変化を考慮する必要がなく、Ｒ平均値算出手段３３によるＲ信号ｒａを選択する。なお、Ｒが得られている画素位置（２ｉ、２ｊ）、（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ＋１）においては、判定手段３２からは例えばｅｄｒ＝０が出力されており、このときは第１のＲＢ成分復元手段７からのＲ信号をそのまま出力すればよい。
【００５１】
Ｂ信号についても上記Ｒ信号での処理と同様であり、第２のＲＢ成分復元手段９において、第１のＲＢ成分復元手段７からのＢ信号出力Ｂ１はＢ平均値算出手段３７、Ｂ水平方向演算手段３８およびＢ垂直方向演算手段３９、Ｂ切り換え手段４０へと入力される。図８（ｂ）は第２のＲＢ成分復元手段９において画素位置（２ｉ、２ｊ＋１）のＢ信号の復元を説明するための図であり、図中Ｂおよびｂで示された画素は撮像素子で得られた信号と上記第１のＲＢ復元手段７において復元された画素信号であり、よって、斜線で示されたｂ′画素の信号を求めることとなる。まず、Ｂ平均値算出手段３７では、Ｂ信号Ｂ１において、画素位置（２ｉ、２ｊ＋１）での斜め方向に隣接する４画素の平均値ｂａを次式により算出する。
ｂａ（２ｉ、２ｊ＋１）＝｛Ｂ（２ｉ−１、２ｊ）＋Ｂ（２ｉ−１、２ｊ＋２）
＋Ｂ（２ｉ＋１、２ｊ）＋Ｂ（２ｉ＋１、２ｊ＋２）｝／４
【００５２】
Ｂ水平方向演算手段３８ではＧ成分復元手段６からのＧ信号Ｇ０（図５）も入力されており、ＢおよびＧ信号における画素位置（２ｉ，２ｊ＋１）において、水平方向のローパスフィルタを介した値Ｂ２ｈｌｐｆ、Ｇ３ｈｌｐｆを例えば、Ｂ２ｈｌｐｆ＝（ｂ（２ｉ、２ｊ）＋ｂ（２ｉ、２ｊ＋２））／２ （３１）
Ｇ３ｈｌｐｆ＝（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ、２ｊ＋２））／２ （３２）
により算出し、このＢ２ｈｌｐｆとＧ３ｈｌｐｆの比と画素ｇ（２ｉ、２ｊ＋１）により、次式の演算で（２ｉ，２ｊ＋１）の水平方向に相関を持つ画素値ｂｈを算出し出力する。
ｂｈ（２ｉ、２ｊ＋１）＝ｇ（２ｉ、２ｊ＋１）×（Ｂ２ｈｌｐｆ／Ｇ３ｈｌｐｆ）
＝ｇ（２ｉ、２ｊ＋１）×（ｂ（２ｉ、２ｊ）＋ｂ（２ｉ、２ｊ＋２））
／（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ、２ｊ＋２）） （３３）
【００５３】
Ｂ垂直方向演算手段３９ではＧ成分復元手段６からのＧ信号Ｇ０も入力されており、ＢおよびＧ信号における画素位置（２ｉ，２ｊ＋１）において、垂直方向のローパスフィルタを介した値Ｂ２ｖｌｐｆ、Ｇ３ｖｌｐｆを例えば、
ｂｖ（２ｉ、２ｊ＋１）＝ｇ（２ｉ、２ｊ＋１）×（Ｂ２ｖｌｐｆ／Ｇ３ｖｌｐｆ）
＝ｇ（２ｉ、２ｊ＋１）×（ｂ（２ｉ−１、２ｊ＋１）＋ｂ（２ｉ＋１、２ｊ＋１））
／（Ｇ（２ｉ−１、２ｊ＋１）＋Ｇ（２ｉ＋１、２ｊ＋１））（３６）
【００５４】
なお、上記式（３３）、（３６）は上述したように、局所的領域での色信号の変化が少ないことを前提としており、つまり、各信号の比は局所的な領域ではほぼ等しいということにより、また、式（３１）〜（３６）におけるＧ３ｈｌｐｆ、Ｇ３ｖｌｐｆ、Ｂ２ｈｌｐｆ、Ｂ２ｖｌｐｆの算出式は、水平および垂直方向のローパスフィルタ出力の算出例であり、フィルタのタップ数および係数は上記に限るものではなく、他のタップ数および係数であってもよい。そして、上記出力ｂｈおよびｂｖはともにＢ切り換え手段４０へと送られる。
【００５５】
Ｂ切り換え手段４０では、第２のエッジ判定手段８における判定手段３２からの周辺画素の信号レベル変化を判定した結果ｅｄｂに基づき、画素位置（２ｉ、２ｊ＋１）の信号を上記Ｂ平均値算出手段３７、Ｂ水平方向演算手段３８およびＢ垂直方向演算手段３９、第１のＲＢ成分復元手段７からの信号より選択し切り換える。つまり、判定手段３２による出力信号ｅｄｂが‘２’を示す場合、すなわち、その画素においてエッジ成分があると判定されるが、ΔＨ＞ΔＶで垂直方向に相関が高いと判定される場合は、垂直方向に相関を持つＲを出力するＲ垂直方向演算手段３９の信号ｂｖを選択する。判定手段３２による出力信号ｅｄｂが‘３’を示す場合、すなわち、その画素においてエッジ成分があると判定されるが、ΔＨ≦ΔＶで水平方向に相関が高いと判定される場合には、水平方向に相関を持つＢを出力するＢ水平方向演算手段３８の信号を選択する。さらに、判定手段３２による出力信号ｅｄｂが‘１’を示す場合には、ΔＨとΔＶの両方が予め定めた値ｔｈ２以下であり、周辺画素での信号レベルの変化がないと判定されるため、周波数の変化を考慮する必要がなく、Ｂ平均値算出手段３７によるＢ信号ｂａを選択する。なお、Ｂが得られている画素位置（２ｉ、２ｊ）、（２ｉ＋１、２ｊ）、（２ｉ＋１、２ｊ＋１）においては、判定手段３２からは例えばｅｄｂ＝０が出力されており、このときは第１のＲＢ成分復元手段７からのＢ信号をそのまま出力すればよい。
【００５６】
以上より、第２のＲＢ成分復元手段９からは画素位置（２ｉ、２ｊ）、（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）、（２ｉ＋１、２ｊ＋１）それぞれの画素でのＲおよびＢ信号が出力され、つまり、撮像素子の画素数分の解像度のＲ、Ｂ信号を得られるとになる。Ｇ信号は上記Ｇ成分復元手段６においてすでに撮像素子の画素数分の解像度の信号を得ており、したがって、Ｇ成分を用い水平垂直方向のエッジ成分を判定して局所的な領域での空間周波数の変化を判定し、その判定結果に基づき各色信号の生成を切り換えるともに、エッジ成分が所定値を越える場合の信号の算出において、局所的な領域での色信号の比により算出を行い、エッジ成分が所定値以下では周辺画素の平均値で求めるので、そのため、偽色、偽輪郭が軽減された画像を得ることになる。
【００５７】
図９は、ゾーンプレートを画像シミュレーションにより処理した場合の水平方向において発生する偽色レベル（color-alias level 、縦軸）と解像度（横軸）との関係を示すものであり、上記図２０による従来技術による処理後の偽色レベルを波線で示し、図２による実施の形態１による処理後の偽色レベルを実線で示している。従来の技術による処理では多くの偽色が発生しているが、実施の形態１による処理では偽色の発生が抑圧されている。各処理でこの水平方向の偽色信号のレベルを積分して比較すると、約１８．４ｄＢの抑圧効果がある。
【００５８】
また、図１０は、垂直方向での発生する偽色レベル（color-alias level 、縦軸）と解像度（横軸）との関係を示すものであり、上記と同様に、上記図２０による従来技術による処理後の偽色レベルを波線で示し、図２による実施の形態１による処理後の偽色レベルを実線で示している。従来の技術による処理では多くの偽色が発生しているが、実施の形態１による処理では偽色の発生が抑圧されており、垂直方向の偽色信号のレベルを積分して比較すると、約１８．５ｄＢの抑圧効果がある。
【００５９】
さらに、図１１および図１２は、ゾーンプレートを画像シミュレーションにより処理した場合の水平方向における輝度信号のレベルをＲＧＢ信号より算出して縦軸に、解像度を横軸に示した図であり、図２による実施の形態１による処理後の場合を図１１に、上記図２０による従来技術による処理後の場合を図１２に示す。また、垂直方向における輝度信号のレベルと解像度との関係を、図１３に図２による実施の形態１による処理後の場合を、図１４に上記図２０による従来技術による処理後の場合示す。水平および垂直方向どちらに対しても、従来の技術による処理に比較して実施の形態１による処理ではレベルの低下が少なく、水平垂直方向の解像度が向上している。
【００６０】
なお、上記実施の形態１では、撮像素子１の色フィルタの配列を図１に示す原色の色フィルタであり、各光電変換素子を独立に呼び出す方式の撮像素子とし、画素位置（２ｉ，２ｊ）と画素位置（２ｉ＋１、２ｊ＋１）（ｉ＝０、１、２、…、ｊ＝０、１、２、…）にＧ信号を通過させる分光特性を持った第１の色フィルタを、画素位置（２ｉ、２ｊ＋１）にＲ信号を通過させる分光特性を持った第２の色フィルタを、画素位置（２ｉ＋１、２ｊ）にＢ信号を通過させる分光特性を持った第３の色フィルタを配列した場合として説明したが、撮像素子におけるは第１、第２および第３の色フィルタの分光特性はＲ、Ｇ、Ｂに限るものではなく、例えば画素混合方式の撮像素子であってもよく、図１５に示すように、画素位置（２ｉ，２ｊ）と画素位置（２ｉ＋１、２ｊ＋１）（ｉ＝０、１、２、…、ｊ＝０、１、２、…）に第１の信号Ａを通過させる分光特性を持った第１の色フィルタを、画素位置（２ｉ、２ｊ＋１）に第２の信号Ｂを通過させる分光特性を持った第２の色フィルタを、画素位置（２ｉ＋１、２ｊ）に第３の信号Ｃを通過させる分光特性を持った第３の色フィルタを配列し、上記実施の形態１の処理により撮像素子の画素数分の各Ａ、Ｂ、Ｃの信号を復元した後ＲＧＢの色信号を再生できればよく、上記と同様の効果を奏する。
【００６１】
また、上記実施の形態１では、図１および図１５の撮像素子の色フィルタの配列を画素位置（２ｉ，２ｊ）と画素位置（２ｉ＋１、２ｊ＋１）（ｉ＝０、１、２、…、ｊ＝０、１、２、…）に第１の色フィルタを、画素位置（２ｉ、２ｊ＋１）に第２の色フィルタを、画素位置（２ｉ＋１、２ｊ）に第３の色フィルタを配列した場合（図１、１５中の斜線部分）として説明したが、図１６に示されるように、画素位置（２ｉ，２ｊ＋１）と画素位置（２ｉ＋１、２ｊ）（ｉ＝０、１、２、…、ｊ＝０、１、２、…）に第１の色フィルタを、画素位置（２ｉ、２ｊ）に第２の色フィルタを、画素位置（２ｉ＋１、２ｊ＋１）に第３の色フィルタを配列した場合（図１６中の斜線部分）でも同様の効果を奏し、上下４画素毎にｎラインには第１の色フィルタ、第２の色フィルタが配列され、ｎ＋１ラインでは第３の色フィルタと第１の色フィルタが配列されて、上下のラインで第１のフィルタが斜め方向の画素に配列されていればよい。
【００６２】
また、上記実施の形態１において、第１のエッジ判定手段５および第２のエッジ判定手段８においての判定結果を示す信号を、ΔＨとΔＶの両方が予め定めた値以下の場合は‘１’とし、エッジ成分があると判定しΔＨ＞ΔＶの場合は‘２’とし、ΔＨ≦ΔＶの場合は‘３’とし、画素信号が得られている画素位置においては‘０’として出力する場合について説明しているが、これに限るものではなく、それぞれの判定結果を区別できる信号を出力するのであれば、他の値であってもよい。
【００６３】
なお、上記実施の形態１では、ハードウェアにより図２の構成の処理を行う場合について説明しているが、撮像装置におけるソフトウェアにより同様の処理を行うことができることは言うまでもなく、上記実施の形態１と同様の効果を奏する。
【００６４】
実施の形態２．
実施の形態１では第１のエッジ判定手段５において、Ｇ信号における画素位置（２ｉ、２ｊ＋１）および（２ｉ＋１、２ｊ）での上下左右でのエッジ成分を判定し、第２のエッジ判定手段８においては、Ｒ信号の復元に対してＧ信号における画素位置（２ｉ＋１、２ｊ）でのエッジ成分を、Ｂ信号の復元に対しＧ信号における画素位置（２ｉ、２ｊ＋１）でのエッジ成分を判定するよう構成したが、どちらも画素位置（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）での左右および上下の画素のエッジ成分を検出しており、これらの画素位置での上下左右の画素信号は撮像素子より得られた信号であるため、同一のエッジ成分を求めることとなる。よって、図１７に示すように、１つのＧ成分エッジ判定手段によりＧ信号における画素位置（２ｉ、２ｊ＋１）および（２ｉ＋１、２ｊ）でのエッジ成分を判定するような構成とすることもできる。
【００６５】
図１７において、１〜４、６〜７、および９は上記実施の形態１での撮像装置と同一のものであり、４１はＧ成分エッジ判定手段であり、水平方向エッジ検出手段４２、垂直方向エッジ検出手段４３、判定手段４４により構成される。
【００６６】
次に動作を説明する。撮像素子１から各画素信号Ｒ、Ｇ、Ｂを読み出し、Ａ／Ｄコンバータ２によりＡ／Ｄ変換されてフレームメモリ３に入力され、分離手段４により各Ｒ、Ｇ、Ｂ信号を分離し、Ｇ成分復元手段６、第１のＲＢ復元手段７および第２のＲＢ復元手段９で撮像素子の画素数の各信号を生成し復元する動作は上記実施の形態１と同一であるのでその詳細な説明は省略する。
【００６７】
Ｇ成分エッジ判定手段４１には分離手段４におけるＧ信号（図１８）が入力され、Ｇ成分エッジ判定手段４１内の水平方向エッジ検出手段４２、垂直方向エッジ検出手段４３へと与えられる。水平方向エッジ検出手段４２および垂直方向エッジ検出手段４３においては画素位置（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）（図１８中斜線で示す画素）での左右および上下の画素の差分つまりエッジ成分を検出する。つまり、水平方向エッジ検出手段４２では、上記画素位置での左右の画素の差の絶対値ΔＨｇを得て、これを判定手段４４へと出力し、垂直方向エッジ検出手段４３では、上下の画素の差の絶対値ΔＶｇを得て、判定手段５５へと出力する。例えば、画素位置（２ｉ、２ｊ＋１）においては、水平方向エッジ検出手段４２で、
ΔＨｇ＝｜Ｇ（２ｉ、２ｊ）−Ｇ（２ｉ、２ｊ＋２）｜
を算出し、垂直方向エッジ検出手段４３で
ΔＶｇ＝｜ Ｇ（２ｉ−１、２ｊ＋１）−Ｇ（２ｉ＋１、２ｊ＋１）｜
を算出し、上記ΔＨｇ、ΔＶｇを判定手段４４へと送る。
【００６８】
上記判定手段４４では、水平方向でのエッジ成分ΔＨｇおよび垂直方向エッジ成分ΔＶｇにより、水平垂直方向での周辺画素での信号レベルの変化を判定し、入力されるＧ信号の各画素位置に応じて、その判定結果を示す信号ｅｄ１をＧ成分復元手段６へ、ｅｄｒ、ｅｄｂを第２のＲＢ成分復元手段９へと出力する。各判定信号は、ΔＨｇとΔＶｇの両方が予め定めた値以下の場合は、周辺画素での信号レベルの変化がないと判定し、例えば‘１’とする。一方、ΔＨｇまたはΔＶｇが予め定めた値より大きい場合は、その画素においてエッジ成分があると判定し、さらに、ΔＨｇ＞ΔＶｇの場合は垂直方向に相関が高いと判定して例えば‘２’とし、ΔＨｇ≦ΔＶｇの場合は水平方向に相関が高いと判定して例えば、‘３’とする。ここで、Ｇ成分復元手段６においては、画素位置（２ｉ、２ｊ＋１）と（２ｉ＋１、２ｊ）での画素を復元するため、両画素位置において上記エッジ判定結果をｅｄ１として出力し、Ｇが得られている画素位置（２ｉ、２ｊ）、（２ｉ＋１、２ｊ＋１）においては例えばｅｄ１＝０を出力する。そして、判定手段４４の出力ｅｄ１はＧ成分復元手段６における切り換え手段２５へと送られる。
【００６９】
一方、第２のＲＢ成分復元手段９においては、Ｒ信号の画素位置（２ｉ＋１，２ｊ）の復元を行い、Ｂ信号の画素位置（２ｉ、２ｊ＋１）の復元を行う。よって、画素位置（２ｉ＋１、２ｊ）において上記エッジ成分を判定した結果をｅｄｒとして、第２のＲＢ成分復元手段９での処理する画素位置にタイミングを合わせて出力し、他の画素位置（２ｉ、２ｊ）、（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ＋１）においては例えばｅｄｒ＝０を出力する。そして、判定手段４４の出力ｅｄｒは第２のＲＢ成分復元手段９におけるＲ切り換え手段３６へと送られる。一方、画素位置（２ｉ、２ｊ＋１）において上記エッジ成分を判定した結果をｅｄｂとして、第２のＲＢ成分復元手段９での処理する画素位置にタイミングを合わせて出力し、他の画素位置（２ｉ、２ｊ）、（２ｉ＋１、２ｊ）、（２ｉ＋１、２ｊ＋１）においては例えばｅｄｂ＝０を出力する。そして、判定手段４４の出力ｅｄｂは第２のＲＢ成分復元手段９におけるＢ切り換え手段４０へと送られる。
【００７０】
よって、Ｇ成分エッジ判定手段４１において、上記Ｇ成分復元手段６および第２のＲＢ成分復元手段９におけるＧ、Ｒ、Ｂ信号を復元する画素位置に対応するＧ信号でのエッジ成分の判定結果を出力されることとなる。
【００７１】
なお、上記実施の形態２では、画素位置（２ｉ、２ｊ）、（２ｉ＋１、２ｊ＋１）にＧ信号が、画素位置（２ｉ、２ｊ＋１）にＲ信号が、画素位置（２ｉ＋１、２ｊ＋１）にＢ信号が撮像素子より得られる場合について説明したが、上記実施の形態１同様、画素位置（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）にＧ信号が、画素位置（２ｉ、２ｊ）にＲ信号が、画素位置（２ｉ＋１、２ｊ＋１）にＢ信号が配列されていてもよく、また、色信号はＲＧＢに限ることはない。
【００７２】
また、上記実施の形態１と同様、実施の形態２においても、図１７の構成の処理を撮像装置におけるソフトウェアにより同様の処理を行うことができることは言うまでもなく、上記実施の形態２と同様の効果を奏する。
【００７３】
【発明の効果】
この発明は、以上説明したように構成されているので、以下に示すような効果を奏する。
【００７４】
この発明に係る撮像装置によれば、画素位置（２ｉ、２ｊ）（ｉ＝０、１、２、…およびｊ＝０、１、２、…）と（２ｉ＋１、２ｊ＋１）に第１の色信号を通過させる分光特性を持った第１の色フィルタを、画素位置（２ｉ、２ｊ＋１）に第２の色信号を通過させる分光特性を持った第２の色フィルタ、画素位置（２ｉ＋１、２ｊ）に第３の色信号を通過させる分光特性を持った第３の色フィルタを配列した上下４画素が垂直水平方向に繰り返し配列された撮像素子において、第１の色フィルタの位置における第１の色信号の画素位置（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）において、周辺画素信号に基づきエッジ成分を判定し、この判定結果に基づき、第１、第２および第３の色信号により第１の色信号の上記画素位置での信号を算出して撮像素子の画素数の第１の色信号を復元し、上記エッジ判定結果に基づき、復元された第１の色信号と各色フィルタからの色信号により第２および第３の色信号を算出し撮像素子の画素数の第２、第３の色信号を得ることにより、偽色、偽輪郭の軽減された画像を得ることができる。
【００７５】
また、この発明に係る撮像装置によれば、エッジ判定手段が、第１の色信号の所定画素における左右の隣接画素の差の絶対値を算出して水平方向のエッジ成分ΔＨを検出し、上下の画素の差の絶対値を算出して垂直方向のエッジ成分ΔＶを検出して、水平方向のエッジ成分ΔＨと垂直方向のエッジ成分ΔＶに基づき、前記所定画素における水平または垂直方向のエッジ成分を判定する判定することにより、局所的な領域での水平、垂直方向の空間周波数の変化を判定することができ、偽色、偽輪郭の軽減された画像を得ることができる。
【００７６】
また、この発明に係る撮像装置によれば、前記エッジ判定手段における判定手段が、上記水平方向エッジ検出手段からの出力ΔＨまたは上記垂直方向エッジ検出手段からの出力ΔＶが予め定めた値より大きい場合は、所定画素の周辺画素にエッジ成分を検出したとし、さらに、ΔＨ＞ΔＶであれば垂直方向により相関があり、ΔＨ≦ΔＶであれば水平方向により相関があると判定するとともに、上記ΔＨとΔＶがともに予め定めた値より小さい場合にはエッジ成分を検出しないと判定することにより、局所的な領域での水平、垂直方向の空間周波数の変化を判定することができ、偽色、偽輪郭の軽減された画像を得ることができる。
【００７７】
また、この発明に係る撮像装置によれば、第１の色信号を算出して復元する手段が、第２の色信号Ｂのある所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置（ｌ＝２ｉ、ｍ＝２ｊ＋１またはｌ＝２ｉ＋１、ｍ＝２ｊ）において、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対して水平方向のローパスフィルタを介した値Ａｈｌｐｆ（ｌ、ｍ）、Ｂｈｌｐｆ（ｌ、ｍ）を算出し、前記水平方向ローパスフィルタからの出力信号であるＡｈｌｐｆ（ｌ、ｍ）とＢｈｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｈｌｐｆ（ｌ、ｍ）／Ｂｈｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の画素位置においても同様に第１の色信号Ａにおける画素値を算出する水平方向信号算出手段と、上記所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対して垂直方向のローパスフィルタを介した値Ａｖｌｐｆ（ｌ、ｍ）、Ｂｖｌｐｆ（ｌ、ｍ）を算出し、前記垂直方向ローパスフィルタからの出力信号であるＡｖｌｐｆ（ｌ、ｍ）とＢｖｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａである画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｖｌｐｆ（ｌ、ｍ）／Ｂｖｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の画素位置においても同様に第１の色信号Ａにおける画素値を算出する垂直方向信号算出手段と、第１の色信号Ａにおける上記所定画素ｌ行ｍ列の位置での上下左右の隣接画素の平均値よりｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を算出する平均値算出手段とを備え、上記エッジ判定手段の出力に基づき、上記水平方向信号算出手段の出力または垂直方向信号算出手段出力、または、平均値算出手段からの出力より選択し、上記所定画素ｌ行ｍ列における第１の色信号Ａの画素値Ａ（ｌ、ｍ）を得て、撮像素子における画素数の第１の色信号を得ることにより、偽色、偽輪郭の軽減された画像を得ることができる。
【００７８】
また、この発明に係る撮像装置によれば、前記第１の色信号を算出する手段が、上記エッジ判定手段の出力が所定画素ｌ行ｍ列位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第１の色信号を得ることにより、偽色、偽輪郭の軽減された画像を得ることができる。
【００７９】
また、この発明に係る撮像装置によれば、第２、第３の色信号を算出して復元する手段が、所定画素ｌ行ｍ列の位置（ｌ＝２ｉ、ｍ＝２ｊまたはｌ＝２ｉ＋１、ｍ＝２ｊ＋１）において、上記第１の色信号を算出する手段からの出力Ａに対し水平方向のローパスフィルタを介した値Ａ１ｈｌｐｆ（ｌ、ｍ）と垂直方向ローパスフィルタを介した値Ａ１ｖｌｐｆ（ｌ、ｍ）を算出し、第２の色信号Ｂに対して水平方向のローパスフィルタを介した値Ｂ１ｈｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対して垂直方向のローパスフィルタを介した値Ｃ１ｖｌｐｆ（ｌ、ｍ）（または、第２の色信号Ｂに対して垂直方向のローパスフィルタを介した値Ｂ１ｖｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対して水平方向のローパスフィルタを介した値Ｃ１ｈｌｐｆ（ｌ、ｍ））とを算出し、Ａ１ｈｌｐｆ（ｌ、ｍ）とＢ１ｈｌｐｆ（ｌ、ｍ）との比（またはＣ１ｈｌｐｆ（ｌ、ｍ）との比）と、Ａ１ｖｌｐｆ（ｌ、ｍ）とＣ１ｖｌｐｆ（ｌ、ｍ）との比（または、Ｂ１ｖｌｐｆ（ｌ、ｍ）との比）と、第１の色信号を算出する手段からの出力Ａにおける所定画素ｌ行ｍ列での画素値Ａ（ｌ、ｍ）から、ｌ行ｍ列の第２の色信号Ｂと第３の色信号Ｃにおける画素値Ｂ（ｌ、ｍ）とＣ（ｌ、ｍ）を、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝、（または、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｈｌｐｆ （ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝）により算出する信号算出手段を備えるとともに、上記ｌ行ｍ列の位置とは異なる所定画素ｘ行ｙ列の位置（ｘ＝２ｉ＋１、ｙ＝２ｊまたはｘ＝２ｉ、ｙ＝２ｊ＋１）において、上記第１の色信号を算出する手段からの出力Ａに対し水平方向のローパスフィルタを介した値Ａ２ｈｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第２の色信号Ｂに対し水平方向のローパスフィルタを介した値Ｂ２ｈｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｈｌｐｆ（ｘ、ｙ）とＢ２ｈｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｈｌｐｆ（ｘ、ｙ）／Ａ２ｈｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃにおいても同様にＣ信号を算出する水平方向信号算出手段と、上記第１の色信号を算出する手段からの出力Ａに対し垂直方向のローパスフィルタを介した値Ａ２ｖｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第２の色信号Ｂに対して垂直方向のローパスフィルタを介した値Ｂ２ｖｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｖｌｐｆ（ｘ、ｙ）とＢ２ｖｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｖｌｐｆ（ｘ、ｙ）／Ａ２ｖｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃにおいても同様にＣ信号を算出する垂直方向信号算出手段と、上記信号算出手段からの出力における第２、第３の色信号での所定画素ｘ行ｙ列の位置において、斜めに隣接する画素の平均値を算出する平均値算出手段とを備え、上記エッジ判定手段の出力に基づき、前記水平方向信号算出手段、垂直方向信号算出手段、平均値算出手段からのそれぞれの出力から選択して、上記所定画素ｘ行ｙ列での第２、第３の色信号を得て、撮像素子における画素数の第２、第３の色信号を得ることにより、偽色、偽輪郭の軽減された画像を得ることができる。
【００８０】
さらに、この発明に係る撮像装置によれば、前記第２、第３の色信号を算出する手段が、上記エッジ判定手段の出力が所定画素ｘ行ｙ列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第２、第３の色信号を得ることにより、偽色、偽輪郭の軽減された画像を得ることができる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１における撮像素子の色フィルタの配列の一例を示す図である。
【図２】 この発明の実施の形態１による撮像装置の構成の一例を示すブロック図である。
【図３】 この発明の実施の形態１による撮像装置における第１のエッジ判定手段５とＧ成分復元手段６の構成の一例を示すブロック図である。
【図４】 この発明の実施の形態１による撮像装置における第２のエッジ判定手段８と第２のＲＢ成分復元手段９の構成の一例を示すブロック図である。
【図５】 この発明の実施の形態１による撮像装置におけるＧ信号の復元の動作を説明するためのＧ信号の画素を示す図である。
【図６】 この発明の実施の形態１による撮像装置におけるＧ信号の復元の動作を説明するためのＲ信号およびＢ信号の画素を示す図である。
【図７】 この発明の実施の形態１による撮像装置における第１のＲＢ成分復元装置７の動作を説明するためのＲ、Ｂ信号の画素を示す図である。
【図８】 この発明の実施の形態１による撮像装置における第２のエッジ判定手段８と第２のＲＢ成分復元手段９の動作を説明するためのＲ、Ｂ信号の画素を示す図である。
【図９】 この発明の実施の形態１による撮像装置と従来の装置により処理したシミュレーション画像での水平方向の解像度での偽色レベルを示す図である。
【図１０】 この発明の実施の形態１による撮像装置と従来の装置により処理したシミュレーション画像での垂直方向の解像度での偽色レベルを示す図である。
【図１１】 この発明の実施の形態１による撮像装置により処理したシミュレーション画像での水平方向の解像度での輝度信号のレベルを示す図である。
【図１２】 従来の装置により処理したシミュレーション画像での水平方向の解像度での輝度信号のレベルを示す図である。
【図１３】 この発明の実施の形態１による撮像装置により処理したシミュレーション画像での垂直方向の解像度での輝度信号のレベルを示す図である。
【図１４】 従来の装置により処理したシミュレーション画像での垂直方向の解像度での輝度信号のレベルを示す図である。
【図１５】 この発明の実施の形態１による撮像素子の他の色フィルタ配列の例を示す図である。
【図１６】 この発明の実施の形態１による撮像素子の他の色フィルタ配列の例を示す図である。
【図１７】 この発明の実施の形態２による撮像装置の構成の一例を示すブロック図である。
【図１８】 この発明の実施の形態２による撮像装置におけるＧ成分エッジ判定手段４１の動作を説明するためのＧ信号の画素を示す図である。
【図１９】 従来の撮像装置における撮像素子の色フィルタ配列の一例を示す図である。
【図２０】 従来の撮像装置の構成の一例を示すブロック図である。
【図２１】 従来の撮像装置の動作を説明するための各信号の画素を示す図である。
【図２２】 従来の撮像装置の他の構成の例を示すブロック図である。
【符号の説明】
１ 撮像素子、２ Ａ／Ｄコンバータ、３ フレームメモリ、４ 分離手段、５ 第１のエッジ判定手段、６ Ｇ成分復元手段、７ 第１のＲＢ成分復元手段、８ 第２のエッジ判定手段、９ 第２のＲＢ成分復元手段、１１，３０，４２水平方向エッジ検出手段、１２，３１，４３ 垂直方向エッジ検出手段、１３判定手段、１４ 平均値算出手段、１５〜１７ 水平方向ローパスフィルタ、１８，１９ 演算手段、２０〜２２ 垂直方向ローパスフィルタ、２３、２４ 演算手段、２５ 切り換え手段、３２ 判定手段、３３ Ｒ平均値算出手段、３４ Ｒ水平方向演算手段、３５ Ｒ垂直方向演算手段、３６ Ｒ切り換え手段、３７ Ｂ平均値算出手段、３８ Ｂ水平方向演算手段、３９ Ｂ垂直方向演算手段、４０ Ｂ切り換え手段、４１ Ｇ成分エッジ判定手段、４４判定手段。
Claims (7)
- 水平垂直２行２列の４画素において、第１の色信号に対する分光感度特性を持つ第１の色フィルタと第２の色信号に対する分光感度特性を持つ第２の色フィルタとが１行目に配列され、２行目には上記１行目の第１の色フィルタが配列された画素位置と同一の列に第３の色信号に対する分光感度特性を持つ第３の色フィルタが配列され、第２の色フィルタと同一の列に第１の色信号に対する分光感度特性を持つ第１の色フィルタが配列されており、上記２行２列の４画素の色フィルタが順次垂直及び水平方向に繰り返し配列される撮像素子を備えた撮像装置において、
上記第２または第３の色フィルタの位置における第２または第３の色信号の所定画素位置の周辺の第１の色信号に基づき、所定画素位置におけるエッジ成分を判定する第１のエッジ判定手段と、
前記第１、第２及び第３の色信号の水平方向の低周波信号成分を生成する第１、第２及び第３の水平方向ローパスフィルタと、
前記第１、第２及び第３の色信号の垂直方向の低周波信号成分を生成する第１、第２及び第３の垂直方向ローパスフィルタと、
前記第１及び第２の水平方向ローパスフィルタから得られた前記第２の色フィルタ位置における第１及び第２の色信号の水平方向の低周波信号成分と、前記第２の色フィルタ位置における第２の色信号とから、第２の色フィルタ位置における第１の色信号を算出する第１の演算手段と、
前記第１及び第２の垂直方向ローパスフィルタから得られた前記第２の色フィルタ位置における第１及び第２の色信号の垂直方向の低周波信号成分と、前記第２の色フィルタ位置における第２の色信号とから、第２の色フィルタ位置における第１の色信号を算出する第２の演算手段と、
前記第１及び第３の水平方向ローパスフィルタから得られた前記第３の色フィルタ位置における第１及び第３の色信号の水平方向の低周波信号成分と、前記第３の色フィルタ位置における第３の色信号とから、第３の色フィルタ位置における第１の色信号を算出する第３の演算手段と、
前記第１及び第３の垂直方向ローパスフィルタから得られた前記第３の色フィルタ位置における第１及び第３の色信号の垂直方向の低周波信号成分と、前記第３の色フィルタ位置における第３の色信号とから、第３の色フィルタ位置における第１の色信号を算出する第４の演算手段と、
周辺の第１の色信号の平均値を算出する第５の演算手段と、
第１の色フィルタ位置における第１の色信号、及び前記第１乃至第５の演算手段の出力信号を前記第１のエッジ判定手段の出力に基づいて切り替える切り替え手段と
を具備した第１の色信号復元手段と、
前記第１の色フィルタ位置の第１の色信号の所定位置において、第１の色信号の所定位置における第２の色信号の低周波成分と、第１の色信号の低周波成分と、前記第１の色信号復元手段から出力された第１の色フィルタ位置における第１の色信号とから第２の色信号を生成し、かつ第１の色信号の所定位置における第３の色信号の低周波成分と、第１の信号の低周波成分と、前記第１の色信号復元手段から出力された第１の色フィルタ位置における第１の色信号とから第３の色信号を生成する第２の色信号復元手段と、
前記第１の色信号復元手段から出力された第２または第３の色フィルタの位置における第２または第３の色信号の所定画素位置の周辺の第１の色信号に基づき、所定画素位置におけるエッジ成分を判定する第２のエッジ判定手段と、
前記第２の色フィルタ位置の第２の色信号の所定の位置において、前記第１の色信号復元手段より出力された第１の色信号と、前記第１の色信号復元手段から出力された第１の色信号の水平方向の低周波数成分と、前記第２の色信号復元手段から出力された第３の色信号の水平方向の低周波数成分とから第２の色信号の所定位置における第３の色信号を算出する第１の水平方向演算手段と、
前記第２の色フィルタ位置の第２の色信号の所定の位置において、前記第１の色信号復元手段より出力された第１の色信号と、前記第１の色信号復元手段から出力された第１の色信号の垂直方向の低周波数成分と、前記第２の色信号復元手段から出力された第３の色信号の垂直方向の低周波数成分とから第２の色信号の所定位置における第３の色信号を算出する第１の垂直方向演算手段と、
前記第２の色信号復元手段から出力された周辺の第３の色信号の平均値を算出する第１の平均値算出手段と、
前記第３の色フィルタ位置の第３の色信号の所定の位置において、前記第１の色信号復元手段より出力された第１の色信号と、前記第１の色信号復元手段から出力された第１の色信号の水平方向の低周波数成分と、前記第２の色信号復元手段から出力された第２の色信号の水平方向の低周波数成分とから第３の色信号の所定位置における第２の色信号を算出する第２の水平方向演算手段と、
前記第３の色フィルタ位置の第３の色信号の所定の位置において、前記第１の色信号復元手段より出力された第１の色信号と、前記第１の色信号復元手段から出力された第１の色信号の垂直方向の低周波数成分と、前記第２の色信号復元手段から出力された第２の色信号の垂直方向の低周波数成分とから第３の色信号の所定位置における第２の色信号を算出する第２の垂直方向演算手段と、
前記第２の色信号復元手段から出力された周辺の第２の色信号の平均値を算出する第２の平均値算出手段と、
前記第１の水平方向演算手段、前記第１の垂直方向演算手段及び前記第１の平均値算出手段の出力を前記第２のエッジ判定手段の出力に基づいて切り替え、前記第２の水平方向演算手段、前記第２の垂直方向演算手段及び前記第２の平均値算出手段の出力を、前記第２のエッジ判定手段の出力に基づいて切り替える切り替え手段と
を具備した第３の色信号復元手段と
を備えたことを特徴とする撮像装置。 - 前記第１のエッジ判定手段が、
上記第２または第３の色信号の所定画素位置における左右の隣接画素の第１の色信号の差を算出して水平方向のエッジ成分を検出する水平方向エッジ検出手段と、
上記第２または第３の色信号の所定画素位置における上下の隣接画素の第１の色信号の差を算出して垂直方向のエッジ成分を検出する垂直方向エッジ検出手段と、
前記水平方向エッジ検出手段と垂直方向エッジ検出手段からの出力に基づき、前記所定画素における水平または垂直方向のエッジ成分を判定する判定手段を
備えることを特徴とする請求項１記載の撮像装置。 - 前記第１のエッジ判定手段における判定手段が、上記水平方向エッジ検出手段からの出力または上記垂直方向エッジ検出手段からの出力が予め定めた値より大きい場合は、上記所定画素の周辺画素にエッジ成分を検出したとし、さらに、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より大きい場合は垂直方向により相関があり、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より小さい場合は水平方向により相関があると判定するとともに、上記水平方向エッジ検出手段および垂直方向エッジ検出手段からの出力がともに予め定めた値より小さい場合にはエッジ成分を検出しないと判定することを特徴とする請求項１または請求項２記載の撮像装置。
- 前記第１の色信号復元手段において、
前記第１の水平方向ローパスフィルタは、前記第２の色フィルタ位置（２ｉ，２ｊ＋１）（ｉ、ｊは整数）における第１の色信号の水平方向の低周波数信号成分Ａｈｌｐｆ（２ｉ，２ｊ＋１）を算出し、
前記第２の水平方向ローパスフィルタは、前記第２の色フィルタ位置（２ｉ，２ｊ＋１）における第２の色信号の水平方向の低周波数信号成分Ｂｈｌｐｆ（２ｉ，２ｊ＋１）を算出し、
前記第１の垂直方向ローパスフィルタは、前記第２の色フィルタ位置（２ｉ，２ｊ＋１）における第１の色信号の垂直方向の低周波数信号成分Ａｖｌｐｆ（２ｉ，２ｊ＋１）を算出し、
前記第２の垂直方向ローパスフィルタは、前記第２の色フィルタ位置（２ｉ，２ｊ＋１）における第２の色信号の垂直方向の低周波数信号成分Ｂｖｌｐｆ（２ｉ，２ｊ＋１）を算出し、
前記第１の演算手段は、前記第１及び第２の水平方向ローパスフィルタの出力および（２ｉ，２ｊ＋１）位置の第２の色信号Ｂ（２ｉ，２ｊ＋１）から（２ｉ，２ｊ＋１）位置における第１の色信号
Ａｈ（２ｉ，２ｊ＋１）を
Ｂ（２ｉ，２ｊ＋１）×（Ａｈｌｐｆ（２ｉ，２ｊ＋１）／Ｂｈｌｐｆ（２ｉ，２ｊ＋１））
として算出し、
前記第２の演算手段は、前記第１及び第２の垂直方向ローパスフィルタの出力および（２ｉ，２ｊ＋１）位置の第２の色信号Ｂ（２ｉ，２ｊ＋１）から（２ｉ，２ｊ＋１）位置における第１の色信号
Ａｖ（２ｉ，２ｊ＋１）を
Ｂ（２ｉ，２ｊ＋１）×（Ａｖｌｐｆ（２ｉ，２ｊ＋１）／Ｂｖｌｐｆ（２ｉ，２ｊ＋１））として算出し、
前記第１の水平方向ローパスフィルタは、さらに前記第３の色フィルタ位置（２ｉ＋１，２ｊ）（ｉ、ｊは整数）における第１の色信号の水平方向の低周波数信号成分Ａｈｌｐｆ（２ｉ＋１，２ｊ）を算出し、
前記第３の水平方向ローパスフィルタは、前記第３の色フィルタ位置（２ｉ＋１，２ｊ）における第３の色信号の水平方向の低周波数信号成分Ｃｈｌｐｆ（２ｉ＋１，２ｊ）を算出し、
前記第１の垂直方向ローパスフィルタは、さらに前記第３の色フィルタ位置（２ｉ＋１，２ｊ）における第１の色信号の垂直方向の低周波数信号成分Ａｖｌｐｆ（２ｉ＋１，２ｊ）を算出し、
前記第３の垂直方向ローパスフィルタは、前記第３の色フィルタ位置（２ｉ＋１，２ｊ）における第３の色信号の垂直方向の低周波数信号成分Ｃｖｌｐｆ（２ｉ＋１，２ｊ）を算出し、
前記第３の演算手段は、前記第１及び第３の水平方向ローパスフィルタの出力および（２ｉ＋１，２ｊ）位置の第３の色信号Ｃ（２ｉ＋１，２ｊ）から（２ｉ＋１，２ｊ）位置における第１の色信号
Ａｈ（２ｉ＋１，２ｊ）を
Ｃ（２ｉ＋１，２ｊ）×（Ａｈｌｐｆ（２ｉ＋１，２ｊ）／Ｃｈｌｐｆ（２ｉ＋１，２ｊ））として算出し、
前記第４の演算手段は、前記第１及び第３の垂直方向ローパスフィルタの出力および（２ｉ＋１，２ｊ）位置の第３の色信号Ｃ（２ｉ＋１，２ｊ）から第１の色信号
Ａｖ（２ｉ，２ｊ＋１）を
Ｃ（２ｉ＋１，２ｊ）×（Ａｖｌｐｆ（２ｉ＋１，２ｊ）／Ｃｖｌｐｆ（２ｉ＋１，２ｊ））として算出し、
前記第５の演算手段は、前記（２ｉ，２ｊ＋１）および（２ｉ＋１，２ｊ）の位置において上下左右の第１の色信号の平均値を算出し、
前記切り替え手段は、前記第１のエッジ判定手段の出力に基づき、前記第１の演算手段の出力または前記第２の演算手段の出力または前記第５の演算手段の出力のいずれかを（２ｉ，２ｊ＋１）の位置における第１の色信号とし、前記第３の演算手段の出力または前記第４の演算手段の出力または前記第６の演算手段の出力のいずれかを（２ｉ＋１，２ｊ）の位置における第１の色信号とする
ことを特徴とする請求項１記載の撮像装置。 - 前記第１の色信号復元手段の前記切り替え手段は、
前記第１のエッジ判定手段の出力が第２の色フィルタ位置（２ｉ，２ｊ＋１）においてエッジ成分を検出しないと判定した場合は、前記第５の演算手段の出力を選択し、水平方向に相関があると判定した場合は前記第１の演算手段の出力を選択し、垂直方向に相関があると判定した場合は前記第２の演算手段の出力を選択し、第３の色フィルタ位置（２ｉ＋１，２ｊ）においてエッジ成分を検出しないと判定した場合は、前記第５の演算手段の出力を選択し、水平方向に相関があると判定した場合は前記第３の演算手段の出力を選択し、垂直方向に相関があると判定した場合は前記第４の演算手段の出力を選択することを特徴とする請求項４記載の撮像装置。 - 前記第３の色信号復元手段において、
前記第１の水平方向演算手段は、前記第２の色フィルタ位置（２ｉ，２ｊ＋１）（ｉ、ｊは整数）における第１の色信号復元手段の出力値から得られる第１の色信号の水平方向の低周波数信号成分ａｈｌｐｆ（２ｉ，２ｊ＋１）と、第２の色信号復元手段の出力値から得られる第３の色信号の水平方向の低周波数信号成分ｃｈｌｐｆ（２ｉ，２ｊ＋１）と、第１の色信号復元手段によって復元された（２ｉ，２ｊ＋１）位置の第１の色信号ａ（２ｉ，２ｊ＋１）とから、
（２ｉ，２ｊ＋１）位置における第３の色信号
Ｃｈ（２ｉ，２ｊ＋１）を
ａ（２ｉ，２ｊ＋１）×（ｃｈｌｐｆ（２ｉ，２ｊ＋１）／ａｈｌｐｆ（２ｉ，２ｊ＋１））として算出し、
前記第１の垂直方向演算手段は、前記第２の色フィルタ位置（２ｉ，２ｊ＋１）における第１の色信号復元手段の出力値から得られる第１の色信号の垂直方向の低周波数信号成分ａｖｌｐｆ（２ｉ，２ｊ＋１）と、第２の色信号復元手段の出力値から得られる第３の色信号の垂直方向の低周波数信号成分ｃｖｌｐｆ（２ｉ，２ｊ＋１）と、第１の色信号復元手段によって復元された（２ｉ，２ｊ＋１）位置の第１の色信号ａ（２ｉ，２ｊ＋１）とから、（２ｉ，２ｊ＋１）位置における第３の色信号
Ｃｖ（２ｉ，２ｊ＋１）を
ａ（２ｉ，２ｊ＋１）×（ｃｖｌｐｆ（２ｉ，２ｊ＋１）／ａｖｌｐｆ（２ｉ，２ｊ＋１））
として算出し、
前記第２の水平方向演算手段は、前記第３の色フィルタ位置（２ｉ＋１，２ｊ）（ｉ、ｊは整数）における第１の色信号復元手段の出力値から得られる第１の色信号の水平方向の低周波数信号成分ａｈｌｐｆ（２ｉ＋１，２ｊ）と、第２の色信号復元手段の出力値から得られる第２の色信号の水平方向の低周波数信号成分ｂｈｌｐｆ（２ｉ＋１，２ｊ）と、第１の色信号復元手段によって復元された（２ｉ＋１，２ｊ）位置の第１の色信号ａ（２ｉ＋１，２ｊ）とから、（２ｉ＋１，２ｊ）位置における第２の色信号
Ｂｈ（２ｉ＋１，２ｊ）を
ａ（２ｉ＋１，２ｊ）×（ｂｈｌｐｆ（２ｉ＋１，２ｊ）／ａｈｌｐｆ（２ｉ＋１，２ｊ））
として算出し、
前記第２の垂直方向演算手段は、前記第３の色フィルタ位置（２ｉ＋１，２ｊ）における第１の色信号復元手段の出力値から得られる第１の色信号の垂直方向の低周波数信号成分ａｖｌｐｆ（２ｉ＋１，２ｊ）と、第２の色信号復元手段の出力値から得られる第２の色信号の垂直方向の低周波数信号成分ｂｖｌｐｆ（（２ｉ＋１，２ｊ）と、第１の色信号復元手段によって復元された（２ｉ＋１，２ｊ）位置の第１の色信号ａ（２ｉ＋１，２ｊ）とから、（２ｉ＋１，２ｊ）位置における第２の色信号
Ｂｖ（２ｉ＋１，２ｊ）を
ａ（２ｉ＋１，２ｊ）×（ｂｖｌｐｆ（２ｉ＋１，２ｊ）／ａｖｌｐｆ（２ｉ＋１，２ｊ））
として算出し、
前記第１の平均値算出手段は、前記（２ｉ，２ｊ＋１）の位置において斜め上下左右の第３の色信号の平均値を算出し、
前記第２の平均値算出手段は、前記（２ｉ＋１，２ｊ）の位置において斜め上下左右の第２の色信号の平均値を算出し、
前記切り替え手段は、前記第２のエッジ判定手段の出力に基づき、前記１の水平方向演算手段の出力または前記第１の垂直方向演算手段の出力または前記第１の平均値算出手段の出力のいずれかを（２ｉ，２ｊ＋１）の位置における第３の色信号とし、前記第２の水平方向演算手段の出力または前記第２の垂直方向演算手段の出力または前記第２の平均値算出手段の出力のいずれかを（２ｉ＋１，２ｊ）の位置における第２の色信号とする
ことを特徴とする請求項１記載の撮像装置。 - 前記第３の色信号復元手段の前記切り替え手段は、前記第２のエッジ判定手段の出力が第２の色フィルタ位置（２ｉ，２ｊ＋１）においてエッジ成分を検出しないと判定した場合は、前記第１の平均値算出手段の出力を選択し、水平方向に相関があると判定した場合は前記第１の水平方向演算手段の出力を選択し、垂直方向に相関があると判定した場合は前記第１の垂直方向演算手段の出力を選択し、第３の色フィルタ位置（２ｉ＋１，２ｊ）においてエッジ成分を検出しないと判定した場合は、前記第２の平均値算出手段の出力を選択し、水平方向に相関があると判定した場合は前記第２の水平方向演算手段の出力を選択し、垂直方向に相関があると判定した場合は前記第２の垂直方向演算手段の出力を選択することを特徴とする請求項６記載の撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01708398A JP3926019B2 (ja) | 1998-01-29 | 1998-01-29 | 撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01708398A JP3926019B2 (ja) | 1998-01-29 | 1998-01-29 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11215513A JPH11215513A (ja) | 1999-08-06 |
| JP3926019B2 true JP3926019B2 (ja) | 2007-06-06 |
Family
ID=11934096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01708398A Expired - Lifetime JP3926019B2 (ja) | 1998-01-29 | 1998-01-29 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3926019B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3706789B2 (ja) | 2000-05-12 | 2005-10-19 | キヤノン株式会社 | 信号処理装置及び信号処理方法 |
| JP4019417B2 (ja) | 2003-01-14 | 2007-12-12 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP2006166258A (ja) * | 2004-12-09 | 2006-06-22 | Matsushita Electric Ind Co Ltd | カラー撮像装置およびカラー画像信号補正方法 |
-
1998
- 1998-01-29 JP JP01708398A patent/JP3926019B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11215513A (ja) | 1999-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4840468B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| US7990447B2 (en) | Solid-state image sensor | |
| US7835573B2 (en) | Method and apparatus for edge adaptive color interpolation | |
| JP4097815B2 (ja) | 画像処理装置および画像処理方法 | |
| US6724932B1 (en) | Image processing method, image processor, and storage medium | |
| US8515210B2 (en) | Image processing method and image processing device | |
| KR0146260B1 (ko) | 고체촬상장치 | |
| US7760255B2 (en) | Method and apparatus for interpolation of interlaced CMYG color format | |
| WO2006048962A1 (ja) | 画素信号処理装置及び画素信号処理方法 | |
| JP2000023174A (ja) | 画像処理装置及び画像処理方法 | |
| US8798398B2 (en) | Image processing apparatus | |
| US7643074B2 (en) | Pixel signal processing apparatus and pixel signal processing method | |
| JP4548390B2 (ja) | 撮像装置及び信号処理方法 | |
| US20140293088A1 (en) | Image processing apparatus and method, and program | |
| JP3458080B2 (ja) | カラー撮像装置 | |
| JP3926019B2 (ja) | 撮像装置 | |
| JP3926023B2 (ja) | 撮像装置 | |
| US20060044428A1 (en) | Image pickup device and signal processing method | |
| KR100960176B1 (ko) | 화상 신호 처리 장치, 화상 신호 처리 회로, 화상 신호 처리 방법 및 기록매체 | |
| JP3079839B2 (ja) | 固体撮像装置 | |
| JPH11220751A (ja) | 撮像装置 | |
| JP2920380B2 (ja) | 色信号処理装置 | |
| JP3115123B2 (ja) | 画像信号処理装置 | |
| KR20070070692A (ko) | 에지 향상과 노이즈 제거를 위한 컬러 보간 장치 | |
| JP3322017B2 (ja) | 輪郭補正装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040625 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060110 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060306 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060620 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060809 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070227 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100309 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140309 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |