JP3926023B2 - Imaging device - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、電子スチルカメラのような撮像装置における高画質化、小型化に関する。
【０００２】
【従来の技術】
従来、電子スチルカメラのような撮像装置においては、小型化のために１枚の撮像素子（以下、単板撮像素子と呼ぶ）を用いている。図１８は従来の撮像装置における撮像素子の色フィルタ配列の一例を示す図である。図において、ＲはＲの光を通過させる分光特性を持った色フィルタを有した撮像素子であり、同様にＢ、Ｇのついてもそれぞれの色フィルタを有した撮像素子である。図１８に示されるように、ｎラインにはＧ、Ｒが２画素毎に配列され、ｎ＋１ラインではＢ、Ｇが２画素毎に配列されている。したがって、Ｒ、Ｂ信号は上下４画素毎（図中の斜線部）に、Ｇ信号は２画素毎に得られることとなり、撮像素子の画素数の各信号を得て、さらに水平垂直方向各２倍の画素数の解像度への変換を行う場合、得られている画素信号より補間等の演算処理を行い撮像素子数のＲ、Ｇ、Ｂ信号を生成し、この得られたＲ、Ｇ、Ｂ信号のそれぞれを用いて高解像度化を行うこととなる。
【０００３】
図１９は上記図１８に示された原色の色フィルタを用いた単板撮像素子において、撮像素子からの信号よりＲ、Ｇ、Ｂ信号を生成し、さらに水平垂直方向各２倍の解像度の信号を得るための従来の撮像装置の構成の一例を示すブロック図である。図において、１０１は撮像素子、１０２はＡ／Ｄコンバータ、１０３はフレームメモリ、１０４はフレームメモリ１０３における信号をＲ、Ｇ、Ｂそれぞれの信号に分離して、各信号の補間生成を行い撮像素子の画素数の信号を復元する色復元手段、１０５は色復元手段１０４からの信号を水平垂直方向にそれぞれ２倍の解像度（４倍の画素数の画像）の信号に変換する解像度変換手段であり、上記撮像素子１０１は、図１８に示すような、画素Ｒ、Ｇ、Ｂの色フィルタから構成される。
【０００４】
次に、動作を説明する。撮像素子１０１から各画素信号Ｒ、Ｇ、Ｂを読み出し、その出力はＡ／Ｄコンバータ１０２によりＡ／Ｄ変換され、フレームメモリ１０３に各画素信号を取り込む。色復元手段１０４は、前記フレームメモリ１０３に取り込まれた信号から、各信号を分離し、各Ｒ、Ｇ、Ｂ信号において得られていない画素の信号を隣接画素の信号より補間生成し、撮像素子すべての画素数のＲＧＢ信号を算出し出力する。
【０００５】
ここで、図２０は従来の撮像装置における色復元手段１０４の構成の一例を示したブロック図であり、その動作を説明する。図において、１１１はフレームメモリ１０３における信号よりＲ、Ｇ、Ｂ信号をそれぞれ分離する分離手段、１１２は分離された各信号における得られていない画素信号を隣接画素の信号より補間生成し、撮像素子すべての画素数のＲＧＢ信号を算出し出力する補間手段である。フレームメモリ１０３における信号は分離手段１１１において各Ｒ、Ｇ、Ｂ信号に分離され、それぞれを補間手段１１２へと出力する。分離手段１１１により分離されたＲ、Ｇ、Ｂ信号は図２１（ａ）、（ｂ）、（ｃ）に示されるようになり、図中Ｇ、Ｒ、Ｂで示された画素が撮像素子１０１より得られた各信号であり、一方、空白の画素が得られていない画素信号である。
【０００６】
補間手段１１２においての補間方法は、Ｇ信号（図２１（ａ））については、垂直ｎライン、水平ｍ番目の画素位置の信号ｇ（以下、画素位置（ｎ，ｍ）と記す。）を補間するために、上下方向の隣接画素の差分（｜Ｇ（ｎ−１，ｍ）−Ｇ（ｎ＋１，ｍ）｜）と左右方向の隣接画素の差分（｜Ｇ（ｎ，ｍ−１）−Ｇ（ｎ，ｍ＋１）｜）を求め、この差分が少ない方向の画素信号により補間する。例えば、左右方向の隣接画素の差分が少ない場合は、ｇ（ｎ，ｍ）＝（Ｇ（ｎ，ｍ−１）＋Ｇ（ｎ，ｍ＋１））／２として算出し、上下方向の隣接画素の差分が少ない場合は、ｇ（ｎ，ｍ）＝（Ｇ（ｎ−１，ｍ）＋Ｇ（ｎ＋１，ｍ））／２として算出する。
【０００７】
ＲおよびＢ信号（図２１（ｂ）および（ｃ））については、まず水平方向の画素の補間を行い、次に垂直方向で補間を行う。例えば図２１（ｂ）のＲについては、垂直ｎ−１ライン、ｎ＋１ラインでの補間を行い、画素位置（ｎ−１，ｍ）（ｎ＋１，ｍ）の信号を、
ｒ（ｎ−１，ｍ）＝（Ｒ（ｎ−１，ｍ−１）＋Ｒ（ｎ−１，ｍ＋１））／２
ｒ（ｎ＋１，ｍ）＝（Ｒ（ｎ＋１，ｍ−１）＋Ｒ（ｎ＋１，ｍ＋１））／２
のように算出し、つぎにｎラインの画素を上下（ｎ−１およびｎ＋１ライン）の画素の補間により各水平画素位置ｍ−１、ｍ、ｍ＋１の信号を求める。Ｂについても同様な方法で得られる。
【０００８】
以上の補間方法により、補間手段１１２の出力において、撮像素子すべての画素数のＲ、Ｇ、Ｂ信号を算出することができる。
【０００９】
次に、単板撮像素子からの信号を撮像素子の画素数の解像度へ復元した信号から水平垂直方向各２倍の解像度への向上を行うため、上記補間手段１１２からの出力であるＲ、Ｇ、Ｂ信号を解像度変換手段１０５へと入力する。
【００１０】
解像度変換手段１０５では入力されたＲ、Ｇ、Ｂ信号をそれぞれ水平垂直方向に、それぞれ２倍の解像度の信号（４倍の画素数の画像）にする。例えば、撮像素子の画素数が垂直Ｎライン水平Ｍ画素のＮ×Ｍ画素の場合、色復元手段１０４からは復元されたＮ×Ｍ画素のＲ、Ｇ、Ｂ信号が出力されており、解像度変換手段１０５では垂直２Ｎライン水平２Ｍ画素の２Ｎ×２Ｍ画素の解像度の信号として出力する。解像度を変換する（高解像度化）方法は、色復元手段１０４の出力において画素位置（ｎ，ｍ）の信号を２Ｎ×２Ｍ画素の信号での画素位置（２ｎ、２ｍ）とし、この画素に隣接する（２ｎ、２ｍ＋１）、（２ｎ＋１、２ｍ）、（２ｎ＋１、２ｍ＋１）の画素も同一の値とする。図２２に各信号での例を示し、図２２（ａ）では、色復元手段１０４の出力において画素位置（ｎ、ｍ）の信号Ｒ１を水平垂直方向各２倍の解像度の信号での画素（２ｎ、２ｍ）、（２ｎ、２ｍ＋１）、（２ｎ＋１、２ｍ）、（２ｎ＋１、２ｍ＋１）の値としていることを示す。なお、他の画素位置および信号についても同様にして行う。従って、２Ｎ×２Ｍ画素の信号の上下左右４画素を、色復元手段１０４からのＮ×Ｍ画素の信号での画素位置（ｎ，ｍ）の値とすることにより、２Ｎ×２Ｍ画素のＲ、Ｇ、Ｂ各信号を得られる。
【００１１】
なお、上記の説明では解像度変換手段１０５での高解像度化の方法を上下左右４画素に同一値を入れて水平垂直方向各２倍の画素にする場合としているが、色復元手段１０４からのＮ×Ｍ画素の信号での水平および垂直方向の隣接画素による補間により生成する場合も考えられる。
【００１２】
また、図２３は特開平６−１７８３０７号公報に示された上下２画素を混合して読み出す画素混合方式の単板撮像素子による従来の撮像装置における色復元手段の他の構成の例を示すブロック図であり、上記の従来例と同様、撮像素子からの信号を水平走査３ラインから補間生成するよう構成する場合のブロック図を示したものである。同図において、１１３は撮像素子、１１４はフレームメモリ、１１５は信号選択回路、１１６は色補間回路、１１７はＲＧＢマトリクスであり、信号選択回路１１５からＲＧＢマトリクス１１７により色復元手段を構成することとなる。撮像素子１１３は、図２３に示すように、４つの画素Ａ，Ｂ，Ｃ，Ｄ（以下、各画素信号に付けられた番号は画素位置を示す）から構成され、画素混合読み出しにより色信号が生成できるようにＡ、Ｂの画素が１ライン毎に交互に配列される。
【００１３】
次に、図２３における動作を説明する。撮像素子１１３から画素混合読み出しせずそのまま各画素信号を読み出しＡ／Ｄ変換した後（図示せず）、フレームメモリ１１４に各画素信号を取り込む。前記フレームメモリ１１４に取り込まれた信号から、信号選択回路１１５により隣接した垂直３ラインの信号を選択し、色補間回路１１６へと送る。色補間回路１１６では、上記垂直３ラインの信号から各色信号Ａ、Ｂ、Ｃ、Ｄを補間生成した後、ＲＧＢマトリクス回路１１７によりＲＧＢ信号として出力される。
【００１４】
ここで、上記色補間回路１１６では各色信号を補間生成するのであるが、この補間方法について説明する。例えば、ｎ２ラインの色信号補間生成では、信号選択回路１１５により垂直３ラインｎ１，ｎ２，ｎ３の信号が選択されて色補間回路１１７へと送られており、ｎ２ラインにおいて得られている色信号はＣ、Ｄ画素であり、Ａ，Ｂの画素はない。従って、Ａ，Ｂの画素については垂直方向でのｎ１、ｎ３ラインの信号より補間するのであるが、ｎ１、ｎ３ラインではＡ，Ｂの画素位置が異なるので、水平方向の補間係数を変えることとなる。いま、補間後の色信号のｎ２ラインの３番目の画素（ｎ２，３）に対し、補間前の水平５画素より各色信号Ａ′、Ｂ′、Ｃ′、Ｄ′を補間生成するとすると、例えば、Ｃ′、Ｄ′については、水平方向のみ中心に重みをつけて補間生成し、
Ｃ₂₃′＝（Ｃ₂₁／２＋ Ｃ₂₃＋Ｃ₂₅／２）／２
Ｄ₂₃′＝（Ｄ₂₂＋Ｄ₂₄）／２
とする。一方、 Ａ′、Ｂ′に対しては、
Ａ₂₃′＝（Ａ₁₁／４＋Ａ₁₃／２＋Ａ₁₅／４ ）／２＋（Ａ₃₁／４＋Ａ₃₃／２＋Ａ₃₅／４）／２
Ｂ₂₃′＝（Ｂ₁₂／２＋ Ｂ₁₄／２）／２＋（Ｂ₃₂／２＋Ｂ₃₄／２）／２
なる式から水平画素に重みをつけ補間することができる。
【００１５】
次に、ｎ３ラインの色信号の補間生成では、Ａ、Ｂの画素はｎ３ラインから補間生成し、Ｃ、Ｄ画素についてはｎ２、ｎ４ラインから補間生成する。つまり、画素位置（３、３）において、例えば、
Ａ₃₃′＝（Ａ₃₂＋Ａ₃₄）／２
Ｂ₃₃′＝（Ｂ₃₁／２＋Ｂ₃₃＋Ｂ₃₅／２）／２
Ｃ₃₃′＝（Ｃ₂₁／４＋Ｃ₂₃／２＋Ｃ₂₅／４）／２＋（Ｃ₄₁／４＋Ｃ₄₃／２＋Ｃ₄₅／４）／２
Ｄ₃₃′＝（Ｄ₂₂／２＋Ｄ₂₄／２）／２＋（Ｄ₄₂／２＋Ｄ₄₄／２）／２
となる。
【００１６】
以下、Ａ，Ｂの画素配置がライン毎で入れ替わることを考慮し、ｎ４ラインでは、画素位置（４、３）に対し、
Ａ₄₃′＝（Ａ₃₁／４＋Ａ₃₃／２＋Ａ₃₅／４）／２＋（Ａ₅₁／４＋Ａ₅₃／２＋Ａ₅₅／４）／２
Ｂ₄₃′＝（Ｂ₃₂／２＋Ｂ₃₄／２）／２＋（Ｂ₅₂／２＋Ｂ₅₄／２）／２
Ｃ₄₃′＝（Ｃ₄₁／２＋Ｃ₄₃＋Ｃ₄₅／２）／２
Ｄ₄₃′＝（Ｄ₄₂＋Ｄ₄₄）／２
ｎ５ラインでは、画素位置（５、３）に対し、
Ａ₅₃′＝（Ａ₅₂＋Ａ₅₄）／２
Ｂ₅₃′＝（Ｂ₅₂＋Ｂ₅₄）／２
Ｃ₅₃′＝（Ｃ₄₁／４＋Ｃ₄₃／２＋Ｃ₄₅／４）／２＋（Ｃ₆₁／４＋Ｃ₆₂／２＋Ｃ₆₅／４）／２
Ｄ₅₃′＝（Ｄ₄₂／２＋Ｄ₄₄／２）／２＋（Ｄ₆₂／２＋Ｄ₆₄／２）／２
となる。以後、上記ｎ２、ｎ３，ｎ４、ｎ５ラインでの補間方法を順次繰り返すことにより、色信号Ａ′、Ｂ′、Ｃ′、Ｄ′を生成することとなる。
【００１７】
そして、上記補間生成されたＡ、Ｂ、Ｃ、Ｄ信号はＲＧＢマトリクス回路１１７によりＲＧＢ信号として出力され、上記図１９の解像度変換手段に送られて水平垂直方向各２倍の解像度の信号に変換されることとなる。なお、上記では、４つの色信号をＡ，Ｂ，Ｃ，Ｄとして説明しているが、これは、例えば、Ｍｇ（マゼンダ）、Ｇ（グリーン）、Ｃｙ（シアン）、Ｙｅ（イエロー）の４色が考えられ、また、色補間回路１１７での補間係数については色信号を補間生成できる係数であればよい。
【００１８】
【発明が解決しようとする課題】
従来の撮像装置は、単板撮像素子において、撮像素子の画素数の信号を復元した後水平垂直方向にそれぞれ２倍の解像度に高解像度化する際、上下左右４画素に同一の値を入れて４倍の画素の信号にするように、または、隣接画素との補間により４倍の画素の信号にするよう構成されており、水平垂直方向各２倍の解像度の画像におけるエッジ等局所的な領域での信号の変化を考慮しておらず、そのため、偽色、偽輪郭が生じるという問題点があり、また、全ての信号における水平垂直の両方向の解像度の向上について考慮していないという問題点があった。
【００１９】
この発明は上記のような問題点を解消するためになされたもので、斜め方向に半画素ずらして配置された２枚の撮像素子を備え、第１および第２の撮像素子により読み出された色信号より各撮像素子に対して撮像素子の画素数分の解像度の色信号を復元生成する色信号復元手段と、前記色信号復元手段からの出力である上記第１および第２の撮像素子からの信号より復元された各信号により各撮像素子の画素数の水平垂直方向各２倍の解像度の信号の画素を得る手段と、前記得られた水平垂直方向各２倍の解像度の信号での画素信号が得られていない所定画素位置における周辺画素のエッジ成分を判定する第１のエッジ判定手段を備えるとともに、前記第１のエッジ判定手段からの信号に基づき、水平垂直方向各２倍の解像度の信号での前記所定画素位置の信号を算出することにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる撮像装置を得ることを目的とする。
【００２０】
【課題を解決するための手段】
この発明に係る撮像装置は、斜め方向に半画素ずらして配置された２枚の撮像素子を備えた撮像装置において、第１および第２の撮像素子により読み出された色信号より各撮像素子に対して撮像素子の画素数分の解像度の色信号を復元生成する色信号復元手段と、前記色信号復元手段からの出力である上記第１および第２の撮像素子からの信号より復元された各信号により各撮像素子の画素数の水平垂直方向各２倍の解像度の信号の画素を得る手段と、前記得られた水平垂直方向各２倍の解像度の信号において画素信号が得られていない所定画素位置におけるエッジ成分を周辺画素から判定する第１のエッジ判定手段を備えるとともに、前記第１のエッジ判定手段からの信号に基づき、水平垂直方向各２倍の解像度の信号での前記所定画素位置の信号を算出する手段を有するものである。
【００２１】
また、この発明に係る撮像装置は、前記第１のエッジ判定手段が、画素信号が得られていない所定画素位置における左右の隣接画素のあらかじめ定めたおいた一つの色信号の差の絶対値を算出して水平方向のエッジ成分を検出する手段と、上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する手段と、前記水平方向のエッジ成分を検出する手段と垂直方向エッジ成分を検出する手段からの出力に基づき、前記所定画素位置における水平または垂直方向のエッジ成分を判定するものである。
【００２２】
また、この発明に係る撮像装置は、前記第１のエッジ判定手段におけるエッジ成分の判定が、上記水平方向のエッジ成分を検出する手段からの出力または上記垂直方向のエッジ成分を検出する手段からの出力が予め定めた値より大きい場合は、上記画素信号が得られていない所定画素位置の周辺画素にエッジ成分を検出したとし、さらに、水平方向のエッジ成分を検出する手段からの出力が上記垂直方向のエッジ成分を検出する手段の出力より大きい場合は垂直方向により相関があり、水平方向エッジ成分を検出する手段の出力が上記垂直方向エッジ成分を検出する手段出力より小さい場合は水平方向により相関があると判定するとともに、上記水平方向エッジ成分を検出する手段および垂直方向エッジ成分を検出する手段の出力がともに予め定めた値より小さい場合にはエッジ成分を検出しないと判定するものである。
【００２３】
また、この発明に係る撮像装置は、上記水平垂直方向各２倍の解像度の信号での画素信号が得られていない所定画素位置の信号を算出する手段が、画素信号が得られていない所定画素位置における信号それぞれに対し、上下の画素の平均値より信号を算出する垂直方向算出手段と、左右の画素の平均値より信号を算出する水平方向算出手段と、上下左右の隣接画素の平均値より信号を算出する平均値算出手段とを備え、上記第１のエッジ判定手段の出力に基づき、上記水平方向算出手段の出力または垂直方向算出手段出力、または、平均値算出手段からの出力より選択し、上記所定画素位置での信号を得て、撮像素子における画素数の水平垂直方向各２倍の解像度の各信号を得るものである。
【００２４】
また、この発明に係る撮像装置は、上記水平垂直方向各２倍の解像度の信号での画素信号が得られていない所定画素位置の信号を算出する手段が、画素信号が得られていない所定画素位置において上記第１のエッジ判定手段の出力がエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向算出手段の出力を選択するものである。
【００２５】
また、この発明に係る撮像装置は、上記斜め方向に半画素ずらして配置された２枚の撮像素子それぞれにおいて、各撮像素子が、垂直２行水平２列の上下４画素において、第１の色信号に対する分光感度特性を持つ第１の色フィルタと第２の色信号に対する分光感度特性を持つ第２の色フィルタとが垂直１行目に配列され、垂直２行目には上記垂直１行目の第１の色フィルタが配列された画素位置と同一の列に第３の色信号に対する分光感度特性を持つ第３の色フィルタが配列され、第２の色フィルタと同一の列に第１の色信号に対する分光感度特性を持つ第１の色フィルタが配列されており、上記上下４画素の色フィルタが順次垂直および水平方向に繰り返し配列された撮像素子であり、各撮像素子からの色信号に対して撮像素子の画素数分の解像度の色信号を復元生成する上記色信号復元手段が、上記第１の色フィルタによる第１の色信号の画素信号が得られていない所定画素位置での周辺画素信号に基づき、画素信号が得られていない所定画素位置におけるエッジ成分を判定する第２のエッジ判定手段と、前記第２のエッジ判定手段の出力に基づき、上記第１、第２、第３の色フィルタにより読み出された第１、第２および第３の色信号により第１の色信号における上記画素信号が得られていない所定画素位置での信号を算出する第１の算出手段と、上記第２のエッジ判定手段の出力に基づき、上記第１の算出手段の出力と色フィルタからの第２および第３の色信号により第２および第３の色信号を算出する第２の算出手段とを備え、上記撮像素子における画素数の第１、第２、第３の色信号を得るとともに、上記第１のエッジ判定手段が、上記第１の色信号による上記水平垂直方向各２倍の解像度の信号の画素を得る手段から出力される信号に対し、画素信号が得られていない所定画素位置における周辺画素のエッジ成分を判定するものである。
【００２６】
また、この発明に係る撮像装置は、上記色復元手段における第２のエッジ判定手段が、
第１の色信号の画素信号が得られていない所定画素位置における左右の隣接画素の差の絶対値を算出して水平方向のエッジ成分を検出する水平方向エッジ検出手段と、第１の色信号の画素信号が得られていない所定画素位置における上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する垂直方向エッジ検出手段と、前記水平方向エッジ検出手段と垂直方向エッジ検出手段からの出力に基づき、前記画素信号が得られていない所定画素位置における水平または垂直方向のエッジ成分を判定する判定手段を備えるとともに、前記判定手段が、上記水平方向エッジ検出手段からの出力または上記垂直方向エッジ検出手段からの出力が予め定めた値より大きい場合は、上記画素信号が得られていない所定画素位置の周辺画素にエッジ成分を検出したとし、さらに、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より大きい場合は垂直方向により相関があり、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より小さい場合は水平方向により相関があると判定するとともに、上記水平方向エッジ検出手段および垂直方向エッジ検出手段からの出力がともに予め定めた値より小さい場合にはエッジ成分を検出しないと判定するものである。
【００２７】
また、この発明に係る撮像装置は、上記色復元手段における第１の色信号での所定位置に対する信号を算出する第１の算出手段が、第２の色信号Ｂのある所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対し水平方向のローパスフィルタを介した値Ａｈｌｐｆ（ｌ、ｍ）、Ｂｈｌｐｆ（ｌ、ｍ）を算出し、前記水平方向ローパスフィルタからの出力信号であるＡｈｌｐｆ（ｌ、ｍ）とＢｈｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｈｌｐｆ（ｌ、ｍ）／Ｂｈｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の画素位置においても同様に第１の色信号Ａにおける画素値を算出する水平方向信号算出手段と、上記所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対し垂直方向のローパスフィルタを介した値Ａｖｌｐｆ（ｌ、ｍ）、Ｂｖｌｐｆ（ｌ、ｍ）を算出し、前記垂直方向ローパスフィルタからの出力信号であるＡｖｌｐｆ（ｌ、ｍ）とＢｖｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｖｌｐｆ（ｌ、ｍ）／Ｂｖｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の画素位置においても同様に第１の色信号Ａにおける画素値を算出する垂直方向信号算出手段と、第１の色信号Ａにおける上記所定画素ｌ行ｍ列の位置での上下左右の隣接画素の平均値よりｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を算出する平均値算出手段とを備え、上記第２のエッジ判定手段の出力に基づき、上記水平方向信号算出手段の出力または垂直方向信号算出手段出力、または、平均値算出手段からの出力より選択し、上記所定画素ｌ行ｍ列における第１の色信号Ａの画素値Ａ（ｌ、ｍ）を得て、撮像素子における画素数の第１の色信号を得るものである。
【００２８】
また、この発明に係る撮像装置は、前記色復元手段における第１の算出手段が、上記第２のエッジ判定手段の出力が所定画素ｌ行ｍ列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第１の色信号を得るものである。
【００２９】
また、この発明に係る撮像装置は、上記色復元手段における第２の算出手段が、所定画素ｌ行ｍ列の位置において、上記第１の算出手段からの出力Ａに対し水平方向のローパスフィルタを介した値Ａ１ｈｌｐｆ（ｌ、ｍ）と垂直方向ローパスフィルタを介した値Ａ１ｖｌｐｆ（ｌ、ｍ）を算出し、第２の色信号Ｂに対して水平方向のローパスフィルタを介した値Ｂ１ｈｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対し垂直方向のローパスフィルタを介した値Ｃ１ｖｌｐｆ（ｌ、ｍ）（または、第２の色信号Ｂに対して垂直方向のローパスフィルタを介した値Ｂ１ｖｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対して水平方向のローパスフィルタを介した値Ｃ１ｈｌｐｆ（ｌ、ｍ））とを算出し、Ａ１ｈｌｐｆ（ｌ、ｍ）とＢ１ｈｌｐｆ（ｌ、ｍ）との比（または、Ｃ１ｈｌｐｆ（ｌ、ｍ）との比）と、Ａ１ｖｌｐｆ（ｌ、ｍ）とＣ１ｖｌｐｆ（ｌ、ｍ）との比（または、Ｂ１ｖｌｐｆ（ｌ、ｍ）との比）と、上記第１の算出手段からの出力Ａにおける所定画素ｌ行ｍ列での画素値Ａ（ｌ、ｍ）から、ｌ行ｍ列の第２の色信号Ｂと第３の色信号Ｃにおける画素値Ｂ（ｌ、ｍ）とＣ（ｌ、ｍ）を、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝（または、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝、Ｃ （ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝）により算出する信号算出手段を備えるとともに、上記ｌ行ｍ列の位置とは異なる所定画素ｘ行ｙ列の位置において、上記第１の算出手段からの出力Ａに対し水平方向のローパスフィルタを介した値Ａ２ｈｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第２の色信号Ｂに対し水平方向のローパスフィルタを介した値Ｂ２ｈｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｈｌｐｆ（ｘ、ｙ）とＢ２ｈｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｈｌｐｆ（ｘ、ｙ）／Ａ２ｈｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃにおいても同様にＣ信号を算出する水平方向信号算出手段と、上記第１の算出手段からの出力Ａに対し垂直方向のローパスフィルタを介した値Ａ２ｖｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第２の色信号Ｂに対し垂直方向のローパスフィルタを介した値Ｂ２ｖｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｖｌｐｆ（ｘ、ｙ）とＢ２ｖｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｖｌｐｆ（ｘ、ｙ）／Ａ２ｖｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃにおいても同様にＣ信号を算出する垂直方向信号算出手段と、上記信号算出手段からの出力における第２、第３の色信号での所定画素ｘ行ｙ列の位置において、斜めに隣接する画素の平均値を算出する平均値算出手段とを備え、上記第２のエッジ判定手段の出力に基づき、前記水平方向信号算出手段、垂直方向信号算出手段、平均値算出手段からのそれぞれの出力から選択して、上記所定画素ｘ行ｙ列での第２、第３の色信号を得て、撮像素子における画素数の第２、第３の色信号を得るものである。
【００３０】
さらに、この発明に係る撮像装置は、上記色復元手段における第２の算出手段が、上記第２のエッジ判定手段の出力が所定画素ｘ行ｙ列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第２、第３の色信号を得るものである。
【００３１】
【発明の実施の形態】
以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１はこの発明の一実施形態による撮像装置の構成の一例を示すブロック図である。図において、１は画素を斜め方向に半画素ずらした撮像素子２枚分の信号を取り込む撮像素子、２はＡ／Ｄコンバータ、３、４はフレームメモリ、５、６は撮像素子１での１枚分の撮像素子での総画素数のＲ、Ｇ、Ｂ信号を得るよう色信号の復元を行う第１および第２の色復元手段、７は上記第１および第２の色復元手段５、６からの信号を多重して水平垂直方向各２倍の画素数の信号を得る多重手段である。８は上記多重手段７の出力であるＧ信号における画素信号が得られていない所定画素位置でのエッジ成分を判定するエッジ判定手段、９は上記多重手段７からの各信号における所定画素位置での上下左右隣接画素の平均値を算出する平均値演算手段、１０は多重手段７からの各信号における所定画素位置での左右隣接画素の平均値を演算する水平方向演算手段、１１は多重手段７からの各信号における所定画素位置での上下画素の平均値を演算する垂直方向演算手段、１２は選択手段であり、上記エッジ判定手段８からの出力と画素位置に基づき、平均値演算手段９、水平方向演算手段１０、垂直方向演算手段１１および多重手段７のそれぞれの出力より信号を切り換えて選択し、撮像素子での画素数の水平垂直方向各２倍の画素数の解像度となるＲ、Ｇ、Ｂ信号を出力する。
【００３２】
ここで、高解像度化のため、上記撮像素子１においては、画素を斜め方向に半画素ずらした２枚の撮像素子を配置して信号を取り込む。図２はこの発明の実施の形態１による画素を斜め方向に半画素ずらした２枚の撮像素子の配置の一例を示す図であり、データＤ１と、データＤ１に対し斜め左下方向へ半画素ずらしたデータＤ２によりそれぞれ信号を取り込む。図３ははこの発明の実施の形態１による各撮像素子の色フィルタの配列の一例を示す図であり、前記２枚のデータＤ１、データＤ２による各撮像素子での色フィルタ配列を示している。色フィルタは原色を用い、各光電変換素子を独立に呼び出す方式の撮像素子を示している。図３において、Ｇは垂直方向２ｉ（ｉ＝０、１、２、…）、水平方向２ｊ（ｊ＝０、１、２、…）の画素位置（以下、画素位置（２ｉ，２ｊ）のように記す。）と、画素位置（２ｉ＋１、２ｊ＋１）にあり、Ｇ信号を通過させる分光特性を持った第１の色フィルタ、Ｒは画素位置（２ｉ、２ｊ＋１）にあり、Ｒ信号を通過させる分光特性を持った第２の色フィルタ、Ｂは画素位置（２ｉ＋１、２ｊ）にあり、Ｂ信号を通過させる分光特性を持った第３の色フィルタである。図３に示されるように、Ｒ、Ｂ信号は上下４画素毎（図中の斜線部）に、Ｇ信号は２画素毎に得られることとなり、この上下４画素が垂直水平方向に繰り返し配列されている。
【００３３】
次に動作について説明する。撮像素子１において、図２のように画素を斜め方向に半画素ずらした２枚の撮像素子からデータＤ１、データＤ２となる各画素信号Ｒ、Ｇ、Ｂを読み出し、その出力はそれぞれＡ／Ｄコンバータ２によりＡ／Ｄ変換され、第１および第２のフレームメモリ３および４に入力される。ここで、第１のフレームメモリ３には図２におけるデータＤ１による図３のように配列された撮像素子の信号が入力され、第２のフレームメモリ４には図２におけるデータＤ２による図３のように配列された撮像素子の信号が入力されている。第１の色復元手段５では、第１のフレームメモリ３に入力されたデータＤ１の信号から各Ｒ、Ｇ、Ｂ信号を分離して得られていない画素信号を復元し、撮像素子の画素数の各Ｒ、Ｇ、Ｂ信号Ｒ１、Ｇ１、Ｂ１を出力し、第２の色復元手段６では、第２のフレームメモリ４に入力されたデータＤ２の信号から各Ｒ、Ｇ、Ｂ信号を分離して得られていない画素信号を復元し、撮像素子の画素数の各Ｒ、Ｇ、Ｂ信号Ｒ２、Ｇ２、Ｂ２を出力して、それぞれの出力は多重手段７へと送る。
【００３４】
ここで、上記第１および第２の色復元手段５および６における動作を図４に示す色復元手段の構成に基づき説明する。図４はこの発明の実施の形態１による撮像装置における色復元手段の構成の一例を示すブロック図であり、図において、２０はフレームメモリにおける信号をＲ、Ｇ、Ｂ信号に分離する分離手段、２１はＧ信号での画素信号が得られていない所定画素位置でのエッジ成分を判定する第１のエッジ判定手段、２２は分離手段２０からの各Ｒ、Ｇ、Ｂ信号と上記第１のエッジ判定手段２１からの出力に基づきＧ信号の復元を行うＧ成分復元手段、２３はＲ、Ｂ信号の復元を行う第１のＲＢ成分復元手段、２４は前記Ｇ成分復元手段２２からのＧ信号での画素信号が得られていない所定画素位置でのエッジ成分を判定する第２のエッジ判定手段、２５は第２のエッジ判定手段２４の出力に応じてＲおよびＢ信号の復元を行う第２のＲＢ成分復元手段である。
【００３５】
フレームメモリ３または４における図３に示された配列の撮像素子による信号は、分離手段２０においてそれぞれＲ、Ｇ、Ｂ信号に分離され、Ｇ信号は第１のエッジ判定手段２１とＧ成分復元手段２２へと送られ、Ｒ、Ｂ信号はＧ成分復元手段２２および第１のＲＢ復元手段２３へと送られる。第１のエッジ判定手段２１ではＧ信号における画素信号が得られていない所定画素位置でのエッジ成分を判定して判定結果をＧ成分復元手段２２へと送り、Ｇ成分復元手段２２では上記第１のエッジ判定手段２１からの判定結果の基づき、撮像素子での総画素数のＧ信号を得るようＧ成分の画素信号の復元を行う。図５はこの発明の実施の形態１による撮像装置における色復元手段における第１のエッジ判定手段２１とＧ成分復元手段２２の動作を説明するためのフローチャートであり、第１のエッジ判定手段２１とＧ成分復元手段２２での処理動作を図５に従って説明する。
【００３６】
いま、撮像素子１におけるＧ信号は図３に示すように画素位置（２ｉ、２ｊ）と（２ｉ＋１、２ｊ＋１）で得られており、撮像素子の画素数のＧ信号を得るために、画素位置（２ｉ、２ｊ＋１）と（２ｉ＋１、２ｊ）の画素での信号を求めることとなる。よって、図５より、Ｇ成分復元手段２２において画素位置（２ｉ、２ｊ）と（２ｉ＋１、２ｊ＋１）での画素はＧ信号をそのまま出力し、画素位置（２ｉ、２ｊ＋１）と（２ｉ＋１、２ｊ）では、まず第１のエッジ判定手段２１において、左右および上下の画素の差分つまりエッジ成分を検出する。つまり、上記画素位置での左右の画素の差の絶対値ΔＨ、上下の画素の差の絶対値ΔＶ算出する。例えば、画素位置（２ｉ、２ｊ＋１）においては、水平方向差分ΔＨは、
ΔＨ＝｜Ｇ（２ｉ、２ｊ）−Ｇ（２ｉ、２ｊ＋２）｜ （１）
垂直方向差分ΔＶは、
ΔＶ＝｜Ｇ（２ｉ−１、２ｊ＋１）−Ｇ（２ｉ＋１、２ｊ＋１）｜ （２）
となる。以下、この画素の差の絶対値をエッジ成分と呼ぶ。
【００３７】
そして、上記水平方向でのエッジ成分ΔＨおよび垂直方向エッジ成分ΔＶにより、水平垂直方向での周辺画素での信号レベルの変化を判定し、その判定結果を示す信号ｅｄ１を第１のエッジ判定手段２１より出力する。第１のエッジ判定手段２１での判定は、ΔＨとΔＶの両方が予め定めた値ｔｈ以下の場合は、周辺画素での信号レベルの変化がないと判定し、Ｇ成分復元手段２２において、周波数の変化を考慮する必要がなく、上下左右の４画素の平均値を算出しＧ信号とする。例えば、この場合での画素位置（２ｉ、２ｊ＋１）におけるＧ信号は、ｇ（２ｉ、２ｊ＋１）＝｛Ｇ（２ｉ−１、２ｊ＋１）＋Ｇ（２ｉ＋１、２ｊ＋１）＋Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ、２ｊ＋２）｝／４となる。
【００３８】
一方、ΔＨまたはΔＶが予め定めた値ｔｈより大きい場合は、その画素においてエッジ成分があると判定し、さらに、ΔＨ＞ΔＶの場合は垂直方向に相関が高いと判定し、ΔＨ≦ΔＶの場合は水平方向に相関が高いと判定する。そして、ΔＨ＞ΔＶで垂直方向に相関が高いと判定される場合は、Ｇ成分復元手段２２において、Ｒ、Ｇ、Ｂ信号での垂直方向の画素信号より演算し、垂直方向に相関を持つＧ信号を出力する。つまり、Ｒ信号が得られている画素である処理画素位置（２ｉ、２ｊ＋１）においては、Ｇ信号の垂直方向のローパスフィルタを介した値Ｇｖｌｐｆ、Ｒ信号の垂直方向のローパスフィルタを介した値Ｒｖｌｐｆを例えば、

として算出し、このＧｖｌｐｆとＲｖｌｐｆの比と画素位置（２ｉ、２ｊ＋１）でのＲ信号より、垂直方向に相関をもつＧ信号ｇ（２ｉ、２ｊ＋１）を次式

により算出する。
【００３９】
また、Ｂ信号が得られる画素位置である処理画素位置（２ｉ＋１、２ｊ）でも同様に、Ｇ信号の垂直方向のローパスフィルタを介した値Ｇｖｌｐｆ、Ｂ信号の垂直方向のローパスフィルタを介した値Ｂｖｌｐｆを例えば、

として算出し、このＧｖｌｐｆとＢｖｌｐｆの比と画素位置（２ｉ＋１、２ｊ）でのＢ信号より、垂直方向に相関をもつＧ信号ｇ（２ｉ＋１、２ｊ）を次式

により算出する。
【００４０】
また、ΔＨ≦ΔＶで水平方向に相関が高いと判定される場合には、Ｇ成分復元手段２２において、水平方向の画素信号より演算し、水平方向に相関を持つＧ信号を出力する。処理画素位置（２ｉ、２ｊ＋１）においては、Ｇ信号の水平方向のローパスフィルタを介した値Ｇｈｌｐｆ、Ｒ信号の水平方向のローパスフィルタを介した値Ｒｈｌｐｆを例えば、

として算出し、このＧｈｌｐｆとＲｈｌｐｆの比と画素位置（２ｉ、２ｊ＋１）でのＲ信号より、垂直方向に相関をもつＧ信号ｇ（２ｉ、２ｊ＋１）を次式

により算出する。
【００４１】
また、Ｂ信号が得られる画素位置である処理画素位置（２ｉ＋１、２ｊ）でも同様に、処理画素位置（２ｉ＋１、２ｊ）でのＧ信号の水平方向のローパスフィルタを介した値Ｇｈｌｐｆ、Ｂ信号の水平方向のローパスフィルタを介した値Ｂｈｌｐｆを例えば、

として算出し、このＧｈｌｐｆとＢｈｌｐｆの比と画素位置（２ｉ＋１、２ｊ）でのＢ信号より、垂直方向に相関をもつＧ信号ｇ（２ｉ＋１、２ｊ）を次式

により算出する。
【００４２】
なお、上記式（５）、（８）、（１１）、（１４）による算出方式は、局所的領域での色の変化が少ないことを前提としており、つまり、局所的な領域での各色信号の比はほぼ等しいことにより、水平方向または垂直方向における局所的な領域での各色信号の比はＲ、Ｇ、Ｂの水平方向または垂直方向のローパスフィルタを介した値の比で与えられる。また、上記式（５）〜（１４）は各水平方向ローパスフィルタおよび垂直方向ローパスフィルタ出力の算出例であり、フィルタのタップ数および係数は上記に限るものではなく、他のタップ数および係数でもよい。
【００４３】
したがって、Ｇ成分復元手段２２からは画素位置（２ｉ、２ｊ）、（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）、（２ｉ＋１、２ｊ＋１）それぞれの画素でのＧ信号が出力され、つまり、撮像素子の画素数分の解像度のＧ信号を得られる。このＧ成分復元手段２２からの出力は次に、第１のＲＢ成分復元手段２３と第２のエッジ判定手段２４へと送られる。
【００４４】
次に、第１のＲＢ成分復元手段２３では、Ｒ、Ｂ信号の画素位置（２ｉ、２ｊ）、（２ｉ＋１、２ｊ＋１）でのＲ、Ｂ信号の生成を行い、その出力を第２のＲＢ復元手段２５へと送り、第２のエッジ判定手段２４においては、上記Ｇ成分復元手段２２から出力されたＧ信号により画素位置（２ｉ、２ｊ＋１）および（２ｉ＋１、２ｊ）の画素での左右および上下の画素の差分つまりエッジ成分を検出する。第２のＲＢ成分復元手段２５では、第２のエッジ判定手段２４の出力に基づき、Ｒ信号での画素位置（２ｉ＋１、２ｊ）、Ｂ信号での画素位置（２ｉ、２ｊ＋１）でのそれぞれの画素を復元生成する。図６は前記第１のＲＢ成分復元手段２３、第２のエッジ判定手段２４および第２のＲＢ成分復元手段２５における動作を示すフローチャートであり、第１および第２のＲＢ成分復元手段２３、２５と第２のエッジ判定手段２４での処理動作を図６に従って説明する。
【００４５】
いま、図３に示すように、撮像素子におけるＲ信号は画素位置（２ｉ、２ｊ＋１）で得られ、Ｂ信号は（２ｉ＋１、２ｊ）で得られており、撮像素子の画素数のＲ、Ｂ信号を得るために、Ｒについては画素位置（２ｉ、２ｊ）、（２ｉ＋ｌ、２ｊ）と（２ｉ＋１、２ｊ＋１）の画素での信号を求めることとなり、Ｂについては画素位置（２ｉ、２ｊ）、（２ｉ、２ｊ＋１）と（２ｉ＋１、２ｊ＋１）の画素での信号を求めることとなる。図７（ａ）、（ｂ）はＲ、Ｂ信号の算出を説明するための各画素のＲ、Ｂを示す図であり、図中ＲおよびＢが撮像素子により得られている画素信号を示している。図６により、第１および第２のＲＢ成分復元手段２３、２５において、Ｒ信号での画素位置（２ｉ、２ｊ＋１）、Ｂ信号での画素信号（２ｉ＋１、２ｊ）における画素はそのままの信号を出力する。次に、画素位置（２ｉ、２ｊ）と（２ｉ＋１、２ｊ＋１）の場合、Ｒ、Ｂ信号ともに左右または上下のどちらかの方向の画素が得られており、また、Ｇ信号はＧ成分復元手段２２により全画素復元されている。よって、第１のＲＢ成分復元手段２３には分離手段２０からのＲ、Ｂ信号とＧ成分復元手段２２からの全画素の信号が復元されたＧ信号が入力され、上下または左右方向の画素より演算して上記画素（２ｉ、２ｊ）と（２ｉ＋１、２ｊ＋１）のＲ、Ｂ信号を得る。つまり、図７でのｒ１およびｂ１（画素位置（２ｉ、２ｊ））、ｒ２およびｂ２（画素位置（２ｉ＋１、２ｊ＋１））での画素を、Ｇ、ＲおよびＢ信号における処理画素の上下または左右方向の画素により算出する。
【００４６】
Ｒ信号でのｒ１で示す画素位置（２ｉ、２ｊ）の場合は、画素位置（２ｉ、２ｊ）においてＧ、Ｒ信号に対して水平方向のローパスフィルタを介した値Ｇ１ｈｌｐｆ、Ｒ１ｈｌｐｆを例えば、

により算出し、このＧ１ｈｌｐｆとＲ１ｈｌｐｆの比と画素Ｇ（２ｉ、２ｊ）により、画素位置（２ｉ、２ｊ）でのＲ信号ｒ（２ｉ、２ｊ）を次式により算出する。
ｒ（２ｉ、２ｊ）＝ Ｇ（２ｉ、２ｊ）×（Ｒ１ｈｌｐｆ／Ｇ１ｈｌｐｆ）
＝Ｇ（２ｉ、２ｊ）×（Ｒ（２ｉ、２ｊ−１）＋Ｒ（２ｉ、２ｊ＋１））
（ｇ（２ｉ、２ｊ−１）＋ｇ（２ｉ、２ｊ＋１）） （１７）
【００４７】
同様に、Ｂ信号におけるｂ１の位置については、画素位置（２ｉ、２ｊ）において、Ｇ、Ｂ信号に対して垂直方向のローパスフィルタを介した値Ｇ１ｖｌｐｆ、Ｂ１ｖｌｐｆを例えば、

により算出し、このＧ１ｖｌｐｆとＢ１ｖｌｐｆの比と画素Ｇ（２ｉ、２ｊ）により、画素位置（２ｉ、２ｊ）でのＢ信号ｂ（２ｉ、２ｊ）を次式により算出する。
ｂ（２ｉ、２ｊ）＝ Ｇ（２ｉ、２ｊ）×（Ｂ１ｖｌｐｆ／Ｇ１ｖｌｐｆ）
＝Ｇ（２ｉ、２ｊ）×（Ｂ（２ｉ−１、２ｊ）＋Ｂ（２ｉ＋１、２ｊ））
／（ｇ（２ｉ−１、２ｊ）＋ｇ（２ｉ＋１、２ｊ）） （２０）
【００４８】
また、ｒ２で示す画素位置（２ｉ＋１、２ｊ＋１）の場合についても同様に、画素位置（２ｉ＋１、２ｊ＋１）において、Ｇ、Ｒ信号に対して垂直方向のローパスフィルタを介した値Ｇ１ｖｌｐｆ、Ｒ１ｖｌｐｆを例えば、

により算出し、このＧ１ｖｌｐｆとＲ１ｖｌｐｆの比と画素Ｇ（２ｉ＋１、２ｊ＋１）により、画素位置（２ｉ＋１、２ｊ＋１）でのＲ信号ｒ（２ｉ＋１、２ｊ＋１）を次式により算出する。
ｒ（２ｉ＋１、２ｊ＋１）＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｒ１ｖｌｐｆ／Ｇ１ｖｌｐｆ）
＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｒ（２ｉ、２ｊ＋１）＋Ｒ（２ｉ＋２、２ｊ＋１））
／（ｇ（２ｉ、２ｊ＋１）＋ｇ（２ｉ＋２、２ｊ＋１）） （２３）
【００４９】
同様に、Ｂ信号でのｂ２で示す画素位置（２ｉ＋１、２ｊ＋１）において、Ｇ、Ｂ信号に対して水平方向のローパスフィルタを介した値Ｇ１ｈｌｐｆ、Ｂ１ｈｌｐｆを例えば、

により算出し、このＧ１ｈｌｐｆとＢ１ｈｌｐｆの比と画素Ｇ（２ｉ＋１、２ｊ＋１）により、画素位置（２ｉ＋１、２ｊ＋１）でのＢ信号ｂ（２ｉ＋１、２ｊ＋１）を次式により算出する。
ｂ（２ｉ＋１、２ｊ＋１）＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｂ１ｈｌｐｆ／Ｇ１ｈｌｐｆ）
＝Ｇ（２ｉ＋１、２ｊ＋１）×（Ｂ（２ｉ＋１、２ｊ）＋Ｂ（２ｉ＋１、２ｊ＋２））
／（ｇ（２ｉ＋１、２ｊ）＋ｇ（２ｉ＋１、２ｊ＋２）） （２６）
【００５０】
なお、上記式（１７）、（２０）、（２３）、（２６）は上記Ｇでの復元方法と同様局所的領域での色信号の変化が少ないことを前提としており、つまり、各信号の比は局所的な領域ではほぼ等しいということによる。また、式（１５）〜（２６）におけるＧ１ｈｌｐｆ、Ｇ１ｖｌｐｆ、Ｒ１ｈｌｐｆ、Ｒ１ｖｌｐｆ、Ｂ１ｈｌｐｆ、Ｂ１ｖｌｐｆの算出式は、水平および垂直方向のローパスフィルタ出力の算出例であり、フィルタのタップ数および係数は上記に限るものではなく、他のタップ数および係数であってもよい。
【００５１】
次に、残りのＲ信号における画素位置（２ｉ＋１、２ｊ）とＢにおける画素位置（２ｉ、２ｊ＋１）での信号（図７でのｒ３およびｂ３）については、まず、第２のエッジ判定手段２４において、Ｇ信号における前記画素での左右および上下の画素の差分つまりエッジ成分を検出する。つまり、Ｇ成分復元手段２２からのＧ信号に対し、上記画素位置での左右の画素の差の絶対値ΔＨ、上下の画素の差の絶対値ΔＶ算出する。例えば、画素位置（２ｉ＋１、２ｊ）においては、水平方向差分ΔＨは、
ΔＨ＝｜Ｇ（２ｉ＋１、２ｊ−１）−Ｇ（２ｉ＋１、２ｊ＋１）｜
垂直方向差分ΔＶは、
ΔＶ＝｜ Ｇ（２ｉ、２ｊ）−Ｇ（２ｉ＋２、２ｊ）｜
となる。
【００５２】
そして、上記水平方向でのエッジ成分ΔＨおよび垂直方向エッジ成分ΔＶにより、水平垂直方向での周辺画素での信号レベルの変化を判定し、その判定結果を示す信号を第２のＲＢ成分復元手段２５へと出力するのであるが、ここで、Ｒ信号における画素位置（２ｉ＋１、２ｊ）に対しては画素位置（２ｉ＋１、２ｊ）でのエッジ成分を判定した結果ｅｄｒを送り、Ｂ信号における画素位置（２ｉ、２ｊ＋１）に対しては画素位置（２ｉ、２ｊ＋１）でのエッジ成分を判定した結果ｅｄｂを送ることになる。判定結果ｅｄｒおよびｅｄｂにおいて、ΔＨとΔＶの両方が予め定めた値ｔｈ以下の場合は周辺画素での信号レベルの変化がないと判定し、第２のＲＢ成分復元手段２５において、周波数の変化を考慮する必要がなく、斜め方向に隣接する４画素の平均値を算出しＲまたはＢ信号とする。つまり、Ｒ信号での画素位置（２ｉ＋１、２ｊ）（図７（ａ）でのｒ３）についてはｒ（２ｉ＋１、２ｊ）＝（ Ｒ（２ｉ、２ｊ−１）＋Ｒ（２ｉ、２ｊ＋１）
＋Ｒ（２ｉ＋２、２ｊ−１）＋Ｒ（２ｉ＋２、２ｊ＋１）｝／４
Ｂ信号での画素位置（２ｉ、２ｊ＋１）（図７（ｂ）でのｂ３）については
ｂ（２ｉ、２ｊ＋１）＝｛ Ｂ（２ｉ−１、２ｊ）＋Ｂ（２ｉ−１、２ｊ＋２）
＋Ｂ（２ｉ＋１、２ｊ）＋Ｂ（２ｉ＋１、２ｊ＋２）｝／４
として算出する。
【００５３】
一方、ΔＨまたはΔＶが予め定めた値ｔｈより大きい場合は、その画素においてエッジ成分があると判定し、さらに、ΔＨ＞ΔＶの場合は垂直方向に相関が高いと判定し、ΔＨ≦ΔＶの場合は水平方向に相関が高いと判定する。そして、ΔＨ＞ΔＶで垂直方向に相関が高いと判定される場合は、第２のＲＢ成分復元手段２５において、Ｒ、Ｇ、Ｂ信号での上下方向の画素より演算し、垂直方向に相関を持つ信号を出力する。Ｒ信号でのｒ３で示す画素位置（２ｉ＋１，２ｊ）においては、垂直方向のローパスフィルタを介した値Ｒ２ｖｌｐｆ、Ｇ２ｖｌｐｆを例えば、
Ｒ２ｖｌｐｆ＝（ｒ（２ｉ、２ｊ）＋ｒ（２ｉ＋２、２ｊ））／２ （２７）
Ｇ２ｖｌｐｆ＝（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ＋２、２ｊ））／２ （２８）
により算出し、このＲ２ｖｌｐｆとＧ２ｖｌｐｆの比と画素ｇ（２ｉ＋１、２ｊ）により、次式の演算で垂直方向に相関を持つＲの画素値ｒ（２ｉ＋１，２ｊ）を算出する。
ｒ（２ｉ＋１、２ｊ）＝ｇ（２ｉ＋１、２ｊ）×（Ｒ２ｖｌｐｆ／Ｇ２ｖｌｐｆ）
＝ｇ（２ｉ＋１、２ｊ）×（ ｒ（２ｉ、２ｊ）＋ｒ（２ｉ＋２、２ｊ））
／（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ＋２、２ｊ）） （２９）
【００５４】
また、Ｂ信号でのｂ３で示す画素位置においても同様に、画素位置（２ｉ，２ｊ＋１）において、垂直方向のローパスフィルタを介した値Ｂ２ｖｌｐｆ、Ｇ３ｖｌｐｆを例えば、

により算出し、このＢ２ｖｌｐｆとＧ３ｖｌｐｆの比と画素ｇ（２ｉ、２ｊ＋１）により、次式の演算で垂直方向に相関を持つ画素値ｂ（２ｉ，２ｊ＋１）を算出する。
ｂ（２ｉ、２ｊ＋１）＝ｇ（２ｉ、２ｊ＋１）×（Ｂ２ｖｌｐｆ／Ｇ３ｖｌｐｆ）
＝ｇ（２ｉ、２ｊ＋１）×（ｂ（２ｉ−１、２ｊ＋１）＋ｂ（２ｉ＋１、２ｊ＋１））／（ Ｇ（２ｉ−１、２ｊ＋１）＋Ｇ（２ｉ＋１、２ｊ＋１））（３２）
【００５５】
また、ΔＨ≦ΔＶで水平方向に相関が高いと判定される場合には、第２のＲＢ成分復元手段２５において、Ｒ、Ｇ、Ｂ信号での左右方向の画素信号より演算し、水平方向に相関を持つ信号を出力する。Ｒ信号でのｒ３で示す画素位置（２ｉ＋１，２ｊ）においては、水平方向のローパスフィルタを介した値Ｒ２ｈｌｐｆ、Ｇ２ｈｌｐｆを例えば、

により算出し、このＲ２ｈｌｐｆとＧ２ｈｌｐｆの比と画素ｇ（２ｉ＋１、２ｊ）により、次式の演算で水平方向に相関を持つＲの画素値ｒ（２ｉ＋１，２ｊ）を算出する。
ｒ（２ｉ＋１、２ｊ）＝ｇ（２ｉ＋１、２ｊ）×（Ｒ２ｈｌｐｆ／Ｇ２ｈｌｐｆ）
＝ｇ（２ｉ＋１、２ｊ）×（ｒ（２ｉ＋１、２ｊ−１）＋ｒ（２ｉ＋１、２ｊ＋１））／（ Ｇ（２ｉ＋１、２ｊ−１）＋Ｇ（２ｉ＋１、２ｊ＋１））（３５）
【００５６】
Ｂ信号でのｂ３で示す画素位置においても同様に、画素位置（２ｉ，２ｊ＋１）において、水平方向のローパスフィルタを介した値Ｂ２ｈｌｐｆ、Ｇ３ｈｌｐｆを例えば、
Ｂ２ｈｌｐｆ＝（ｂ（２ｉ、２ｊ）＋ｂ（２ｉ、２ｊ＋２））／２ （３６）
Ｇ３ｈｌｐｆ＝（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ、２ｊ＋２））／２ （３７）
により算出し、このＢ２ｈｌｐｆとＧ３ｈｌｐｆの比と画素ｇ（２ｉ、２ｊ＋１）により、次式の演算で水平方向に相関を持つ画素値ｂ（２ｉ，２ｊ＋１）を算出する。
ｂ（２ｉ、２ｊ＋１）＝ｇ（２ｉ、２ｊ＋１）×（Ｂ２ｈｌｐｆ／Ｇ３ｈｌｐｆ）
＝ｇ（２ｉ、２ｊ＋１）×（ｂ（２ｉ、２ｊ）＋ｂ（２ｉ、２ｊ＋２））
／（Ｇ（２ｉ、２ｊ）＋Ｇ（２ｉ、２ｊ＋２）） （３８）
【００５７】
なお、上記式（２９）、（３２）、（３５）、（３８）は上記Ｇでの復元方法と同様局所的領域での色信号の変化が少ないことを前提としており、つまり、各信号の比は局所的な領域ではほぼ等しいということによる。また、式（２７）〜（３８）におけるＧ２ｈｌｐｆ、Ｇ２ｖｌｐｆ、Ｇ３ｈｌｐｆ、Ｇ３ｖｌｐｆ、Ｒ２ｈｌｐｆ、Ｒ２ｖｌｐｆ、Ｂ２ｈｌｐｆ、Ｂ２ｖｌｐｆの算出式は、水平および垂直方向のローパスフィルタ出力の算出例であり、フィルタのタップ数および係数は上記に限るものではなく、他のタップ数および係数であってもよい。
【００５８】
以上より、第２のＲＢ成分復元手段２５からは画素位置（２ｉ、２ｊ）、（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）、（２ｉ＋１、２ｊ＋１）それぞれの画素でのＲおよびＢ信号が出力され、つまり、撮像素子の画素数分の解像度のＲ、Ｂ信号を得られるとになる。Ｇ信号は上記Ｇ成分復元手段２２においてすでに撮像素子の画素数分の解像度の信号を得ており、したがって、Ｇ成分を用い水平垂直方向のエッジ成分を判定して局所的な領域での空間周波数の変化を判定し、その判定結果に基づき各色信号の生成を切り換えるともに、エッジ成分が所定値を越える場合の信号の算出において、局所的な領域での色信号の比により算出を行い、エッジ成分が所定値以下では周辺画素の平均値で求めることで、第１および第２の色復元手段５および６の出力において撮像素子の画素数分の解像度のＲ、Ｇ、Ｂ信号が得られる。
【００５９】
次に、上述の方法により第１の色復元手段５において復元された撮像素子の画素数分の信号Ｒ１、Ｇ１、Ｂ１は多重手段７へと送られ、第２の色復元手段６において復元された撮像素子の画素数分の信号Ｒ２、Ｇ２、Ｂ２も多重手段７へと送られる。多重手段７においては、第１の色復元手段５からのＲ１、Ｇ１、Ｂ１信号と第２の色復元手段６からのＲ２、Ｇ２、Ｂ２信号により、水平垂直方向各２倍の解像度の信号になるようそれぞれの信号を合成多重する。つまり、各信号は図２に示す斜め方向に半画素ずらしたデータＤ１とＤ２により復元された信号であるので、上記Ｒ１、Ｇ１、Ｂ１とＲ２、Ｇ２、Ｂ２は各撮像素子での画素数の水平垂直方向各２倍の解像度の信号において、図８に示されるような配置となる。つまり、水平垂直方向各２倍の解像度の各信号において、垂直２ｘ行水平２ｙ＋１列の画素位置（２ｘ、２ｙ＋１）（ｘ、ｙは整数）にＲ１、Ｇ１、Ｂ１が位置し、画素位置（２ｘ＋１、２ｙ）にＲ２、Ｇ２、Ｂ２が位置しており、図８においてＤ１はＲ１またはＧ１またはＢ１の位置を示し、Ｄ２はＲ２またはＧ２またはＢ２の位置を示している。したがって、多重手段７からは図９から図１１に示されるような配置となる画素数が水平垂直方向各２倍の解像度の信号が出力されることとなる。
【００６０】
次に、多重手段７の出力であるＲ、Ｇ、Ｂ各信号（図９〜図１１）は、平均値演算手段９、水平方向演算手段１０、垂直方向演算手段１１に送られ、Ｇ信号はエッジ判定手段８へも入力される。ここで、図９〜図１１おいて示されるように、各信号において画素位置（２ｘ、２ｙ）、（２ｘ＋１、２ｙ＋１）の画素は得られておらず、したがって、これらの画素での信号を上記平均値演算手段９、水平方向演算手段１０、垂直方向演算手段１１で算出することとなる。そして、平均値演算手段９、水平方向演算手段１０、垂直方向演算手段１１による出力は選択手段１２へと送られ、エッジ判定手段８ではＧ信号における画素位置（２ｘ、２ｙ）、（２ｘ＋１、２ｙ＋１）での周辺画素のエッジ成分を判定し、判定結果を選択手段１２へと出力する。
【００６１】
図１２はこの発明の実施の形態１による撮像装置における高解像度化の動作を説明するためのフローチャートであり、前記エッジ判定手段８、平均値演算手段９、水平方向演算手段１０、垂直方向演算手段１１および選択手段１２での動作を示すものである。この図１２に従い説明する。
【００６２】
図９〜図１１で示す各画素信号が得られている画素位置（２ｘ、２ｙ＋１）、（２ｘ＋１、２ｙ）については選択手段１２においてそのままの信号を出力する。画素位置（２ｘ、２ｙ）、（２ｘ＋１、２ｙ＋１）については、まずエッジ判定手段８において、Ｇ信号の上記画素位置での左右および上下の画素より水平および垂直方向の差分（つまりエッジ成分）を検出する。つまり、多重手段７からのＧ信号に対し、上記画素位置での左右の画素の差の絶対値ΔＨｇ、上下の画素の差の絶対値ΔＶｇ算出する。例えば、画素位置（２ｘ、２ｙ）においては、水平方向差分ΔＨｇは、
ΔＨｇ＝｜Ｇ（２ｘ、２ｙ−１）−Ｇ（２ｘ、２ｙ＋１）｜
垂直方向差分ΔＶｇは、
ΔＶｇ＝｜Ｇ（２ｘ−１、２ｙ）−Ｇ（２ｘ＋１、２ｙ）｜
となる。
【００６３】
そして、上記水平方向差分ΔＨｇおよび垂直方向差分ΔＶｇにより、水平垂直方向での周辺画素でのエッジを判定し、その判定結果を示す信号ｅｄを選択手段１２へと出力する。判定結果ｅｄにおいて、ΔＨｇとΔＶｇの両方が予め定めた値ｔｈｇ以下の場合は周辺画素での信号レベルの変化がないと判定し、選択手段１２において平均値演算手段９からの信号を選択する。平均値演算手段９では、各信号において画素位置（２ｘ、２ｙ）、（２ｘ＋１、２ｙ＋１）での上下左右の４画素の平均値を演算しており、例えば画素位置（２ｘ、２ｙ）の場合は次式によりＲ、Ｇ、Ｂ各信号の値Ｒａ、Ｇａ、Ｂａを演算して、選択手段１２へと出力している。
Ｒａ（２ｘ、２ｙ）＝｛Ｒ（２ｘ−１、２ｙ）＋Ｒ（２ｘ＋１、２ｙ）＋Ｒ（２ｘ、２ｙ−１）＋Ｒ（２ｘ、２ｙ＋１）｝／４
Ｇａ（２ｘ、２ｙ）＝｛Ｇ（２ｘ−１、２ｙ）＋Ｇ（２ｘ＋１、２ｙ）＋Ｇ（２ｘ、２ｙ−１）＋Ｇ（２ｘ、２ｙ＋１）｝／４
Ｂａ（２ｘ、２ｙ）＝｛Ｂ（２ｘ−１、２ｙ）＋Ｂ（２ｘ＋１、２ｙ）＋Ｂ（２ｘ、２ｙ−１）＋Ｂ（２ｘ、２ｙ＋１）｝／４
【００６４】
一方、ΔＨｇまたはΔＶｇが予め定めた値ｔｈｇより大きい場合は、その画素においてエッジ成分があると判定し、さらに、ΔＨｇ＞ΔＶｇの場合は水平方向にエッジ成分があり、垂直方向に相関が高いと判定し、ΔＨｇ≦ΔＶｇの場合は垂直方向にエッジ成分があり、水平方向に相関が高いと判定する。そして、ΔＨｇ＞ΔＶｇで垂直方向に相関が高いと判定される場合は、選択手段１２において垂直方向演算手段１１からの信号を選択する。垂直方向演算手段１１では各信号において画素位置（２ｘ、２ｙ）、（２ｘ＋１、２ｙ＋１）での上下方向の画素の平均値を演算し、垂直方向に相関を持つ信号を出力する。例えば、画素位置 （２ｘ、２ｙ）の場合は次式によりＲ、Ｇ、Ｂ各信号の値Ｒｖ、Ｇｖ、Ｂｖを演算して、選択手段１２へと出力している。
Ｒｖ（２ｘ、２ｙ）＝｛Ｒ（２ｘ−１、２ｙ）＋Ｒ（２ｘ＋１、２ｙ）｝／２
Ｇｖ（２ｘ、２ｙ）＝｛Ｇ（２ｘ−１、２ｙ）＋Ｇ（２ｘ＋１、２ｙ）｝／２
Ｂｖ（２ｘ、２ｙ）＝｛Ｂ（２ｘ−１、２ｙ）＋Ｂ（２ｘ＋１、２ｙ）｝／２
【００６５】
また、ΔＨｇ≦ΔＶｇで水平方向に相関が高いと判定される場合には、選択手段１２において水平方向演算手段１０からの信号を選択する。水平方向演算手段１０では各信号において画素位置（２ｘ、２ｙ）、（２ｘ＋１、２ｙ＋１）での左右方向の画素の平均値を演算し、水平方向に相関を持つ信号を出力する。例えば、画素位置（２ｘ、２ｙ）の場合は次式によりＲ、Ｇ、Ｂ各信号の値Ｒｈ、Ｇｈ、Ｂｈを演算して、選択手段１２へと出力している。
Ｒｈ（２ｘ、２ｙ）＝｛Ｒ（２ｘ、２ｙ−１）＋Ｒ（２ｘ、２ｙ＋１）｝／２
Ｇｈ（２ｘ、２ｙ）＝｛Ｇ（２ｘ、２ｙ−１）＋Ｇ（２ｘ、２ｙ＋１）｝／２
Ｂｈ（２ｘ、２ｙ）＝｛Ｂ（２ｘ、２ｙ−１）＋Ｂ（２ｘ、２ｙ＋１）｝／２
【００６６】
以上より、選択手段１２からは画素位置（２ｘ、２ｙ）、（２ｘ、２ｙ＋１）、（２ｘ＋１、２ｙ）、（２ｘ＋１、２ｙ＋１）それぞれの画素でのＲ、Ｇ、Ｂ信号が出力され、つまり、撮像素子の画素数の水平垂直方向各２倍の解像度のＲ、Ｇ、Ｂ信号を得られることになり、したがって、Ｇ信号を用い水平垂直方向のエッジ成分を判定し、その判定結果に基づき各色信号の生成を切り換えるともに、エッジ成分が所定値を越える場合の信号の算出において、エッジ成分が少ない方向での画素より算出を行い、エッジ成分が所定値以下では周辺画素の平均値で求めることで、水平垂直方向各２倍の解像度の画像における偽色、偽輪郭が軽減され、また、全ての信号における水平垂直の両方向の解像度が向上することになる。
【００６７】
図１３はこの発明の実施の形態１による撮像装置と従来の装置により処理したシミュレーション画像での垂直方向の解像度での偽色レベルを示す図であり、詳しくは、発明者らによる画像シミュレーションにおいて、ゾーンプレートを上述図１の構成により処理した場合の垂直方向で発生する偽色レベル（ｃｏｌｏｒ−ａｌｉａｓ ｌｅｖｅｌ、縦軸）と解像度（横軸）との関係を示している。上記従来技術による処理後の偽色レベルを破線で示し、図１による実施の形態１による処理後の偽色レベルを実線で示している。従来の技術による処理では多くの偽色が発生しているが、実施の形態１による処理では偽色の発生が抑圧されている。各処理でこの垂直方向の偽色信号のレベルを積分して比較すると、約２１．５ｄＢの抑圧効果がある。
【００６８】
なお、上記実施の形態１において、第１の色復元手段５および第２の色復元手段６における色復元手段の構成を図４に示す構成の場合について説明したが、他の周辺画素からの補間による復元方法であっても、斜めに半画素ずらした２枚の撮像素子により得た信号よりそれぞれ撮像素子の画素数分のＲ、Ｇ、Ｂ信号を復元して、この画素ずらしによる２枚分の復元画像より上述図１による方法で水平垂直方向各２倍の解像度の画像を得るのであれば、上記実施の形態１と同様の効果を奏する。
【００６９】
また、上記実施の形態１では、撮像素子１における画素ずらしによる２枚の撮像素子の色フィルタの配列を図３に示す原色の色フィルタであり、各光電変換素子を独立に呼び出す方式の撮像素子として説明しているが、撮像素子は画素混合方式の撮像素子であってもよく、色フィルタの分光特性はＲ、Ｇ、Ｂに限るものではなく、また、色フィルタの配列も他の場合でもよく、斜めに半画素ずらした２枚の撮像素子により得たデータより撮像素子の画素数の信号を復元してＲＧＢの色信号を再生でき、この画素ずらしによる２枚分の復元した信号より上述図１による方法で水平垂直方向各２倍の解像度の信号を得られるのであれば、上記と同様の効果を奏する。
【００７０】
例えば、図１４に示すように、画素位置（２ｉ，２ｊ）と画素位置（２ｉ＋１、２ｊ＋１）（ｉ＝０、１、２、…、ｊ＝０、１、２、…）に第１の色信号Ａを通過させる分光特性を持った第１の色フィルタを、画素位置（２ｉ、２ｊ＋１）に第２の色信号Ｂを通過させる分光特性を持った第２の色フィルタを、画素位置（２ｉ＋１、２ｊ）に第３の色信号Ｃを通過させる分光特性を持った第３の色フィルタを配列し、色復元手段５、６において撮像素子の画素数分の各色信号Ａ、Ｂ、Ｃを復元した後ＲＧＢの色信号を再生できればよい。また、図１５に示されるように、画素位置（２ｉ，２ｊ＋１）と画素位置（２ｉ＋１、２ｊ）（ｉ＝０、１、２、…、ｊ＝０、１、２、…）に第１の色フィルタを、画素位置（２ｉ、２ｊ）に第２の色フィルタを、画素位置（２ｉ＋１、２ｊ＋１）に第３の色フィルタを配列した場合（図１５中の斜線部分）でも同様の効果を奏する。
【００７１】
また、上記実施の形態１では、撮像素子１における画素ずらしによる２枚の撮像素子の配置を図２に示すように配置して説明しているが、斜め方向に半画素ずらすのであれば図１６のような配置であっても上記実施の形態１により高解像度の画像を得られ、同様の効果を奏する。
【００７２】
なお、上記実施の形態１では、ハードウェアにより図１、図４の構成の処理を行う場合について説明しているが、撮像装置におけるソフトウェアにより同様の処理を行うことができることは言うまでもなく、上記実施の形態１と同様の効果を奏する。
【００７３】
実施の形態２．
実施の形態１の図４で示した色復元手段５または６において、第１のエッジ判定手段２１においてＧ信号における画素位置（２ｉ、２ｊ＋１）および（２ｉ＋１、２ｊ）での上下左右でのエッジ成分を判定し、第２のエッジ判定手段２４においては、Ｒ信号の復元に対してＧ信号における画素位置（２ｉ＋１、２ｊ）でのエッジ成分を、Ｂ信号の復元に対してＧ信号における画素位置（２ｉ、２ｊ＋１）でのエッジ成分を判定するよう構成したが、どちらも画素位置（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）での左右および上下の画素のエッジ成分を検出しており、これらの画素位置での上下左右の画素信号は撮像素子より得られた信号であるため、同一のエッジ成分を求めることとなる。よって、図１７に示すように、色復元手段５または６の構成を、１つのＧ成分エッジ判定手段によりＧ信号における画素位置（２ｉ、２ｊ＋１）および（２ｉ＋１、２ｊ）でのエッジ成分を判定するような構成とすることもできる。
【００７４】
図１７において、２０、２２〜２３および２５は上記実施の形態１での撮像装置における色復元手段５および６におけるものと同一のものであり、４１はＧ成分エッジ判定手段である。
【００７５】
次に動作を説明する。フレームメモリ３または４からの信号を分離手段２０により各Ｒ、Ｇ、Ｂ信号に分離し、Ｇ成分復元手段２２、第１のＲＢ復元手段２３および第２のＲＢ復元手段２５で撮像素子の画素数の各信号を生成し復元する動作は上記実施の形態１と同一であるのでその詳細な説明は省略する。
【００７６】
Ｇ成分エッジ判定手段４１には分離手段２０におけるＧ信号が入力され、画素位置（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）（図３中のＲおよびＢで示す画素位置）での左右および上下の画素の差分つまりエッジ成分を検出する。つまり、上記画素位置での左右の画素の差の絶対値ΔＨ２、上下の画素の差の絶対値ΔＶ２を算出する。例えば、画素位置（２ｉ、２ｊ＋１）においては、
ΔＨ２＝｜Ｇ（２ｉ、２ｊ）−Ｇ（２ｉ、２ｊ＋２）｜
ΔＶ２＝｜Ｇ（２ｉ−１、２ｊ＋１）−Ｇ（２ｉ＋１、２ｊ＋１）｜
として算出する。
【００７７】
そして、上記水平方向でのエッジ成分ΔＨ２および垂直方向エッジ成分ΔＶ２により、水平垂直方向での周辺画素での信号レベルの変化を判定し、入力されるＧ信号の各画素位置に応じて、その判定結果を示す信号ｅｄ１をＧ成分復元手段２２へ、ｅｄｒ、ｅｄｂを第２のＲＢ成分復元手段２５へと出力する。各判定信号は、ΔＨ２とΔＶ２の両方が予め定めた値以下の場合は、周辺画素での信号レベルの変化がないと判定する。一方、ΔＨ２またはΔＶ２が予め定めた値より大きい場合は、その画素においてエッジ成分があると判定し、さらに、ΔＨ２＞ΔＶ２の場合は垂直方向に相関が高いと判定し、ΔＨ２≦ΔＶ２の場合は水平方向に相関が高いと判定する。ここで、Ｇ成分復元手段２２においては、画素位置 （２ｉ、２ｊ＋１）と（２ｉ＋１、２ｊ）での画素を復元するため、両画素位置において上記エッジ判定結果ｅｄ１を出力することになる。
【００７８】
一方、第２のＲＢ成分復元手段２５においては、Ｒ信号の画素位置（２ｉ＋１，２ｊ）の復元を行い、Ｂ信号の画素位置（２ｉ、２ｊ＋１）の復元を行う。よって、画素位置（２ｉ＋１、２ｊ）において上記エッジ成分を判定した結果をｅｄｒとして、第２のＲＢ成分復元手段２５におけるＲ信号での処理画素位置にタイミングを合わせて出力する。また、画素位置（２ｉ、２ｊ＋１）において上記エッジ成分を判定した結果をｅｄｂとして、第２のＲＢ成分復元手段２５におけるＢ信号での処理画素位置にタイミングを合わせて出力する。
【００７９】
よって、Ｇ成分エッジ判定手段４１において、上記Ｇ成分復元手段２２および第２のＲＢ成分復元手段２５におけるＧ、Ｒ、Ｂ信号を復元する画素位置に対応するＧ信号でのエッジ成分の判定結果を出力されることとなる。
【００８０】
なお、上記実施の形態２では、画素位置（２ｉ、２ｊ）、（２ｉ＋１、２ｊ＋１）にＧ信号が、画素位置（２ｉ、２ｊ＋１）にＲ信号が、画素位置（２ｉ＋１、２ｊ＋１）にＢ信号が撮像素子より得られる場合について説明したが、上記実施の形態１同様、画素位置（２ｉ、２ｊ＋１）、（２ｉ＋１、２ｊ）にＧ信号が、画素位置（２ｉ、２ｊ）にＲ信号が、画素位置（２ｉ＋１、２ｊ＋１）にＢ信号が配列されていてもよく、また、色信号はＲＧＢに限ることはない。
【００８１】
また、上記実施の形態１と同様、実施の形態２においても、図１７の構成の処理を撮像装置におけるソフトウェアにより同様の処理を行うことができることは言うまでもなく、上記実施の形態２と同様の効果を奏する。
【００８２】
【発明の効果】
以上のように、この発明による撮像装置によれば、斜め方向に半画素ずらして配置された２枚の撮像素子を備えた撮像装置において、第１および第２の撮像素子により読み出された色信号より各撮像素子に対して撮像素子の画素数分の解像度の色信号を復元生成する色信号復元手段と、前記色信号復元手段からの出力である上記第１および第２の撮像素子からの信号より復元された各信号により各撮像素子の画素数の水平垂直方向各２倍の解像度の信号の画素を得る手段と、前記得られた水平垂直方向各２倍の解像度の信号において画素信号が得られていない所定画素位置におけるエッジ成分を周辺画素から判定する第１のエッジ判定手段を備えるとともに、前記第１のエッジ判定手段からの信号に基づき、水平垂直方向各２倍の解像度の色信号での前記所定画素位置の信号を算出する手段を有することにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【００８３】
また、この発明による撮像装置によれば、前記第１のエッジ判定手段が、画素信号が得られていない所定画素位置における左右の隣接画素のあらかじめ定めたおいた一つの色信号の差の絶対値を算出して水平方向のエッジ成分を検出する手段と、上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する手段と、前記水平方向のエッジ成分を検出する手段と垂直方向エッジ成分を検出する手段からの出力に基づき、前記所定画素位置における水平または垂直方向のエッジ成分を判定することにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【００８４】
また、この発明による撮像装置よれば、前記第１のエッジ判定手段におけるエッジ成分の判定が、上記水平方向のエッジ成分を検出する手段からの出力または上記垂直方向のエッジ成分を検出する手段からの出力が予め定めた値より大きい場合は、上記画素信号が得られていない所定画素位置の周辺画素にエッジ成分を検出したとし、さらに、水平方向のエッジ成分を検出する手段からの出力が上記垂直方向のエッジ成分を検出する手段の出力より大きい場合は垂直方向により相関があり、水平方向エッジ成分を検出する手段の出力が上記垂直方向エッジ成分を検出する手段出力より小さい場合は水平方向により相関があると判定するとともに、上記水平方向エッジ成分を検出する手段および垂直方向エッジ成分を検出する手段の出力がともに予め定めた値より小さい場合にはエッジ成分を検出しないと判定することにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【００８５】
また、この発明による撮像装置よれば、上記水平垂直方向各２倍の解像度の信号での画素信号が得られていない所定画素位置の信号を算出する手段が、画素信号が得られていない所定画素位置における色信号それぞれに対し、上下の画素の平均値より信号を算出する垂直方向算出手段と、左右の画素の平均値より信号を算出する水平方向算出手段と、上下左右の隣接画素の平均値より信号を算出する平均値算出手段とを備え、上記第１のエッジ判定手段の出力に基づき、上記水平方向算出手段の出力または垂直方向算出手段出力、または平均値算出手段からの出力より選択し、上記所定画素位置での信号を得て、撮像素子における画素数の水平垂直方向各２倍の解像度の各色信号を得ることにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【００８６】
また、この発明による撮像装置によれば、上記水平垂直方向各２倍の解像度の信号での画素信号が得られていない所定画素位置の信号を算出する手段が、画素信号が得られていない所定画素位置において上記第１のエッジ判定手段の出力がエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向算出手段の出力を選択することにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【００８７】
また、この発明による撮像装置によれば、上記斜め方向に半画素ずらして配置された２枚の撮像素子それぞれにおいて、各撮像素子が、垂直２行水平２列の上下４画素において、第１の色信号に対する分光感度特性を持つ第１の色フィルタと第２の色信号に対する分光感度特性を持つ第２の色フィルタとが垂直１行目に配列され、垂直２行目には上記垂直１行目の第１の色フィルタが配列された画素位置と同一の列に第３の色信号に対する分光感度特性を持つ第３の色フィルタが配列され、第２の色フィルタと同一の列に第１の色信号に対する分光感度特性を持つ第１の色フィルタが配列されており、上記上下４画素の色フィルタが順次垂直および水平方向に繰り返し配列された撮像素子であり、各撮像素子からの色信号に対して撮像素子の画素数分の解像度の色信号を復元生成する上記色信号復元手段が、上記第１の色フィルタによる第１の色信号の画素信号が得られていない所定画素位置での周辺画素信号に基づき、画素信号が得られていない所定画素位置におけるエッジ成分を判定する第２のエッジ判定手段と、前記第２のエッジ判定手段の出力に基づき、上記第１、第２、第３の色フィルタにより読み出された第１、第２および第３の色信号により第１の色信号における上記画素信号が得られていない所定画素位置での信号を算出する第１の算出手段と、上記第２のエッジ判定手段の出力に基づき、上記第１の算出手段の出力と色フィルタからの第２および第３の色信号により第２および第３の色信号を算出する第２の算出手段とを備え、上記撮像素子における画素数の第１、第２、第３の色信号を得るとともに、上記第１のエッジ判定手段が、上記水平垂直方向各２倍の解像度の信号の画素を得る手段からの出力である第１の色信号に対し、画素信号が得られていない所定画素位置における周辺画素のエッジ成分を判定することにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【００８８】
また、この発明による撮像装置によれば、上記色復元手段における第２のエッジ判定手段が、第１の色信号の画素信号が得られていない所定画素位置における左右の隣接画素の差の絶対値を算出して水平方向のエッジ成分を検出する水平方向エッジ検出手段と、第１の色信号の画素信号が得られていない所定画素位置における上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する垂直方向エッジ検出手段と、前記水平方向エッジ検出手段と垂直方向エッジ検出手段からの出力に基づき、前記画素信号が得られていない所定画素位置における水平または垂直方向のエッジ成分を判定する判定手段を備えるとともに、前記判定手段が、上記水平方向エッジ検出手段からの出力または上記垂直方向エッジ検出手段からの出力が予め定めた値より大きい場合は、上記画素信号が得られていない所定画素位置の周辺画素にエッジ成分を検出したとし、さらに、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より大きい場合は垂直方向により相関があり、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より小さい場合は水平方向により相関があると判定するとともに、上記水平方向エッジ検出手段および垂直方向エッジ検出手段からの出力がともに予め定めた値より小さい場合にはエッジ成分を検出しないと判定することにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【００８９】
また、この発明による撮像装置よれば、上記色復元手段における第１の色信号での所定位置に対する信号を算出する第１の算出手段が、第２の色信号Ｂのある所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対し水平方向のローパスフィルタを介した値Ａｈｌｐｆ（ｌ、ｍ）、Ｂｈｌｐｆ（ｌ、ｍ）を算出し、前記水平方向ローパスフィルタからの出力信号であるＡｈｌｐｆ（ｌ、ｍ）とＢｈｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｈｌｐｆ（ｌ、ｍ）／Ｂｈｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の画素位置においても同様に第１の色信号Ａにおける画素値を算出する水平方向信号算出手段と、上記所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対し垂直方向のローパスフィルタを介した値Ａｖｌｐｆ（ｌ、ｍ）、Ｂｖｌｐｆ（ｌ、ｍ）を算出し、前記垂直方向ローパスフィルタからの出力信号であるＡｖｌｐｆ（ｌ、ｍ）とＢｖｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｖｌｐｆ（ｌ、ｍ）／Ｂｖｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の画素位置においても同様に第１の色信号Ａにおける画素値を算出する垂直方向信号算出手段と、第１の色信号Ａにおける上記所定画素ｌ行ｍ列の位置での上下左右の隣接画素の平均値よりｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を算出する平均値算出手段とを備え、上記第２のエッジ判定手段の出力に基づき、上記水平方向信号算出手段の出力または垂直方向信号算出手段出力、または、平均値算出手段からの出力より選択し、上記所定画素ｌ行ｍ列における第１の色信号Ａの画素値Ａ（ｌ、ｍ）を得て、撮像素子における画素数の第１の色信号を得ることにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【００９０】
また、この発明による撮像装置によれば、前記色復元手段における第１の算出手段が、上記第２のエッジ判定手段の出力が所定画素ｌ行ｍ列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第１の色信号を得ることにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【００９１】
また、この発明による撮像装置よれば、上記色復元手段における第２の算出手段が、所定画素ｌ行ｍ列の位置において、上記第１の算出手段からの出力Ａに対し水平方向のローパスフィルタを介した値Ａ１ｈｌｐｆ（ｌ、ｍ）と垂直方向ローパスフィルタを介した値Ａ１ｖｌｐｆ（ｌ、ｍ）を算出し、第２の色信号Ｂに対し水平方向のローパスフィルタを介した値Ｂ１ｈｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対して垂直方向のローパスフィルタを介した値Ｃ１ｖｌｐｆ（ｌ、ｍ）（または、第２の色信号Ｂに対して垂直方向のローパスフィルタを介した値Ｂ１ｖｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対して水平方向のローパスフィルタを介した値Ｃ１ｈｌｐｆ（ｌ、ｍ））とを算出し、Ａ１ｈｌｐｆ（ｌ、ｍ）とＢ１ｈｌｐｆ（ｌ、ｍ）との比（またはＣ１ｈｌｐｆ（ｌ、ｍ）との比）と、Ａ１ｖｌｐｆ（ｌ、ｍ）とＣ１ｖｌｐｆ（ｌ、ｍ）との比（または、Ｂ１ｖｌｐｆ（ｌ、ｍ）との比）と、上記第１の算出手段からの出力Ａにおける所定画素ｌ行ｍ列での画素値Ａ（ｌ、ｍ）から、ｌ行ｍ列の第２の色信号Ｂと第３の色信号Ｃにおける画素値Ｂ（ｌ、ｍ）とＣ（ｌ、ｍ）を、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝（または、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝）により算出する信号算出手段を備えるとともに、上記ｌ行ｍ列の位置とは異なる所定画素ｘ行ｙ列の位置において、上記第１の算出手段からの出力Ａに対し水平方向のローパスフィルタを介した値Ａ２ｈｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第２の色信号Ｂに対し水平方向のローパスフィルタを介した値Ｂ２ｈｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｈｌｐｆ（ｘ、ｙ）とＢ２ｈｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｈｌｐｆ（ｘ、ｙ）／Ａ２ｈｌｐｆ（ｘ、ｙｙ）｝により算出し、第３の色信号Ｃにおいても同様にＣ信号を算出する水平方向信号算出手段と、上記第１の算出手段からの出力Ａに対し垂直方向のローパスフィルタを介した値Ａ２ｖｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第２の色信号Ｂに対し垂直方向のローパスフィルタを介した値Ｂ２ｖｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｖｌｐｆ（ｘ、ｙ）とＢ２ｖｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｖｌｐｆ（ｘ、ｙ）／Ａ２ｖｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃにおいても同様にＣ信号を算出する垂直方向信号算出手段と、上記信号算出手段からの出力における第２、第３の色信号での所定画素ｘ行ｙ列の位置において、斜めに隣接する画素の平均値を算出する平均値算出手段とを備え、上記第２のエッジ判定手段の出力に基づき、前記水平方向信号算出手段、垂直方向信号算出手段、平均値算出手段からのそれぞれの出力から選択して、上記所定画素ｘ行ｙ列での第２、第３の色信号を得て、撮像素子における画素数の第２、第３の色信号を得ることにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【００９２】
さらに、この発明による撮像装置よれば、上記色復元手段における第２の算出手段が、上記第２のエッジ判定手段の出力が所定画素ｘ行ｙ列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第２、第３の色信号を得ることにより、偽色、偽輪郭の軽減された水平垂直方向各２倍の解像度の高解像度画像を得ることができ、かつ、水平、垂直方向における解像度を向上することができる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による撮像装置の構成の一例を示すブロック図である。
【図２】 この発明の実施の形態１による斜め方向に半画素ずらした２枚の撮像素子の配置の一例を示す図である。
【図３】 この発明の実施の形態１による各撮像素子の色フィルタの配列の一例を示す図である。
【図４】 この発明の実施の形態１による撮像装置における色復元手段の構成の一例を示すブロック図である。
【図５】 この発明の実施の形態１による撮像装置における色復元手段における第１のエッジ判定手段とＧ成分復元の動作を説明するためのフローチャートである。
【図６】 この発明の実施の形態１による撮像装置における色復元手段におけるＲ、Ｂ成分復元の動作を説明するためのフローチャートである。
【図７】 この発明の実施の形態１による撮像装置におけるＲ、Ｂ信号の復元の動作を説明するためのＲ信号およびＢ信号の画素を示す図である。
【図８】 この発明の実施の形態１による撮像装置における多重手段１２の動作を説明するための水平垂直方向各２倍の解像度の信号の画素を示す図である。
【図９】 この発明の実施の形態１による撮像装置における多重手段１２における水平垂直方向各２倍の解像度のＲ信号の画素を示す図である。
【図１０】 この発明の実施の形態１による撮像装置における多重手段１２における水平垂直方向各２倍の解像度のＧ信号の画素を示す図である。
【図１１】 この発明の実施の形態１による撮像装置における多重手段１２における水平垂直方向各２倍の解像度のＢ信号の画素を示す図である。
【図１２】 この発明の実施の形態１による撮像装置における高解像度化の動作を説明するためのフローチャートを示す図である。
【図１３】 この発明の実施の形態１による撮像装置と従来の装置により処理したシミュレーション画像での垂直方向の解像度での偽色レベルを示す図である。
【図１４】 この発明の実施の形態１による撮像素子の他の色フィルタ配列の例を示す図である。
【図１５】 この発明の実施の形態１による撮像素子の他の色フィルタ配列の例を示す図である。
【図１６】 この発明の実施の形態１による斜め方向に半画素ずらした２枚の撮像素子の配置の他の例を示す図である。
【図１７】 この発明の実施の形態２による撮像装置における色復元手段の構成の一例を示すブロック図である。
【図１８】 従来の撮像装置における撮像素子の色フィルタ配列の一例を示す図である。
【図１９】 従来の撮像装置の構成の一例を示すブロック図である。
【図２０】 従来の撮像装置における色復元手段の構成の一例を示すブロック図である。
【図２１】 従来の撮像装置の高解像度化の動作を説明するための各信号の画素を示す図である。
【図２２】 従来の撮像装置の高解像度化の方法を説明するための各信号の画素を示す図である。
【図２３】 従来の撮像装置における色復元手段の他の構成の例を示すブロック図である。
【符号の説明】
１ 撮像素子、２ Ａ／Ｄコンバータ、３、４ フレームメモリ、５、６ 色復元手段、７ 多重手段、８ エッジ判定手段、９ 平均値演算手段、１０ 水平方向演算手段、１１ 垂直方向演算手段、１２ 選択手段、２０ 分離手段、２１ 第１のエッジ判定手段、２２ Ｇ成分復元手段、２３ 第１のＲＢ成分復元手段、２４ 第２のエッジ判定手段、２５ 第２のＲＢ成分復元手段。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to high image quality and downsizing in an imaging apparatus such as an electronic still camera.
[0002]
[Prior art]
Conventionally, in an imaging apparatus such as an electronic still camera, one image sensor (hereinafter referred to as a single-plate image sensor) is used for miniaturization. FIG. 18 is a diagram illustrating an example of a color filter array of an image sensor in a conventional imaging apparatus. In the figure, R is an image sensor having a color filter having spectral characteristics that allows R light to pass through. Similarly, B and G are image sensors having respective color filters. As shown in FIG. 18, G and R are arranged every two pixels on the n line, and B and G are arranged every two pixels on the n + 1 line. Accordingly, the R and B signals are obtained for every four pixels in the upper and lower sides (shaded portions in the figure), and the G signal is obtained for every two pixels. In the case of conversion to a resolution with twice the number of pixels, arithmetic processing such as interpolation is performed from the obtained pixel signals to generate R, G, B signals of the number of image sensors, and the obtained R, G, B The resolution is increased using each of the signals.
[0003]
FIG. 19 shows a single-plate image pickup device using the primary color filter shown in FIG. 18 described above, which generates R, G, and B signals from signals from the image pickup device, and further has a double resolution signal in the horizontal and vertical directions. It is a block diagram which shows an example of a structure of the conventional imaging device for obtaining. In the figure, 101 is an image sensor, 102 is an A / D converter, 103 is a frame memory, 104 is a signal in the frame memory 103 that is separated into R, G, and B signals, and each signal is interpolated to generate an image sensor. The color restoration means 105 restores the signal of the number of pixels, and 105 is a resolution conversion means for converting the signal from the color restoration means 104 into a signal having a double resolution (image having a quadruple number of pixels) in the horizontal and vertical directions. The image sensor 101 is composed of color filters of pixels R, G, and B as shown in FIG.
[0004]
Next, the operation will be described. The pixel signals R, G, and B are read from the image sensor 101, and their outputs are A / D converted by the A / D converter 102, and the pixel signals are taken into the frame memory 103. The color restoration unit 104 separates each signal from the signal fetched into the frame memory 103, interpolates and generates a pixel signal not obtained in each R, G, B signal from the signal of the adjacent pixel, and Calculate and output RGB signals for all pixels.
[0005]
Here, FIG. 20 is a block diagram showing an example of the configuration of the color restoration means 104 in the conventional imaging apparatus, and its operation will be described. In the figure, reference numeral 111 denotes separation means for separating R, G, and B signals from signals in the frame memory 103. Reference numeral 112 denotes an interpolated pixel signal that is not obtained from each separated signal. Interpolating means for calculating and outputting RGB signals for all the pixels. The signal in the frame memory 103 is separated into R, G, and B signals by the separating means 111 and output to the interpolation means 112. The R, G, and B signals separated by the separation unit 111 are as shown in FIGS. 21A, 21B, and 21C, and the pixels indicated by G, R, and B in the drawing are the image sensor 101. Each of the obtained signals is a pixel signal from which no blank pixel is obtained.
[0006]
The interpolation method in the interpolating means 112 interpolates the signal g (hereinafter referred to as pixel position (n, m)) of the vertical n line and horizontal mth pixel position for the G signal (FIG. 21A). Therefore, the difference between adjacent pixels in the vertical direction (| G (n−1, m) −G (n + 1, m) |) and the difference between adjacent pixels in the horizontal direction (| G (n, m−1) −G (N, m + 1) |) is obtained, and interpolation is performed using pixel signals in a direction with a small difference. For example, when the difference between adjacent pixels in the left-right direction is small, it is calculated as g (n, m) = (G (n, m−1) + G (n, m + 1)) / 2, and the difference between adjacent pixels in the vertical direction is calculated. Is small, it is calculated as g (n, m) = (G (n-1, m) + G (n + 1, m)) / 2.
[0007]
For the R and B signals (FIGS. 21B and 21C), first, horizontal pixel interpolation is performed, and then vertical interpolation is performed. For example, for R in FIG. 21B, interpolation is performed on vertical n−1 lines and n + 1 lines, and signals at pixel positions (n−1, m) (n + 1, m) are
r (n-1, m) = (R (n-1, m-1) + R (n-1, m + 1)) / 2
r (n + 1, m) = (R (n + 1, m-1) + R (n + 1, m + 1)) / 2
Next, the signals at the horizontal pixel positions m−1, m, and m + 1 are obtained by interpolating the pixels of the n lines up and down (n−1 and n + 1 lines). B can be obtained in the same manner.
[0008]
By the above interpolation method, R, G, B signals of the number of pixels of all the image sensors can be calculated at the output of the interpolation unit 112.
[0009]
Next, in order to improve the signal from the single-plate image pickup device to the resolution of the number of pixels of the image pickup device to double the resolution in the horizontal and vertical directions, the output from the interpolation means 112 is R, G , B signal is input to the resolution converting means 105.
[0010]
In the resolution conversion means 105, the input R, G, B signals are converted into signals of double resolution (images of four times the number of pixels) in the horizontal and vertical directions, respectively. For example, when the number of pixels of the image sensor is N × M pixels of vertical N lines and horizontal M pixels, the color restoration means 104 outputs the restored N × M pixel R, G, B signals, and resolution conversion The means 105 outputs a 2N × 2M pixel resolution signal of vertical 2N lines and horizontal 2M pixels. In the method of converting the resolution (higher resolution), the signal at the pixel position (n, m) in the output of the color restoration means 104 is set to the pixel position (2n, 2m) in the signal of 2N × 2M pixels and is adjacent to this pixel. The pixels of (2n, 2m + 1), (2n + 1, 2m), and (2n + 1, 2m + 1) are set to the same value. FIG. 22 shows an example of each signal. In FIG. 22A, the signal R1 at the pixel position (n, m) in the output of the color restoration means 104 is converted into a pixel ( 2n, 2m), (2n, 2m + 1), (2n + 1, 2m), and (2n + 1, 2m + 1). The same applies to other pixel positions and signals. Accordingly, the 4N pixels of the 2N × 2M pixel signal are set to the value of the pixel position (n, m) in the N × M pixel signal from the color restoration means 104, thereby obtaining the R, 2N × 2M pixel R, G and B signals can be obtained.
[0011]
In the above description, the method of increasing the resolution in the resolution conversion unit 105 is a case where the same value is input to four pixels in the upper, lower, left, and right directions so that each pixel is doubled in the horizontal and vertical directions. There may be a case where the signal is generated by interpolation with adjacent pixels in the horizontal and vertical directions with a signal of × M pixels.
[0012]
FIG. 23 is a block diagram showing an example of another configuration of color restoration means in a conventional image pickup apparatus using a single-plate image pickup device of a pixel mixture method that reads and mixes two upper and lower pixels as disclosed in JP-A-6-178307. It is a figure and shows the block diagram in the case where it comprises so that the signal from an image pick-up element may be interpolated and generated from 3 lines of horizontal scans similarly to said prior art example. In this figure, 113 is an image sensor, 114 is a frame memory, 115 is a signal selection circuit, 116 is a color interpolation circuit, 117 is an RGB matrix, and the signal selection circuit 115 constitutes a color restoration means by the RGB matrix 117. Become. As shown in FIG. 23, the image sensor 113 is composed of four pixels A, B, C, and D (hereinafter, the number assigned to each pixel signal indicates a pixel position). A and B pixels are alternately arranged for each line so that they can be generated.
[0013]
Next, the operation in FIG. 23 will be described. Each pixel signal is read as it is from the image sensor 113 without being mixed and read out and A / D converted (not shown), and then each pixel signal is taken into the frame memory 114. From the signals fetched into the frame memory 114, the signal selection circuit 115 selects adjacent three vertical lines of signals and sends them to the color interpolation circuit 116. In the color interpolation circuit 116, the color signals A, B, C, and D are generated by interpolation from the signals of the three vertical lines, and then output as RGB signals by the RGB matrix circuit 117.
[0014]
The color interpolation circuit 116 generates and interpolates each color signal. This interpolation method will be described. For example, in the color signal interpolation generation of the n2 line, the signal selection circuit 115 selects the signals of the vertical three lines n1, n2, and n3 and sends them to the color interpolation circuit 117, and the color signal obtained in the n2 line. Are C and D pixels, and there are no A and B pixels. Therefore, the A and B pixels are interpolated from the signals of the n1 and n3 lines in the vertical direction. However, since the pixel positions of A and B are different in the n1 and n3 lines, the horizontal interpolation coefficient is changed. Become. Now, assuming that the color signals A ′, B ′, C ′, and D ′ are generated by interpolation from the five horizontal pixels before interpolation for the third pixel (n2, 3) of the n2 line of the color signal after interpolation, for example, , C ′, and D ′ are generated by interpolation with a weight only in the center in the horizontal direction,
C _{twenty three} ′ = (C _{twenty one} / 2 + C _{twenty three} + C _{twenty five} / 2) / 2
D _{twenty three} ′ = (D _{twenty two} + D _{twenty four} ) / 2
And On the other hand, for A 'and B'
A _{twenty three} ′ = (A ₁₁ / 4 + A ₁₃ / 2 + A ₁₅ / 4) / 2 + (A ₃₁ / 4 + A ₃₃ / 2 + A ₃₅ / 4) / 2
B _{twenty three} ′ = (B ₁₂ / 2 + B ₁₄ / 2) / 2 + (B ₃₂ / 2 + B ₃₄ / 2) / 2
From this equation, the horizontal pixels can be weighted and interpolated.
[0015]
Next, in the interpolation generation of the n3 line color signal, the A and B pixels are generated by interpolation from the n3 line, and the C and D pixels are generated by interpolation from the n2 and n4 lines. That is, at the pixel position (3, 3), for example,
A ₃₃ ′ = (A ₃₂ + A ₃₄ ) / 2
B ₃₃ ′ = (B ₃₁ / 2 + B ₃₃ + B ₃₅ / 2) / 2
C ₃₃ ′ = (C _{twenty one} / 4 + C _{twenty three} / 2 + C _{twenty five} / 4) / 2 + (C ₄₁ / 4 + C ₄₃ / 2 + C ₄₅ / 4) / 2
D ₃₃ ′ = (D _{twenty two} / 2 + D _{twenty four} / 2) / 2 + (D ₄₂ / 2 + D ₄₄ / 2) / 2
It becomes.
[0016]
Hereinafter, considering that the pixel arrangement of A and B is changed for each line, in the n4 line, for the pixel position (4, 3),
A ₄₃ ′ = (A ₃₁ / 4 + A ₃₃ / 2 + A ₃₅ / 4) / 2 + (A ₅₁ / 4 + A ₅₃ / 2 + A ₅₅ / 4) / 2
B ₄₃ ′ = (B ₃₂ / 2 + B ₃₄ / 2) / 2 + (B ₅₂ / 2 + B ₅₄ / 2) / 2
C ₄₃ ′ = (C ₄₁ / 2 + C ₄₃ + C ₄₅ / 2) / 2
D ₄₃ ′ = (D ₄₂ + D ₄₄ ) / 2
In the n5 line, for the pixel position (5, 3),
A ₅₃ ′ = (A ₅₂ + A ₅₄ ) / 2
B ₅₃ ′ = (B ₅₂ + B ₅₄ ) / 2
C ₅₃ ′ = (C ₄₁ / 4 + C ₄₃ / 2 + C ₄₅ / 4) / 2 + (C ₆₁ / 4 + C ₆₂ / 2 + C ₆₅ / 4) / 2
D ₅₃ ′ = (D ₄₂ / 2 + D ₄₄ / 2) / 2 + (D ₆₂ / 2 + D ₆₄ / 2) / 2
It becomes. Thereafter, the color signals A ′, B ′, C ′, and D ′ are generated by sequentially repeating the interpolation method for the n2, n3, n4, and n5 lines.
[0017]
The A, B, C, and D signals generated by the interpolation are output as RGB signals by the RGB matrix circuit 117, sent to the resolution converting means shown in FIG. 19, and converted into signals having double the horizontal and vertical directions. Will be. In the above description, the four color signals are described as A, B, C, and D. For example, the four color signals are Mg (magenta), G (green), Cy (cyan), and Ye (yellow). A color can be considered, and the interpolation coefficient in the color interpolation circuit 117 may be any coefficient that can interpolate and generate a color signal.
[0018]
[Problems to be solved by the invention]
In a conventional image pickup device, when a signal of the number of pixels of an image pickup device is restored in a single-plate image pickup device and the resolution is increased to double each in the horizontal and vertical directions, the same value is put in four pixels on the upper, lower, left, and right sides. A local region such as an edge in an image having a double resolution in the horizontal and vertical directions is configured so as to obtain a quadruple pixel signal or a quadruple pixel signal by interpolation with adjacent pixels. Therefore, there is a problem that false colors and false contours are generated, and there is a problem that improvement of resolution in both horizontal and vertical directions is not considered in all signals. there were.
[0019]
The present invention has been made in order to solve the above-described problems, and includes two image sensors that are arranged by being shifted by half a pixel in an oblique direction, and is read by the first and second image sensors. From the color signal, a color signal restoration unit that restores and generates a color signal having a resolution corresponding to the number of pixels of the image sensor for each image sensor, and the first and second image sensors that are outputs from the color signal restoration unit Means for obtaining a pixel of a signal having a resolution twice as large as the number of pixels of each image pickup device by each signal restored from the above signals, and a signal having a resolution of twice each obtained in the horizontal and vertical directions. Pixel signal is not obtained First edge determination means for determining edge components of peripheral pixels at a predetermined pixel position, and based on a signal from the first edge determination means, a signal having a resolution twice as high as that in the horizontal and vertical directions. Said By calculating a signal at a predetermined pixel position, it is possible to obtain a high-resolution image with double the resolution in the horizontal and vertical directions with reduced false colors and false contours, and to improve the resolution in the horizontal and vertical directions. It is an object to obtain an imaging device capable of
[0020]
[Means for Solving the Problems]
An image pickup apparatus according to the present invention is an image pickup apparatus including two image pickup elements that are arranged by being shifted by half a pixel in an oblique direction. Each image pickup element is assigned with a color signal read by the first and second image pickup elements. On the other hand, color signal restoration means for restoring and generating a color signal having a resolution corresponding to the number of pixels of the image sensor, and each restored from the signals from the first and second image sensors which are outputs from the color signal restoration means. Means for obtaining a signal pixel having a resolution twice as large as the number of pixels of each image sensor in the horizontal and vertical directions by the signal; Pixel signal is not obtained in At a given pixel location Edge component Peripheral pixels From A first edge determination unit for determining, and a signal having a resolution of twice each in the horizontal and vertical directions based on the signal from the first edge determination unit Said Means for calculating a signal at a predetermined pixel position are provided.
[0021]
Further, in the imaging apparatus according to the present invention, the first edge determination means is One predetermined color signal of the left and right adjacent pixels at a predetermined pixel position where the pixel signal is not obtained Means for calculating the absolute value of the difference and detecting a horizontal edge component, means for calculating the absolute value of the difference between the upper and lower pixels and detecting the vertical edge component, and detecting the horizontal edge component And the predetermined pixel based on outputs from the means for detecting and the vertical edge component detecting means position The edge component in the horizontal or vertical direction is determined.
[0022]
Further, in the imaging apparatus according to the present invention, the determination of the edge component in the first edge determination unit is performed by the output from the unit detecting the edge component in the horizontal direction or the unit detecting the edge component in the vertical direction. If the output is greater than the predetermined value, Pixel signal is not obtained If an edge component is detected in a peripheral pixel at a predetermined pixel position, and if the output from the means for detecting the edge component in the horizontal direction is larger than the output from the means for detecting the edge component in the vertical direction, the correlation is more in the vertical direction. Yes, if the output of the means for detecting the horizontal edge component is smaller than the output of the means for detecting the vertical edge component, it is determined that there is a correlation in the horizontal direction, and the means for detecting the horizontal edge component and the vertical direction When both the outputs of the means for detecting the edge component are smaller than a predetermined value, it is determined that the edge component is not detected.
[0023]
The image pickup apparatus according to the present invention is a signal having a resolution of twice the horizontal and vertical directions. Pixel signal is not obtained Means for calculating a signal at a predetermined pixel position; Pixel signal is not obtained For each signal at a predetermined pixel position, a vertical direction calculating means for calculating a signal from an average value of upper and lower pixels, a horizontal direction calculating means for calculating a signal from an average value of left and right pixels, and an average of upper, lower, left and right adjacent pixels Average value calculation means for calculating a signal from the value, and based on the output of the first edge determination means, the output of the horizontal direction calculation means or the output of the vertical direction calculation means, or the output from the average value calculation means Select the predetermined pixel position In this way, each signal having a resolution twice as large as the number of pixels in the image sensor is obtained.
[0024]
The image pickup apparatus according to the present invention is a signal having a resolution of twice the horizontal and vertical directions. Pixel signal is not obtained Means for calculating a signal at a predetermined pixel position; Pixel signal is not obtained When it is determined that the output of the first edge determination means does not detect an edge component at a predetermined pixel position, the output of the average value calculation means is selected, and when it is determined that there is a correlation in the vertical direction, the vertical direction calculation is performed. When the output of the means is selected and it is determined that there is a correlation in the horizontal direction, the output of the horizontal direction calculating means is selected.
[0025]
Further, in the imaging device according to the present invention, in each of the two imaging devices arranged by shifting by half a pixel in the oblique direction, each imaging device has the first color in the upper and lower four pixels of two vertical rows and two horizontal columns. A first color filter having a spectral sensitivity characteristic with respect to a signal and a second color filter having a spectral sensitivity characteristic with respect to a second color signal are arranged in the first vertical line, and the second vertical line has the vertical first line. A third color filter having spectral sensitivity characteristics for the third color signal is arranged in the same column as the pixel position where the first color filter is arranged, and the first color filter is arranged in the same column as the second color filter. A first color filter having spectral sensitivity characteristics with respect to a color signal is arranged, and the upper and lower four pixel color filters are sequentially arranged in the vertical and horizontal directions sequentially. For the number of pixels of the image sensor Of the color signal restoring means for restoring generating a color signal of the resolution, the first color signal by the first color filter Pixel signal is not obtained Based on the surrounding pixel signal at a predetermined pixel position, Pixel signal is not obtained Second edge determination means for determining an edge component at a predetermined pixel position, and first, second, and third color filters read out by the first, second, and third color filters based on the output of the second edge determination means. The above in the first color signal by the second and third color signals Pixel signal is not obtained Predetermined Pixel Based on the output of the first calculation means for calculating the signal at the position and the output of the second edge determination means, the output of the first calculation means and the second and third color signals from the color filter are used as the second value. And a second calculation means for calculating a third color signal, obtaining first, second, and third color signals of the number of pixels in the image sensor, wherein the first edge determination means With respect to the signal output from the means for obtaining the pixel of the signal having the double resolution in the horizontal and vertical directions by the first color signal, Pixel signal is not obtained The edge component of the peripheral pixel at the predetermined pixel position is determined.
[0026]
In the imaging device according to the present invention, the second edge determination unit in the color restoration unit is
Of the first color signal Pixel signal is not obtained Horizontal edge detection means for calculating an absolute value of a difference between left and right adjacent pixels at a predetermined pixel position to detect a horizontal edge component; and a first color signal Pixel signal is not obtained Based on the outputs from the vertical edge detecting means for detecting the edge component in the vertical direction by calculating the absolute value of the difference between the upper and lower pixels at the predetermined pixel position, the outputs from the horizontal edge detecting means and the vertical edge detecting means, Pixel signal is not obtained Predetermined pixel position And a determination means for determining a horizontal or vertical edge component at the time when the output from the horizontal edge detection means or the output from the vertical edge detection means is greater than a predetermined value. ,the above Pixel signal is not obtained Predetermined pixel position If the edge component is detected in the peripheral pixels of the pixel, and the output from the horizontal edge detection means is larger than the output from the vertical edge detection means, there is a correlation in the vertical direction, and the output from the horizontal edge detection means is If the output from the vertical edge detection means is smaller than that, it is determined that there is a correlation in the horizontal direction, and if both the outputs from the horizontal edge detection means and the vertical edge detection means are smaller than a predetermined value, the edge It is determined that no component is detected.
[0027]
Further, in the imaging apparatus according to the present invention, the first calculation means for calculating the signal for the predetermined position in the first color signal in the color restoration means is the predetermined pixel 1 row m column with the second color signal B. At the position of B (l, m), the values Ahlpf (l, m) and Bhlpf (l, m) through the horizontal low-pass filter are respectively applied to the first color signal A and the second color signal B. Based on the ratio between Ahlpf (l, m) and Bhlpf (l, m), which are output signals from the horizontal low-pass filter, and the pixel value B (l, m) at the pixel position, The pixel value A (l, m) in the first color signal A is calculated by A (l, m) = B (l, m) × {Ahlpf (l, m) / Bhlpf (l, m)} Similarly, in other pixel positions where the third color signal C exists, the first color signal A A horizontal direction signal calculation means for calculating an elementary value and a low-pass in a vertical direction with respect to each of the first color signal A and the second color signal B at the position of the predetermined pixel 1 row m column B (l, m). The values Avlpf (l, m) and Bvlpf (l, m) through the filter are calculated, and the ratio between Avlpf (l, m) and Bvlpf (l, m), which are output signals from the vertical low-pass filter, Based on the pixel value B (l, m) at the pixel position, the pixel value A (l, m) in the first color signal A of l rows and m columns is expressed as A (l, m) = B (l, m) × A vertical direction signal that is calculated by {Avlpf (l, m) / Bvlpf (l, m)} and similarly calculates the pixel value in the first color signal A at other pixel positions where the third color signal C is present. Calculation means, and upper and lower at the position of the predetermined pixel 1 row m column in the first color signal A Average value calculating means for calculating a pixel value A (l, m) in the first color signal A of l rows and m columns from the average value of the right adjacent pixels, and based on the output of the second edge determining means The pixel value A (l) of the first color signal A in the predetermined pixel l row m column is selected from the output of the horizontal direction signal calculation unit, the output of the vertical direction signal calculation unit, or the output from the average value calculation unit. M) to obtain the first color signal of the number of pixels in the image sensor.
[0028]
Further, in the imaging apparatus according to the present invention, when the first calculation unit in the color restoration unit determines that the output of the second edge determination unit does not detect an edge component at the position of the predetermined pixel 1 row m column Selects the output of the average value calculation means, selects the output of the vertical direction signal calculation means when it is determined that there is a correlation in the vertical direction, and selects the output of the horizontal direction signal when it is determined that there is a correlation in the horizontal direction. The output of the calculation means is selected to obtain a first color signal of the number of pixels in the image sensor.
[0029]
Further, in the imaging apparatus according to the present invention, the second calculation unit in the color restoration unit applies a horizontal low-pass filter to the output A from the first calculation unit at the position of the predetermined pixel l rows and m columns. The value A1hlpf (l, m) passed through and the value A1vlpf (l, m) passed through the vertical low-pass filter are calculated, and the value B1hlpf (l, m) passed through the horizontal low-pass filter with respect to the second color signal B is calculated. m) and the value C1vlpf (l, m) through the low-pass filter in the vertical direction with respect to the third color signal C (or the value B1vlpf (l through the low-pass filter in the vertical direction with respect to the second color signal B) M) and a value C1hlpf (l, m)) through a horizontal low-pass filter for the third color signal C, and the ratio of A1hlpf (l, m) and B1hlpf (l, m) ( Or the ratio of A1vlpf (l, m) to C1vlpf (l, m) (or the ratio of B1vlpf (l, m)) and the first From the pixel value A (l, m) at the predetermined pixel 1 row and m column in the output A from the calculation means, the pixel value B (l, l, m at the second color signal B and the third color signal C at the l row m column) m) and C (l, m), B (l, m) = A (l, m) × {B1hlpf (l, m) / A1hlpf (l, m)}, C (l, m) = A ( l, m) × {C1vlpf (l, m) / A1vlpf (l, m)} (or B (l, m) = A (l, m) × {B1vlpf (l, m) / A1vlpf (l, m )}, C (l, m) = A (l, m) × {C1hlpf (l, m) / A1hlpf (l, m)}) In addition, at a position of a predetermined pixel x row y column different from the position of the l row m column, the value A2hlpf (x, y) through the horizontal low-pass filter with respect to the output A from the first calculation means Then, a value B2hlpf (x, y) through a horizontal low-pass filter is calculated for the second color signal B at the output from the signal calculating means, and A2hlpf (x, y) and B2hlpf (x, y) are calculated. And the second color signal B (x, y) at the position of x row and y column by the pixel value A (x, y) at the pixel x row and y column at the output A from the first calculation means. Is calculated by B (x, y) = A (x, y) × {B2hlpf (x, y) / A2hlpf (x, y)}, and the C signal is similarly calculated for the third color signal C. The horizontal direction signal calculation means and the output A from the first calculation means in the vertical direction A value A2vlpf (x, y) passing through the low-pass filter, and a value B2vlpf (x, y) passing through the low-pass filter in the vertical direction with respect to the second color signal B output from the signal calculation means, and A2vlpf ( x, y) and B2vlpf (x, y) and the pixel value A (x, y) in the pixel x row y column at the output A from the first calculation means at the position of x row y column The second color signal B (x, y) is calculated by B (x, y) = A (x, y) × {B2vlpf (x, y) / A2vlpf (x, y)} to obtain the third color Similarly, in the signal C, the vertical direction signal calculation means for calculating the C signal and the diagonally adjacent positions at the predetermined pixel x row y column positions in the second and third color signals in the output from the signal calculation means. Average value calculating means for calculating the average value of the pixels, Based on the output of the edge determination means, the second and third pixels in the predetermined pixel x row y column are selected from the respective outputs from the horizontal direction signal calculation means, vertical direction signal calculation means, and average value calculation means. To obtain the second and third color signals of the number of pixels in the image sensor.
[0030]
Furthermore, in the imaging apparatus according to the present invention, when the second calculation unit in the color restoration unit determines that the output of the second edge determination unit does not detect an edge component at the position of the predetermined pixel x row y column Selects the output of the average value calculation means, selects the output of the vertical direction signal calculation means when it is determined that there is a correlation in the vertical direction, and selects the output of the horizontal direction signal when it is determined that there is a correlation in the horizontal direction. The output of the calculation means is selected to obtain the second and third color signals of the number of pixels in the image sensor.
[0031]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be specifically described with reference to the drawings showing embodiments thereof.
Embodiment 1 FIG.
FIG. 1 is a block diagram showing an example of the configuration of an imaging apparatus according to an embodiment of the present invention. In the figure, 1 is an image sensor that captures signals for two image sensors with pixels shifted by half a pixel in an oblique direction, 2 is an A / D converter, 3 and 4 are frame memories, and 5 and 6 are 1 in the image sensor 1. First and second color restoration means for restoring color signals so as to obtain R, G, B signals of the total number of pixels in the image sensor for one sheet, and 7 are the first and second color restoration means 5, 6 is a multiplexing unit that multiplexes signals from 6 and obtains signals with twice as many pixels in the horizontal and vertical directions. 8 is a G signal that is the output of the multiplexing means 7. Pixel signal is not obtained Predetermined pixel position Edge determining means for determining the edge component at 9, 9 is a predetermined pixel in each signal from the multiplexing means 7 position Average value calculating means for calculating the average value of the upper, lower, left and right adjacent pixels at 10 is a predetermined pixel in each signal from the multiplexing means 7 position Horizontal direction calculating means for calculating the average value of the left and right adjacent pixels at 11, 11 is a predetermined pixel in each signal from the multiplexing means 7 position A vertical direction calculating means 12 for calculating the average value of the upper and lower pixels in FIG. 10 is a selecting means. Based on the output from the edge determining means 8 and the pixel position, the average value calculating means 9, the horizontal direction calculating means 10, the vertical direction A signal is switched and selected from the outputs of the arithmetic means 11 and the multiplexing means 7, and R, G, B signals having a resolution of twice the number of pixels in the horizontal and vertical directions of the number of pixels in the image sensor are output.
[0032]
Here, in order to increase the resolution, in the imaging element 1, two imaging elements with pixels shifted by half a pixel in an oblique direction are arranged and a signal is captured. FIG. 2 is a diagram showing an example of the arrangement of two image pickup devices in which the pixels according to the first embodiment of the present invention are shifted by half a pixel in the diagonal direction. The data D1 and the data D1 are shifted by a half pixel in the diagonally lower left direction. Each signal is captured by the data D2. FIG. 3 is a diagram showing an example of the color filter array of each image sensor according to Embodiment 1 of the present invention, and shows the color filter array in each image sensor based on the two pieces of data D1 and data D2. . A color filter uses a primary color and indicates an image pickup device of a type that calls each photoelectric conversion device independently. 3, G is a pixel position in the vertical direction 2i (i = 0, 1, 2,...) And a horizontal direction 2j (j = 0, 1, 2,...) (Hereinafter referred to as pixel position (2i, 2j)). The first color filter having spectral characteristics at the pixel position (2i + 1, 2j + 1) and allowing the G signal to pass through, R is located at the pixel position (2i, 2j + 1) and allowing the R signal to pass through. A second color filter B having a characteristic, B is a third color filter having a spectral characteristic at the pixel position (2i + 1, 2j) and allowing the B signal to pass therethrough. As shown in FIG. 3, the R and B signals are obtained every 4 pixels in the upper and lower directions (the shaded area in the figure), and the G signal is obtained every 2 pixels. The upper and lower 4 pixels are repeatedly arranged in the vertical and horizontal directions. ing.
[0033]
Next, the operation will be described. In the image sensor 1, the pixel signals R, G, and B that become data D1 and data D2 are read out from two image sensors in which pixels are shifted by half a pixel in an oblique direction as shown in FIG. The signal is A / D converted by the converter 2 and input to the first and second frame memories 3 and 4. Here, the signals of the image sensors arranged as shown in FIG. 3 by the data D1 in FIG. 2 are inputted to the first frame memory 3, and the signals of FIG. 3 by the data D2 in FIG. 2 are inputted to the second frame memory 4. The signals of the image sensors arranged in this way are input. The first color restoration means 5 restores pixel signals that are not obtained by separating the R, G, and B signals from the signal of the data D1 input to the first frame memory 3, and the number of pixels of the image sensor R, G, B signals R1, G1, B1 are output, and the second color restoration means 6 separates the R, G, B signals from the data D2 signal input to the second frame memory 4. Then, the pixel signals that are not obtained are restored, and R, G, and B signals R2, G2, and B2 of the number of pixels of the image sensor are output, and the respective outputs are sent to the multiplexing means 7.
[0034]
Here, the operation of the first and second color restoration means 5 and 6 will be described based on the configuration of the color restoration means shown in FIG. FIG. 4 is a block diagram showing an example of the configuration of the color restoration means in the image pickup apparatus according to Embodiment 1 of the present invention. In the figure, 20 is a separation means for separating the signal in the frame memory into R, G, and B signals, 21 is the G signal Pixel signal is not obtained First edge determination means 22 for determining an edge component at a predetermined pixel position, 22 restores the G signal based on the R, G, B signals from the separation means 20 and the output from the first edge determination means 21. G component restoring means to be performed, 23 is a first RB component restoring means for restoring the R and B signals, and 24 is a G signal from the G component restoring means 22 Pixel signal is not obtained A second edge determining unit 25 for determining an edge component at a predetermined pixel position, and a second RB component restoring unit 25 for restoring the R and B signals according to the output of the second edge determining unit 24.
[0035]
3 in the frame memory 3 or 4 is separated into R, G, and B signals by the separating means 20, respectively. The G signal is first edge judging means 21 and G component restoring means. The R and B signals are sent to the G component restoring means 22 and the first RB restoring means 23. In the first edge determination means 21, in the G signal Pixel signal is not obtained The edge component at the predetermined pixel position is determined and the determination result is sent to the G component restoration means 22, and the G component restoration means 22 determines the total number of pixels in the image sensor based on the determination result from the first edge determination means 21. The G component pixel signal is restored so as to obtain several G signals. FIG. 5 is a flowchart for explaining the operation of the first edge determination means 21 and the G component restoration means 22 in the color restoration means in the image pickup apparatus according to Embodiment 1 of the present invention. The processing operation in the G component restoration means 22 will be described with reference to FIG.
[0036]
Now, the G signal in the image sensor 1 is obtained at pixel positions (2i, 2j) and (2i + 1, 2j + 1) as shown in FIG. 3. In order to obtain the G signal of the number of pixels of the image sensor, the pixel position ( 2i, 2j + 1) and (2i + 1, 2j) pixels are obtained. Therefore, from FIG. 5, in the G component restoration means 22, the pixels at the pixel positions (2i, 2j) and (2i + 1, 2j + 1) output the G signal as it is, and at the pixel positions (2i, 2j + 1) and (2i + 1, 2j). First, the first edge determination means 21 detects a difference between left and right and upper and lower pixels, that is, an edge component. That is, the absolute value ΔH of the difference between the left and right pixels at the pixel position and the absolute value ΔV of the difference between the upper and lower pixels are calculated. For example, in the pixel position (2i, 2j + 1), the horizontal direction difference ΔH is
ΔH = | G (2i, 2j) −G (2i, 2j + 2) | (1)
The vertical difference ΔV is
ΔV = | G (2i−1, 2j + 1) −G (2i + 1, 2j + 1) | (2)
It becomes. Hereinafter, the absolute value of the pixel difference is referred to as an edge component.
[0037]
Then, based on the horizontal edge component ΔH and the vertical edge component ΔV, a change in the signal level in the peripheral pixels in the horizontal and vertical directions is determined, and a signal ed1 indicating the determination result is used as the first edge determination means 21. Output more. The determination by the first edge determination means 21 is that when both ΔH and ΔV are equal to or smaller than a predetermined value th, it is determined that there is no change in the signal level in the surrounding pixels, and the G component restoration means 22 Therefore, the average value of the four pixels on the top, bottom, left and right is calculated and used as the G signal. For example, the G signal at the pixel position (2i, 2j + 1) in this case is g (2i, 2j + 1) = {G (2i-1, 2j + 1) + G (2i + 1, 2j + 1) + G (2i, 2j) + G (2i, 2j + 2)} / 4.
[0038]
On the other hand, if ΔH or ΔV is greater than a predetermined value th, it is determined that there is an edge component in the pixel. Further, if ΔH> ΔV, it is determined that the correlation is high in the vertical direction, and ΔH ≦ ΔV. Determines that the correlation is high in the horizontal direction. If it is determined that ΔH> ΔV and the correlation is high in the vertical direction, the G component restoration means 22 calculates from the pixel signals in the vertical direction of the R, G, and B signals, and G has a correlation in the vertical direction. Output a signal. That is, at the processing pixel position (2i, 2j + 1) that is the pixel from which the R signal is obtained, the value Gvlpf through the low-pass filter in the vertical direction of the G signal and the value Rvlpf through the low-pass filter in the vertical direction of the R signal. For example,

From the ratio of Gvlpf to Rvlpf and the R signal at the pixel position (2i, 2j + 1), a G signal g (2i, 2j + 1) having a correlation in the vertical direction is expressed by the following equation:

Calculated by
[0039]
Similarly, at the processing pixel position (2i + 1, 2j) that is the pixel position from which the B signal is obtained, the value Gvlpf through the vertical low-pass filter of the G signal and the value Bvlpf through the vertical low-pass filter of the B signal For example,

Based on the ratio of Gvlpf and Bvlpf and the B signal at the pixel position (2i + 1, 2j), a G signal g (2i + 1, 2j) having a correlation in the vertical direction is expressed by the following equation:

Calculated by
[0040]
If it is determined that ΔH ≦ ΔV and the correlation is high in the horizontal direction, the G component restoration unit 22 calculates from the pixel signal in the horizontal direction and outputs a G signal having a correlation in the horizontal direction. At the processing pixel position (2i, 2j + 1), the value Ghlpf through the horizontal low-pass filter of the G signal and the value Rhlpf through the horizontal low-pass filter of the R signal are, for example,

From the ratio of Ghlpf to Rhlpf and the R signal at the pixel position (2i, 2j + 1), a G signal g (2i, 2j + 1) having a correlation in the vertical direction is expressed by the following equation:

Calculated by
[0041]
Similarly, at the processing pixel position (2i + 1, 2j) that is the pixel position from which the B signal is obtained, the values Ghlpf, B of the B signal through the low-pass filter in the horizontal direction of the G signal at the processing pixel position (2i + 1, 2j) are also shown. For example, the value Bhlpf through the horizontal low-pass filter is

Based on the ratio of Ghlpf and Bhlpf and the B signal at the pixel position (2i + 1, 2j), a G signal g (2i + 1, 2j) having a correlation in the vertical direction is expressed by the following equation:

Calculated by
[0042]
Note that the calculation methods based on the above formulas (5), (8), (11), and (14) are based on the premise that there is little color change in the local region, that is, each color signal in the local region. The ratios of the respective color signals in the local region in the horizontal direction or the vertical direction are given by the ratio of the values of the R, G, and B through the low-pass filter in the horizontal direction or the vertical direction. The above formulas (5) to (14) are examples of calculating the horizontal low-pass filter and the vertical low-pass filter output, and the number of taps and coefficients of the filter are not limited to the above, and other tap numbers and coefficients may be used. Good.
[0043]
Therefore, the G component restoration means 22 outputs G signals at the respective pixel positions (2i, 2j), (2i, 2j + 1), (2i + 1, 2j), (2i + 1, 2j + 1), that is, A G signal having a resolution corresponding to the number of pixels can be obtained. The output from the G component restoration means 22 is then sent to the first RB component restoration means 23 and the second edge determination means 24.
[0044]
Next, the first RB component restoration means 23 generates R and B signals at pixel positions (2i, 2j) and (2i + 1, 2j + 1) of the R and B signals, and outputs the second RB restoration. The second edge determination unit 24 sends the left and right and top and bottom of the pixel at the pixel positions (2i, 2j + 1) and (2i + 1, 2j) according to the G signal output from the G component restoration unit 22. A pixel difference, that is, an edge component is detected. In the second RB component restoration unit 25, the respective pixels at the pixel position (2i + 1, 2j) in the R signal and the pixel position (2i, 2j + 1) in the B signal based on the output of the second edge determination unit 24. Generate restore. FIG. 6 is a flowchart showing the operations of the first RB component restoring means 23, the second edge determining means 24, and the second RB component restoring means 25. The first and second RB component restoring means 23, 25 are shown in FIG. The processing operation of the second edge determination means 24 will be described with reference to FIG.
[0045]
Now, as shown in FIG. 3, the R signal in the image sensor is obtained at the pixel position (2i, 2j + 1), and the B signal is obtained at (2i + 1, 2j). To obtain R, signals at pixels at pixel positions (2i, 2j), (2i + 1, 2j) and (2i + 1, 2j + 1) are obtained for R, and for B, pixel positions (2i, 2j), (2i 2j + 1) and (2i + 1, 2j + 1) pixels. FIGS. 7A and 7B are diagrams showing R and B of each pixel for explaining calculation of the R and B signals, in which R and B indicate pixel signals obtained by the image sensor. ing. According to FIG. 6, in the first and second RB component restoration means 23 and 25, the pixel position (2i, 2j + 1) in the R signal and the pixel in the pixel signal (2i + 1, 2j) in the B signal are output as they are. To do. Next, in the case of the pixel positions (2i, 2j) and (2i + 1, 2j + 1), both the R and B signals are obtained in the left and right or up and down directions, and the G signal is the G component restoring means 22. Thus, all pixels are restored. Therefore, the R and B signals from the separating unit 20 and the G signal in which the signals of all the pixels from the G component restoring unit 22 are restored are input to the first RB component restoring unit 23, and the first RB component restoring unit 23 receives the signals from the vertical and horizontal pixels. The R and B signals of the pixels (2i, 2j) and (2i + 1, 2j + 1) are obtained by calculation. That is, the pixels at r1 and b1 (pixel positions (2i, 2j)) and r2 and b2 (pixel positions (2i + 1, 2j + 1)) in FIG. 7 are the vertical and horizontal directions of the processed pixels in the G, R, and B signals. It calculates with the pixel of.
[0046]
In the case of the pixel position (2i, 2j) indicated by r1 in the R signal, values G1hlpf and R1hlpf through a low-pass filter in the horizontal direction with respect to the G and R signals at the pixel position (2i, 2j), for example,

Based on the ratio of G1hlpf and R1hlpf and the pixel G (2i, 2j), the R signal r (2i, 2j) at the pixel position (2i, 2j) is calculated by the following equation.
r (2i, 2j) = G (2i, 2j) × (R1hlpf / G1hlpf)
= G (2i, 2j) x (R (2i, 2j-1) + R (2i, 2j + 1))
(G (2i, 2j-1) + g (2i, 2j + 1)) (17)
[0047]
Similarly, for the position of b1 in the B signal, values G1vlpf and B1vlpf through a low-pass filter in the vertical direction with respect to the G and B signals at the pixel position (2i, 2j), for example,

The B signal b (2i, 2j) at the pixel position (2i, 2j) is calculated from the ratio of G1vlpf and B1vlpf and the pixel G (2i, 2j) by the following equation.
b (2i, 2j) = G (2i, 2j) × (B1vlpf / G1vlpf)
= G (2i, 2j) x (B (2i-1, 2j) + B (2i + 1, 2j))
/ (G (2i-1,2j) + g (2i + 1,2j)) (20)
[0048]
Similarly, in the case of the pixel position (2i + 1, 2j + 1) indicated by r2, the values G1vlpf and R1vlpf through the low-pass filter in the vertical direction with respect to the G and R signals at the pixel position (2i + 1, 2j + 1) are, for example,

Based on the ratio of G1vlpf and R1vlpf and the pixel G (2i + 1, 2j + 1), the R signal r (2i + 1, 2j + 1) at the pixel position (2i + 1, 2j + 1) is calculated by the following equation.
r (2i + 1, 2j + 1) = G (2i + 1, 2j + 1) × (R1vlpf / G1vlpf)
= G (2i + 1,2j + 1) × (R (2i, 2j + 1) + R (2i + 2,2j + 1))
/ (G (2i, 2j + 1) + g (2i + 2, 2j + 1)) (23)
[0049]
Similarly, at the pixel position (2i + 1, 2j + 1) indicated by b2 in the B signal, values G1hlpf and B1hlpf through the low-pass filter in the horizontal direction with respect to the G and B signals, for example,

The B signal b (2i + 1, 2j + 1) at the pixel position (2i + 1, 2j + 1) is calculated from the ratio of G1hlpf and B1hlpf and the pixel G (2i + 1, 2j + 1) by the following equation.
b (2i + 1, 2j + 1) = G (2i + 1, 2j + 1) × (B1hlpf / G1hlpf)
= G (2i + 1,2j + 1) × (B (2i + 1,2j) + B (2i + 1,2j + 2))
/ (G (2i + 1,2j) + g (2i + 1,2j + 2)) (26)
[0050]
It should be noted that the above equations (17), (20), (23), and (26) are based on the premise that there is little change in the color signal in the local region as in the restoration method in G. This is because the ratio is almost equal in the local region. In addition, the formulas for calculating G1hlpf, G1vlpf, R1hlpf, R1vlpf, B1hlpf, and B1vlpf in Equations (15) to (26) are examples of calculating low-pass filter outputs in the horizontal and vertical directions. The number of taps and the coefficient may be other than the tap.
[0051]
Next, with respect to the signals (r3 and b3 in FIG. 7) at the pixel position (2i + 1, 2j) in B and the pixel position (2i, 2j + 1) in B, first, in the second edge determination means 24 The difference between the left and right and upper and lower pixels at the pixel in the G signal, that is, the edge component is detected. That is, the absolute value ΔH of the difference between the left and right pixels and the absolute value ΔV of the difference between the upper and lower pixels are calculated for the G signal from the G component restoration unit 22. For example, in the pixel position (2i + 1, 2j), the horizontal difference ΔH is
ΔH = | G (2i + 1, 2j−1) −G (2i + 1, 2j + 1) |
The vertical difference ΔV is
ΔV = | G (2i, 2j) −G (2i + 2, 2j) |
It becomes.
[0052]
Then, based on the edge component ΔH and the vertical edge component ΔV in the horizontal direction, a change in the signal level in the peripheral pixels in the horizontal and vertical directions is determined, and a signal indicating the determination result is used as the second RB component restoring means 25. Here, as a result of determining the edge component at the pixel position (2i + 1, 2j) to the pixel position (2i + 1, 2j) in the R signal, edr is sent, and the pixel position ( 2i, 2j + 1) is sent as a result of determining the edge component at the pixel position (2i, 2j + 1). In the determination results edr and edb, when both ΔH and ΔV are equal to or smaller than a predetermined value th, it is determined that there is no change in the signal level in the surrounding pixels, and the second RB component restoration unit 25 determines the change in frequency. There is no need to consider, and an average value of four pixels adjacent in the oblique direction is calculated and set as an R or B signal. That is, for the pixel position (2i + 1, 2j) in the R signal (r3 in FIG. 7A), r (2i + 1, 2j) = (R (2i, 2j-1) + R (2i, 2j + 1)
+ R (2i + 2, 2j-1) + R (2i + 2, 2j + 1)} / 4
For the pixel position (2i, 2j + 1) in the B signal (b3 in FIG. 7B)
b (2i, 2j + 1) = {B (2i-1, 2j) + B (2i-1, 2j + 2)
+ B (2i + 1, 2j) + B (2i + 1, 2j + 2)} / 4
Calculate as
[0053]
On the other hand, if ΔH or ΔV is greater than a predetermined value th, it is determined that there is an edge component in the pixel. Further, if ΔH> ΔV, it is determined that the correlation is high in the vertical direction, and ΔH ≦ ΔV. Determines that the correlation is high in the horizontal direction. If ΔH> ΔV and it is determined that the correlation is high in the vertical direction, the second RB component restoration means 25 calculates from the vertical pixels in the R, G, and B signals, and correlates in the vertical direction. The signal which has is output. At the pixel position (2i + 1, 2j) indicated by r3 in the R signal, the values R2vlpf and G2vlpf through the low-pass filter in the vertical direction are, for example,
R2vlpf = (r (2i, 2j) + r (2i + 2, 2j)) / 2 (27)
G2vlpf = (G (2i, 2j) + G (2i + 2, 2j)) / 2 (28)
Based on the ratio of R2vlpf and G2vlpf and the pixel g (2i + 1, 2j), the R pixel value r (2i + 1, 2j) having a correlation in the vertical direction is calculated by the following equation.
r (2i + 1, 2j) = g (2i + 1, 2j) × (R2vlpf / G2vlpf)
= G (2i + 1, 2j) x (r (2i, 2j) + r (2i + 2, 2j))
/ (G (2i, 2j) + G (2i + 2, 2j)) (29)
[0054]
Similarly, at the pixel position indicated by b3 in the B signal, the values B2vlpf and G3vlpf through the low-pass filter in the vertical direction at the pixel position (2i, 2j + 1) are, for example,

Based on the ratio of B2vlpf and G3vlpf and the pixel g (2i, 2j + 1), a pixel value b (2i, 2j + 1) having a correlation in the vertical direction is calculated by the following equation.
b (2i, 2j + 1) = g (2i, 2j + 1) × (B2vlpf / G3vlpf)
= G (2i, 2j + 1) x (b (2i-1, 2j + 1) + b (2i + 1, 2j + 1)) / (G (2i-1, 2j + 1) + G (2i + 1, 2j + 1)) (32)
[0055]
If it is determined that ΔH ≦ ΔV and the correlation is high in the horizontal direction, the second RB component restoration unit 25 calculates from the left and right pixel signals in the R, G, and B signals, and in the horizontal direction. Output a correlated signal. At the pixel position (2i + 1, 2j) indicated by r3 in the R signal, values R2hlpf and G2hlpf through the horizontal low-pass filter are, for example,

From the ratio of R2hlpf and G2hlpf and the pixel g (2i + 1, 2j), the R pixel value r (2i + 1, 2j) having a correlation in the horizontal direction is calculated by the following equation.
r (2i + 1, 2j) = g (2i + 1, 2j) × (R2hlpf / G2hlpf)
= G (2i + 1,2j) * (r (2i + 1,2j-1) + r (2i + 1,2j + 1)) / (G (2i + 1,2j-1) + G (2i + 1,2j + 1)) (35)
[0056]
Similarly, at the pixel position indicated by b3 in the B signal, the values B2hlpf and G3hlpf through the low-pass filter in the horizontal direction at the pixel position (2i, 2j + 1) are, for example,
B2hlpf = (b (2i, 2j) + b (2i, 2j + 2)) / 2 (36)
G3hlpf = (G (2i, 2j) + G (2i, 2j + 2)) / 2 (37)
Based on the ratio of B2hlpf and G3hlpf and the pixel g (2i, 2j + 1), a pixel value b (2i, 2j + 1) having a correlation in the horizontal direction is calculated by the following equation.
b (2i, 2j + 1) = g (2i, 2j + 1) × (B2hlpf / G3hlpf)
= G (2i, 2j + 1) × (b (2i, 2j) + b (2i, 2j + 2))
/ (G (2i, 2j) + G (2i, 2j + 2)) (38)
[0057]
Note that the above equations (29), (32), (35), and (38) are based on the premise that there is little change in the color signal in the local region as in the restoration method in G. That is, This is because the ratio is almost equal in the local region. The formulas for calculating G2hlpf, G2vlpf, G3hlpf, G3vlpf, R2hlpf, R2vlpf, B2hlpf, and B2vlpf in the equations (27) to (38) are examples of calculating low-pass filter outputs in the horizontal and vertical directions, and the number of filter taps and The coefficients are not limited to the above, but may be other tap numbers and coefficients.
[0058]
From the above, the second RB component restoration means 25 outputs the R and B signals at each pixel position (2i, 2j), (2i, 2j + 1), (2i + 1, 2j), (2i + 1, 2j + 1). That is, it becomes possible to obtain R and B signals having a resolution equivalent to the number of pixels of the image sensor. The G component restoration means 22 has already obtained a signal having a resolution equivalent to the number of pixels of the image sensor. Therefore, the G component is used to determine the edge component in the horizontal and vertical directions, and the spatial frequency in the local region. And the generation of each color signal is switched based on the determination result, and the signal is calculated based on the ratio of the color signal in the local area when the edge component exceeds a predetermined value. When the value is equal to or less than a predetermined value, R, G, and B signals having a resolution corresponding to the number of pixels of the image sensor are obtained at the outputs of the first and second color restoration means 5 and 6 by obtaining the average value of the surrounding pixels.
[0059]
Next, signals R1, G1, and B1 corresponding to the number of pixels of the image sensor restored by the first color restoration means 5 by the above-described method are sent to the multiplexing means 7, and restored by the second color restoration means 6. Signals R2, G2, and B2 corresponding to the number of pixels of the image sensor are also sent to the multiplexing means 7. In the multiplexing means 7, a signal having a double resolution in the horizontal and vertical directions is obtained by the R 1, G 1 and B 1 signals from the first color restoration means 5 and the R 2, G 2 and B 2 signals from the second color restoration means 6. Each signal is combined and multiplexed so that That is, since each signal is a signal restored by the data D1 and D2 shifted by half a pixel in the diagonal direction shown in FIG. 2, R1, G1, B1 and R2, G2, and B2 are the number of pixels in each image sensor. In the case of a signal having double the resolution in the horizontal and vertical directions, the arrangement is as shown in FIG. That is, R1, G1, and B1 are located at pixel positions (2x, 2y + 1) (x and y are integers) in vertical 2x rows and horizontal 2y + 1 columns in each signal with double resolution in the horizontal and vertical directions, and pixel positions (2x + 1). 2y), R2, G2, and B2 are located. In FIG. 8, D1 represents the position of R1, G1, or B1, and D2 represents the position of R2, G2, or B2. Therefore, the multiplexing means 7 outputs a signal having a resolution in which the number of pixels arranged as shown in FIGS. 9 to 11 is twice each in the horizontal and vertical directions.
[0060]
Next, R, G and B signals (FIGS. 9 to 11) which are outputs of the multiplexing means 7 are sent to the average value calculating means 9, the horizontal direction calculating means 10 and the vertical direction calculating means 11, and the G signal is Also input to the edge determination means 8. Here, as shown in FIGS. 9 to 11, the pixels at the pixel positions (2x, 2y) and (2x + 1, 2y + 1) are not obtained in each signal. Therefore, the signals at these pixels are not described above. The average value calculating means 9, the horizontal direction calculating means 10, and the vertical direction calculating means 11 are used for calculation. Outputs from the average value calculation means 9, horizontal direction calculation means 10, and vertical direction calculation means 11 are sent to the selection means 12, and the edge determination means 8 outputs pixel positions (2x, 2y), (2x + 1, 2y + 1) in the G signal. The edge component of the peripheral pixel at () is determined, and the determination result is output to the selection means 12.
[0061]
FIG. 12 is a flowchart for explaining the operation of increasing the resolution in the image pickup apparatus according to Embodiment 1 of the present invention. The edge determination means 8, the average value calculation means 9, the horizontal direction calculation means 10, and the vertical direction calculation means. 11 and the operation of the selection means 12 are shown. This will be described with reference to FIG.
[0062]
For the pixel positions (2x, 2y + 1) and (2x + 1, 2y) from which the pixel signals shown in FIGS. 9 to 11 are obtained, the selection unit 12 outputs the signals as they are. For pixel positions (2x, 2y) and (2x + 1, 2y + 1), first, the edge determination means 8 detects horizontal and vertical differences (that is, edge components) from left and right and upper and lower pixels at the pixel position of the G signal. To do. That is, the absolute value ΔHg of the difference between the left and right pixels at the pixel position and the absolute value ΔVg of the difference between the upper and lower pixels are calculated for the G signal from the multiplexing means 7. For example, in the pixel position (2x, 2y), the horizontal direction difference ΔHg is
ΔHg = | G (2x, 2y−1) −G (2x, 2y + 1) |
The vertical difference ΔVg is
ΔVg = | G (2x−1, 2y) −G (2x + 1, 2y) |
It becomes.
[0063]
Then, based on the horizontal direction difference ΔHg and the vertical direction difference ΔVg, an edge at a peripheral pixel in the horizontal and vertical directions is determined, and a signal ed indicating the determination result is output to the selection unit 12. In the determination result ed, when both ΔHg and ΔVg are equal to or smaller than a predetermined value thg, it is determined that there is no change in the signal level in the surrounding pixels, and the selection unit 12 selects the signal from the average value calculation unit 9. The average value calculation means 9 calculates the average value of four pixels at the top, bottom, left and right at the pixel position (2x, 2y) and (2x + 1, 2y + 1) in each signal. For example, in the case of the pixel position (2x, 2y) The values Ra, Ga, Ba of the R, G, B signals are calculated according to the following equation and output to the selection means 12.
Ra (2x, 2y) = {R (2x-1, 2y) + R (2x + 1, 2y) + R (2x, 2y-1) + R (2x, 2y + 1)} / 4
Ga (2x, 2y) = {G (2x−1, 2y) + G (2x + 1, 2y) + G (2x, 2y−1) + G (2x, 2y + 1)} / 4
Ba (2x, 2y) = {B (2x−1, 2y) + B (2x + 1, 2y) + B (2x, 2y−1) + B (2x, 2y + 1)} / 4
[0064]
On the other hand, if ΔHg or ΔVg is greater than a predetermined value thg, it is determined that there is an edge component in the pixel. Further, if ΔHg> ΔVg, there is an edge component in the horizontal direction, and there is a high correlation in the vertical direction. If ΔHg ≦ ΔVg, it is determined that there is an edge component in the vertical direction and the correlation is high in the horizontal direction. If it is determined that ΔHg> ΔVg and the correlation is high in the vertical direction, the selection unit 12 selects a signal from the vertical direction calculation unit 11. The vertical calculation means 11 calculates the average value of the pixels in the vertical direction at the pixel positions (2x, 2y) and (2x + 1, 2y + 1) in each signal, and outputs a signal having a correlation in the vertical direction. For example, in the case of the pixel position (2x, 2y), the values Rv, Gv, and Bv of the R, G, and B signals are calculated and output to the selection unit 12 according to the following equations.
Rv (2x, 2y) = {R (2x-1, 2y) + R (2x + 1, 2y)} / 2
Gv (2x, 2y) = {G (2x-1, 2y) + G (2x + 1, 2y)} / 2
Bv (2x, 2y) = {B (2x-1, 2y) + B (2x + 1, 2y)} / 2
[0065]
If it is determined that ΔHg ≦ ΔVg and the correlation is high in the horizontal direction, the selection unit 12 selects a signal from the horizontal direction calculation unit 10. The horizontal direction calculation means 10 calculates the average value of the pixels in the left and right directions at the pixel positions (2x, 2y) and (2x + 1, 2y + 1) in each signal, and outputs a signal having a correlation in the horizontal direction. For example, in the case of the pixel position (2x, 2y), the values Rh, Gh, and Bh of the R, G, and B signals are calculated by the following formulas and output to the selection unit 12.
Rh (2x, 2y) = {R (2x, 2y-1) + R (2x, 2y + 1)} / 2
Gh (2x, 2y) = {G (2x, 2y-1) + G (2x, 2y + 1)} / 2
Bh (2x, 2y) = {B (2x, 2y-1) + B (2x, 2y + 1)} / 2
[0066]
As described above, the selection unit 12 outputs R, G, and B signals at the pixel positions (2x, 2y), (2x, 2y + 1), (2x + 1, 2y), and (2x + 1, 2y + 1), that is, R, G, and B signals having a resolution twice as large as the number of pixels of the image sensor can be obtained. Therefore, the edge component in the horizontal and vertical directions is determined using the G signal, and each color is determined based on the determination result. In addition to switching the signal generation, in the signal calculation when the edge component exceeds the predetermined value, the calculation is performed from the pixels in the direction where the edge component is small, and when the edge component is less than the predetermined value, the average value of the surrounding pixels is obtained. In addition, false colors and false contours in an image having twice the resolution in the horizontal and vertical directions are alleviated, and the resolution in both the horizontal and vertical directions in all signals is improved.
[0067]
FIG. 13 is a diagram showing the false color level at the vertical resolution in the simulation image processed by the imaging apparatus according to Embodiment 1 of the present invention and the conventional apparatus. Specifically, in the image simulation by the inventors, The relationship between the false color level (color-alias level, vertical axis) generated in the vertical direction and the resolution (horizontal axis) when the zone plate is processed by the configuration shown in FIG. 1 is shown. The false color level after processing according to the conventional technique is indicated by a broken line, and the false color level after processing according to the first embodiment shown in FIG. 1 is indicated by a solid line. Although many false colors are generated in the processing according to the conventional technique, the generation of false colors is suppressed in the processing according to the first embodiment. When the level of the false color signal in the vertical direction is integrated and compared in each processing, there is a suppression effect of about 21.5 dB.
[0068]
In the first embodiment, the configuration of the color restoration unit in the first color restoration unit 5 and the second color restoration unit 6 has been described in the case of the configuration shown in FIG. 4, but the interpolation from other peripheral pixels is performed. Even in the restoration method by the above, the R, G, and B signals corresponding to the number of pixels of the image sensor are restored from the signals obtained by the two image sensors that are obliquely shifted by half a pixel, and two pixels by this pixel shift are restored. If an image with double resolution in each of the horizontal and vertical directions is obtained from the restored image by the method shown in FIG. 1, the same effects as those of the first embodiment are obtained.
[0069]
In the first embodiment, the arrangement of the color filters of the two image pickup elements by pixel shifting in the image pickup element 1 is the primary color filter shown in FIG. 3, and an image pickup element that calls each photoelectric conversion element independently. However, the image pickup device may be a pixel-mixing type image pickup device, and the spectral characteristics of the color filter are not limited to R, G, and B, and the color filter arrangement may be other cases. Well, it is possible to reconstruct a signal of the number of pixels of an image sensor from data obtained by two image sensors that are obliquely shifted by half a pixel and reproduce an RGB color signal. If a signal having double the resolution in the horizontal and vertical directions can be obtained by the method according to FIG. 1, the same effect as described above can be obtained.
[0070]
For example, as shown in FIG. 14, the first color at pixel position (2i, 2j) and pixel position (2i + 1, 2j + 1) (i = 0, 1, 2,..., J = 0, 1, 2,...). A first color filter having a spectral characteristic that allows the signal A to pass through a pixel position (2i + 1) and a second color filter having a spectral characteristic that allows the second color signal B to pass through the pixel position (2i, 2j + 1). 2j) is arranged with a third color filter having spectral characteristics that allows the third color signal C to pass through, and the color restoration means 5 and 6 restore the respective color signals A, B, and C corresponding to the number of pixels of the image sensor. After that, it is only necessary to reproduce the RGB color signals. Further, as shown in FIG. 15, the pixel position (2i, 2j + 1) and the pixel position (2i + 1, 2j) (i = 0, 1, 2,..., J = 0, 1, 2,. The same effect can be obtained when the second color filter is arranged at the pixel position (2i, 2j) and the third color filter is arranged at the pixel position (2i + 1, 2j + 1) (shaded area in FIG. 15). .
[0071]
In the first embodiment, the arrangement of the two image pickup elements by shifting the pixels in the image pickup element 1 is described as shown in FIG. 2. However, if the half-pixel shift is performed in an oblique direction, FIG. Even with such an arrangement, a high-resolution image can be obtained by the first embodiment, and the same effect can be obtained.
[0072]
In the first embodiment, the case where the processing of the configuration in FIGS. 1 and 4 is performed by hardware has been described. Needless to say, the same processing can be performed by software in the imaging apparatus. The same effects as in the first embodiment are obtained.
[0073]
Embodiment 2. FIG.
In the color restoration means 5 or 6 shown in FIG. 4 of the first embodiment, the first edge determination means 21 performs edge components on the top, bottom, left and right at the pixel positions (2i, 2j + 1) and (2i + 1, 2j) in the G signal. In the second edge determination means 24, the edge component at the pixel position (2i + 1, 2j) in the G signal is used for the restoration of the R signal, and the pixel position ( 2i, 2j + 1) is configured to determine edge components, but both detect edge components of left and right and upper and lower pixels at pixel positions (2i, 2j + 1), (2i + 1, 2j), and these pixels Since the upper, lower, left, and right pixel signals at the position are signals obtained from the image sensor, the same edge component is obtained. Therefore, as shown in FIG. 17, in the configuration of the color restoration means 5 or 6, the edge components at the pixel positions (2i, 2j + 1) and (2i + 1, 2j) in the G signal are judged by one G component edge judgment means. It can also be set as such a structure.
[0074]
In FIG. 17, 20, 22 to 23 and 25 are the same as those in the color restoration means 5 and 6 in the image pickup apparatus in the first embodiment, and 41 is a G component edge determination means.
[0075]
Next, the operation will be described. The signal from the frame memory 3 or 4 is separated into R, G, and B signals by the separating means 20, and the G component restoring means 22, the first RB restoring means 23, and the second RB restoring means 25 are used as pixels of the image sensor. Since the operation of generating and restoring each number of signals is the same as in the first embodiment, detailed description thereof is omitted.
[0076]
The G component edge determination means 41 receives the G signal from the separation means 20, and outputs the left and right and top and bottom at pixel positions (2i, 2j + 1) and (2i + 1, 2j) (pixel positions indicated by R and B in FIG. 3). A pixel difference, that is, an edge component is detected. That is, the absolute value ΔH2 of the difference between the left and right pixels and the absolute value ΔV2 of the difference between the upper and lower pixels at the pixel position are calculated. For example, at the pixel position (2i, 2j + 1)
ΔH2 = | G (2i, 2j) −G (2i, 2j + 2) |
ΔV2 = | G (2i−1, 2j + 1) −G (2i + 1, 2j + 1) |
Calculate as
[0077]
Then, the change in the signal level in the peripheral pixels in the horizontal and vertical directions is determined by the edge component ΔH2 and the vertical edge component ΔV2 in the horizontal direction, and the determination is made according to each pixel position of the input G signal. A signal ed1 indicating the result is output to the G component restoring unit 22, and edr and edb are output to the second RB component restoring unit 25. Each determination signal determines that there is no change in the signal level in the peripheral pixels when both ΔH2 and ΔV2 are equal to or less than a predetermined value. On the other hand, if ΔH2 or ΔV2 is larger than a predetermined value, it is determined that there is an edge component in the pixel. Further, if ΔH2> ΔV2, it is determined that the correlation is high in the vertical direction. If ΔH2 ≦ ΔV2, It is determined that the correlation is high in the horizontal direction. Here, since the G component restoration means 22 restores the pixels at the pixel positions (2i, 2j + 1) and (2i + 1, 2j), the edge determination result ed1 is output at both pixel positions.
[0078]
On the other hand, the second RB component restoration means 25 restores the pixel position (2i + 1, 2j) of the R signal and restores the pixel position (2i, 2j + 1) of the B signal. Therefore, the result of determining the edge component at the pixel position (2i + 1, 2j) is set as edr, and is output in time with the processing pixel position of the R signal in the second RB component restoration unit 25. Further, the result of determining the edge component at the pixel position (2i, 2j + 1) is set as edb, and is output in time with the processing pixel position of the B signal in the second RB component restoration means 25.
[0079]
Therefore, in the G component edge determination means 41, the edge component determination result in the G signal corresponding to the pixel position where the G, R, and B signals are restored in the G component restoration means 22 and the second RB component restoration means 25 is obtained. Will be output.
[0080]
In the second embodiment, the G signal is at the pixel positions (2i, 2j) and (2i + 1, 2j + 1), the R signal is at the pixel position (2i, 2j + 1), and the B signal is at the pixel position (2i + 1, 2j + 1). As described in the first embodiment, the G signal is obtained at the pixel positions (2i, 2j + 1), (2i + 1, 2j), and the R signal is obtained at the pixel position (2i, 2j). B signals may be arranged at (2i + 1, 2j + 1), and the color signals are not limited to RGB.
[0081]
Further, as in the first embodiment, in the second embodiment, it is needless to say that the same processing as the processing in the configuration of FIG. 17 can be performed by software in the imaging apparatus. Play.
[0082]
【The invention's effect】
As described above, according to the imaging apparatus according to the present invention, in the imaging apparatus including two imaging elements that are shifted by half a pixel in the oblique direction, the color read by the first and second imaging elements. A color signal restoration unit that restores and generates a color signal having a resolution corresponding to the number of pixels of the image sensor for each image sensor from the signal, and outputs from the first and second image sensors that are outputs from the color signal restoration unit. Means for obtaining a pixel of a signal having a resolution twice as large as the number of pixels of each image sensor by each signal restored from the signal, and a signal having a resolution of twice each obtained in the horizontal and vertical directions Pixel signal is not obtained in At a given pixel location Edge component Peripheral pixels From A first edge determination means for determining, and based on a signal from the first edge determination means, a color signal having a resolution of twice each in the horizontal and vertical directions. Said By having a means for calculating a signal at a predetermined pixel position, it is possible to obtain a high-resolution image having a double resolution in the horizontal and vertical directions in which false colors and false contours are reduced, and the resolution in the horizontal and vertical directions can be obtained. Can be improved.
[0083]
According to the imaging device of the present invention, the first edge determination means is One predetermined color signal of the left and right adjacent pixels at a predetermined pixel position where the pixel signal is not obtained Means for calculating the absolute value of the difference and detecting a horizontal edge component, means for calculating the absolute value of the difference between the upper and lower pixels and detecting the vertical edge component, and detecting the horizontal edge component And the predetermined pixel based on outputs from the means for detecting and the vertical edge component detecting means position By determining the horizontal or vertical edge component in the image, it is possible to obtain a high-resolution image with double resolution in the horizontal and vertical directions with reduced false colors and false contours, and the resolution in the horizontal and vertical directions. Can be improved.
[0084]
Further, according to the imaging device of the present invention, the determination of the edge component in the first edge determination means is performed by the output from the means for detecting the edge component in the horizontal direction or the means for detecting the edge component in the vertical direction. If the output is greater than the predetermined value, Pixel signal is not obtained Predetermined pixel position If the output from the means for detecting the edge component in the horizontal direction is larger than the output from the means for detecting the edge component in the vertical direction, there is a correlation in the vertical direction. If the output of the means for detecting the direction edge component is smaller than the output of the means for detecting the vertical edge component, it is determined that there is a correlation in the horizontal direction, and the means for detecting the horizontal edge component and the vertical edge component are When both the outputs of the detecting means are smaller than a predetermined value, it is determined that the edge component is not detected, thereby obtaining a high-resolution image having a double resolution in the horizontal and vertical directions with reduced false colors and false contours. And the resolution in the horizontal and vertical directions can be improved.
[0085]
Further, according to the image pickup apparatus of the present invention, a signal having a resolution twice as high as that in the horizontal and vertical directions can be obtained. Pixel signal is not obtained Means for calculating a signal at a predetermined pixel position; Pixel signal is not obtained For each color signal at a predetermined pixel position, a vertical direction calculating means for calculating a signal from the average value of the upper and lower pixels, a horizontal direction calculating means for calculating a signal from the average value of the left and right pixels, and the upper, lower, left and right adjacent pixels Average value calculation means for calculating a signal from the average value, and based on the output of the first edge determination means, the output of the horizontal direction calculation means or the output of the vertical direction calculation means, or the output from the average value calculation means Select the predetermined pixel position By obtaining each color signal having a resolution twice as many as the number of pixels in the image sensor in the horizontal and vertical directions, a high-resolution image having double resolution in the horizontal and vertical directions with reduced false colors and false contours. And resolution in the horizontal and vertical directions can be improved.
[0086]
Further, according to the image pickup apparatus of the present invention, a signal having a resolution twice as large as that in the horizontal and vertical directions can be obtained. Pixel signal is not obtained Means for calculating a signal at a predetermined pixel position; Pixel signal is not obtained When it is determined that the output of the first edge determination means does not detect an edge component at a predetermined pixel position, the output of the average value calculation means is selected, and when it is determined that there is a correlation in the vertical direction, the vertical direction calculation is performed. When the output of the means is selected and it is determined that there is a correlation in the horizontal direction, by selecting the output of the horizontal direction calculation means, the resolution is doubled in the horizontal and vertical directions with reduced false colors and false contours. A resolution image can be obtained, and the resolution in the horizontal and vertical directions can be improved.
[0087]
Further, according to the imaging device of the present invention, in each of the two imaging elements arranged by shifting by half a pixel in the oblique direction, each imaging element has a first pixel in the upper and lower four pixels of two vertical rows and two horizontal columns. A first color filter having a spectral sensitivity characteristic with respect to a color signal and a second color filter having a spectral sensitivity characteristic with respect to a second color signal are arranged in the first vertical line, and the first vertical line in the second vertical line. A third color filter having spectral sensitivity characteristics for the third color signal is arranged in the same column as the pixel position where the first color filter of the eye is arranged, and the first color filter is arranged in the same column as the second color filter. A first color filter having a spectral sensitivity characteristic with respect to the color signal of the first color filter is arranged, and the color filters of the upper and lower four pixels are sequentially and repeatedly arranged in the vertical and horizontal directions. Against the image sensor The color signal restoring means for restoring generating a color signal of a prime component of resolution, the first color signal by the first color filter Pixel signal is not obtained Based on the surrounding pixel signal at a predetermined pixel position, Pixel signal is not obtained Second edge determination means for determining an edge component at a predetermined pixel position, and first, second, and third color filters read out by the first, second, and third color filters based on the output of the second edge determination means. The above in the first color signal by the second and third color signals Pixel signal is not obtained Predetermined Pixel Based on the output of the first calculation means for calculating the signal at the position and the output of the second edge determination means, the output of the first calculation means and the second and third color signals from the color filter are used as the second value. And a second calculation means for calculating a third color signal, obtaining first, second, and third color signals of the number of pixels in the image sensor, wherein the first edge determination means For the first color signal that is the output from the means for obtaining the pixel of the signal having a resolution of twice each in the horizontal and vertical directions, Pixel signal is not obtained By determining edge components of peripheral pixels at a predetermined pixel position, it is possible to obtain a high-resolution image with double resolution in the horizontal and vertical directions with reduced false colors and false contours, and resolution in the horizontal and vertical directions. Can be improved.
[0088]
Further, according to the imaging apparatus of the present invention, the second edge determination means in the color restoration means is the first color signal Pixel signal is not obtained Horizontal edge detection means for calculating an absolute value of a difference between left and right adjacent pixels at a predetermined pixel position to detect a horizontal edge component; and a first color signal Pixel signal is not obtained Based on the outputs from the vertical edge detecting means for detecting the edge component in the vertical direction by calculating the absolute value of the difference between the upper and lower pixels at the predetermined pixel position, the outputs from the horizontal edge detecting means and the vertical edge detecting means, Pixel signal is not obtained Predetermined pixel position And a determination means for determining a horizontal or vertical edge component at the time when the output from the horizontal edge detection means or the output from the vertical edge detection means is greater than a predetermined value. ,the above Pixel signal is not obtained Predetermined pixel position If the edge component is detected in the peripheral pixels of the pixel, and the output from the horizontal edge detection means is larger than the output from the vertical edge detection means, there is a correlation in the vertical direction, and the output from the horizontal edge detection means is If the output from the vertical edge detection means is smaller than that, it is determined that there is a correlation in the horizontal direction, and if both the outputs from the horizontal edge detection means and the vertical edge detection means are smaller than a predetermined value, the edge By determining that the component is not detected, it is possible to obtain a high-resolution image having double the horizontal and vertical directions with reduced false colors and false contours, and to improve the resolution in the horizontal and vertical directions. it can.
[0089]
Further, according to the imaging apparatus of the present invention, the first calculation means for calculating the signal for the predetermined position in the first color signal in the color restoration means is the predetermined pixel 1 row m column with the second color signal B. At the position of B (l, m), the values Ahlpf (l, m) and Bhlpf (l, m) through the horizontal low-pass filter are respectively applied to the first color signal A and the second color signal B. Based on the ratio between Ahlpf (l, m) and Bhlpf (l, m), which are output signals from the horizontal low-pass filter, and the pixel value B (l, m) at the pixel position, The pixel value A (l, m) in the first color signal A is calculated by A (l, m) = B (l, m) × {Ahlpf (l, m) / Bhlpf (l, m)} At the other pixel positions where the third color signal C is present, the first color signal A is similarly applied. Horizontal direction signal calculation means for calculating a pixel value to be obtained and a position in the vertical direction with respect to each of the first color signal A and the second color signal B at the position of the predetermined pixel 1 row m column B (l, m). The values Avlpf (l, m) and Bvlpf (l, m) through the low-pass filter are calculated, and the ratio between Avlpf (l, m) and Bvlpf (l, m) that are output signals from the vertical low-pass filter And the pixel value A (l, m) in the first color signal A of l rows and m columns by the pixel value B (l, m) at the pixel position, A (l, m) = B (l, m) X {Avlpf (l, m) / Bvlpf (l, m)} is calculated in the vertical direction in which the pixel value in the first color signal A is similarly calculated at other pixel positions where the third color signal C is present. A signal calculating means, and the first color signal A at the position of the predetermined pixel 1 row m column Average value calculating means for calculating the pixel value A (l, m) in the first color signal A of l rows and m columns from the average value of the adjacent pixels on the lower left and right, and the output of the second edge determination means Based on the output from the horizontal signal calculation means, the output from the vertical direction signal calculation means, or the output from the average value calculation means, the pixel value A of the first color signal A in the predetermined pixel 1 row m column is selected. l, m), and obtaining the first color signal of the number of pixels in the image sensor, it is possible to obtain a high-resolution image having a double resolution in the horizontal and vertical directions with reduced false colors and false contours. In addition, the resolution in the horizontal and vertical directions can be improved.
[0090]
According to the imaging device of the present invention, the first calculation means in the color restoration means determines that the output of the second edge determination means does not detect an edge component at the position of the predetermined pixel 1 row and m column. Select the output of the average value calculation means, select the output of the vertical direction signal calculation means if it is determined that there is a correlation in the vertical direction, and select the output in the horizontal direction if it is determined that there is a correlation in the horizontal direction. By selecting the output of the signal calculation means and obtaining the first color signal of the number of pixels in the image sensor, it is possible to obtain a high-resolution image having a double resolution in the horizontal and vertical directions with reduced false colors and false contours. And the resolution in the horizontal and vertical directions can be improved.
[0091]
According to the imaging apparatus of the present invention, the second calculation means in the color restoration means applies a low-pass filter in the horizontal direction to the output A from the first calculation means at the position of the predetermined pixel 1 row and m column. The value A1hlpf (l, m) passed through and the value A1vlpf (l, m) passed through the vertical low-pass filter are calculated, and the value B1hlpf (l, m) passed through the horizontal low-pass filter for the second color signal B is calculated. ) And the value C1vlpf (l, m) through the low-pass filter in the vertical direction with respect to the third color signal C (or the value B1vlpf (l through the low-pass filter in the vertical direction with respect to the second color signal B) M) and the value C1hlpf (l, m)) through the horizontal low-pass filter for the third color signal C, and A1hlpf (l, m) and B1hlpf (l, m) (Or the ratio with C1hlpf (l, m)), the ratio between A1vlpf (l, m) and C1vlpf (l, m) (or the ratio with B1vlpf (l, m)), and the first calculation From the pixel value A (l, m) at the predetermined pixel l row and m column in the output A from the means, the pixel value B (l, m) in the second color signal B and the third color signal C in the l row m column ) And C (l, m), B (l, m) = A (l, m) × {B1hlpf (l, m) / A1hlpf (l, m)}, C (l, m) = A (l M) × {C1vlpf (l, m) / A1vlpf (l, m)} (or B (l, m) = A (l, m) × {B1vlpf (l, m) / A1vlpf (l, m) }, C (l, m) = A (l, m) × {C1hlpf (l, m) / A1hlpf (l, m)}) Both of the values A2hlpf (x, y) through a horizontal low-pass filter with respect to the output A from the first calculation means at a position of a predetermined pixel x row y column different from the position of the l row m column, A value B2hlpf (x, y) is calculated through a low-pass filter in the horizontal direction for the second color signal B at the output from the signal calculating means, and A2hlpf (x, y) and B2hlpf (x, y) are calculated. Based on the ratio and the pixel value A (x, y) at the pixel x row y column at the output A from the first calculation means, the second color signal B (x, y) at the position of x row y column is obtained. , B (x, y) = A (x, y) × {B2hlpf (x, y) / A2hlpf (x, yy)}, and the third color signal C is similarly calculated as a horizontal C signal. Direction signal calculating means and a direction perpendicular to the output A from the first calculating means A value A2vlpf (x, y) through the low-pass filter of B, and a value B2vlpf (x, y) through the low-pass filter in the vertical direction with respect to the second color signal B at the output from the signal calculation unit, From the ratio of A2vlpf (x, y) and B2vlpf (x, y) and the pixel value A (x, y) at the pixel x row y column at the output A from the first calculating means, The second color signal B (x, y) at the position is calculated by B (x, y) = A (x, y) × {B2vlpf (x, y) / A2vlpf (x, y)}. Similarly, in the color signal C, the vertical direction signal calculation means for calculating the C signal and the position of the predetermined pixel x row y column in the second and third color signals in the output from the signal calculation means obliquely Average value calculating means for calculating an average value of adjacent pixels; Based on the output of the edge determination means, the output is selected from the outputs from the horizontal direction signal calculation means, the vertical direction signal calculation means, and the average value calculation means, and the second and third pixels in the predetermined pixel x row y column are selected. By obtaining the color signal and obtaining the second and third color signals of the number of pixels in the image sensor, it is possible to obtain a high-resolution image having a double resolution in the horizontal and vertical directions with reduced false colors and false contours. And the resolution in the horizontal and vertical directions can be improved.
[0092]
Further, according to the imaging apparatus of the present invention, when the second calculation means in the color restoration means determines that the output of the second edge determination means does not detect an edge component at the position of the predetermined pixel x row y column Selects the output of the average value calculation means, selects the output of the vertical direction signal calculation means when it is determined that there is a correlation in the vertical direction, and selects the output of the horizontal direction signal when it is determined that there is a correlation in the horizontal direction. By selecting the output of the calculation means and obtaining the second and third color signals of the number of pixels in the image sensor, a high-resolution image having a double resolution in the horizontal and vertical directions with reduced false colors and false contours is obtained. And the resolution in the horizontal and vertical directions can be improved.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an example of a configuration of an imaging apparatus according to Embodiment 1 of the present invention.
FIG. 2 is a diagram showing an example of the arrangement of two image pickup elements shifted by half a pixel in an oblique direction according to Embodiment 1 of the present invention.
FIG. 3 is a diagram showing an example of an array of color filters of each image sensor according to Embodiment 1 of the present invention.
FIG. 4 is a block diagram showing an example of the configuration of color restoration means in the imaging apparatus according to Embodiment 1 of the present invention.
FIG. 5 is a flowchart for explaining the operation of first edge determination means and G component restoration in the color restoration means in the imaging apparatus according to Embodiment 1 of the present invention;
FIG. 6 is a flowchart for explaining an operation of R and B component restoration in a color restoration unit in the imaging apparatus according to Embodiment 1 of the present invention;
7 is a diagram showing pixels of R and B signals for explaining the operation of restoring the R and B signals in the imaging apparatus according to Embodiment 1 of the present invention. FIG.
FIG. 8 is a diagram illustrating a pixel of a signal having double resolution in each of horizontal and vertical directions for explaining the operation of the multiplexing unit 12 in the imaging apparatus according to Embodiment 1 of the present invention.
FIG. 9 is a diagram showing R signal pixels each having double resolution in the horizontal and vertical directions in the multiplexing means 12 in the imaging apparatus according to Embodiment 1 of the present invention;
FIG. 10 is a diagram illustrating pixels of a G signal having a resolution twice each in the horizontal and vertical directions in the multiplexing unit 12 in the imaging apparatus according to Embodiment 1 of the present invention;
FIG. 11 is a diagram illustrating B signal pixels each having a double resolution in the horizontal and vertical directions in the multiplexing unit 12 in the imaging apparatus according to Embodiment 1 of the present invention;
FIG. 12 is a diagram illustrating a flowchart for explaining the operation of increasing the resolution in the imaging apparatus according to Embodiment 1 of the present invention;
FIG. 13 is a diagram showing false color levels at a vertical resolution in simulation images processed by the imaging apparatus according to Embodiment 1 of the present invention and a conventional apparatus.
FIG. 14 is a diagram showing an example of another color filter array of the image sensor according to the first embodiment of the present invention.
FIG. 15 is a diagram showing an example of another color filter array of the image sensor according to the first embodiment of the present invention.
FIG. 16 is a diagram showing another example of the arrangement of the two image pickup elements shifted by half a pixel in the oblique direction according to the first embodiment of the present invention.
FIG. 17 is a block diagram showing an example of the configuration of color restoration means in an imaging apparatus according to Embodiment 2 of the present invention.
FIG. 18 is a diagram illustrating an example of a color filter array of an image sensor in a conventional imaging device.
FIG. 19 is a block diagram illustrating an example of a configuration of a conventional imaging device.
FIG. 20 is a block diagram illustrating an example of a configuration of color restoration means in a conventional imaging apparatus.
FIG. 21 is a diagram illustrating pixels of each signal for explaining the operation of increasing the resolution of a conventional imaging device.
FIG. 22 is a diagram illustrating pixels of each signal for explaining a method for increasing the resolution of a conventional imaging apparatus.
FIG. 23 is a block diagram illustrating an example of another configuration of color restoration means in a conventional imaging apparatus.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image pick-up element, 2 A / D converter, 3, 4 frame memory, 5, 6 color restoration means, 7 Multiplexing means, 8 Edge determination means, 9 Average value calculation means, 10 Horizontal direction calculation means, 11 Vertical direction calculation means, 12 selecting means, 20 separating means, 21 first edge determining means, 22 G component restoring means, 23 first RB component restoring means, 24 second edge determining means, 25 second RB component restoring means.

Claims (11)

斜め方向に半画素ずらして配置された２枚の撮像素子を備えた撮像装置において、
第１および第２の撮像素子により読み出された色信号より各撮像素子に対して撮像素子の画素数分の解像度の色信号を復元生成する色信号復元手段と、
前記色信号復元手段からの出力である上記第１および第２の撮像素子からの信号より復元された各信号により各撮像素子の画素数の水平垂直方向各２倍の解像度の信号の画素を得る手段と、
前記得られた水平垂直方向各２倍の解像度の信号において画素信号が得られていない所定画素位置におけるエッジ成分を周辺画素から判定する第１のエッジ判定手段を備えるとともに、
前記第１のエッジ判定手段からの信号に基づき、水平垂直方向各２倍の解像度の信号での前記所定画素位置の信号を算出する手段を
有することを特徴とする撮像装置。In an image pickup apparatus including two image pickup elements that are arranged by being shifted by half a pixel in an oblique direction,
Color signal restoring means for restoring and generating a color signal having a resolution corresponding to the number of pixels of the image sensor for each image sensor from the color signals read by the first and second image sensors;
From the signals restored from the signals from the first and second image sensors, which are outputs from the color signal restoration means, pixels of a signal having a resolution twice as many as the number of pixels of each image sensor in the horizontal and vertical directions are obtained. Means,
A first edge determination means for determining an edge component at a predetermined pixel position where a pixel signal is not obtained in the obtained signal of double resolution in the horizontal and vertical directions from surrounding pixels ;
Based on said signals from the first edge determination unit, an imaging apparatus characterized by comprising means for calculating the signal of the predetermined pixel positions in the signal of the horizontal vertical directions each 2 times the resolution. 前記第１のエッジ判定手段が、画素信号が得られていない所定画素位置における左右の隣接画素のあらかじめ定めたおいた一つの色信号の差の絶対値を算出して水平方向のエッジ成分を検出する手段と、
上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する手段と、
前記水平方向のエッジ成分を検出する手段と垂直方向エッジ成分を検出する手段からの出力に基づき、前記所定画素位置における水平または垂直方向のエッジ成分を判定することを特徴とする請求項１記載の撮像装置。The first edge determining means detects an edge component in the horizontal direction by calculating an absolute value of a difference between one predetermined color signal of left and right adjacent pixels at a predetermined pixel position where a pixel signal is not obtained. Means to
Means for calculating an absolute value of a difference between upper and lower pixels and detecting a vertical edge component;
The horizontal or vertical edge component at the predetermined pixel position is determined based on outputs from the horizontal edge component detecting means and the vertical edge component detecting means. Imaging device. 前記第１のエッジ判定手段におけるエッジ成分の判定が、上記水平方向のエッジ成分を検出する手段からの出力または上記垂直方向のエッジ成分を検出する手段からの出力が予め定めた値より大きい場合は、上記画素信号が得られていない所定画素位置の周辺画素にエッジ成分を検出したとし、さらに、水平方向のエッジ成分を検出する手段からの出力が上記垂直方向のエッジ成分を検出する手段の出力より大きい場合は垂直方向により相関があり、水平方向エッジ成分を検出する手段の出力が上記垂直方向エッジ成分を検出する手段出力より小さい場合は水平方向により相関があると判定するとともに、上記水平方向エッジ成分を検出する手段および垂直方向エッジ成分を検出する手段の出力がともに予め定めた値より小さい場合にはエッジ成分を検出しないと判定することを特徴とする請求項１または請求項２記載の撮像装置。When the determination of the edge component in the first edge determination means is greater than a predetermined value, the output from the means for detecting the horizontal edge component or the output from the means for detecting the vertical edge component Suppose that an edge component is detected in a peripheral pixel at a predetermined pixel position where the pixel signal is not obtained , and the output from the means for detecting the edge component in the horizontal direction is the output of the means for detecting the edge component in the vertical direction If it is larger, there is a correlation in the vertical direction, and if the output of the means for detecting the horizontal edge component is smaller than the means output for detecting the vertical edge component, it is determined that there is a correlation in the horizontal direction, and the horizontal direction If the outputs of the means for detecting edge components and the means for detecting vertical edge components are both smaller than a predetermined value, Imaging device according to claim 1 or claim 2, wherein the determining not to detect the component. 上記水平垂直方向各２倍の解像度の信号での画素信号が得られていない所定画素位置の信号を算出する手段が、画素信号が得られていない所定画素位置における信号それぞれに対し、上下の画素の平均値より信号を算出する垂直方向算出手段と、左右の画素の平均値より信号を算出する水平方向算出手段と、上下左右の隣接画素の平均値より信号を算出する平均値算出手段とを備え、上記第１のエッジ判定手段の出力に基づき、上記水平方向算出手段の出力または垂直方向算出手段出力、または、平均値算出手段からの出力より選択し、上記所定画素位置での信号を得て、撮像素子における画素数の水平垂直方向各２倍の解像度の各信号を得ることを特徴とする請求項１記載の撮像装置。The means for calculating a signal at a predetermined pixel position where a pixel signal with a signal having twice the resolution in each of the horizontal and vertical directions is not obtained is a pixel above and below each of the signals at a predetermined pixel position where a pixel signal is not obtained. Vertical direction calculating means for calculating the signal from the average value of the horizontal direction, horizontal direction calculating means for calculating the signal from the average value of the left and right pixels, and average value calculating means for calculating the signal from the average value of the upper, lower, left and right adjacent pixels. A signal at the predetermined pixel position is obtained by selecting from the output of the horizontal direction calculating means, the output of the vertical direction calculating means, or the output from the average value calculating means based on the output of the first edge determining means. The image pickup apparatus according to claim 1, wherein each signal having a resolution that is twice the horizontal and vertical directions of the number of pixels in the image pickup device is obtained. 上記水平垂直方向各２倍の解像度の信号での画素信号が得られていない所定画素位置の信号を算出する手段が、画素信号が得られていない所定画素位置において上記第１のエッジ判定手段の出力がエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向算出手段の出力を選択することを特徴とする請求項４に記載の撮像装置。The means for calculating a signal at a predetermined pixel position where a pixel signal with a signal having a resolution twice as large as that in each of the horizontal and vertical directions is not obtained is determined by the first edge determination means at a predetermined pixel position where a pixel signal is not obtained . When it is determined that the output does not detect an edge component, the output of the average value calculating means is selected. When it is determined that there is a correlation in the vertical direction, the output of the vertical direction calculating means is selected, and the correlation is selected in the horizontal direction. The imaging apparatus according to claim 4 , wherein if it is determined that there is an output, the output of the horizontal direction calculating means is selected. 上記斜め方向に半画素ずらして配置された２枚の撮像素子それぞれにおいて、各撮像素子が、垂直２行水平２列の上下４画素において、第１の色信号に対する分光感度特性を持つ第１の色フィルタと第２の色信号に対する分光感度特性を持つ第２の色フィルタとが垂直１行目に配列され、垂直２行目には上記垂直１行目の第１の色フィルタが配列された画素位置と同一の列に第３の色信号に対する分光感度特性を持つ第３の色フィルタが配列され、第２の色フィルタと同一の列に第１の色信号に対する分光感度特性を持つ第１の色フィルタが配列されており、上記上下４画素の色フィルタが順次垂直および水平方向に繰り返し配列された撮像素子であり、各撮像素子からの色信号に対して撮像素子の画素数分の解像度の色信号を復元生成する上記色信号復元手段が、上記第１の色フィルタによる第１の色信号の画素信号が得られていない所定画素位置での周辺画素信号に基づき、画素信号が得られていない所定画素位置におけるエッジ成分を判定する第２のエッジ判定手段と、
前記第２のエッジ判定手段の出力に基づき、上記第１、第２、第３の色フィルタにより読み出された第１、第２および第３の色信号により第１の色信号における上記画素信号が得られていない所定画素位置での信号を算出する第１の算出手段と、上記第２のエッジ判定手段の出力に基づき、上記第１の算出手段の出力と色フィルタからの第２および第３の色信号により第２および第３の色信号を算出する第２の算出手段とを備え、上記撮像素子における画素数の第１、第２、第３の色信号を得るとともに、上記第１のエッジ判定手段が、上記第１の色信号による上記水平垂直方向各２倍の解像度の信号の画素を得る手段から出力される信号に対し、画素信号が得られていない所定画素位置における周辺画素のエッジ成分を判定することを特徴とする請求項１または請求項２記載の撮像装置。In each of the two image sensors that are arranged with a half-pixel shift in the oblique direction, each image sensor has a spectral sensitivity characteristic with respect to the first color signal in the upper and lower four pixels in two vertical rows and two horizontal columns. A color filter and a second color filter having spectral sensitivity characteristics with respect to the second color signal are arranged in the first vertical row, and the first color filter in the first vertical row is arranged in the second vertical row. A third color filter having a spectral sensitivity characteristic for the third color signal is arranged in the same column as the pixel position, and a first having a spectral sensitivity characteristic for the first color signal in the same column as the second color filter. The color filters of the upper and lower four pixels are sequentially and repeatedly arranged in the vertical and horizontal directions, and the resolution corresponding to the number of pixels of the image sensor for the color signal from each image sensor. Restore and generate color signal Serial color signal restoring means, edges at predetermined pixel positions on the basis of the peripheral pixel signal, which is not obtained pixel signals at a predetermined pixel position where a pixel signal of the first color signal by the first color filter is not obtained Second edge determining means for determining a component;
The pixel signal in the first color signal based on the first, second, and third color signals read by the first, second, and third color filters based on the output of the second edge determination means. Based on the output of the first calculation means for calculating a signal at a predetermined pixel position where the image quality is not obtained and the output of the second edge determination means, the output of the first calculation means and the second and second outputs from the color filter And second calculating means for calculating the second and third color signals from the three color signals, obtaining first, second and third color signals of the number of pixels in the image sensor, and the first The edge determination means is a peripheral pixel at a predetermined pixel position where no pixel signal is obtained with respect to the signal output from the means for obtaining the pixel of the signal having the double resolution in the horizontal and vertical directions by the first color signal. Judging the edge component of Imaging device according to claim 1 or claim 2, wherein. 上記色復元手段における第２のエッジ判定手段が、
第１の色信号の画素信号が得られていない所定画素位置における左右の隣接画素の差の絶対値を算出して水平方向のエッジ成分を検出する水平方向エッジ検出手段と、
第１の色信号の画素信号が得られていない所定画素位置における上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する垂直方向エッジ検出手段と、
前記水平方向エッジ検出手段と垂直方向エッジ検出手段からの出力に基づき、前記画素信号が得られていない所定画素位置における水平または垂直方向のエッジ成分を判定する判定手段を備えるとともに、前記判定手段が、上記水平方向エッジ検出手段からの出力または上記垂直方向エッジ検出手段からの出力が予め定めた値より大きい場合は、上記画素信号が得られていない所定画素位置の周辺画素にエッジ成分を検出したとし、さらに、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より大きい場合は垂直方向により相関があり、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より小さい場合は水平方向により相関があると判定するとともに、上記水平方向エッジ検出手段および垂直方向エッジ検出手段からの出力がともに予め定めた値より小さい場合にはエッジ成分を検出しないと判定することを特徴とする請求項１または請求項６記載の撮像装置。A second edge determination means in the color restoration means;
Horizontal edge detection means for calculating an absolute value of a difference between left and right adjacent pixels at a predetermined pixel position where a pixel signal of the first color signal is not obtained, and detecting a horizontal edge component;
Vertical edge detection means for calculating an absolute value of a difference between upper and lower pixels at a predetermined pixel position where a pixel signal of the first color signal is not obtained, and detecting a vertical edge component;
A determination unit configured to determine a horizontal or vertical edge component at a predetermined pixel position where the pixel signal is not obtained based on outputs from the horizontal edge detection unit and the vertical direction edge detection unit; When the output from the horizontal edge detection means or the output from the vertical edge detection means is larger than a predetermined value, an edge component is detected in a peripheral pixel at a predetermined pixel position where the pixel signal is not obtained . Furthermore, if the output from the horizontal edge detection means is larger than the output from the vertical edge detection means, there is a correlation in the vertical direction, and the output from the horizontal edge detection means is more than the output from the vertical edge detection means. If smaller, it is determined that there is a correlation in the horizontal direction, and the horizontal direction edge detection means and the vertical Output both predetermined is smaller than the value the imaging apparatus according to claim 1 or claim 6, wherein the determining not to detect the edge components from the direction edge detection means. 上記色復元手段における第１の色信号での所定位置に対する信号を算出する第１の算出手段が、第２の色信号Ｂのある所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対し水平方向のローパスフィルタを介した値Ａｈｌｐｆ（ｌ、ｍ）、Ｂｈｌｐｆ（ｌ、ｍ）を算出し、前記水平方向ローパスフィルタからの出力信号であるＡｈｌｐｆ（ｌ、ｍ）とＢｈｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｈｌｐｆ（ｌ、ｍ）／Ｂｈｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の画素位置においても同様に第１の色信号Ａにおける画素値を算出する水平方向信号算出手段と、上記所定画素ｌ行ｍ列Ｂ（ｌ、ｍ）の位置において、第１の色信号Ａ、第２の色信号Ｂのそれぞれに対し垂直方向のローパスフィルタを介した値Ａｖｌｐｆ（ｌ、ｍ）、Ｂｖｌｐｆ（ｌ、ｍ）を算出し、前記垂直方向ローパスフィルタからの出力信号であるＡｖｌｐｆ（ｌ、ｍ）とＢｖｌｐｆ（ｌ、ｍ）との比と上記画素位置の画素値Ｂ（ｌ、ｍ）により、ｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を、Ａ（ｌ、ｍ）＝Ｂ（ｌ、ｍ）×｛Ａｖｌｐｆ（ｌ、ｍ）／Ｂｖｌｐｆ（ｌ、ｍ）｝により算出し、第３の色信号Ｃのある他の画素位置においても同様に第１の色信号Ａにおける画素値を算出する垂直方向信号算出手段と、第１の色信号Ａにおける上記所定画素ｌ行ｍ列の位置での上下左右の隣接画素の平均値よりｌ行ｍ列の第１の色信号Ａにおける画素値Ａ（ｌ、ｍ）を算出する平均値算出手段とを備え、上記第２のエッジ判定手段の出力に基づき、上記水平方向信号算出手段の出力または垂直方向信号算出手段出力、または、平均値算出手段からの出力より選択し、上記所定画素ｌ行ｍ列における第１の色信号Ａの画素値Ａ（ｌ、ｍ）を得て、撮像素子における画素数の第１の色信号を得ることを特徴とする請求項１、請求項６および請求項７のいずれかに記載の撮像装置。  The first calculation means for calculating a signal for a predetermined position in the first color signal in the color restoration means is at a position of a predetermined pixel 1 row m column B (l, m) where the second color signal B is present. For each of the first color signal A and the second color signal B, values Ahlpf (l, m) and Bhlpf (l, m) are calculated through the horizontal low-pass filter, and the values from the horizontal low-pass filter are calculated. The pixel value A in the first color signal A of l rows and m columns is determined by the ratio between the output signals Ahlpf (l, m) and Bhlpf (l, m) and the pixel value B (l, m) at the pixel position. (L, m) is calculated by A (l, m) = B (l, m) × {Ahlpf (l, m) / Bhlpf (l, m)}. Similarly, in the pixel position, the horizontal direction signal calculation for calculating the pixel value in the first color signal A is performed. And the value Avlpf (l,) through a low-pass filter in the vertical direction for each of the first color signal A and the second color signal B at the position of the predetermined pixel 1 row m column B (l, m). m) and Bvlpf (l, m) are calculated, and the ratio of Avlpf (l, m) and Bvlpf (l, m), which are output signals from the vertical low-pass filter, and the pixel value B (l of the pixel position) , M), the pixel value A (l, m) in the first color signal A of l rows and m columns is represented by A (l, m) = B (l, m) × {Avlpf (l, m) / Bvlpf (L, m)}, and the vertical direction signal calculation means for calculating the pixel value in the first color signal A in the same manner at other pixel positions where the third color signal C is present, and the first color signal From the average value of the upper, lower, left, and right adjacent pixels at the position of the predetermined pixel in 1 row and m column in A, 1 row m Average value calculation means for calculating the pixel value A (l, m) in the first color signal A, and based on the output of the second edge determination means, the output of the horizontal direction signal calculation means or the vertical direction The number of pixels in the image sensor is selected from the output of the signal calculation means or the output from the average value calculation means to obtain the pixel value A (l, m) of the first color signal A in the predetermined pixel l rows and m columns. The imaging device according to claim 1, wherein the first color signal is obtained. 前記色復元手段における第１の算出手段が、上記第２のエッジ判定手段の出力が所定画素ｌ行ｍ列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第１の色信号を得ることを特徴とする請求項８に記載の撮像装置。When the first calculation means in the color restoration means determines that the output of the second edge determination means does not detect an edge component at the position of the predetermined pixel 1 row and m column, the output of the average value calculation means is selected. When it is determined that there is a correlation in the vertical direction, the output of the vertical direction signal calculation unit is selected. When it is determined that there is a correlation in the horizontal direction, the output of the horizontal direction signal calculation unit is selected, The image pickup apparatus according to claim 8, wherein a first color signal having the number of pixels in is obtained. 上記色復元手段における第２の算出手段が、所定画素ｌ行ｍ列の位置において、上記第１の算出手段からの出力Ａに対し水平方向のローパスフィルタを介した値Ａ１ｈｌｐｆ（ｌ、ｍ）と垂直方向ローパスフィルタを介した値Ａ１ｖｌｐｆ（ｌ、ｍ）を算出し、第２の色信号Ｂに対し水平方向のローパスフィルタを介した値Ｂ１ｈｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対し垂直方向のローパスフィルタを介した値Ｃ１ｖｌｐｆ（ｌ、ｍ）（または、第２の色信号Ｂに対し垂直方向のローパスフィルタを介した値Ｂ１ｖｌｐｆ（ｌ、ｍ）と第３の色信号Ｃに対し水平方向のローパスフィルタを介した値Ｃ１ｈｌｐｆ（ｌ、ｍ））とを算出し、Ａ１ｈｌｐｆ（ｌ、ｍ）とＢ１ｈｌｐｆ（ｌ、ｍ）との比（またはＣ１ｈｌｐｆ（ｌ、ｍ）との比）と、Ａ１ｖｌｐｆ（ｌ、ｍ）とＣ１ｖｌｐｆ（ｌ、ｍ）との比（または、Ｂ１ｖｌｐｆ（ｌ、ｍ）との比）と、上記第１の算出手段からの出力Ａにおける所定画素ｌ行ｍ列での画素値Ａ（ｌ、ｍ）から、ｌ行ｍ列の第２の色信号Ｂと第３の色信号Ｃにおける画素値Ｂ（ｌ、ｍ）とＣ（ｌ、ｍ）を、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝（または、Ｂ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｂ１ｖｌｐｆ（ｌ、ｍ）／Ａ１ｖｌｐｆ（ｌ、ｍ）｝、Ｃ（ｌ、ｍ）＝Ａ（ｌ、ｍ）×｛Ｃ１ｈｌｐｆ（ｌ、ｍ）／Ａ１ｈｌｐｆ（ｌ、ｍ）｝）により算出する信号算出手段を備えるとともに、上記ｌ行ｍ列の位置とは異なる所定画素ｘ行ｙ列の位置において、上記第１の算出手段からの出力Ａに対し水平方向のローパスフィルタを介した値Ａ２ｈｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第２の色信号Ｂに対し水平方向のローパスフィルタを介した値Ｂ２ｈｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｈｌｐｆ（ｘ、ｙ）とＢ２ｈｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｈｌｐｆ（ｘ、ｙ）／Ａ２ｈｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃにおいても同様にＣ信号を算出する水平方向信号算出手段と、上記第１の算出手段からの出力Ａに対し垂直方向のローパスフィルタを介した値Ａ２ｖｌｐｆ（ｘ、ｙ）、前記信号算出手段からの出力での第２の色信号Ｂに対し垂直方向のローパスフィルタを介した値Ｂ２ｖｌｐｆ（ｘ、ｙ）を算出し、Ａ２ｖｌｐｆ（ｘ、ｙ）とＢ２ｖｌｐｆ（ｘ、ｙ）の比と上記第１の算出手段からの出力Ａでの画素ｘ行ｙ列での画素値Ａ（ｘ、ｙ）により、ｘ行ｙ列の位置における第２の色信号Ｂ（ｘ、ｙ）を、Ｂ（ｘ、ｙ）＝Ａ（ｘ、ｙ）×｛Ｂ２ｖｌｐｆ（ｘ、ｙ）／Ａ２ｖｌｐｆ（ｘ、ｙ）｝により算出し、第３の色信号Ｃにおいても同様にＣ信号を算出する垂直方向信号算出手段と、上記信号算出手段からの出力における第２、第３の色信号での所定画素ｘ行ｙ列の位置において、斜めに隣接する画素の平均値を算出する平均値算出手段とを備え、上記第２のエッジ判定手段の出力に基づき、前記水平方向信号算出手段、垂直方向信号算出手段、平均値算出手段からのそれぞれの出力から選択して、上記所定画素ｘ行ｙ列での第２、第３の色信号を得て、撮像素子における画素数の第２、第３の色信号を得ることを特徴とする請求項１、請求項６〜請求項８のいずれかに記載の撮像装置。  The second calculation means in the color restoration means has a value A1hlpf (l, m) through a horizontal low-pass filter with respect to the output A from the first calculation means at the position of the predetermined pixel 1 row and m column. A value A1vlpf (l, m) is calculated through a vertical low-pass filter, and a value B1hlpf (l, m) and a third color signal C are passed through a horizontal low-pass filter for the second color signal B. Value C1vlpf (l, m) through the low-pass filter in the vertical direction (or the value B1vlpf (l, m) through the low-pass filter in the vertical direction for the second color signal B and the third color signal C A value C1hlpf (l, m)) through a low-pass filter in the horizontal direction is calculated, and the ratio of A1hlpf (l, m) to B1hlpf (l, m) (or the ratio of C1hlpf (l, m)) The ratio of A1vlpf (l, m) to C1vlpf (l, m) (or the ratio of B1vlpf (l, m)) and the output A from the first calculation means at a predetermined pixel in 1 row and m columns From the pixel value A (l, m), the pixel values B (l, m) and C (l, m) in the second color signal B and the third color signal C of l rows and m columns are represented by B (l, m) = A (l, m) × {B1hlpf (l, m) / A1hlpf (l, m)}, C (l, m) = A (l, m) × {C1vlpf (l, m) / A1vlppf ( l, m)} (or B (l, m) = A (l, m) × {B1vlpf (l, m) / A1vlpf (l, m)}, C (l, m) = A (l, m ) × {C1hlpf (l, m) / A1hlpf (l, m)}) and a predetermined image different from the position of the l row and m column. The value A2hlpf (x, y) through the low-pass filter in the horizontal direction for the output A from the first calculation means at the position of the prime x rows and y columns, the second color at the output from the signal calculation means A value B2hlpf (x, y) is calculated for the signal B through a horizontal low-pass filter, and the ratio of A2hlpf (x, y) to B2hlpf (x, y) and the output A from the first calculating means are The second color signal B (x, y) at the position of x row and y column is represented by B (x, y) = A (x, y) by the pixel value A (x, y) at the pixel x row and y column of ) × {B2hlpf (x, y) / A2hlpf (x, y)} and the third color signal C is similarly calculated from the horizontal direction signal calculating means for calculating the C signal and the first calculating means. Value A2vlpf () through a low-pass filter in the vertical direction with respect to the output A of , Y), a value B2vlpf (x, y) is calculated through a low-pass filter in the vertical direction for the second color signal B at the output from the signal calculating means, and A2vlpf (x, y) and B2vlpf (x , Y) and the pixel value A (x, y) in the pixel x row y column at the output A from the first calculating means, the second color signal B (x , Y) is calculated by B (x, y) = A (x, y) × {B2vlpf (x, y) / A2vlpf (x, y)}. Similarly, the third color signal C is also a C signal. Vertical direction signal calculation means for calculating the average value, and an average for calculating an average value of pixels adjacent obliquely at the position of the predetermined pixel x row y column in the second and third color signals in the output from the signal calculation means Value calculation means, and based on the output of the second edge determination means, the horizontal direction The number of pixels in the image sensor is obtained by selecting from the respective outputs from the signal calculating means, the vertical direction signal calculating means, and the average value calculating means to obtain the second and third color signals in the predetermined pixels x rows and y columns. 9. The imaging apparatus according to claim 1, wherein the second and third color signals are obtained. 上記色復元手段における第２の算出手段が、上記第２のエッジ判定手段の出力が所定画素ｘ行ｙ列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第２、第３の色信号を得ることを特徴とする請求項１０に記載の撮像装置。If the second calculation means in the color restoration means determines that the output of the second edge determination means does not detect the edge component at the position of the predetermined pixel x row y column, the output of the average value calculation means is selected. When it is determined that there is a correlation in the vertical direction, the output of the vertical direction signal calculation unit is selected. When it is determined that there is a correlation in the horizontal direction, the output of the horizontal direction signal calculation unit is selected. The image pickup apparatus according to claim 10, wherein second and third color signals of the number of pixels are obtained.

Images