JP3926019B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP3926019B2 JP3926019B2 JP01708398A JP1708398A JP3926019B2 JP 3926019 B2 JP3926019 B2 JP 3926019B2 JP 01708398 A JP01708398 A JP 01708398A JP 1708398 A JP1708398 A JP 1708398A JP 3926019 B2 JP3926019 B2 JP 3926019B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- color signal
- signal
- output
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【発明の属する技術分野】
この発明は、電子スチルカメラのような撮像装置における高画質化、小型化に関する。
【0002】
【従来の技術】
従来、電子スチルカメラのような撮像装置においては、小型化のために1枚の撮像素子(以下、単板撮像素子と呼ぶ)を用いている。図19は従来における撮像素子の代表的な色フィルタ配列の一例を示す図である。図において、RはRの光を通過させる分光特性を持った色フィルタを有した撮像素子であり、同様にB、Gについてもそれぞれの色フィルタを有した撮像素子である。図19に示されるように、nラインにはG、Rが2画素毎に配列され、n+1ラインではB、Gが2画素毎に配列されている。したがって、R、B信号は上下4画素毎(図中の斜線部)に、G信号は2画素毎に得られることとなり、撮像素子の画素数の各信号を得て解像度の向上を図るには、得られている画素信号より演算処理を行い撮像素子数のR、G、B信号を生成することとなる。
【0003】
図20は上記図19に示された原色の色フィルタを用いた撮像素子において、撮像素子からの信号よりR、G、B信号を生成する従来の撮像装置の構成の一例を示すブロック図である。図20において、101は撮像素子、102はフレームメモリ、103はフレームメモリ102における信号をR、G、Bそれぞれの信号に分離する分離手段、104は補間手段であり、上記撮像素子101は、図19に示すように、画素R、G、Bから構成される。
【0004】
次に、動作を説明する。撮像素子101から各画素信号R、G、Bを読み出し、フレームメモリ102に各画素信号を取り込む。前記フレームメモリ102に取り込まれた信号から、分離手段103により各信号を分離し、それぞれを補間手段104へと送る。補間手段104では、各R、G、B信号において得られていない画素の信号を隣接画素の信号より補間生成し、撮像素子すべての画素数のRGB信号を算出し出力される。
【0005】
ここで、上記補間手段104における補間方法の一例について図21により説明する。分離手段103により分離されたR、G、B信号は図21(a)(b)(c)に示されるようになり、図中G、R、Bで示された画素が撮像素子102より得られた各信号であり、一方、空白の画素が得られていない画素信号である。G信号(図21(a))については、垂直nライン、水平m番目の画素位置の信号g(以下、画素位置(n,m)と記す。)を補間するために、上下方向の隣接画素の差分(|G(n−1,m)−G(n+1,m)|)と左右方向の隣接画素の差分(|G(n,m−1)−G(n,m+1)|)を求め、この差分が少ない方向の画素信号により補間する。例えば、左右方向の隣接画素の差分が少ない場合は、g(n,m)=(G(n,m−1)+G(n,m+1))/2として算出し、上下方向の隣接画素の差分が少ない場合は、g(n,m)=(G(n−1,m)+G(n+1,m))/2として算出する。
【0006】
RおよびB信号(図21(b)および(c))については、まず水平方向の画素の補間を行い、次に垂直方向で補間を行う。例えば図21(b)のRについては、垂直n−1ライン、n+1ラインでの補間を行い、画素位置(n−1,m)(n+1,m)の信号を、
r(n−1,m)=(R(n−1,m−1)+R(n−1,m+1))/2
r(n+1,m)=(R(n+1,m−1)+R(n+1,m+1))/2
のように算出し、つぎにnラインの画素を上下(n−1およびn+1ライン)の画素の補間により各水平画素位置m−1、m、m+1の信号を求める。Bについても同様な方法で得られる。
【0007】
以上の補間方法により、補間手段104の出力において、撮像素子すべての画素数のR、G、B信号を算出することができる。
【0008】
また、図22は特開平6−178307号公報に示された上下2画素を混合して読み出す画素混合方式の撮像素子による従来の撮像装置の一例を示しており、上記の従来例と同様、撮像素子からの信号を水平走査3ラインから補間生成するよう構成する場合のブロック図を示したものである。同図において、105は撮像素子、106はフレームメモリ、107は信号選択回路、108は色補間回路、109はRGBマトリクスである。撮像素子105は、図22に示すように、4つの画素A,B,C,D(以下、各画素信号に付けられた番号は画素位置を示す)から構成され、画素混合読み出しにより色信号が生成できるようにA、Bの画素が1ライン毎に交互に配列される。
【0009】
次に、動作を説明する。撮像素子105から画素混合読み出しせずそのまま各画素信号を読み出し、フレームメモリ106に各画素信号を取り込む。前記フレームメモリ106に取り込まれた信号から、信号選択回路107により隣接した垂直3ラインの信号を選択し、色補間回路108へと送る。色補間回路108では、上記垂直3ラインの信号から各色信号A、B、C、Dを補間生成した後、RGBマトリクス回路109によりRGB信号として出力される。
【0010】
ここで、上記色補間回路108では各色信号を補間生成するのであるが、この補間方法について説明する。例えば、n2ラインの色信号補間生成では、信号選択回路107により垂直3ラインn1,n2,n3の信号が選択されて色補間回路108へと送られており、n2ラインにおいて得られている色信号はC、D画素であり、A,Bの画素はない。したがって、A,Bの画素については垂直方向でのn1、n3ラインの信号より補間するのであるが、n1、n3ラインではA,Bの画素位置が異なるので、水平方向の補間係数を変えることとなる。いま、補間後の色信号のn2ラインの3番目の画素(n2,3)に対し、補間前の水平5画素より各色信号A′、B′、C′、D′を補間生成するとすると、例えば、C′、D′については、水平方向のみ中心に重みをつけて補間生成し、
C23′=(C21/2+ C23+ C25/2)/2
D23′=(D22+ D24)/2
とする。一方、 A′、B′に対しては、
A23′=(A11/4+ A13/2+ A15/4 )/2+(A31/4+ A33/2+A35/4)/2
B23′=(B12/2+ B14/2)/2+(B32/2+ B34/2)/2
なる式から水平画素に重みをつけ補間することができる。
【0011】
次に、n3ラインの色信号の補間生成では、A、Bの画素はn3ラインから補間生成し、C、D画素についてはn2、n4ラインから補間生成する。つまり、画素位置(3、3)において、例えば、
A33′=(A32+ A34)/2
B33′=(B31/2+ B33+ B35/2)/2
C33′=( C21/4+ C23/2+ C25/4)/2+(C41/4+ C43/2+C45/4)/2
D33′=(D22/2+ D24/2)/2+(D42/2+ D44/2)/2
となる。
【0012】
以下、A,Bの画素配置がライン毎で入れ替わることを考慮し、n4ラインでは、画素位置(4、3)に対し、
A43′=(A31/4+A33/2+A35/4)/2+(A51/4+A53/2+A55/4)/2
B43′=(B32/2+ B34/2)/2+(B52/2+ B54/2)/2
C43′=(C41/2+ C43+ C45/2)/2
D43′=(D42+ D44)/2
n5ラインでは、画素位置(5、3)に対し、
A53′=(A52+ A54)/2
B53′=(B52+ B54)/2
C53′=(C41/4+C43/2+C45/4)/2+(C61/4+C63/2+C65/4)/2
D53′=(D42/2+ D44/2)/2+(D62/2+D64/2)/2
となる。以後、上記n2、n3,n4、n5ラインでの補間方法を順次繰り返すことにより、色信号A′、B′、C′、D′を生成することとなる。
【0013】
したがって、垂直3ラインにより色信号を補間生成しているので、色信号の垂直解像度劣化の少ない撮像素子の画素数の信号を得られる。なお、上記では、4つの色信号をA,B,C,Dとして説明しているが、これは、例えば、Mg(マゼンダ)、G(グリーン)、Cy(シアン)、Ye(イエロー)の4色が考えられ、また、色補間回路108での補間係数については色信号を補間生成できる係数であればよい。
【0014】
【発明が解決しようとする課題】
従来の撮像装置は、水平方向の隣接画素と上下のラインにおける画素信号による補間によって色信号を生成するよう構成されており、得られた色信号からの画像におけるエッジ等局所的な領域での空間周波数の変化を考慮しておらず、そのため、偽色、偽輪郭が生じるという問題点があった。
【0015】
この発明は上記のような問題点を解消するためになされたもので、垂直2行水平2列の上下4画素において、第1の色信号に対する分光感度特性を持つ第1の色フィルタと第2の色信号に対する分光感度特性を持つ第2の色フィルタとが垂直1行目に配列され、垂直2行目には上記垂直1行目における第1の色フィルタが配列された画素位置と同一の列に第3の色信号に対する分光感度特性を持つ第3の色フィルタが配列され、第2の色フィルタと同一の列に第1の色信号に対する分光感度特性を持つ第1の色フィルタが配列されており、上記上下4画素の色フィルタが順次垂直および水平方向に繰り返し配列される撮像素子を備えた撮像装置において、上記第1の色フィルタの位置における第1の色信号の所定画素位置におけるエッジ成分に基づき、第1の色信号における所定画素位置での信号を算出して撮像素子の画素数の信号を復元し、復元した第1の色信号と上記エッジ成分に基づき、第2および第3の色信号を算出して撮像素子の画素数分の信号を復元することにより、偽色、偽輪郭の軽減された画像を得る撮像装置を得ることを目的とする。
【0016】
【課題を解決するための手段】
この発明に係る撮像装置は、垂直2行水平2列の上下4画素において、第1の色信号に対する分光感度特性を持つ第1の色フィルタと第2の色信号に対する分光感度特性を持つ第2の色フィルタとが第1の行に配列され、第2の行においては上記第1の行における第1の色フィルタが配列された画素位置と同一の列に第3の色信号に対する分光感度特性を持つ第3の色フィルタが配列され、第2の色フィルタと同一の列に上記第1の色フィルタと同一の第1の色信号に対する分光感度特性を持つ第1の色フィルタが配列されており、上記上下4画素の色フィルタが順次垂直および水平方向に繰り返し配列される撮像素子を備えた撮像装置において、上記第1の色フィルタの位置における第1の色信号の所定画素位置の周辺画素信号に基づき、所定画素位置におけるエッジ成分を判定するエッジ判定手段と、前記エッジ判定手段の出力に基づき、上記第1、第2、第3の色フィルタの位置における第1、第2および第3の色信号により第1の色信号における上記所定画素位置での信号を算出する第1の算出手段と、上記エッジ判定手段の出力に基づき、第1の算出手段の出力と、第2および第3の色信号により第2および第3の色信号における信号を算出する第2の算出手段とを備え、上記撮像素子における画素数の第1、第2、第3の色信号を得るものである。
【0017】
また、この発明に係る撮像装置は、前記エッジ判定手段が、上記第1の色信号の所定画素位置における左右の隣接画素の差の絶対値を算出して水平方向のエッジ成分を検出する水平方向エッジ検出手段と、第1の色信号の所定画素位置における上下の画素の差の絶対値を算出して垂直方向のエッジ成分を検出する垂直方向エッジ検出手段と、前記水平方向エッジ検出手段と垂直方向エッジ検出手段からの出力に基づき、前記所定画素における水平または垂直方向のエッジ成分を判定する判定手段を備えるものである。
【0018】
また、この発明に係る撮像装置は、前記エッジ判定手段における判定手段が、上記水平方向エッジ検出手段からの出力または上記垂直方向エッジ検出手段からの出力が予め定めた値より大きい場合は、上記所定画素の周辺画素にエッジ成分を検出したとし、さらに、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より大きい場合は垂直方向により相関があり、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より小さい場合は水平方向により相関があると判定するとともに、上記水平方向エッジ検出手段および垂直方向エッジ検出手段からの出力がともに予め定めた値より小さい場合にはエッジ成分を検出しないと判定するものである。
【0019】
また、この発明に係る撮像装置は、前記第1の算出手段が、第2の色信号Bのある所定画素l行m列B(l、m)の位置において、第1の色信号A、第2の色信号Bのそれぞれに対し水平方向のローパスフィルタを介した値Ahlpf(l、m )、Bhlpf(l、m)を算出し、前記水平方向ローパスフィルタからの出力信号であるAhlpf(l、m)とBhlpf(l、m)との比と上記画素位置の画素値B(l、m)により、l行m列の第1の色信号Aにおける画素値A(l、m)を、A(l、m)=B(l、m)×{Ahlpf(l、m)/Bhlpf(l、m)}により算出し、第3の色信号Cのある他の画素位置においても同様に第1の色信号Aにおける画素値を算出する水平方向信号算出手段と、上記所定画素l行m列B(l、m)の位置において、第1の色信号A、第2の色信号Bのそれぞれに対し垂直方向のローパスフィルタを介した値Avlpf(l、m)、Bvlpf(l、m)を算出し、前記垂直方向ローパスフィルタからの出力信号であるAvlpf (l、m)とBvlpf(l、m)との比と上記画素位置の画素値B(l、m)により、l行m列の第1の色信号Aにおける画素値A(l、m)を、A(l、m)=B(l、m)×{Avlpf(l、m)/Bvlpf(l、m)}により算出し、第3の色信号Cのある他の画素位置においても同様に第1の色信号Aにおける画素値を算出する垂直方向信号算出手段と、第1の色信号Aにおける上記所定画素l行m列の位置での上下左右の隣接画素の平均値よりl行m列の第1の色信号Aにおける画素値A(l、m)を算出する平均値算出手段とを備え、上記エッジ判定手段の出力に基づき、上記水平方向信号算出手段の出力または垂直方向信号算出手段出力、または、平均値算出手段からの出力より選択し、上記所定画素l行m列における第1の色信号Aの画素値A(l、m)を得て、撮像素子における画素数の第1の色信号を得るものである。
【0020】
また、この発明に係る撮像装置は、前記第1の算出する手段が、上記エッジ判定手段の出力が所定画素l行m列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第1の色信号を得るものである。
【0021】
また、この発明に係る撮像装置は、上記第2の算出手段が、所定画素l行m列の位置において、上記第1の算出手段からの出力Aに対して水平方向のローパスフィルタを介した値A1hlpf(l、m)と垂直方向ローパスフィルタを介した値A1vlpf(l、m)を算出し、第2の色信号Bに対し水平方向のローパスフィルタを介した値B1hlpf(l、m)と第3の色信号Cに対し垂直方向のローパスフィルタを介した値C1vlpf(l、m)(または、第2の色信号Bに対し垂直方向のローパスフィルタを介した値B1vlpf(l、m)と第3の色信号Cに対して水平方向のローパスフィルタを介した値C1hlpf(l、m ))とを算出し、A1hlpf(l、m)とB1hlpf(l、m)との比(またはC1hlpf(l、m)との比)と、A1vlpf(l、m)とC1vlpf(l、m)との比(または、B1vlpf(l、m)との比)と、上記第1の算出手段からの出力Aにおける所定画素l行m列での画素値A(l、m)から、l行m列の第2の色信号Bと第3の色信号Cにおける画素値B(l、m)とC(l、m)を、B(l、m)=A(l、m)×{B1hlpf(l、m)/A1hlpf(l、m)}、C(l、m)=A(l、m)×{C1vlpf(l、m)/A1vlpf(l、m)}、(または、B(l、m)=A(l、m)× {B1vlpf(l、m)/A1vlpf(l、m)}C(l、m)=A(l、m)×{C1hlpf(l、m)/A1hlpf(l、m)})により算出する信号算出手段を備えるとともに、上記l行m列の位置とは異なる所定画素x行y列の位置において、上記第1の算出手段からの出力Aに対し水平方向のローパスフィルタを介した値A2hlpf(x、y)、前記信号算出手段からの出力での第2の色信号Bに対し水平方向のローパスフィルタを介した値B2hlpf(x、y)を算出し、A2hlpf(x、y)とB2hlpf(x、y)の比と上記第1の算出手段からの出力Aでの画素x行y列での画素値A(x、y)により、x行y列の位置における第2の色信号B(x、y)を、B(x、y)=A(x、y)×{B2hlpf(x、y)/A2hlpf(x、y)}により算出し、第3の色信号Cにおいても同様にC信号を算出する水平方向信号算出手段と、上記第1の算出手段からの出力Aに対し垂直方向のローパスフィルタを介した値A2vlpf(x、y)、前記信号算出手段からの出力での第2の色信号Bに対し垂直方向のローパスフィルタを介した値B2vlpf(x、y)を算出し、A2vlpf(x、y)とB2vlpf(x、y)の比と上記第1の算出手段からの出力Aでの画素x行y列での画素値A(x、y)により、x行y列の位置における第2の色信号B(x、y)を、B(x、y)=A(x、y)×{B2vlpf (x、y)/A2vlpf(x、y)}により算出し、第3の色信号Cにおいても同様にC信号を算出する垂直方向信号算出手段と、上記信号算出手段からの出力における第2、第3の色信号での所定画素x行y列の位置において、斜めに隣接する画素の平均値を算出する平均値算出手段とを備え、上記エッジ判定手段の出力に基づき、前記水平方向信号算出手段、垂直方向信号算出手段、平均値算出手段からのそれぞれの出力から選択して、上記所定画素x行y列での第2、第3の色信号を得て、撮像素子における画素数の第2、第3の色信号を得るものである。
【0022】
さらに、この発明に係る撮像装置は、前記第2の算出手段が、上記エッジ判定手段の出力が所定画素x行y列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第2、第3の色信号を得るものである。
【0023】
【発明の実施の形態】
以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態1.
図1はこの発明の実施の形態1による電子スチルカメラにおける撮像素子の色フィルタ配列の一例を示す図であり、原色の色フィルタを用い、各光電変換素子を独立に呼び出す方式の撮像素子を示している。図において、Gは垂直方向2i(i=0、1、2、…)、水平方向2j(j=0、1、2、…)の画素位置(以下、画素位置(2i,2j)のように記す。)と、画素位置(2i+1、2j+1)にあり、G信号を通過させる分光特性を持った第1の色フィルタ、Rは画素位置(2i、2j+1)にあり、R信号を通過させる分光特性を持った第2の色フィルタ、Bは画素位置(2i+1、2j)にあり、B信号を通過させる分光特性を持った第3の色フィルタである。図1に示されるように、R、B信号は上下4画素毎(図中の斜線部)に、G信号は2画素毎に得られることとなり、この上下4画素が垂直水平方向に繰り返し配列されている。
【0024】
図2は上記図1に示された色フィルタ配列の撮像素子をもつ実施の形態1による電子スチルカメラにおける撮像装置の構成を示すブロック図である。図において、1は図1に示す色フィルタ配列で構成された撮像素子、2はA/Dコンバータ、3はフレームメモリ、4はR、G、Bの各画素信号を分離しそれぞれの信号を出力する分離手段、5はG信号における所定画素でのエッジを判定する第1のエッジ判定手段、6は上記分離手段4からの各信号および前記第1のエッジ判定手段5からの出力に基づき、撮像素子1での総画素数のG信号を得るようGの復元を行うG成分復元手段である。7は上記G成分復元手段6の出力である総画素数の信号を持つ復元後のG信号と、上記分離手段4からのR、B信号からR、Bにおける画素位置(2i、2j)および(2i+1,2j+1)での画素を復元するための第1のRB成分復元手段、8は上記G成分復元手段6からのG信号における所定画素でのエッジを判定する第2のエッジ判定手段、9は上記第1のRB成分復元手段7からのR、B信号と上記第2のエッジ判定手段8からの出力に基づき、Rにおける画素位置(2i+1,2j)での画素R、およびBにおける画素位置(2i,2j+1)での画素Bを復元するための第2のRB成分復元手段である。
【0025】
また、図3は上記第1のエッジ判定手段5およびG成分復元手段6の一構成例を示すブロック図である。図において、11はG信号の所定画素における左右の画素の差分つまりエッジ成分を検出する水平方向エッジ検出手段、12はG信号の所定画素における上下画素の差分であるエッジ成分を検出する垂直方向エッジ検出手段、13は前記水平および垂直方向エッジ検出手段11および12から出力により、水平垂直方向での周辺画素での信号レベルの変化を判定し、その判定結果を出力する判定手段であり、水平方向エッジ検出手段11、垂直方向エッジ検出手段12および判定手段13により第1のエッジ判定手段5を構成する。14はG信号の所定画素での上下左右の画素の平均値を算出する平均値算出手段、15〜17は水平方向のローパスフィルタ、18はR信号と水平方向ローパスフィルタ15の位置における出力信号Ghlpfおよび水平方向ローパスフィルタ16の位置における出力信号Rhlpfから演算を行い、水平方向に相関をもつ画素位置(2i、2j+1)でのG信号を出力する演算手段、19はB信号と水平方向ローパスフィルタ15の位置における出力信号Ghlpfおよび水平方向ローパスフィルタ17の位置における出力信号Bhlpfにより演算を行い、水平方向に相関をもつ画素位置(2i+1、2j)でのG信号を出力する演算手段である。20〜22は垂直方向のローパスフィルタ、23はR信号と垂直方向ローパスフィルタ20の位置における出力信号Gvlpfおよび垂直方向ローパスフィルタ21の位置における出力信号Rvlpfにより演算を行い、垂直方向に相関をもつ画素位置(2i、2j+1)でのG信号を出力する演算手段、24はB信号と垂直方向ローパスフィルタ20の位置における出力信号Gvlpfおよび垂直方向ローパスフィルタ22の位置における出力信号Bvlpfにより演算を行い、垂直方向に相関をもつ画素位置(2i+1、2j)でのG信号を出力する演算手段である。25は切り換え手段であり、上記第1のエッジ判定手段5からの周辺画素の信号レベル変化を判定した結果と画素位置に基づき、Gの画素信号を上記平均値算出手段14、演算手段18、19および演算手段23、24、分離手段4からの信号より、切り換え選択する。
【0026】
また、図4は第2のエッジ判定手段8および第2のRB成分復元手段9の一構成例を示すブロック図である。図において、第2のエッジ判定手段8は、G信号の所定画素における左右の画素の差分を検出する水平方向エッジ検出手段30、および上下画素の差分を検出する垂直方向エッジ検出手段31、前記水平および垂直方向エッジ検出手段30および31からの出力により、水平垂直方向での周辺画素での信号レベルの変化を判定し、R信号の画素位置(2i+1,2j)に対する判定結果とB信号の画素位置(2i+1,2j)に対する判定結果を出力する判定手段32により構成される。Rにおける画素位置(2i+1,2j)での画素R、およびBにおける画素位置(2i,2j+1)での画素Bを復元するための第2のRB成分復元手段9においては、33はR信号での斜め方向に隣接する画素の平均値を算出するR平均値算出手段、34はG成分復元手段6からのG信号と第1のRB復元手段7からのR信号により、Rにおける画素位置(2i+1,2j)での画素信号を水平方向の隣接画素により演算するR水平方向演算手段、35は垂直方向の隣接画素により、前記と同様にして画素位置(2i+1,2j)での画素信号を演算するR垂直方向演算手段、36は上記第2のエッジ判定手段8からの判定結果に基づき、画素位置に応じR画素を切り換えるR切り換え手段であり、37はB信号での斜め方向に隣接する画素の平均値を算出するB平均値算出手段、38はG成分復元手段6からのG信号と第1のRB復元手段7からのB信号により、Bにおける画素位置(2i,2j+1)での画素信号を水平方向の隣接画素により演算するB水平方向演算手段、39は垂直方向の隣接画素により、前記と同様にして画素位置(2i,2j+1)での画素信号を演算するB垂直方向演算手段、40は上記第2のエッジ判定手段8からの判定結果に基づき、画素位置に応じB画素を切り換えるB切り換え手段である。
【0027】
次に動作について説明する。撮像素子1から各画素信号R、G、Bを読み出し、その出力はA/Dコンバータ2によりA/D変換され、フレームメモリ3に入力される。フレームメモリ3に入力された信号から、分離手段4により各R、G、B信号を分離し、G信号は第1のエッジ判定手段5とG成分復元手段6へと送られ、R、B信号はG成分復元手段6および第1のRB復元手段7へと送られる。第1のエッジ判定手段5ではG信号における所定画素位置でのエッジ成分を判定して判定結果をG成分復元手段6へと送り、G成分復元手段6では上記第1のエッジ判定手段5からの判定結果の基づき、撮像素子1での総画素数のG信号を得るようG成分の画素信号の復元を行うのであるが、この動作を図3に従って説明する。
【0028】
第1のエッジ判定手段5において、G信号は水平方向エッジ検出手段11および垂直方向エッジ判定手段12へと入力される。いま、撮像素子1におけるG成分は図1にあるように画素位置(2i、2j)と(2i+1、2j+1)で得られており、撮像素子の画素数のG信号を得るために、画素位置(2i、2j+1)と(2i+1、2j)の画素での信号を求めることとなる。図5は分離手段4からのそれぞれの画素位置でのG信号を示す図であり、図中Gは撮像素子1からのG信号を、gは信号が得られていない画素を示している。よって、水平方向エッジ検出手段11および垂直方向エッジ判定手段12では、画素位置(2i、2j+1)および(2i+1、2j)(図5中斜線で示すg)での左右および上下の画素の差分つまりエッジ成分を検出する。水平方向エッジ検出手段11では、上記画素位置での左右の画素の差の絶対値ΔHを得て、これを判定手段13へと出力し、垂直方向エッジ検出手段12では、上下の画素の差の絶対値ΔVを得て、判定手段13へと出力する。例えば、画素位置(2i、2j+1)においては、水平方向エッジ検出手段11で、
ΔH=|G(2i、2j)−G(2i、2j+2)| (1)
を算出し、垂直方向エッジ検出手段12で
ΔV=|G(2i−1、2j+1)−G(2i+1、2j+1)| (2)
を算出し、上記ΔH、ΔVを判定手段13へと送る。以下、この画素の差の絶対値をエッジ成分と呼ぶ。
【0029】
上記判定手段13では、水平方向でのエッジ成分ΔHおよび垂直方向エッジ成分ΔVにより、水平垂直方向での周辺画素での信号レベルの変化を判定し、その判定結果を示す信号ed1を出力する。つまり、ΔHとΔVの両方が予め定めた値th1以下の場合は、周辺画素での信号レベルの変化がないと判定し、例えばed1=1として出力する。一方、ΔHまたはΔVが予め定めた値th1より大きい場合は、その画素においてエッジ成分があると判定し、さらに、ΔH>ΔVの場合は垂直方向に相関が高いと判定して例えばed1=2を出力し、ΔH≦ΔVの場合は水平方向に相関が高いと判定して例えばed1=3を出力する。なお、Gが得られている画素位置(2i、2j)、(2i+1、2j+1)においてはエッジ成分を判定する必要はなく、判定手段13からは例えばed1=0を出力するものとする。判定手段13の出力ed1はG成分復元手段6における切り換え手段25へと送られる。
【0030】
次に、G成分復元手段6において、G信号は平均値算出手段14および水平方向ローパスフィルタ15、垂直方向ローパスフィルタ20へと入力される。平均値算出手段14では、画素位置(2i、2j+1)および(2i+1、2j)において上下左右4画素の値の平均値gaを算出し、切り換え手段25へと送る。水平方向ローパスフィルタ15からはGの水平方向のローパスフィルタを介した値Ghlpfが、垂直方向ローパスフィルタ20からはGの垂直方向のローパスフィルタを介した値Gvlpfが出力され、例えば画素位置(2i、2j+1)では次式のように算出される。
Ghlpf={G(2i、2j)+ G(2i、2j−2)
+G(2i、2j+2)+G(2i、2j+4)}/4 (3)
Gvlpf={G(2i−3、2j+1)+ G(2i−1、2j+1)
+G(2i+1、2j+1)+G(2i+3、2j+1)}/4 (4)
上記水平方向ローパスフィルタ15の出力Ghlpfは演算手段18および19へ、垂直方向ローパスフィルタ20の出力Gvlpfは演算手段23および24へと送られる。
【0031】
一方、R信号は水平方向ローパスフィルタ16、垂直方向ローパスフィルタ21へと入力されて、水平および垂直方向のローパスフィルタを介した値Rhlpf、Rvlpfを出力し、B信号については水平方向ローパスフィルタ17、垂直方向ローパスフィルタ22へと入力され、それぞれ水平および垂直方向のローパスフィルタを介した値Bhlpf、Bvlpfを出力する。ここで、撮像素子1におけるR成分は図1にあるように画素位置(2i、2j+1)で得られ、分離手段4からのそれぞれの画素位置でのR信号は図6(a)示されるようになり、また、B成分は画素位置(2i+1、2j)で得られ、分離手段4からの各画素位置でのB信号は図6(b)に示されるようになる。なお、空白の画素は撮像素子により信号を得られていない画素である。したがって、画素位置(2i、2j+1)ではR信号の水平および垂直方向ローパスフィルタ16および21を介した値を例えば次式により得る。
また、画素位置(2i+1、2j)ではB信号の水平および垂直方向ローパスフィルタ17および22を介した値を例えば次式により得る。
【0032】
なお、上記式(3)〜(8)は各水平方向ローパスフィルタおよび垂直方向ローパスフィルタ出力の算出例であり、フィルタのタップ数および係数は上記式(3)〜(8)に限るものではなく、他のタップ数および係数でもよい。
【0033】
そして、上記水平方向ローパスフィルタ16での出力Rhlpfは演算手段18へと送られ、演算手段18へはR信号と水平方向ローパスフィルタ15の出力信号Ghlpfも入力されており、画素位置(2i、2j+1)での水平方向の相関をもつG信号gh1(2i、2j+1)を次式
gh1(2i、2j+1)=R(2i、2j+1)×(Ghlpf/Rhlpf) (9)
により算出し、切り換え手段25へと送る。また、垂直方向ローパスフィルタ21での出力Rvlpfは演算手段23へと送られ、演算手段23へはR信号と垂直方向ローパスフィルタ20の出力信号Gvlpfも入力されており、画素位置(2i、2j+1)での垂直方向に相関をもつG信号gv1(2i、2j+1)を次式
gv1(2i、2j+1)=R(2i、2j+1)×(Gvlpf/Rvlpf) (10)
により算出し、切り換え手段25へと送る。
【0034】
同様に、上記水平方向ローパスフィルタ17での出力Bhlpfは演算手段19へと送られ、演算手段19へはB信号と水平方向ローパスフィルタ15の出力信号Ghlpfも入力されており、画素位置(2i+1、2j)での水平方向の相関をもつG信号gh2(2i+1、2j)を次式
gh2(2i+1、2j)=B(2i+1、2j)×(Ghlpf/Bhlpf) (11)
により算出し、切り換え手段25へと送る。また、垂直方向ローパスフィルタ22での出力Bvlpfは演算手段24へと送られ、演算手段24へはB信号と垂直方向ローパスフィルタ20の出力信号Gvlpfも入力されており、画素位置(2i+1、2j)での垂直方向に相関をもつG信号gv2(2i+1、2j)を次式
gv2(2i+1、2j)=B(2i+1、2j)×(Gvlpf/Bvlpf) (12)
により算出し、切り換え手段25へと送る。
【0035】
上記式(9)〜(12)による算出方式は、局所的領域での色の変化が少ないことを前提としており、つまり、局所的な領域での各色信号の比はほぼ等しいことにより、水平方向または垂直方向における局所的な領域での各色信号の比はR、G、Bの水平方向または垂直方向のローパスフィルタを介した値の比で与えられる。
【0036】
切り換え手段25では、第1のエッジ判定手段5における判定手段13からの周辺画素の信号レベル変化を判定した結果ed1と画素位置に基づき、Gの画素信号を上記平均値算出手段14、演算手段18、19および演算手段23、24、分離手段4からの信号より選択し切り換える。つまり、判定手段13による出力信号ed1が‘2’を示す場合、すなわち、その画素においてエッジ成分があると判定されるが、ΔH>ΔVで垂直方向に相関が高いと判定される場合は、各画素位置での垂直方向に相関を持つGを出力する演算手段の信号を選択する。判定手段13による出力信号ed1が‘3’を示す場合、すなわち、その画素においてエッジ成分があると判定されるが、ΔH≦ΔVで水平方向に相関が高いと判定される場合には、各画素位置での水平方向に相関を持つGを出力する演算手段の信号を選択する。さらに、判定手段13による出力信号ed1が‘1’を示す場合には、ΔHとΔVの両方が予め定めた値th1以下であり、周辺画素での信号レベルの変化がないと判定されるため、周波数の変化を考慮する必要がなく、平均値算出手段14によるG信号gaを選択する。
【0037】
すなわち、切り換え手段25において、画素位置(2i、2j+1)のG信号g(2i、2j+1)の場合は、判定手段13からの出力ed1=1では平均値算出手段14からのG信号gaを、ed=2の場合は演算手段23からのG信号gv1を、ed=3の場合は演算手段18からのG信号gh1を選択し、一方、画素位置(2i+1、2j)のG信号g(2i+1、2j)の場合は、判定手段13からの出力ed1=1では平均値算出手段14からのG信号gaを、ed=2の場合は演算手段24からのG信号gv2を、ed=3の場合は演算手段19からのG信号gh2を選択する。なお、Gが得られている画素位置(2i、2j)、(2i+1、2j+1)においては、判定手段13からは例えばed1=0が出力されており、このときは分離手段4からのG信号をそのまま出力すればよい。
【0038】
したがって、G成分復元手段6からは画素位置(2i、2j)、(2i、2j+1)、(2i+1、2j)、(2i+1、2j+1)それぞれの画素でのG信号が出力され、つまり、撮像素子の画素数分の解像度のG信号を得られる。このG成分復元手段6からの出力G0は次に、第1のRB成分復元手段7、および第2のエッジ判定手段8と第2のRB成分復元手段9へと送られる。
【0039】
次に、第1のRB成分復元手段7では、分離手段4からのR、B信号(図6 (a)および(b))と上記G成分復元手段6からの全画素の信号をもつG信号G0により、R、B信号それぞれにおける画素位置(2i、2j)および(2i+1,2j+1)での画素を復元生成する。図7(a)、(b)は第1のRB成分復元手段7におけるR、B信号の算出を説明するための各画素のR、Bを示す図であり、図中rおよびbは第1のRB成分復元手段7において復元生成されるR、B画素信号を示している。R信号での画素位置(2i、2j)においては、水平方向に隣接するの2iラインの画素が撮像素子1より得られており、また、G信号はG成分復元手段6により全画素復元されている(図5)。よって、画素位置(2i、2j)において、G、R信号に対して水平方向のローパスフィルタを介した値G1hlpf、R1hlpfを例えば、
により算出し、このG1hlpfとR1hlpfの比と画素G(2i、2j)により、画素位置(2i、2j)でのR信号r(2i、2j)を次式により算出する。
r(2i、2j)= G(2i、2j)×(R1hlpf/G1hlpf)
=G(2i、2j)×( R(2i、2j−1)+R(2i、2j+1))
/(g(2i、2j−1)+g(2i、2j+1)) (15)
【0040】
また、画素位置(2i+1、2j+1)においては、垂直方向に隣接する2j+1列の画素が撮像素子1より得られており、また、G信号はG成分復元手段6により全画素復元されているので、画素位置(2i+1、2j+1)において、G、R信号に対して垂直方向のローパスフィルタを介した値G1vlpf、R1vlpfを例えば、
により算出し、このG1vlpfとR1vlpfの比と画素G(2i+1、2j+1)により、画素位置(2i+1、2j+1)でのR信号r(2i+1、2j+1)を次式により算出する。
r(2i+1、2j+1)=G(2i+1、2j+1)×(R1vlpf/G1vlpf)
=G(2i+1、2j+1)×(R(2i、2j+1)+R(2i+2、2j+1))
/(g(2i、2j+1)+g(2i+2、2j+1)) (18)
【0041】
同様に、B信号については、画素位置(2i、2j)においては、垂直方向に隣接する2j列の画素が撮像素子1より得られており、また、G信号はG成分復元手段6により全画素復元されている(図5)。よって、画素位置(2i、2j)において、G、B信号に対して垂直方向のローパスフィルタを介した値G1vlpf、B1vlpfを例えば、
により算出し、このG1vlpfとB1vlpfの比と画素G(2i、2j)により、画素位置(2i、2j)でのB信号b(2i、2j)を次式により算出する。
b(2i、2j)= G(2i、2j)×(B1vlpf/G1vlpf)
=G(2i、2j)×( B(2i−1、2j)+B(2i+1、2j))
/(g(2i−1、2j)+g(2i+1、2j)) (21)
【0042】
また、画素位置(2i+1、2j+1)においては、水平方向に隣接するの2i+1ラインの画素が撮像素子1より得られており、また、G信号はG成分復元手段6により全画素復元されている。よって、画素位置(2i+1、2j+1)において、G、B信号に対して水平方向のローパスフィルタを介した値G1hlpf、B1hlpfを例えば、
により算出し、このG1hlpfとB1hlpfの比と画素G(2i+1、2j+1)により、画素位置(2i+1、2j+1)でのB信号b(2i+1、2j+1)を次式により算出する。
b(2i+1、2j+1)=G(2i+1、2j+1)×(B1hlpf/G1hlpf)
=G(2i+1、2j+1)×( B(2i+1、2j)+B(2i+1、2j+2))
/(g(2i+1、2j)+g(2i+1、2j+2)) (24)
【0043】
なお、上記式(15)、(18)、(21)、(24)は上記Gでの復元方法と同様局所的領域での色信号の変化が少ないことを前提としており、つまり、各信号の比は局所的な領域ではほぼ等しいということによる。また、式(13)〜(24)におけるG1hlpf、G1vlpf、R1hlpf、R1vlpf、B1hlpf、B1vlpfの算出式は、水平および垂直方向のローパスフィルタ出力の算出例であり、フィルタのタップ数および係数は上記に限るものではなく、他のタップ数および係数であってもよい。そして、第1のRB成分復元手段7からは図7に示すR、rおよびB、bの画素信号R1およびB1が出力されて、第2のRB成分復元手段9へと送られる。
【0044】
次に、第2のRB成分復元手段9および第2のエッジ判定手段8の動作について図4により説明する。第2のエッジ判定手段8において、G成分復元手段6から出力されたG信号G0は水平方向エッジ検出手段30および垂直方向エッジ判定手段31へと入力され、画素位置(2i、2j+1)および(2i+1、2j)の画素での左右および上下の画素の差分つまりエッジ成分を検出する。水平方向エッジ検出手段30では、上記画素位置での左右の画素の差の絶対値ΔHを得て、これを判定手段32へと出力し、垂直方向エッジ検出手段31では、上下の画素の差の絶対値ΔVを得て、判定手段32へと出力する。例えば、上記画素位置(2i、2j+1)においては、水平方向エッジ検出手段30で、
ΔH=|G(2i、2j)−G(2i、2j+2)|
を算出し、垂直方向エッジ検出手段31で、
ΔV=| G(2i−1、2j+1)−G(2i+1、2j+1)|
を算出し、上記ΔH、ΔVを判定手段32へと送る。以下、この画素の差の絶対値をエッジ成分と呼ぶ。
【0045】
上記判定手段32では、水平方向でのエッジ成分ΔHおよび垂直方向エッジ成分ΔVにより、水平垂直方向での周辺画素での信号レベルの変化を判定し、その判定結果を示す信号を出力するのであるが、ここで、上記第1のRB成分復元手段7により、R信号R1では画素位置(2i+1、2j)以外の画素信号が得られており(図7(a))、B信号B1では画素位置(2i、2j+1)以外の画素信号が得られている(図7(b))。したがって、画素位置(2i+1、2j)でのエッジ成分を判定した結果edrをR信号の画素位置(2i+1,2j)の復元に対して出力し、一方、画素位置(2i、2j+1)でのエッジ成分を判定した結果edbをB信号の画素位置(2i、2j+1)の復元に対して出力する。すなわち、画素位置(2i+1、2j)における判定結果edrと画素位置(2i、2j+1)における判定結果edbにおいて、ΔHとΔVの両方が予め定めた値th2以下の場合は、周辺画素での信号レベルの変化がないと判定し、例えばedr=1およびedb=1として出力する。一方、ΔHまたはΔVが予め定めた値th2より大きい場合は、その画素においてエッジ成分があると判定し、さらに、ΔH>ΔVの場合は垂直方向に相関が高いと判定して、例えばedr=2およびedb=2を出力し、ΔH≦ΔVの場合は水平方向に相関が高いと判定して例えばedr=3およびedb=3を出力する。なお、R、Bが得られている画素位置においてはエッジ成分を判定する必要はなく、判定手段32からは例えばedr=0およびedb=0を出力するものとする。そして、判定手段32の出力edrは第2のRB成分復元手段9におけるR切り換え手段36へ、また、出力edbは第2のRB成分復元手段9におけるB切り換え手段40へと送られる。
【0046】
次に、第2のRB成分復元手段9において、第1のRB成分復元手段7からのR信号出力R1はR平均値算出手段33、R水平方向演算手段34およびR垂直方向演算手段35、R切り換え手段36へと入力される。図8(a)は第2のRB成分復元手段9において画素位置(2i+1、2j)のR信号の復元を説明するための図であり、図中Rおよびrで示された画素は撮像素子で得られた信号と上記第1のRB復元手段7において復元された画素信号であり、よって、斜線で示されたr′画素の信号を求めることとなる。まず、R平均値算出手段33では、R信号R1において、画素位置(2i+1、2j)での斜め方向に隣接する4画素R(2i、2j−1)、R(2i、2j+1)、R(2i+2、2j−1)、R(2i+2、2j+1)の平均値raを次式により算出する。
ra(2i+1、2j)={ R(2i、2j−1)+R(2i、2j+1)
+ R(2i+2、2j−1)+R(2i+2、2j+1)}/4
【0047】
R水平方向演算手段34ではG成分復元手段6からのG信号G0(図5)も入力されており、RおよびG信号の画素位置(2i+1,2j)において、水平方向のローパスフィルタを介した値R2hlpf、G2hlpfを例えば、
により算出し、このR2hlpfとG2hlpfの比と画素g(2i+1、2j)により、次式の演算で(2i+1,2j)の水平方向に相関を持つ画素値rhを算出し出力する。
rh(2i+1、2j)=g(2i+1、2j)×(R2hlpf/G2hlpf)
=g(2i+1、2j)
×( r(2i+1、2j−1)+r(2i+1、2j+1))
/(G(2i+1、2j−1)+G(2i+1、2j+1)) (27)
【0048】
R垂直方向演算手段35ではG成分復元手段6からのG信号G0も入力されており、RおよびG信号における画素位置(2i+1,2j)において、垂直方向のローパスフィルタを介した値R2vlpf、G2vlpfを例えば、
R2vlpf=(r(2i、2j)+r(2i+2、2j))/2 (28)
G2vlpf=(G(2i、2j)+G(2i+2、2j))/2 (29)
により算出し、このR2vlpfとG2vlpfの比と画素g(2i+1、2j)により、次式の演算で(2i+1,2j)の垂直方向に相関を持つ画素値rvを算出し出力する。
rv(2i+1、2j)=g(2i+1、2j)×(R2vlpf/G2vlpf)
=g(2i+1、2j)×(r(2i、2j)+r(2i+2、2j))
/(G(2i、2j)+G(2i+2、2j)) (30)
【0049】
なお、上記式(27)、(30)は上述したように、局所的領域での色信号の変化が少ないことを前提としており、つまり、各信号の比は局所的な領域ではほぼ等しいということにより、また、式(25)〜(30)におけるG2hlpf、G2vlpf、R2hlpf、R2vlpfの算出式は、水平および垂直方向のローパスフィルタ出力の算出例であり、フィルタのタップ数および係数は上記に限るものではなく、他のタップ数および係数であってもよい。そして、上記出力rhおよびrvはともにR切り換え手段36へと送られる。
【0050】
R切り換え手段36では、第2のエッジ判定手段8における判定手段32からの周辺画素の信号レベル変化を判定した結果edrに基づき、画素位置(2i+1、2j)の信号を上記R平均値算出手段33、R水平方向演算手段34およびR垂直方向演算手段35、第1のRB成分復元手段7からの信号より選択し切り換える。つまり、判定手段32による出力信号edrが‘2’を示す場合、すなわち、その画素においてエッジ成分があると判定されるが、ΔH>ΔVで垂直方向に相関が高いと判定される場合は、垂直方向に相関を持つRを出力するR垂直方向演算手段35の信号rvを選択する。判定手段32による出力信号edrが‘3’を示す場合、すなわち、その画素においてエッジ成分があると判定されるが、ΔH≦ΔVで水平方向に相関が高いと判定される場合には、水平方向に相関を持つRを出力するR水平方向演算手段34の信号を選択する。さらに、判定手段32による出力信号edrが‘1’を示す場合には、ΔHとΔVの両方が予め定めた値th2以下であり、周辺画素での信号レベルの変化がないと判定されるため、周波数の変化を考慮する必要がなく、R平均値算出手段33によるR信号raを選択する。なお、Rが得られている画素位置(2i、2j)、(2i、2j+1)、(2i+1、2j+1)においては、判定手段32からは例えばedr=0が出力されており、このときは第1のRB成分復元手段7からのR信号をそのまま出力すればよい。
【0051】
B信号についても上記R信号での処理と同様であり、第2のRB成分復元手段9において、第1のRB成分復元手段7からのB信号出力B1はB平均値算出手段37、B水平方向演算手段38およびB垂直方向演算手段39、B切り換え手段40へと入力される。図8(b)は第2のRB成分復元手段9において画素位置(2i、2j+1)のB信号の復元を説明するための図であり、図中Bおよびbで示された画素は撮像素子で得られた信号と上記第1のRB復元手段7において復元された画素信号であり、よって、斜線で示されたb′画素の信号を求めることとなる。まず、B平均値算出手段37では、B信号B1において、画素位置(2i、2j+1)での斜め方向に隣接する4画素の平均値baを次式により算出する。
ba(2i、2j+1)={B(2i−1、2j)+B(2i−1、2j+2)
+B(2i+1、2j)+B(2i+1、2j+2)}/4
【0052】
B水平方向演算手段38ではG成分復元手段6からのG信号G0(図5)も入力されており、BおよびG信号における画素位置(2i,2j+1)において、水平方向のローパスフィルタを介した値B2hlpf、G3hlpfを例えば、B2hlpf=(b(2i、2j)+b(2i、2j+2))/2 (31)
G3hlpf=(G(2i、2j)+G(2i、2j+2))/2 (32)
により算出し、このB2hlpfとG3hlpfの比と画素g(2i、2j+1)により、次式の演算で(2i,2j+1)の水平方向に相関を持つ画素値bhを算出し出力する。
bh(2i、2j+1)=g(2i、2j+1)×(B2hlpf/G3hlpf)
=g(2i、2j+1)×(b(2i、2j)+b(2i、2j+2))
/(G(2i、2j)+G(2i、2j+2)) (33)
【0053】
B垂直方向演算手段39ではG成分復元手段6からのG信号G0も入力されており、BおよびG信号における画素位置(2i,2j+1)において、垂直方向のローパスフィルタを介した値B2vlpf、G3vlpfを例えば、
により算出し、このB2vlpfとG3vlpfの比と画素g(2i、2j+1)により、次式の演算で(2i,2j+1)の垂直方向に相関を持つ画素値bvを算出し出力する。
bv(2i、2j+1)=g(2i、2j+1)×(B2vlpf/G3vlpf)
=g(2i、2j+1)×(b(2i−1、2j+1)+b(2i+1、2j+1))
/(G(2i−1、2j+1)+G(2i+1、2j+1))(36)
【0054】
なお、上記式(33)、(36)は上述したように、局所的領域での色信号の変化が少ないことを前提としており、つまり、各信号の比は局所的な領域ではほぼ等しいということにより、また、式(31)〜(36)におけるG3hlpf、G3vlpf、B2hlpf、B2vlpfの算出式は、水平および垂直方向のローパスフィルタ出力の算出例であり、フィルタのタップ数および係数は上記に限るものではなく、他のタップ数および係数であってもよい。そして、上記出力bhおよびbvはともにB切り換え手段40へと送られる。
【0055】
B切り換え手段40では、第2のエッジ判定手段8における判定手段32からの周辺画素の信号レベル変化を判定した結果edbに基づき、画素位置(2i、2j+1)の信号を上記B平均値算出手段37、B水平方向演算手段38およびB垂直方向演算手段39、第1のRB成分復元手段7からの信号より選択し切り換える。つまり、判定手段32による出力信号edbが‘2’を示す場合、すなわち、その画素においてエッジ成分があると判定されるが、ΔH>ΔVで垂直方向に相関が高いと判定される場合は、垂直方向に相関を持つRを出力するR垂直方向演算手段39の信号bvを選択する。判定手段32による出力信号edbが‘3’を示す場合、すなわち、その画素においてエッジ成分があると判定されるが、ΔH≦ΔVで水平方向に相関が高いと判定される場合には、水平方向に相関を持つBを出力するB水平方向演算手段38の信号を選択する。さらに、判定手段32による出力信号edbが‘1’を示す場合には、ΔHとΔVの両方が予め定めた値th2以下であり、周辺画素での信号レベルの変化がないと判定されるため、周波数の変化を考慮する必要がなく、B平均値算出手段37によるB信号baを選択する。なお、Bが得られている画素位置(2i、2j)、(2i+1、2j)、(2i+1、2j+1)においては、判定手段32からは例えばedb=0が出力されており、このときは第1のRB成分復元手段7からのB信号をそのまま出力すればよい。
【0056】
以上より、第2のRB成分復元手段9からは画素位置(2i、2j)、(2i、2j+1)、(2i+1、2j)、(2i+1、2j+1)それぞれの画素でのRおよびB信号が出力され、つまり、撮像素子の画素数分の解像度のR、B信号を得られるとになる。G信号は上記G成分復元手段6においてすでに撮像素子の画素数分の解像度の信号を得ており、したがって、G成分を用い水平垂直方向のエッジ成分を判定して局所的な領域での空間周波数の変化を判定し、その判定結果に基づき各色信号の生成を切り換えるともに、エッジ成分が所定値を越える場合の信号の算出において、局所的な領域での色信号の比により算出を行い、エッジ成分が所定値以下では周辺画素の平均値で求めるので、そのため、偽色、偽輪郭が軽減された画像を得ることになる。
【0057】
図9は、ゾーンプレートを画像シミュレーションにより処理した場合の水平方向において発生する偽色レベル(color-alias level 、縦軸)と解像度(横軸)との関係を示すものであり、上記図20による従来技術による処理後の偽色レベルを波線で示し、図2による実施の形態1による処理後の偽色レベルを実線で示している。従来の技術による処理では多くの偽色が発生しているが、実施の形態1による処理では偽色の発生が抑圧されている。各処理でこの水平方向の偽色信号のレベルを積分して比較すると、約18.4dBの抑圧効果がある。
【0058】
また、図10は、垂直方向での発生する偽色レベル(color-alias level 、縦軸)と解像度(横軸)との関係を示すものであり、上記と同様に、上記図20による従来技術による処理後の偽色レベルを波線で示し、図2による実施の形態1による処理後の偽色レベルを実線で示している。従来の技術による処理では多くの偽色が発生しているが、実施の形態1による処理では偽色の発生が抑圧されており、垂直方向の偽色信号のレベルを積分して比較すると、約18.5dBの抑圧効果がある。
【0059】
さらに、図11および図12は、ゾーンプレートを画像シミュレーションにより処理した場合の水平方向における輝度信号のレベルをRGB信号より算出して縦軸に、解像度を横軸に示した図であり、図2による実施の形態1による処理後の場合を図11に、上記図20による従来技術による処理後の場合を図12に示す。また、垂直方向における輝度信号のレベルと解像度との関係を、図13に図2による実施の形態1による処理後の場合を、図14に上記図20による従来技術による処理後の場合示す。水平および垂直方向どちらに対しても、従来の技術による処理に比較して実施の形態1による処理ではレベルの低下が少なく、水平垂直方向の解像度が向上している。
【0060】
なお、上記実施の形態1では、撮像素子1の色フィルタの配列を図1に示す原色の色フィルタであり、各光電変換素子を独立に呼び出す方式の撮像素子とし、画素位置(2i,2j)と画素位置(2i+1、2j+1)(i=0、1、2、…、j=0、1、2、…)にG信号を通過させる分光特性を持った第1の色フィルタを、画素位置(2i、2j+1)にR信号を通過させる分光特性を持った第2の色フィルタを、画素位置(2i+1、2j)にB信号を通過させる分光特性を持った第3の色フィルタを配列した場合として説明したが、撮像素子におけるは第1、第2および第3の色フィルタの分光特性はR、G、Bに限るものではなく、例えば画素混合方式の撮像素子であってもよく、図15に示すように、画素位置(2i,2j)と画素位置(2i+1、2j+1)(i=0、1、2、…、j=0、1、2、…)に第1の信号Aを通過させる分光特性を持った第1の色フィルタを、画素位置(2i、2j+1)に第2の信号Bを通過させる分光特性を持った第2の色フィルタを、画素位置(2i+1、2j)に第3の信号Cを通過させる分光特性を持った第3の色フィルタを配列し、上記実施の形態1の処理により撮像素子の画素数分の各A、B、Cの信号を復元した後RGBの色信号を再生できればよく、上記と同様の効果を奏する。
【0061】
また、上記実施の形態1では、図1および図15の撮像素子の色フィルタの配列を画素位置(2i,2j)と画素位置(2i+1、2j+1)(i=0、1、2、…、j=0、1、2、…)に第1の色フィルタを、画素位置(2i、2j+1)に第2の色フィルタを、画素位置(2i+1、2j)に第3の色フィルタを配列した場合(図1、15中の斜線部分)として説明したが、図16に示されるように、画素位置(2i,2j+1)と画素位置(2i+1、2j)(i=0、1、2、…、j=0、1、2、…)に第1の色フィルタを、画素位置(2i、2j)に第2の色フィルタを、画素位置(2i+1、2j+1)に第3の色フィルタを配列した場合(図16中の斜線部分)でも同様の効果を奏し、上下4画素毎にnラインには第1の色フィルタ、第2の色フィルタが配列され、n+1ラインでは第3の色フィルタと第1の色フィルタが配列されて、上下のラインで第1のフィルタが斜め方向の画素に配列されていればよい。
【0062】
また、上記実施の形態1において、第1のエッジ判定手段5および第2のエッジ判定手段8においての判定結果を示す信号を、ΔHとΔVの両方が予め定めた値以下の場合は‘1’とし、エッジ成分があると判定しΔH>ΔVの場合は‘2’とし、ΔH≦ΔVの場合は‘3’とし、画素信号が得られている画素位置においては‘0’として出力する場合について説明しているが、これに限るものではなく、それぞれの判定結果を区別できる信号を出力するのであれば、他の値であってもよい。
【0063】
なお、上記実施の形態1では、ハードウェアにより図2の構成の処理を行う場合について説明しているが、撮像装置におけるソフトウェアにより同様の処理を行うことができることは言うまでもなく、上記実施の形態1と同様の効果を奏する。
【0064】
実施の形態2.
実施の形態1では第1のエッジ判定手段5において、G信号における画素位置(2i、2j+1)および(2i+1、2j)での上下左右でのエッジ成分を判定し、第2のエッジ判定手段8においては、R信号の復元に対してG信号における画素位置(2i+1、2j)でのエッジ成分を、B信号の復元に対しG信号における画素位置(2i、2j+1)でのエッジ成分を判定するよう構成したが、どちらも画素位置(2i、2j+1)、(2i+1、2j)での左右および上下の画素のエッジ成分を検出しており、これらの画素位置での上下左右の画素信号は撮像素子より得られた信号であるため、同一のエッジ成分を求めることとなる。よって、図17に示すように、1つのG成分エッジ判定手段によりG信号における画素位置(2i、2j+1)および(2i+1、2j)でのエッジ成分を判定するような構成とすることもできる。
【0065】
図17において、1〜4、6〜7、および9は上記実施の形態1での撮像装置と同一のものであり、41はG成分エッジ判定手段であり、水平方向エッジ検出手段42、垂直方向エッジ検出手段43、判定手段44により構成される。
【0066】
次に動作を説明する。撮像素子1から各画素信号R、G、Bを読み出し、A/Dコンバータ2によりA/D変換されてフレームメモリ3に入力され、分離手段4により各R、G、B信号を分離し、G成分復元手段6、第1のRB復元手段7および第2のRB復元手段9で撮像素子の画素数の各信号を生成し復元する動作は上記実施の形態1と同一であるのでその詳細な説明は省略する。
【0067】
G成分エッジ判定手段41には分離手段4におけるG信号(図18)が入力され、G成分エッジ判定手段41内の水平方向エッジ検出手段42、垂直方向エッジ検出手段43へと与えられる。水平方向エッジ検出手段42および垂直方向エッジ検出手段43においては画素位置(2i、2j+1)、(2i+1、2j)(図18中斜線で示す画素)での左右および上下の画素の差分つまりエッジ成分を検出する。つまり、水平方向エッジ検出手段42では、上記画素位置での左右の画素の差の絶対値ΔHgを得て、これを判定手段44へと出力し、垂直方向エッジ検出手段43では、上下の画素の差の絶対値ΔVgを得て、判定手段55へと出力する。例えば、画素位置(2i、2j+1)においては、水平方向エッジ検出手段42で、
ΔHg=|G(2i、2j)−G(2i、2j+2)|
を算出し、垂直方向エッジ検出手段43で
ΔVg=| G(2i−1、2j+1)−G(2i+1、2j+1)|
を算出し、上記ΔHg、ΔVgを判定手段44へと送る。
【0068】
上記判定手段44では、水平方向でのエッジ成分ΔHgおよび垂直方向エッジ成分ΔVgにより、水平垂直方向での周辺画素での信号レベルの変化を判定し、入力されるG信号の各画素位置に応じて、その判定結果を示す信号ed1をG成分復元手段6へ、edr、edbを第2のRB成分復元手段9へと出力する。各判定信号は、ΔHgとΔVgの両方が予め定めた値以下の場合は、周辺画素での信号レベルの変化がないと判定し、例えば‘1’とする。一方、ΔHgまたはΔVgが予め定めた値より大きい場合は、その画素においてエッジ成分があると判定し、さらに、ΔHg>ΔVgの場合は垂直方向に相関が高いと判定して例えば‘2’とし、ΔHg≦ΔVgの場合は水平方向に相関が高いと判定して例えば、‘3’とする。ここで、G成分復元手段6においては、画素位置(2i、2j+1)と(2i+1、2j)での画素を復元するため、両画素位置において上記エッジ判定結果をed1として出力し、Gが得られている画素位置(2i、2j)、(2i+1、2j+1)においては例えばed1=0を出力する。そして、判定手段44の出力ed1はG成分復元手段6における切り換え手段25へと送られる。
【0069】
一方、第2のRB成分復元手段9においては、R信号の画素位置(2i+1,2j)の復元を行い、B信号の画素位置(2i、2j+1)の復元を行う。よって、画素位置(2i+1、2j)において上記エッジ成分を判定した結果をedrとして、第2のRB成分復元手段9での処理する画素位置にタイミングを合わせて出力し、他の画素位置(2i、2j)、(2i、2j+1)、(2i+1、2j+1)においては例えばedr=0を出力する。そして、判定手段44の出力edrは第2のRB成分復元手段9におけるR切り換え手段36へと送られる。一方、画素位置(2i、2j+1)において上記エッジ成分を判定した結果をedbとして、第2のRB成分復元手段9での処理する画素位置にタイミングを合わせて出力し、他の画素位置(2i、2j)、(2i+1、2j)、(2i+1、2j+1)においては例えばedb=0を出力する。そして、判定手段44の出力edbは第2のRB成分復元手段9におけるB切り換え手段40へと送られる。
【0070】
よって、G成分エッジ判定手段41において、上記G成分復元手段6および第2のRB成分復元手段9におけるG、R、B信号を復元する画素位置に対応するG信号でのエッジ成分の判定結果を出力されることとなる。
【0071】
なお、上記実施の形態2では、画素位置(2i、2j)、(2i+1、2j+1)にG信号が、画素位置(2i、2j+1)にR信号が、画素位置(2i+1、2j+1)にB信号が撮像素子より得られる場合について説明したが、上記実施の形態1同様、画素位置(2i、2j+1)、(2i+1、2j)にG信号が、画素位置(2i、2j)にR信号が、画素位置(2i+1、2j+1)にB信号が配列されていてもよく、また、色信号はRGBに限ることはない。
【0072】
また、上記実施の形態1と同様、実施の形態2においても、図17の構成の処理を撮像装置におけるソフトウェアにより同様の処理を行うことができることは言うまでもなく、上記実施の形態2と同様の効果を奏する。
【0073】
【発明の効果】
この発明は、以上説明したように構成されているので、以下に示すような効果を奏する。
【0074】
この発明に係る撮像装置によれば、画素位置(2i、2j)(i=0、1、2、…およびj=0、1、2、…)と(2i+1、2j+1)に第1の色信号を通過させる分光特性を持った第1の色フィルタを、画素位置(2i、2j+1)に第2の色信号を通過させる分光特性を持った第2の色フィルタ、画素位置(2i+1、2j)に第3の色信号を通過させる分光特性を持った第3の色フィルタを配列した上下4画素が垂直水平方向に繰り返し配列された撮像素子において、第1の色フィルタの位置における第1の色信号の画素位置(2i、2j+1)、(2i+1、2j)において、周辺画素信号に基づきエッジ成分を判定し、この判定結果に基づき、第1、第2および第3の色信号により第1の色信号の上記画素位置での信号を算出して撮像素子の画素数の第1の色信号を復元し、上記エッジ判定結果に基づき、復元された第1の色信号と各色フィルタからの色信号により第2および第3の色信号を算出し撮像素子の画素数の第2、第3の色信号を得ることにより、偽色、偽輪郭の軽減された画像を得ることができる。
【0075】
また、この発明に係る撮像装置によれば、エッジ判定手段が、第1の色信号の所定画素における左右の隣接画素の差の絶対値を算出して水平方向のエッジ成分ΔHを検出し、上下の画素の差の絶対値を算出して垂直方向のエッジ成分ΔVを検出して、水平方向のエッジ成分ΔHと垂直方向のエッジ成分ΔVに基づき、前記所定画素における水平または垂直方向のエッジ成分を判定する判定することにより、局所的な領域での水平、垂直方向の空間周波数の変化を判定することができ、偽色、偽輪郭の軽減された画像を得ることができる。
【0076】
また、この発明に係る撮像装置によれば、前記エッジ判定手段における判定手段が、上記水平方向エッジ検出手段からの出力ΔHまたは上記垂直方向エッジ検出手段からの出力ΔVが予め定めた値より大きい場合は、所定画素の周辺画素にエッジ成分を検出したとし、さらに、ΔH>ΔVであれば垂直方向により相関があり、ΔH≦ΔVであれば水平方向により相関があると判定するとともに、上記ΔHとΔVがともに予め定めた値より小さい場合にはエッジ成分を検出しないと判定することにより、局所的な領域での水平、垂直方向の空間周波数の変化を判定することができ、偽色、偽輪郭の軽減された画像を得ることができる。
【0077】
また、この発明に係る撮像装置によれば、第1の色信号を算出して復元する手段が、第2の色信号Bのある所定画素l行m列B(l、m)の位置(l=2i、m=2j+1またはl=2i+1、m=2j)において、第1の色信号A、第2の色信号Bのそれぞれに対して水平方向のローパスフィルタを介した値Ahlpf(l、m)、Bhlpf(l、m)を算出し、前記水平方向ローパスフィルタからの出力信号であるAhlpf(l、m)とBhlpf(l、m)との比と上記画素位置の画素値B(l、m)により、l行m列の第1の色信号Aにおける画素値A(l、m)を、A(l、m)=B(l、m)×{Ahlpf(l、m)/Bhlpf(l、m)}により算出し、第3の色信号Cのある他の画素位置においても同様に第1の色信号Aにおける画素値を算出する水平方向信号算出手段と、上記所定画素l行m列B(l、m)の位置において、第1の色信号A、第2の色信号Bのそれぞれに対して垂直方向のローパスフィルタを介した値Avlpf(l、m)、Bvlpf(l、m)を算出し、前記垂直方向ローパスフィルタからの出力信号であるAvlpf(l、m)とBvlpf(l、m)との比と上記画素位置の画素値B(l、m)により、l行m列の第1の色信号Aである画素値A(l、m)を、A(l、m)=B(l、m)×{Avlpf(l、m)/Bvlpf(l、m)}により算出し、第3の色信号Cのある他の画素位置においても同様に第1の色信号Aにおける画素値を算出する垂直方向信号算出手段と、第1の色信号Aにおける上記所定画素l行m列の位置での上下左右の隣接画素の平均値よりl行m列の第1の色信号Aにおける画素値A(l、m)を算出する平均値算出手段とを備え、上記エッジ判定手段の出力に基づき、上記水平方向信号算出手段の出力または垂直方向信号算出手段出力、または、平均値算出手段からの出力より選択し、上記所定画素l行m列における第1の色信号Aの画素値A(l、m)を得て、撮像素子における画素数の第1の色信号を得ることにより、偽色、偽輪郭の軽減された画像を得ることができる。
【0078】
また、この発明に係る撮像装置によれば、前記第1の色信号を算出する手段が、上記エッジ判定手段の出力が所定画素l行m列位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第1の色信号を得ることにより、偽色、偽輪郭の軽減された画像を得ることができる。
【0079】
また、この発明に係る撮像装置によれば、第2、第3の色信号を算出して復元する手段が、所定画素l行m列の位置(l=2i、m=2jまたはl=2i+1、m=2j+1)において、上記第1の色信号を算出する手段からの出力Aに対し水平方向のローパスフィルタを介した値A1hlpf(l、m)と垂直方向ローパスフィルタを介した値A1vlpf(l、m)を算出し、第2の色信号Bに対して水平方向のローパスフィルタを介した値B1hlpf(l、m)と第3の色信号Cに対して垂直方向のローパスフィルタを介した値C1vlpf(l、m)(または、第2の色信号Bに対して垂直方向のローパスフィルタを介した値B1vlpf(l、m)と第3の色信号Cに対して水平方向のローパスフィルタを介した値C1hlpf(l、m))とを算出し、A1hlpf(l、m)とB1hlpf(l、m)との比(またはC1hlpf(l、m)との比)と、A1vlpf(l、m)とC1vlpf(l、m)との比(または、B1vlpf(l、m)との比)と、第1の色信号を算出する手段からの出力Aにおける所定画素l行m列での画素値A(l、m)から、l行m列の第2の色信号Bと第3の色信号Cにおける画素値B(l、m)とC(l、m)を、B(l、m)=A(l、m)×{B1hlpf(l、m)/A1hlpf(l、m)}、C(l、m)=A(l、m)×{C1vlpf(l、m)/A1vlpf(l、m)}、(または、B(l、m)=A(l、m)×{B1vlpf(l、m)/A1vlpf(l、m)}、C(l、m)=A(l、m)×{C1hlpf (l、m)/A1hlpf(l、m)})により算出する信号算出手段を備えるとともに、上記l行m列の位置とは異なる所定画素x行y列の位置(x=2i+1、y=2jまたはx=2i、y=2j+1)において、上記第1の色信号を算出する手段からの出力Aに対し水平方向のローパスフィルタを介した値A2hlpf(x、y)、前記信号算出手段からの出力での第2の色信号Bに対し水平方向のローパスフィルタを介した値B2hlpf(x、y)を算出し、A2hlpf(x、y)とB2hlpf(x、y)の比と上記第1の算出手段からの出力Aでの画素x行y列での画素値A(x、y)により、x行y列の位置における第2の色信号B(x、y)を、B(x、y)=A(x、y)×{B2hlpf(x、y)/A2hlpf(x、y)}により算出し、第3の色信号Cにおいても同様にC信号を算出する水平方向信号算出手段と、上記第1の色信号を算出する手段からの出力Aに対し垂直方向のローパスフィルタを介した値A2vlpf(x、y)、前記信号算出手段からの出力での第2の色信号Bに対して垂直方向のローパスフィルタを介した値B2vlpf(x、y)を算出し、A2vlpf(x、y)とB2vlpf(x、y)の比と上記第1の算出手段からの出力Aでの画素x行y列での画素値A(x、y)により、x行y列の位置における第2の色信号B(x、y)を、B(x、y)=A(x、y)×{B2vlpf(x、y)/A2vlpf(x、y)}により算出し、第3の色信号Cにおいても同様にC信号を算出する垂直方向信号算出手段と、上記信号算出手段からの出力における第2、第3の色信号での所定画素x行y列の位置において、斜めに隣接する画素の平均値を算出する平均値算出手段とを備え、上記エッジ判定手段の出力に基づき、前記水平方向信号算出手段、垂直方向信号算出手段、平均値算出手段からのそれぞれの出力から選択して、上記所定画素x行y列での第2、第3の色信号を得て、撮像素子における画素数の第2、第3の色信号を得ることにより、偽色、偽輪郭の軽減された画像を得ることができる。
【0080】
さらに、この発明に係る撮像装置によれば、前記第2、第3の色信号を算出する手段が、上記エッジ判定手段の出力が所定画素x行y列の位置においてエッジ成分を検出しないと判定した場合は上記平均値算出手段の出力を選択し、垂直方向に相関があると判定した場合は上記垂直方向信号算出手段の出力を選択し、水平方向に相関があると判定した場合は上記水平方向信号算出手段の出力を選択し、撮像素子における画素数の第2、第3の色信号を得ることにより、偽色、偽輪郭の軽減された画像を得ることができる。
【図面の簡単な説明】
【図1】 この発明の実施の形態1における撮像素子の色フィルタの配列の一例を示す図である。
【図2】 この発明の実施の形態1による撮像装置の構成の一例を示すブロック図である。
【図3】 この発明の実施の形態1による撮像装置における第1のエッジ判定手段5とG成分復元手段6の構成の一例を示すブロック図である。
【図4】 この発明の実施の形態1による撮像装置における第2のエッジ判定手段8と第2のRB成分復元手段9の構成の一例を示すブロック図である。
【図5】 この発明の実施の形態1による撮像装置におけるG信号の復元の動作を説明するためのG信号の画素を示す図である。
【図6】 この発明の実施の形態1による撮像装置におけるG信号の復元の動作を説明するためのR信号およびB信号の画素を示す図である。
【図7】 この発明の実施の形態1による撮像装置における第1のRB成分復元装置7の動作を説明するためのR、B信号の画素を示す図である。
【図8】 この発明の実施の形態1による撮像装置における第2のエッジ判定手段8と第2のRB成分復元手段9の動作を説明するためのR、B信号の画素を示す図である。
【図9】 この発明の実施の形態1による撮像装置と従来の装置により処理したシミュレーション画像での水平方向の解像度での偽色レベルを示す図である。
【図10】 この発明の実施の形態1による撮像装置と従来の装置により処理したシミュレーション画像での垂直方向の解像度での偽色レベルを示す図である。
【図11】 この発明の実施の形態1による撮像装置により処理したシミュレーション画像での水平方向の解像度での輝度信号のレベルを示す図である。
【図12】 従来の装置により処理したシミュレーション画像での水平方向の解像度での輝度信号のレベルを示す図である。
【図13】 この発明の実施の形態1による撮像装置により処理したシミュレーション画像での垂直方向の解像度での輝度信号のレベルを示す図である。
【図14】 従来の装置により処理したシミュレーション画像での垂直方向の解像度での輝度信号のレベルを示す図である。
【図15】 この発明の実施の形態1による撮像素子の他の色フィルタ配列の例を示す図である。
【図16】 この発明の実施の形態1による撮像素子の他の色フィルタ配列の例を示す図である。
【図17】 この発明の実施の形態2による撮像装置の構成の一例を示すブロック図である。
【図18】 この発明の実施の形態2による撮像装置におけるG成分エッジ判定手段41の動作を説明するためのG信号の画素を示す図である。
【図19】 従来の撮像装置における撮像素子の色フィルタ配列の一例を示す図である。
【図20】 従来の撮像装置の構成の一例を示すブロック図である。
【図21】 従来の撮像装置の動作を説明するための各信号の画素を示す図である。
【図22】 従来の撮像装置の他の構成の例を示すブロック図である。
【符号の説明】
1 撮像素子、2 A/Dコンバータ、3 フレームメモリ、4 分離手段、5 第1のエッジ判定手段、6 G成分復元手段、7 第1のRB成分復元手段、8 第2のエッジ判定手段、9 第2のRB成分復元手段、11,30,42水平方向エッジ検出手段、12,31,43 垂直方向エッジ検出手段、13判定手段、14 平均値算出手段、15〜17 水平方向ローパスフィルタ、18,19 演算手段、20〜22 垂直方向ローパスフィルタ、23、24 演算手段、25 切り換え手段、32 判定手段、33 R平均値算出手段、34 R水平方向演算手段、35 R垂直方向演算手段、36 R切り換え手段、37 B平均値算出手段、38 B水平方向演算手段、39 B垂直方向演算手段、40 B切り換え手段、41 G成分エッジ判定手段、44判定手段。
Claims (7)
- 水平垂直2行2列の4画素において、第1の色信号に対する分光感度特性を持つ第1の色フィルタと第2の色信号に対する分光感度特性を持つ第2の色フィルタとが1行目に配列され、2行目には上記1行目の第1の色フィルタが配列された画素位置と同一の列に第3の色信号に対する分光感度特性を持つ第3の色フィルタが配列され、第2の色フィルタと同一の列に第1の色信号に対する分光感度特性を持つ第1の色フィルタが配列されており、上記2行2列の4画素の色フィルタが順次垂直及び水平方向に繰り返し配列される撮像素子を備えた撮像装置において、
上記第2または第3の色フィルタの位置における第2または第3の色信号の所定画素位置の周辺の第1の色信号に基づき、所定画素位置におけるエッジ成分を判定する第1のエッジ判定手段と、
前記第1、第2及び第3の色信号の水平方向の低周波信号成分を生成する第1、第2及び第3の水平方向ローパスフィルタと、
前記第1、第2及び第3の色信号の垂直方向の低周波信号成分を生成する第1、第2及び第3の垂直方向ローパスフィルタと、
前記第1及び第2の水平方向ローパスフィルタから得られた前記第2の色フィルタ位置における第1及び第2の色信号の水平方向の低周波信号成分と、前記第2の色フィルタ位置における第2の色信号とから、第2の色フィルタ位置における第1の色信号を算出する第1の演算手段と、
前記第1及び第2の垂直方向ローパスフィルタから得られた前記第2の色フィルタ位置における第1及び第2の色信号の垂直方向の低周波信号成分と、前記第2の色フィルタ位置における第2の色信号とから、第2の色フィルタ位置における第1の色信号を算出する第2の演算手段と、
前記第1及び第3の水平方向ローパスフィルタから得られた前記第3の色フィルタ位置における第1及び第3の色信号の水平方向の低周波信号成分と、前記第3の色フィルタ位置における第3の色信号とから、第3の色フィルタ位置における第1の色信号を算出する第3の演算手段と、
前記第1及び第3の垂直方向ローパスフィルタから得られた前記第3の色フィルタ位置における第1及び第3の色信号の垂直方向の低周波信号成分と、前記第3の色フィルタ位置における第3の色信号とから、第3の色フィルタ位置における第1の色信号を算出する第4の演算手段と、
周辺の第1の色信号の平均値を算出する第5の演算手段と、
第1の色フィルタ位置における第1の色信号、及び前記第1乃至第5の演算手段の出力信号を前記第1のエッジ判定手段の出力に基づいて切り替える切り替え手段と
を具備した第1の色信号復元手段と、
前記第1の色フィルタ位置の第1の色信号の所定位置において、第1の色信号の所定位置における第2の色信号の低周波成分と、第1の色信号の低周波成分と、前記第1の色信号復元手段から出力された第1の色フィルタ位置における第1の色信号とから第2の色信号を生成し、かつ第1の色信号の所定位置における第3の色信号の低周波成分と、第1の信号の低周波成分と、前記第1の色信号復元手段から出力された第1の色フィルタ位置における第1の色信号とから第3の色信号を生成する第2の色信号復元手段と、
前記第1の色信号復元手段から出力された第2または第3の色フィルタの位置における第2または第3の色信号の所定画素位置の周辺の第1の色信号に基づき、所定画素位置におけるエッジ成分を判定する第2のエッジ判定手段と、
前記第2の色フィルタ位置の第2の色信号の所定の位置において、前記第1の色信号復元手段より出力された第1の色信号と、前記第1の色信号復元手段から出力された第1の色信号の水平方向の低周波数成分と、前記第2の色信号復元手段から出力された第3の色信号の水平方向の低周波数成分とから第2の色信号の所定位置における第3の色信号を算出する第1の水平方向演算手段と、
前記第2の色フィルタ位置の第2の色信号の所定の位置において、前記第1の色信号復元手段より出力された第1の色信号と、前記第1の色信号復元手段から出力された第1の色信号の垂直方向の低周波数成分と、前記第2の色信号復元手段から出力された第3の色信号の垂直方向の低周波数成分とから第2の色信号の所定位置における第3の色信号を算出する第1の垂直方向演算手段と、
前記第2の色信号復元手段から出力された周辺の第3の色信号の平均値を算出する第1の平均値算出手段と、
前記第3の色フィルタ位置の第3の色信号の所定の位置において、前記第1の色信号復元手段より出力された第1の色信号と、前記第1の色信号復元手段から出力された第1の色信号の水平方向の低周波数成分と、前記第2の色信号復元手段から出力された第2の色信号の水平方向の低周波数成分とから第3の色信号の所定位置における第2の色信号を算出する第2の水平方向演算手段と、
前記第3の色フィルタ位置の第3の色信号の所定の位置において、前記第1の色信号復元手段より出力された第1の色信号と、前記第1の色信号復元手段から出力された第1の色信号の垂直方向の低周波数成分と、前記第2の色信号復元手段から出力された第2の色信号の垂直方向の低周波数成分とから第3の色信号の所定位置における第2の色信号を算出する第2の垂直方向演算手段と、
前記第2の色信号復元手段から出力された周辺の第2の色信号の平均値を算出する第2の平均値算出手段と、
前記第1の水平方向演算手段、前記第1の垂直方向演算手段及び前記第1の平均値算出手段の出力を前記第2のエッジ判定手段の出力に基づいて切り替え、前記第2の水平方向演算手段、前記第2の垂直方向演算手段及び前記第2の平均値算出手段の出力を、前記第2のエッジ判定手段の出力に基づいて切り替える切り替え手段と
を具備した第3の色信号復元手段と
を備えたことを特徴とする撮像装置。 - 前記第1のエッジ判定手段が、
上記第2または第3の色信号の所定画素位置における左右の隣接画素の第1の色信号の差を算出して水平方向のエッジ成分を検出する水平方向エッジ検出手段と、
上記第2または第3の色信号の所定画素位置における上下の隣接画素の第1の色信号の差を算出して垂直方向のエッジ成分を検出する垂直方向エッジ検出手段と、
前記水平方向エッジ検出手段と垂直方向エッジ検出手段からの出力に基づき、前記所定画素における水平または垂直方向のエッジ成分を判定する判定手段を
備えることを特徴とする請求項1記載の撮像装置。 - 前記第1のエッジ判定手段における判定手段が、上記水平方向エッジ検出手段からの出力または上記垂直方向エッジ検出手段からの出力が予め定めた値より大きい場合は、上記所定画素の周辺画素にエッジ成分を検出したとし、さらに、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より大きい場合は垂直方向により相関があり、水平方向エッジ検出手段からの出力が上記垂直方向エッジ検出手段の出力より小さい場合は水平方向により相関があると判定するとともに、上記水平方向エッジ検出手段および垂直方向エッジ検出手段からの出力がともに予め定めた値より小さい場合にはエッジ成分を検出しないと判定することを特徴とする請求項1または請求項2記載の撮像装置。
- 前記第1の色信号復元手段において、
前記第1の水平方向ローパスフィルタは、前記第2の色フィルタ位置(2i,2j+1)(i、jは整数)における第1の色信号の水平方向の低周波数信号成分Ahlpf(2i,2j+1)を算出し、
前記第2の水平方向ローパスフィルタは、前記第2の色フィルタ位置(2i,2j+1)における第2の色信号の水平方向の低周波数信号成分Bhlpf(2i,2j+1)を算出し、
前記第1の垂直方向ローパスフィルタは、前記第2の色フィルタ位置(2i,2j+1)における第1の色信号の垂直方向の低周波数信号成分Avlpf(2i,2j+1)を算出し、
前記第2の垂直方向ローパスフィルタは、前記第2の色フィルタ位置(2i,2j+1)における第2の色信号の垂直方向の低周波数信号成分Bvlpf(2i,2j+1)を算出し、
前記第1の演算手段は、前記第1及び第2の水平方向ローパスフィルタの出力および(2i,2j+1)位置の第2の色信号B(2i,2j+1)から(2i,2j+1)位置における第1の色信号
Ah(2i,2j+1)を
B(2i,2j+1)×(Ahlpf(2i,2j+1)/Bhlpf(2i,2j+1))
として算出し、
前記第2の演算手段は、前記第1及び第2の垂直方向ローパスフィルタの出力および(2i,2j+1)位置の第2の色信号B(2i,2j+1)から(2i,2j+1)位置における第1の色信号
Av(2i,2j+1)を
B(2i,2j+1)×(Avlpf(2i,2j+1)/Bvlpf(2i,2j+1))として算出し、
前記第1の水平方向ローパスフィルタは、さらに前記第3の色フィルタ位置(2i+1,2j)(i、jは整数)における第1の色信号の水平方向の低周波数信号成分Ahlpf(2i+1,2j)を算出し、
前記第3の水平方向ローパスフィルタは、前記第3の色フィルタ位置(2i+1,2j)における第3の色信号の水平方向の低周波数信号成分Chlpf(2i+1,2j)を算出し、
前記第1の垂直方向ローパスフィルタは、さらに前記第3の色フィルタ位置(2i+1,2j)における第1の色信号の垂直方向の低周波数信号成分Avlpf(2i+1,2j)を算出し、
前記第3の垂直方向ローパスフィルタは、前記第3の色フィルタ位置(2i+1,2j)における第3の色信号の垂直方向の低周波数信号成分Cvlpf(2i+1,2j)を算出し、
前記第3の演算手段は、前記第1及び第3の水平方向ローパスフィルタの出力および(2i+1,2j)位置の第3の色信号C(2i+1,2j)から(2i+1,2j)位置における第1の色信号
Ah(2i+1,2j)を
C(2i+1,2j)×(Ahlpf(2i+1,2j)/Chlpf(2i+1,2j))として算出し、
前記第4の演算手段は、前記第1及び第3の垂直方向ローパスフィルタの出力および(2i+1,2j)位置の第3の色信号C(2i+1,2j)から第1の色信号
Av(2i,2j+1)を
C(2i+1,2j)×(Avlpf(2i+1,2j)/Cvlpf(2i+1,2j))として算出し、
前記第5の演算手段は、前記(2i,2j+1)および(2i+1,2j)の位置において上下左右の第1の色信号の平均値を算出し、
前記切り替え手段は、前記第1のエッジ判定手段の出力に基づき、前記第1の演算手段の出力または前記第2の演算手段の出力または前記第5の演算手段の出力のいずれかを(2i,2j+1)の位置における第1の色信号とし、前記第3の演算手段の出力または前記第4の演算手段の出力または前記第6の演算手段の出力のいずれかを(2i+1,2j)の位置における第1の色信号とする
ことを特徴とする請求項1記載の撮像装置。 - 前記第1の色信号復元手段の前記切り替え手段は、
前記第1のエッジ判定手段の出力が第2の色フィルタ位置(2i,2j+1)においてエッジ成分を検出しないと判定した場合は、前記第5の演算手段の出力を選択し、水平方向に相関があると判定した場合は前記第1の演算手段の出力を選択し、垂直方向に相関があると判定した場合は前記第2の演算手段の出力を選択し、第3の色フィルタ位置(2i+1,2j)においてエッジ成分を検出しないと判定した場合は、前記第5の演算手段の出力を選択し、水平方向に相関があると判定した場合は前記第3の演算手段の出力を選択し、垂直方向に相関があると判定した場合は前記第4の演算手段の出力を選択することを特徴とする請求項4記載の撮像装置。 - 前記第3の色信号復元手段において、
前記第1の水平方向演算手段は、前記第2の色フィルタ位置(2i,2j+1)(i、jは整数)における第1の色信号復元手段の出力値から得られる第1の色信号の水平方向の低周波数信号成分ahlpf(2i,2j+1)と、第2の色信号復元手段の出力値から得られる第3の色信号の水平方向の低周波数信号成分chlpf(2i,2j+1)と、第1の色信号復元手段によって復元された(2i,2j+1)位置の第1の色信号a(2i,2j+1)とから、
(2i,2j+1)位置における第3の色信号
Ch(2i,2j+1)を
a(2i,2j+1)×(chlpf(2i,2j+1)/ahlpf(2i,2j+1))として算出し、
前記第1の垂直方向演算手段は、前記第2の色フィルタ位置(2i,2j+1)における第1の色信号復元手段の出力値から得られる第1の色信号の垂直方向の低周波数信号成分avlpf(2i,2j+1)と、第2の色信号復元手段の出力値から得られる第3の色信号の垂直方向の低周波数信号成分cvlpf(2i,2j+1)と、第1の色信号復元手段によって復元された(2i,2j+1)位置の第1の色信号a(2i,2j+1)とから、(2i,2j+1)位置における第3の色信号
Cv(2i,2j+1)を
a(2i,2j+1)×(cvlpf(2i,2j+1)/avlpf(2i,2j+1))
として算出し、
前記第2の水平方向演算手段は、前記第3の色フィルタ位置(2i+1,2j)(i、jは整数)における第1の色信号復元手段の出力値から得られる第1の色信号の水平方向の低周波数信号成分ahlpf(2i+1,2j)と、第2の色信号復元手段の出力値から得られる第2の色信号の水平方向の低周波数信号成分bhlpf(2i+1,2j)と、第1の色信号復元手段によって復元された(2i+1,2j)位置の第1の色信号a(2i+1,2j)とから、(2i+1,2j)位置における第2の色信号
Bh(2i+1,2j)を
a(2i+1,2j)×(bhlpf(2i+1,2j)/ahlpf(2i+1,2j))
として算出し、
前記第2の垂直方向演算手段は、前記第3の色フィルタ位置(2i+1,2j)における第1の色信号復元手段の出力値から得られる第1の色信号の垂直方向の低周波数信号成分avlpf(2i+1,2j)と、第2の色信号復元手段の出力値から得られる第2の色信号の垂直方向の低周波数信号成分bvlpf((2i+1,2j)と、第1の色信号復元手段によって復元された(2i+1,2j)位置の第1の色信号a(2i+1,2j)とから、(2i+1,2j)位置における第2の色信号
Bv(2i+1,2j)を
a(2i+1,2j)×(bvlpf(2i+1,2j)/avlpf(2i+1,2j))
として算出し、
前記第1の平均値算出手段は、前記(2i,2j+1)の位置において斜め上下左右の第3の色信号の平均値を算出し、
前記第2の平均値算出手段は、前記(2i+1,2j)の位置において斜め上下左右の第2の色信号の平均値を算出し、
前記切り替え手段は、前記第2のエッジ判定手段の出力に基づき、前記1の水平方向演算手段の出力または前記第1の垂直方向演算手段の出力または前記第1の平均値算出手段の出力のいずれかを(2i,2j+1)の位置における第3の色信号とし、前記第2の水平方向演算手段の出力または前記第2の垂直方向演算手段の出力または前記第2の平均値算出手段の出力のいずれかを(2i+1,2j)の位置における第2の色信号とする
ことを特徴とする請求項1記載の撮像装置。 - 前記第3の色信号復元手段の前記切り替え手段は、前記第2のエッジ判定手段の出力が第2の色フィルタ位置(2i,2j+1)においてエッジ成分を検出しないと判定した場合は、前記第1の平均値算出手段の出力を選択し、水平方向に相関があると判定した場合は前記第1の水平方向演算手段の出力を選択し、垂直方向に相関があると判定した場合は前記第1の垂直方向演算手段の出力を選択し、第3の色フィルタ位置(2i+1,2j)においてエッジ成分を検出しないと判定した場合は、前記第2の平均値算出手段の出力を選択し、水平方向に相関があると判定した場合は前記第2の水平方向演算手段の出力を選択し、垂直方向に相関があると判定した場合は前記第2の垂直方向演算手段の出力を選択することを特徴とする請求項6記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP01708398A JP3926019B2 (ja) | 1998-01-29 | 1998-01-29 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP01708398A JP3926019B2 (ja) | 1998-01-29 | 1998-01-29 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11215513A JPH11215513A (ja) | 1999-08-06 |
JP3926019B2 true JP3926019B2 (ja) | 2007-06-06 |
Family
ID=11934096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP01708398A Expired - Lifetime JP3926019B2 (ja) | 1998-01-29 | 1998-01-29 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3926019B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3706789B2 (ja) | 2000-05-12 | 2005-10-19 | キヤノン株式会社 | 信号処理装置及び信号処理方法 |
JP4019417B2 (ja) | 2003-01-14 | 2007-12-12 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2006166258A (ja) * | 2004-12-09 | 2006-06-22 | Matsushita Electric Ind Co Ltd | カラー撮像装置およびカラー画像信号補正方法 |
-
1998
- 1998-01-29 JP JP01708398A patent/JP3926019B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH11215513A (ja) | 1999-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4840468B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US7990447B2 (en) | Solid-state image sensor | |
US7835573B2 (en) | Method and apparatus for edge adaptive color interpolation | |
JP4097815B2 (ja) | 画像処理装置および画像処理方法 | |
US6724932B1 (en) | Image processing method, image processor, and storage medium | |
US8515210B2 (en) | Image processing method and image processing device | |
KR0146260B1 (ko) | 고체촬상장치 | |
US7760255B2 (en) | Method and apparatus for interpolation of interlaced CMYG color format | |
WO2006048962A1 (ja) | 画素信号処理装置及び画素信号処理方法 | |
JP2000023174A (ja) | 画像処理装置及び画像処理方法 | |
US8798398B2 (en) | Image processing apparatus | |
US7643074B2 (en) | Pixel signal processing apparatus and pixel signal processing method | |
JP4548390B2 (ja) | 撮像装置及び信号処理方法 | |
US20140293088A1 (en) | Image processing apparatus and method, and program | |
JP3458080B2 (ja) | カラー撮像装置 | |
JP3926019B2 (ja) | 撮像装置 | |
JP3926023B2 (ja) | 撮像装置 | |
US20060044428A1 (en) | Image pickup device and signal processing method | |
KR100960176B1 (ko) | 화상 신호 처리 장치, 화상 신호 처리 회로, 화상 신호 처리 방법 및 기록매체 | |
JP3079839B2 (ja) | 固体撮像装置 | |
JPH11220751A (ja) | 撮像装置 | |
JP2920380B2 (ja) | 色信号処理装置 | |
JP3115123B2 (ja) | 画像信号処理装置 | |
KR20070070692A (ko) | 에지 향상과 노이즈 제거를 위한 컬러 보간 장치 | |
JP3322017B2 (ja) | 輪郭補正装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060110 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060306 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070227 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100309 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140309 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |