JP5378627B2 - 撮像装置およびその動作制御方法ならびに撮像システム - Google Patents

Description

この発明は，撮像装置およびその動作制御方法ならびに撮像システムに関する。

第２４ａ図は，固体電子撮像素子１の受光面の一部を示している。固体電子撮像素子１には，水平方向および垂直方向に多数の光電変換素子２が設けられている。光電変換素子２の受光面上には赤色の光成分を透過する特性を有するカラー・フィルタＲ，緑色の光成分を透過する特性を有するカラー・フィルタＧまたは青色の光成分を透過する特性を有するカラー・フィルタＢが形成されている。第２４ａ図においては，ベイヤ配列と呼ばれる配列でカラー・フィルタＲＧまたはＢが光電変換素子２の受光面上に形成されている。第２４ｂ図は，固体電子撮像素子１の光電変換素子２の３列に対応した周期の画像が固体電子撮像素子１上に結像した様子を示している。白色の部分のレベルは８ビットで表した場合に２５５であり，ハッチングで示した部分のレベルは８ビットで表した場合に０である。このような画像が結像した場合において，第３ｎ＋１（ｎは正の整数）行の光電変換素子２に蓄積された信号電荷を読み出す間引き処理が行われると，高周波数成分が折り返り，第２４ｃ図に示すように明るく平坦なモアレ画像となってしまう。
第２５図は，第２４ａ図に示す固体電子撮像素子１の一行の光電変換素子を示している。水平方向において，同じ特性を有するカラー・フィルタが形成されている光電変換素子２に蓄積された信号電荷が混合されている。カラー・フィルタは一個おきに同じ特性となっているので，画素混合後の画像はロウ・パス・フィルタを通過したように解像度が低下してしまう。
さらに，第２６ａ図に示すように，固体電子撮像素子１の光電変換素子２の列に対応した周期の画像が固体電子撮像素子１上に結像している場合において，第２６ｂ図に示すように，３×３の光電変換素子２のブロックごとに信号電荷を混合すると，そのブロック内での赤色のレベルは８ビットで２５５，緑色のレベルは８ビットで１２８，青色のレベルは０となり，第２６ｃ図に示すように，オレンジ色となってしまう（色モアレ）。
従来は，固体電子撮像素子の受光面前方に光学的ロウ・パス・フィルタを配置し，被写体像の高周波数成分を除去することにより，色モアレの発生などを抑えていた。しかしながら，解像度が低下してしまう。
このために，固体電子撮像素子のフィルタ配列を，任意の着目画素が，その着目画素の色を含む３色と着目画素の４辺のいずれかにいて隣接する配列制限条件を満たす３色ランダム配列としたものがある（特開２０００−３０８０８０号公報）。しかしながら，同時化処理をランダム・パターンごとに最適化する必要があり，煩雑となる。また，高周波成分による偽色には有効ではない。
また，分光感度が異なる複数のフィルタを有し，そのうちの第１のフィルタと第２のフィルタとが，画像格子の一方の対角方向に第１の所定周期で交互に配置され，他方の対角方向に第２の所定周期で交互に配置されているセンサもある（特開２００５−１３６７６６号公報）。しかしながら，画素再現精度が高くない。水平，垂直のエッジ以外のパターンに対しても最適な補間を行うものもある（特許第４３５０７０６号公報）。
さらに，画素を間引くことにより，データ量を少なくしてフレーム・レートを高くする場合には，間引き処理が行われた後で画素補間処理が行われており，処理が煩雑とならざるを得ない。また，偽信号も発生してしまう。

この発明は，データ量を少なくするための処理と画素補間処理とを同時に行うことができるようにすることを目的とする。
また，この発明は，データ量が少なくされた画像から偽信号の発生を未然に防止することを目的とする。
この発明による固体電子撮像装置は，水平方向および垂直方向に多数配列された光電変換素子を備え，色の三原色である赤色，緑色および青色のうちのいずれかの色の光成分または色の三原色の補色であるシアン，マゼンタおよびイエローの３つの補色のうちのいずれかの色の光成分を透過するフィルタ特性を有するカラー・フィルタが上記光電変換素子の受光面上に形成され，水平方向および垂直方向にそれぞれ３つの上記光電変換素子から構成される１つの小ブロックにおいては，緑色またはイエローの光成分を透過するフィルタ特性を有するカラー・フィルタが各行および各列の上記光電変換素子の受光面上に形成され，このような小ブロックが水平方向および垂直方向に繰り返されており，水平方向および垂直方向に隣接する第１および第２の小ブロックのうち第１の小ブロックにおいて赤色またはシアンの色成分を透過するフィルタ特性を有するカラー・フィルタが形成されている上記光電変換素子の位置に対応する第２の小ブロックの位置にある上記光電変換素子の受光面上に青色またはマゼンタの色成分を透過するフィルタ特性を有するカラー・フィルタが形成されており，水平方向および垂直方向に隣接する第１および第２の小ブロックのうち第１の小ブロックにおいて青色またはマゼンタの色成分を透過するフィルタ特性を有するカラー・フィルタが形成されている上記光電変換素子の位置に対応する第２の小ブロックの位置にある上記光電変換素子の受光面上に赤色またはシアンの色成分を透過するフィルタ特性を有するカラー・フィルタが形成されており，上記光電変換素子に蓄積された信号電荷を映像信号として出力する固体電子撮像素子，ならびに上記固体電子撮像素子から出力される映像信号のうち，同じフィルタ特性を有するカラー・フィルタが形成されている上記光電変換素子に蓄積された信号電荷にもとづいて得られる映像信号を，混合後の映像信号レベルが色成分ごとに等しくなるような重み付け係数で重み付けをして混合して出力する第１の映像信号混合回路を備えていることを特徴とする。
この発明は，上記固体電子撮像装置に適した動作制御方法も提供している。すなわち，この方法は，固体電子撮像素子が，水平方向および垂直方向に多数配列された光電変換素子を備え，色の三原色である赤色，緑色および青色のうちのいずれかの色の光成分または色の三原色の補色であるシアン，マゼンタおよびイエローの３つの補色のうちのいずれかの色の光成分を透過するフィルタ特性を有するカラー・フィルタが上記光電変換素子の受光面上に形成され，水平方向および垂直方向にそれぞれ３つの上記光電変換素子から構成される１つの小ブロックにおいては，緑色またはイエローの光成分を透過するフィルタ特性を有するカラー・フィルタが各行および各列の上記光電変換素子の受光面上に形成され，このような小ブロックが水平方向および垂直方向に繰り返されており，水平方向および垂直方向に隣接する第１および第２の小ブロックのうち第１の小ブロックにおいて赤色またはシアンの色成分を透過するフィルタ特性を有するカラー・フィルタが形成されている上記光電変換素子の位置に対応する第２の小ブロックの位置にある上記光電変換素子の受光面上に青色またはマゼンタの色成分を透過するフィルタ特性を有するカラー・フィルタが形成されており，かつ，水平方向および垂直方向に隣接する第１および第２の小ブロックのうち第１の小ブロックにおいて青色またはマゼンタの色成分を透過するフィルタ特性を有するカラー・フィルタが形成されている上記光電変換素子の位置に対応する第２の小ブロックの位置にある上記光電変換素子の受光面上に赤色またはシアンの色成分を透過するフィルタ特性を有するカラー・フィルタが形成されており，上記光電変換素子に蓄積された信号電荷を映像信号として出力し，映像信号混合回路が，上記固体電子撮像素子から出力される映像信号のうち，同じフィルタ特性を有するカラー・フィルタが形成されている上記光電変換素子に蓄積された信号電荷にもとづいて得られる映像信号を，混合後の映像信号レベルが色成分ごとに等しくなるような重み付け係数で重み付けをして混合して出力するものである。
この発明によると，固体電子撮像素子から出力される映像信号は，第１の映像信号混合回路において，同じフィルタ特性を有するカラー・フィルタが形成されている光電変換素子に蓄積された信号電荷にもとづいて得られる映像信号が，混合後の映像信号のレベルが色成分ごとに等しくなるような重み付け係数で重み付けがされて混合される。映像信号が混合されるので，実質的に映像信号の信号量が少なくなる。
この発明は，上記の固体電子撮像装置を利用した撮像システムも提供している。すなわち，この撮像システムは，上述した撮像装置を備え，水平方向および垂直方向にそれぞれ３つの上記小ブロックから構成される１つの大ブロック中の水平方向および垂直方向の１ラインにおいて混合後の映像信号レベルが色成分ごとに等しくなる第２の重み付け係数を用いて上記第１の映像信号混合回路から出力される映像信号について色成分ごとに混合して出力する第２の映像信号混合回路を備えていることを特徴とする。
この発明によると，１つの大ブロック中の水平方向および垂直方向の１ラインにおいて混合後の映像信号のレベルが色成分ごとに等しくなる第２の重み付け係数を用いて，第１の映像信号混合回路から出力される映像信号について色成分ごとに混合される。映像信号を混合した場合に，特定の色のみが他の色と比べて大きくならずに，三原色または３つの補色の色成分のレベルが１つの大ブロック中の水平方向および垂直方向の１ラインにおいて色成分ごとに等しくなるので，偽色の発生を未然に防止できる。
上記撮像システムにおいて，水平方向および垂直方向にそれぞれ二つの上記小ブロックから構成される一つの中ブロックに含まれる光電変換素子の受光面に形成されている緑色またはイエローの光成分を透過するカラー・フィルタは，たとえば，水平方向，垂直方向および斜め方向のすべてにおいて２つ連続している部分が少なくとも１つ含まれているものである。
また，上記撮像システムにおいて，上記中ブロックに含まれる光電変換素子の受光面に形成されている緑色またはイエローの光成分を透過するカラー・フィルタは水平方向および垂直方向に２つずつ連続している部分が少なくとも１つ含まれているものである。上記小ブロックに，中央の光電変換素子を中心に点対称となるように上記色の三原色または上記３つの補色の光成分を透過するフィルタ特性を有する３種類のカラー・フィルタがすべて含まれているようにすることが好ましい。上記第１の小ブロックにおいて赤色またはシアンの色の光成分を透過するフィルタ特性を有するカラー・フィルタまたは青色ましくはマゼンタの色の光成分を透過するフィルタ特性を有するカラー・フィルタは水平方向または垂直方向に一つの光電変換素子おきに形成されているものでもよい。

第１図は，固体電子撮像素子の受光面の一部を示している。
第２図は，固体電子撮像素子の受光面の一部を示している。
第３ａ図から第３ｃ図は，画素補間の一例である。
第４ａ図から第４ｃ図は，フィルタの一例である。
第５図は，ディジタル・カメラの電気的構成を示すブロック図である。
第６図は，固体電子撮像素子の受光面の一部を示している。
第７図は，固体電子撮像素子の受光面の一部を示している。
第８図は，固体電子撮像素子の受光面の一部を示している。
第９ａ図から第９ｃ図は，画素補間の一例である。
第１０ａ図から第１０ｃ図は，フィルタの一例である。
第１１図は，画像に対し，フィルタ係数を当てはめたものである。
第１２図は，画像の一部を示している。
第１３図は，画像の一部を示している。
第１４図は，フィルタの一例である。
第１５図は，画像に対し，フィルタ係数を掛けたものを当てはめたものである。
第１６図は，フィルタ処理を示している。
第１７図は，固体電子撮像素子の受光面の一部を示している。
第１８図は，固体電子撮像素子の受光面の一部を示している。
第１９図は，画像に対し，フィルタ係数を当てはめたものである。
第２０図は，画像の一部を示している。
第２１図は，画像に対し，フィルタ係数を掛けたものを当てはめたものである。
第２２図は，フィルタ処理を示している。
第２３図は，ディジタル・カメラの電気的構成を示すブロック図である。
第２４ａ図は，固体電子撮像素子の受光面の一部を示し，第２４ｂ図および第２４ｃ図は画像の一部を示している。
第２５図は，画素混合を示している。
第２６ａ図から第２６ｃ図は，画像の一部を示している。

第１図は，固体電子撮像素子１０の受光面を示している。
固体電子撮像素子１０には，水平方向および垂直方向に多数の光電変換素子１１が配列されている。光電変換素子１１の受光面上には，色の三原色である赤色，緑色および青色のうち，赤色の光成分を透過するフィルタ特性を有する赤色フィルタ（符号Ｒで示す），緑色の光成分を透過するフィルタ特性を有する緑色フィルタ（符号Ｇで示す）または青色の光成分を透過するフィルタ特性を有する青色フィルタ（符号Ｂで示す）のいずれかのカラー・フィルタが形成されている。
第１図に示す光電変換素子１０におけるカラー・フィルタの配列はベイヤ配列と呼ばれるものである。奇数行奇数列の光電変換素子１０の受光面上に赤色フィルタＲが形成され，偶数行偶数列の光電変換素子１０の受光面上に青色フィルタＢが形成され，奇数行偶数列および偶数行奇数列の光電変換素子１０の受光面上に緑色フィルタＧが形成されている。
第２図は，水平方向および垂直方向にそれぞれ３つの光電変換素子１１から構成される小ブロック１２を示している。
小ブロック１２では，中心の光電変換素子１１Ａには青色フィルタＢが形成されている。中心の光電変換素子１１Ａの上下左右の光電変換素子１１には緑色フィルタＧが形成されており，中心の光電変換素子１１Ａの斜め方向には赤色フィルタＲが形成されている。このように，ベイヤ配列では，水平方向および垂直方向にそれぞれ３つの光電変換素子１１から構成される小ブロック１２を考えた場合，小ブロック１２に含まれる光電変換素子１１に赤色フィルタＲ，緑色フィルタＧおよび青色フィルタＢのすべてが含まれ，かつ中心の光電変換素子１１Ａを中心に点対称となるようにカラー・フィルタが形成されている。中心の光電変換素子１１Ａに形成されているカラー・フィルタが青色フィルタＢの場合だけでなく，中心の光電変換素子１１Ａに形成されているカラー・フィルタが赤色フィルタＲまたは緑色フィルタＧの場合でも同様である。
赤色フィルタＲが形成されている光電変換素子１１には赤色の光成分を表わす信号電荷が蓄積され，緑色フィルタＧが形成されている光電変換素子１１には緑色の光成分を表わす信号電荷が蓄積され，青色フィルタＢが形成されている光電変換素子１１には青色の光成分を表わす信号電荷が蓄積される。蓄積された信号電荷が固体電子撮像素子１０から読み出されることにより，被写体像を表わす映像信号が得られる。
上記の例では，光電変換素子１１の受光面上に赤色フィルタＲ，緑色フィルタＧまたは青色フィルタＢが形成されているが，三原色の補色であるシアンＣの光成分を透過する特性を有するシアン・フィルタ，マゼンタＭの光成分を透過する特性を有するマゼンタ・フィルタまたはイエローＹの光成分を透過する特性を有するイエロー・フィルタがベイヤ配列にしたがって形成されていてもよい。
第３ａ図から第３ｃ図は，この実施例による画素混合の方法を示している。この実施例による画素混合は，画像の縮小と画素補間とを同時に行うものである。
第３ａ図は，第２図に示す小ブロック１２を構成する光電変換素子１１から得られる３画素×３画素の画像部分１３を示している。第２図に示す小ブロック１２を構成する光電変換素子１２のうち，赤色フィルタＲが形成されている光電変換素子１２から得られる画素を用いて，赤色成分をもつ中央の画素１３Ａが生成される。第２図に示すように，中央の光電変換素子１１Ａの右斜め下，右斜め上，左斜め下および左斜め上の光電変換素子１１にカラー・フィルタＲが形成されている。カラー・フィルタＲが形成されている光電変換素子１１に対応する画素から赤色成分を表わす画素Ｒ（カラー・フィルタと同じ符号を付す）が得られる。赤色成分をもつ中央の画素１３Ａは存在しないから，その中央の画素１３Ａの右斜め下，右斜め上，左斜め下および左斜め上の赤色成分をもつ画素Ｒが混合されることにより，赤色成分をもつ中央の画素１３Ａが生成されるとともに画像部分１３が縮小される（水平方向および垂直方向ともに１／３に縮小）。
第３ｂ図も，第２図に示す小ブロック１２を構成する光電変換素子１１から得られる３画素×３画素の画像部分１３を示している。第２図に示す小ブロック１２を構成する光電変換素子１２のうち，緑色フィルタＧが形成されている光電変換素子１２から得られる画素を用いて，緑色成分をもつ中央の画素１３Ａが生成される。第２図に示すように，中央の光電変換素子１１Ａの上下左右の光電変換素子１１にカラー・フィルタＧが形成されている。カラー・フィルタＧが形成されている光電変換素子１１に対応する画素から緑色成分を表わす画素Ｇ（カラー・フィルタと同じ符号を付す）が得られる。緑色成分をもつ中央の画素１３Ａは存在しないから，その中央の画素１３Ａの上下左右の緑色成分をもつ画素Ｇが混合されることにより，緑色成分をもつ中央の画素１３Ａが生成されるとともに画像部分１３が縮小される。
第３ｃ図も，第２図に示す小ブロック１２を構成する光電変換素子１１から得られる３画素×３画素の画像部分１３を示している。第２図に示す小ブロック１２を構成する光電変換素子１１のうち，中央の光電変換素子１１Ａには，青色フィルタＢが形成されているから，青色成分をもつ中央の画素１３Ａが得られている。なお，本実施例では，上記処理を小ブロック１２の３画素×３画素の全ての画素を用いて行っているが，全ての画素を用いずに各色成分の中央の画素１３Ａを生成しても良い。
第４ａ図から第４ｃ図は，第３ａ図から第３ｃ図に示す方法で画素補間および縮小を行うためのフィルタ（ディジタル・フィルタ）の一例である。
第４ａ図は，第３ａ図に示すように赤色成分をもつ中央の画素１３Ａを生成するためのフィルタ１６を示している。フィルタ１６は，３画素×３画素の画像部分１３に対応するもので，赤色成分を有する画素Ｒに乗じるフィルタ係数（重み付け係数）が規定されている。これらのフィルタ係数はすべて１である。空白の箇所のフィルタ係数は０である。
第４ｂ図は，第３ｂ図に示すように緑色成分をもつ中央の画素１３Ａを生成するためのフィルタ１７を示している。フィルタ１７も３画素×３画素の画像部分１３に対応するもので，緑色成分を有する画素Ｇに乗じるフィルタ係数が規定されている。これらのフィルタ係数もすべて１である。
第４ｃ図は，第３ｃ図に示すように青色成分をもつ中央の画素１３Ａを生成するためのフィルタ１８を示している。フィルタ１８も３画素×３画素の画像部分１３に対応するもので，青色成分を有する画素Ｂに乗じるフィルタ係数が規定されている。このフィルタ係数は４である。
第２図に示す小ブロック１２から得られる３画素×３画素から構成される画像部分を表す画像データに対して，第４ａ図，第４ｂ図および第４ｃ図に示すフィルタ１６，１７および１８を用いてフィルタ処理が行われることにより，第３ａ図，第３ｂ図および第３ｃ図に示す処理が行われることと等価となる（但し，実際にはデータ量を維持するためにフィルタ処理により得られた値に１／４が乗じられる）。また以上の処理は，赤色成分，緑色成分，青色成分の加重平均の重心を小ブロック１２の中央の画素位置とするように混合処理することで，小ブロック１２の中央の画素位置における各色成分の画素１３Ａを生成する処理と等価である。
以上の処理が行われることにより，画素補間処理と画像の縮小処理とが同時に行われることとなる。他の画素についても同様の処理が行われ１フレームの画像について画素補間処理と画像の縮小処理とが同時に行われることとなる。
第５図は，ディジタル・カメラの電気的構成を示すブロック図である。
ディジタル・カメラの全体の動作は制御装置２０によって統括される。ディジタル・カメラには，撮像装置２１が含まれている。この撮像装置２１に上述した固体電子撮像素子１０が含まれている。固体電子撮像素子１０は，駆動回路３０によって駆動される。
撮像素子１０の前方には撮像レンズ２２が設けられており，撮像レンズ２２によって被写体像が撮像素子１０の受光面に結像する。撮像素子１０からは，被写体像を表わす映像信号が出力され，アナログ／ディジタル変換回路２４においてディジタル画像データに変換される。変換されたディジタル画像データは画素混合装置２９に入力する。画素混合装置２９において上述したように画素補間および画像の縮小処理が行われる。
画素混合装置２９に入力した画像データは，切り換えスイッチ２５に与えられる。静止画記録時には切り換えスイッチ２５はＳ１端子側が接続され，上述したように画素補間および画像の縮小処理が行われる場合（例えば，スルー画撮像，ムービ撮像時）には切り替えスイッチ２５はＳ２端子側が接続される。
切り替えスイッチ２５のＳ２端子側が接続されていると，画像データはメモリ２６に与えられ，一時的に記憶される。
第３ａ図に示したように赤色成分の画素を表わす画像データがメモリ２６から読み出されてフィルタ２７に入力する。赤色成分の画素を表わす画像データがフィルタ２７に入力するときには，フィルタ２７のフィルタ係数は第４ａ図に示すものとなる。上述したように，赤色成分の画素についての画素補間および縮小処理が実現される。
同様に，第３ｂ図に示したように緑色成分の画素を表わす画像データがメモリ２６から読み出されてフィルタ２７に入力する。緑色成分の画素を表わす画像データがフィルタ２７に入力するときには，フィルタ２７のフィルタ係数は第４ｂ図に示すものとなる。上述したように，緑色成分の画素についての画素補間および縮小処理が実現される。
また，第３ｃ図に示したように青色成分の画素を表わす画像データがメモリ２６から読み出されてフィルタ２７に入力する。青色成分の画素を表わす画像データがフィルタ２７に入力するときには，フィルタ２７のフィルタ係数は第４ｃ図に示すものとなる。上述したように，青色成分の画素についての画素補間および縮小処理が実現される。
フィルタ２７から出力された画像データは，切り替えスイッチ２８のＳ２端子に与えられる。切り替えスイッチ２８も切り替えスイッチ２５と同様に，静止画記録時にはＳ１端子側が接続され，画素補間および画像の縮小処理が行われる場合（例えば，ムービ撮像時）にはＳ２端子側が接続される。フィルタ２７から出力された画像データは画像処理回路３１において所定の処理が行われて出力されることとなる。静止画記録時に得られる画像データは画素混合装置２９における処理は行われずに画像処理回路３１に入力する。画像処理回路３１において所定の画像処理が行われて出力する。
第６図から第１７図は，他の実施例を示している。
第６図は，固体電子撮像素子４０の受光面の一部を示している。
固体電子撮像素子４０にも水平方向および垂直方向に多数の光電変換素子４１が配列されている。これらの光電変換素子４１の受光面上には上述したのと同様に，赤色フィルタＲ，緑色フィルタＧまたは青色フィルタＢが形成されている。
第６図では，水平方向および垂直方向にそれぞれ９つの光電変換素子４２が抽出されている。このように，水平方向および垂直方向にそれぞれ９つの光電変換素子４２から構成されるブロックを大ブロック４１と呼ぶこととする。大ブロック４１は，後述のように小ブロックを水平方向および垂直方向にそれぞれ３つずつのものに等しく小ブロック９個分と等しい。
第７図は，第６図に示す固体電子撮像素子４０の受光面のうち，水平方向および垂直方向にそれぞれ６つの光電変換素子４２が抽出されたものである。
水平方向および垂直方向にそれぞれ６つの光電変換素子４２が抽出されたものを中ブロック４３と呼ぶこととする。中ブロック４３は，後述のように小ブロックを水平方向および垂直方向にそれぞれ２つずつのものに等しく小ブロック４個分と等しい。
中ブロック４３では，水平方向および垂直方向において緑色フィルタＧ，赤色フィルタＲおよび青色フィルタＢが少なくとも一つずつ形成されており，この中ブロック４３を繰り返し配列することでいずれの水平方向，垂直方向および斜め方向においても緑色フィルタＧが少なくとも一つは形成されている。また，中ブロック４３においては，緑色フィルタＧが水平方向，垂直方向および斜め方向において２つ連続している部分が少なくとも一つは含まれている。さらに，中ブロック４３においては，緑色フィルタＧが水平方向および垂直方向において２つ連続している部分が少なくとも一つは含まれている。中ブロック４３のカラー・フィルタの配列が水平方向および垂直方向において繰り返されて，固体電子撮像素子４０のカラー・フィルタの配列となる。
たとえば，中ブロック４３では，緑色フィルタＧは，第６ｎ（ｎは正の整数）＋１行，第６ｎ＋３行，第６ｎ＋４行および第６ｎ＋６行では，第６ｍ（ｍは正の整数）＋１列，第６ｍ＋３列，第６ｍ＋４列および第６ｍ＋６列に形成されており，第６ｎ＋２行および第６ｎ＋５行では，第６ｍ＋２列，第６ｍ＋５列に形成されている。同様に，青色フィルタＢは，第６ｎ＋１行および第６ｎ＋３行では第６ｍ＋２列に，第６ｎ＋２行では第６ｍ＋４列および第６ｍ＋６列に，第６ｎ＋４行および第６ｎ＋６行では第６ｍ＋５列に，第６ｎ＋５行では第６ｍ＋１列および第６ｍ＋３列にそれぞれ形成されている。赤色フィルタＲは，第６ｎ＋１行では第６ｍ＋５列に，第６ｎ＋２行では第６ｍ＋１列および第６ｍ＋３列に，第６ｎ＋４行および第６ｎ＋６行では第６ｍ＋２列に，第６ｎ＋５行では第６ｍ＋４列および第６ｍ＋６列にそれぞれ形成されている。
第８図は，固体電子撮像素子４０の一部を構成するものであり，水平方向および垂直方向にそれぞれ３画素の光電変換素子４１から構成される小ブロック４４を示している。
小ブロック４４では，中心ならびに中心の斜め左上，斜め左下，斜め右上および斜め右下に緑色フィルタＧが形成されている。中心に形成されている緑色フィルタＧの上下には青色フィルタＢが形成され，中心に形成されている緑色フィルタＧの左右には赤色フィルタＲが形成されている。
中心に形成されている緑色フィルタＧの上下に青色フィルタＢが形成され，その緑色フィルタＧの左右に赤色フィルタＲが形成されている小ブロック４４と，その小ブロック４４に形成されている青色フィルタＢと赤色フィルタＲとの位置が逆の小ブロックとが水平及び垂直方向に交互に繰り返されて固体電子撮像素子４０（大ブロック４１，中ブロック４３）のカラー・フィルタ配列となる。
小ブロック４４においても，小ブロック４４に含まれる光電変換素子４１に赤色フィルタＲ，緑色フィルタＧおよび青色フィルタＢのすべてが含まれ，かつ中心の光電変換素子４１Ａを中心に点対称となるようにカラー・フィルタが形成されている。
上記の例では，光電変換素子１１の受光面上に赤色フィルタＲ，緑色フィルタＧまたは青色フィルタＢが形成されているが，三原色の補色であるシアンＣの光成分を透過する特性を有するシアン・フィルタ，マゼンタＭの光成分を透過する特性を有するマゼンタ・フィルタまたはイエローＹの光成分を透過する特性を有するイエロー・フィルタがベイヤ配列にしたがって形成されていてもよい。
第９ａ図から第９ｃ図は，この実施例による画素混合の方法を示している。この実施例による画素混合も，画像の縮小と画素補間とを同時に行うものである。
第９ａ図は，第８図に示す小ブロック４４を構成する光電変換素子４１から得られる３画素×３画素の画像部分４５を示している。第８図に示す小ブロック４４を構成する光電変換素子４１のうち，赤色フィルタＲが形成されている光電変換素子４１から得られる画素を用いて，赤色成分をもつ中央の画素４５Ａが生成される。第８図に示すように，中央の光電変換素子４５Ａの左右の光電変換素子４１にカラー・フィルタＲが形成されている。カラー・フィルタＲが形成されている光電変換素子４１に対応する画素からが赤色成分を表わす画素Ｒ（カラー・フィルタと同じ符号を付す）が得られる。赤色成分をもつ中央の画素４５Ａは存在しないから，その中央の画素４５Ａの左右の赤色成分をもつ画素Ｒが混合されることにより，赤色成分をもつ中央の画素４５Ａが生成されるとともに画像部分４５が縮小される。
第９ｂ図も，第８図に示す小ブロック４４を構成する光電変換素子４１から得られる３画素×３画素の画像部分４５を示している。第８図に示す小ブロック４４を構成する光電変換素子４１のうち，緑色フィルタＧが形成されている光電変換素子４１から得られる画素を用いて，緑色成分をもつ中央の画素４５Ａが生成される。第８図に示すように，中央の光電変換素子４１Ａおよび中央の光電変換素子４１Ａの斜め左上，斜め左下，斜め右上および斜め右下の光電変換素子４１にカラー・フィルタＧが形成されている。カラー・フィルタＧが形成されている光電変換素子４１に対応する画素から緑色成分を表わす画素Ｇ（カラー・フィルタと同じ符号を付す）が得られる。この場合も緑色成分をもつ中央の画素４５Ａが生成されるとともに画像部分４５が縮小される。
第９ｃ図も，第８図に示す小ブロック４４を構成する光電変換素子４１から得られる３画素×３画素の画像部分４５を示している。第８図に示す小ブロック４４を構成する光電変換素子４１のうち，中央の光電変換素子４１Ａの上下に，青色フィルタＢが形成されているから，第９ｃ図に示すように中央の画素４５Ａの上下にある青色成分をもつ画素から青色成分をもつ中央の画素４５Ａが生成されるとともに画像部分４５が縮小される。なお，本実施例では，上記処理を小ブロック４４の３画素×３画素の全ての画素を用いて行っているが，全ての画素を用いずに各色成分の中央の画素４５Ａを生成しても良い。
第１０ａ図から第１０ｃ図は，第９ａ図から第９ｃ図に示す方法で画素補間および縮小を行うためのフィルタ（ディジタル・フィルタ）の一例である。
第１０ａ図は，第９ａ図に示すように赤色成分をもつ中央の画素４５Ａを生成するためのフィルタ４７を示している。フィルタ４７は，３画素×３画素の画像部分４５に対応するもので，赤色成分を有する画素Ｒに乗じるフィルタ係数（重み付け係数）が規定されている。これらのフィルタ係数はいずれも４である。
第１０ｂ図は，第９ｂ図に示すように緑色成分をもつ中央の画素４５Ａを生成するためのフィルタ４８を示している。フィルタ４８も３画素×３画素の画像部分４５に対応するもので，緑色成分を有する画素Ｇに乗じるフィルタ係数が規定されている。中央の画素Ｇに乗じるフィルタ係数が４であり，その他の画素Ｇに乗じるフィルタ係数はすべて１である。
第１０ｃ図は，第９ｃ図に示すように青色成分をもつ中央の画素１３Ａを生成するためのフィルタ４９を示している。フィルタ４９も３画素×３画素の画像部分４５に対応するもので，青色成分を有する画素Ｂに乗じるフィルタ係数が規定されている。このフィルタ係数はいずれも４である。
第８図に示す小ブロック４４から得られる３画素×３画素から構成される画像部分を表す画像データに対して，第１０ａ図，第１０ｂ図および第１０ｃ図に示すフィルタ４７，４８および４９を用いてフィルタ処理が行われることにより，第９ａ図，第９ｂ図および第９ｃ図に示す処理が行われることと等価となる。また以上の処理は，赤色成分，緑色成分，青色成分の加重平均の重心を小ブロック４４の中央の画素位置とするように混合処理することで，小ブロック４４の中央の画素位置における各色成分の画素４５Ａを生成する処理と等価である。
以上の処理が行われることにより，画素補間処理と画像の縮小処理とが同時に行われることとなる。他の画素についても同様の処理が行われ１フレームの画像について画素間処理と画像の縮小処理とが同時に行われることとなる。
第１１図は，第６図に示すカラー・フィルタ配列をもつ撮像素子４２を用いて被写体を撮像することにより得られる画像に対し，第１０ａ図から第１０ｃ図に示すフィルタ４７から４９を用いてフィルタ処理するときの各フィルタ係数を並べて表示したものである。
第１１図において，Ｒ，ＧまたはＢの符号は，それぞれの画素が有する色成分を示している。括弧内の数字は，それぞれの画素に乗じられるフィルタ係数を示している。第１１図において水平方向の中央のラインにある画素のフィルタ係数を色成分ごとに加算すると，赤色成分については４＋４＝８，緑色成分については４＋４＋４＝１２，青色成分については４＋４＋４＋４＝１６となってしまい，赤色成分，緑色成分および青色成分の比率が２：３：４となっており，１：１：１となっていない。垂直方向の中央のラインにある画素のフィルタ係数についても同様である。
第１２図は，被写体像７０の一例である。
この被写体像７０は，第６図に示す撮像素子４２の水平方向の画素の解像度と同じ解像度をもつもので，各列７１の幅と光電変換素子４１の幅とが等しくなっている。
第１２図に示すような被写体像７０が，第６図に示す撮像素子４０の受光面上に結像し，かつ第１０ａ図から第１０ｃ図に示すフィルタ４７から４９を用いてフィルタ処理が行われると，第１３図に示す画像８０となる。
第１３図を参照して，画像８０には水平方向および垂直方向にそれぞれ３つのブロック（３画素×３画素から構成される）８１，８２および８３が含まれている。第１行のブロック８１は青色となり，第２行のブロック８２はオレンジ色となり，第３行のブロック８３は青色となる。この実施例では，赤色成分，緑色成分および青色成分の比率が１：１：１となるように，さらにフィルタ処理が行われるものである。
第１４図は，フィルタ６１の一例である。
第１行から第３行および第７行から第９行までは，第１列から第３列および第７列から第９列のフィルタ係数は１であり，第１行から第３行および第７行から第９行までは，第４列から第６列，第４行から第６行までは第１列から第３列および第７列から第９列のフィルタ係数は２であり，第４行から第６行までは第４列から第６列までのフィルタ係数は４である。各ブロック６２は３画素×３画素に対応して形成されている。
第１５図は，第１１図に示すフィルタ係数に対して第１４図に示すフィルタ６１の重み付け係数を掛け合わせたものである。
第１５図においても第１１図と同様に，Ｒ，ＧまたはＢの符号は，それぞれの画素が有する色成分を示している。括弧内の数字は，それぞれの画素に乗じられたフィルタ係数を示している。
第１５図においては，第１１図に示すものと異なり，水平方向および垂直方向の中央のラインにおいてフィルタ係数の和は赤色成分では１６＋１６＝３２，緑色成分では８＋８＋１６＝３２，青色成分では８＋８＋８＋８＝３２であり，１：１：１の色成分の関係が保たれている。この結果，偽色の発生が防止される。
第１６図は，第１４図に示すフィルタ６１を利用してフィルタ処理が行われる様子を示している。
第１０ａ図から第１０ｃ図に示すフィルタ４７から４９を用いて画像がフィルタ処理された場合に得られる第１３図に示す画像８０は，第１行のブロック８１および第３行のブロック８３については赤色成分が０，緑色成分が８ビット標記で１２８，青色成分が８ビット標記で２５５となっている。また，画像８０の第２行のブロック８２については赤色成分が２５５，緑色成分が１２８，青色成分が０となっている。
このような画像８０にフィルタ６１を用いてフィルタ処理が行われると，画像８０のブロック８２の中央の領域の赤色成分，緑色成分および青色成分のそれぞれについて式１から式３で表される。
赤色成分＝（０×１＋０×２＋０×１＋２５５×２＋２５５×４＋２５５×２＋０×１＋０×２＋０×１）／１６＝１２８・・・式１
緑色成分＝（１２８×１＋１２８×２＋１２８×１＋１２８×２＋１２８×４＋１２８×２＋１２８×１＋１２８×２＋１２８×１）／１６＝１２８・・・式２
青色成分＝（２５５×１＋２５５×２＋２５５×１＋０×２＋０×４＋０×２＋２５５×１＋２５５×２＋２５５×１）／１６＝１２８・・・式３
式１から式３を参照すれば分るように，赤色成分，緑色成分および青色成分の比率が１：１：１となり，ブロック（３画素×３画素から構成される）９０で示すように偽色の発生が防止される。このようなフィルタ６１によるフィルタ処理が，隣接する隣の領域に移動して順次行われ，これを繰り返すことで画像８０に対してフィルタ処理が行われる。フィルタ６１の処理１０３は，フィルタ２７の処理と異なり，画素混合による間引きは行われない。画像８０に対し３×３のフィルタ６１のフィルタ処理が行われると，画像８０の中央真ん中の大きい１画素（９０）について比率が１：１：１となり，引き続き隣接する画像８０内の大きい１画素に移動して３×３のフィルタ６１のフィルタ処理が行われる処理が繰りかされることにより，偽色が修正される。一方，図１０等の最初のフィルタ処理は，フィルタ６１の処理と対比的に見ると，３×３の中央の画素を対象とするフィルタ処理のみ行っているとも言える。
上述した実施例において，偽色の発生を防止できる理由について述べる。
第１７図は，固体電子撮像素子４０のカラー・フィルタ配列を示すもので，第６図に示すものに対応している。第１７図において，第６図に示すものと同一物については同一符号が付されている。
上述したように，第１７図に示すカラー・フィルタ配列を有する固体電子撮像素子４０の受光面上に，第１２図に示したように，第１７図に示す固体電子撮像素子４０の水平方向の解像度と同じ解像度をもつ被写体像が結像すると，第１３図に示すように，第１行のブロック８１および第３行のブロック８１では青色に，第２行のブロック８２はオレンジとなり，偽色が発生する。
第１７図において，第６ｎ＋１行から第６ｎ＋３行の第６ｍ＋１列から第６ｍ＋３列の光電変換素子のブロックのうち，小ブロックＢｒ１およびＢｒ３ならびに第６ｎ＋１行から第６ｎ＋３行の第６ｍ＋４列から第６ｍ＋６列の光電変換素子の小ブロックＢｒ２が第１３図に示す第１行のブロック８１に対応する。第６ｎ＋４行から第６ｎ＋６行の第６ｍ＋１列から第６ｍ＋３列の光電変換素子の小ブロックＢｒ４およびＢｒ６ならびに第６ｎ＋４行から第６ｎ＋６行の第６ｍ＋４列から第６ｍ＋６列の光電変換素子の小ブロックＢｒ５が第１３図に示す第２行のブロック８２に対応する。第６ｎ＋１行から第６ｎ＋３行の第６ｍ＋１列から第６ｍ＋３列の光電変換素子のブロックのうち，小ブロックＢｒ７およびＢｒ９ならびに第６ｎ＋１行から第６ｎ＋３行の第６ｍ＋４列から第６ｍ＋６列の光電変換素子の小ブロックＢｒ８が第１３図に示す第３行のブロック８３に対応する。
第１３図において，第１行のブロック８１は青色になっているが，これは，第１７図の第１行の小ブロックＢｒ１および小ブロックＢｒ３においては，赤色の光成分を透過するフィルタが形成されている第６ｍ＋１列および第６ｍ＋３列の被写体像（第１２図に示す被写体像７０）のレベルが０となり，第１７図の第１行の小ブロックＢｒ２においては，赤色の光成分を透過するフィルタが形成されている第６ｍ＋５行の被写体像のレベルが０となるからである。また，第１３図において，第２行のブロック８２はオレンジとなっているが，第１７図の第２行の小ブロックＢｒ４および小ブロックＢｒ６においては，青色の光成分を透過するフィルタが形成されている第６ｍ＋１列および第６ｍ＋３列の被写体像（第１２図に示す被写体像７０）のレベルが０となり，第１７図の第２行の小ブロックＢｒ５においては，青色の光成分を透過するフィルタが形成されている第６ｍ＋５行の被写体像のレベルが０となるからである。第１３図において，第３行のブロック８３が青色になっている理由は第１行のブロック８１が青色になっている理由と同じである。
この実施例では，小ブロックＢｒ１−Ｂｒ９においては緑色の光成分を透過するフィルタ特性を有するカラー・フィルタは各行および各列の光電変換素子の受光面上に形成されているが，奇数行の小ブロックＢｒ１−Ｂｒ３，Ｂｒ７−Ｂｒ９において赤色の光成分を透過するフィルタ特性を有するカラー・フィルタが形成されている光電変換素子の位置に対応する偶数行の小ブロックＢｒ４−Ｂｒ６の位置にある光電変換素子の位置に青色の光成分を透過するフィルタ特性を有するカラー・フィルタが形成されている。同様に，奇数行の小ブロックＢｒ１−Ｂｒ３，Ｂｒ７−Ｂｒ９において青色の光成分を透過するフィルタ特性を有するカラー・フィルタが形成されている光電変換素子の位置に対応する偶数行の小ブロックＢｒ４−Ｂｒ６の位置にある光電変換素子の位置に赤色の光成分を透過するフィルタ特性を有するカラー・フィルタが形成されている。
このように，奇数行の小ブロックＢｒ１−Ｂｒ３，Ｂｒ７−Ｂｒ９と偶数行の小ブロックＢｒ４−Ｂｒ６との間で，青色の光成分を透過するフィルタ特性を有するカラー・フィルタの配置と赤色の光成分を透過するフィルタ特性を有するカラー・フィルタの配置とが逆となっているために，第１４図のようなフィルタ演算により隣接する小ブロックから得られる映像信号にもとづいて偽色を補正できる。その際，フィルタ係数値として，第１５図に示したような赤色成分，緑色成分，青色成分の係数の和の比率が１：１：１となるよう第１４図のフィルタ係数を設定する。
また，この実施例によるカラー・フィルタ配列では，次のように，いわゆるＡ配列とＢ配列とが水平方向および垂直方向に交互に繰り返されていると表わすこともできる。
すなわち，いわゆるＡ配列（たとえば，小ブロックＢｒ１）では，第１７図に示す小ブロックＢｒ１−Ｂｒ９のそれぞれの小ブロック内において，緑色の光成分を透過するフィルタ特性を有するカラー・フィルタは中央と四隅に形成され，小ブロックＢｒ１に示すように赤色の光成分を透過するフィルタ特性を有するカラー・フィルタは中央の行（第６ｎ＋２行）の両端に形成され，青色の光成分を透過するフィルタ特性を有するカラー・フィルタは中央の列（第６ｍ＋２列）の両端に形成される。いわゆるＢ配列（たとえば，小ブロックＢｒ４，Ｂｒ２）では，Ａ配列と同様に，小ブロックＢｒ１−Ｂｒ９のそれぞれの小ブロック内において，緑色の光成分を透過するフィルタ特性を有するカラー・フィルタは中央と四隅に形成されるが，小ブロックＢｒ４（または小ブロックＢｒ２）に示すように，小ブロックＢｒ１では赤色の光成分を透過するフィルタ特性を有するカラー・フィルタが形成されていた中央の行（第６ｎ＋５行または第６ｎ＋２行）の両端には青色の光成分を透過するフィルタ特性を有するカラー・フィルタが形成され，小ブロックＢｒ１では青色の光成分を透過するフィルタ特性を有するカラー・フィルタが形成されていた中央の列（第６ｍ＋２列または第６ｍ＋５列）の両端には赤色の光成分を透過するフィルタ特性を有するカラー・フィルタが形成される。
偶数行の小ブロックＢｒ４−Ｂｒ６では赤色の光成分を透過するフィルタ特性を有するカラー・フィルタは，奇数行の小ブロックＢｒ１−Ｂｒ３，Ｂｒ７−Ｂｒ９において赤色の光成分を透過するフィルタ特性を有するカラー・フィルタが形成されていない光電変換素子の受光面に形成されている。奇数行の小ブロックＢｒ１−Ｂｒ３，Ｂｒ７−Ｂｒ９において青色の光成分を透過するフィルタ特性を有するカラー・フィルタは，偶数行の小ブロックＢｒ４−Ｂｒ６において青色の光成分を透過するフィルタ特性を有するカラー・フィルタが形成されていない光電変換素子の受光面上に形成されている。したがって，第１２図のような撮像素子４２の水平方向の解像度と同じ解像度の被写体像が結像した場合であっても，第１４図のようなフィルタ演算により隣接する小ブロックから得られる映像信号にもとづいて偽色を補正できる。その際，フィルタ係数を適切に設定するのは上述した通りである。
このように，小ブロックＢｒ１において赤色の色の光成分を透過するフィルタ特性を有するカラー・フィルタは水平方向または垂直方向に一つの光電変換素子おきの光電変換素子の受光面上に形成されており，小ブロックＢｒ１に垂直方向に隣接する小ブロックＢｒ４（水平方向に隣接する小ブロックＢｒ２）においては，小ブロックＢｒ１において赤色の光成分を透過するフィルタ特性を有するカラー・フィルタが形成されている位置に対応する位置にある光電変換素子の受光面上に青色の光成分を透過するフィルタ特性を有するカラー・フィルタが形成されている。
また，ベイヤ配列では，赤色の光成分を透過する特性を有するカラー・フィルタおよび青色の光成分を透過する特性を有するカラー・フィルタは，いずれも水平方向に１画素おきに配列されており，同一列および同一行には赤色の光成分を透過する特性を有するカラー・フィルタまたは青色の光成分を透過する特性を有するカラー・フィルタしか存在しないので，第２６ｃ図のようにオレンジ色の偽色しか生じない。第１４図のようなフィルタ演算を行っても隣接ブロックにも青色の光成分が存在しないので上述のように偽色を補正できない。
これに対し，この実施例によるカラー・フィルタ配列では，中ブロック（基本配列パターン）において，水平方向および垂直方向のすべてに緑色の光成分，青色の光成分および赤色の光成分を透過するフィルタ特性をもつカラー・フィルタが少なくとも１つ形成されているため，フィルタ演算により隣接する小ブロックからの映像信号にもとづいて偽色を補正できる。その際，フィルター係数値として，赤色成分，緑色成分，青色成分の係数の和の比率が１：１：１となるようフィルタ係数が設定されるのはいうまでもない。
第１８図から第２２図は，他の実施例を示すものである。
第１８図は，固体電子撮像素子４０Ａの受光面の一部を示すもので，第６図に対応している。
固体電子撮像素子４０Ａにも水平方向および垂直方向に多数の光電変換素子４１が配列されている。これらの光電変換素子４１の受光面上には上述したのと同様に，赤色フィルタＲ，緑色フィルタＧまたは青色フィルタＢが形成されている。第１８図に示す固体電子撮像素子４０Ａのフィルタ配列は，第６図に示す固体電子撮像素子４０のフィルタ配列と異なっている。
第１８図に示す固体電子撮像素子４０Ａにおいても，第６図に示す固体電子撮像素子４０と同様に，水平方向および垂直方向にそれぞれ９つの光電変換素子４２が抽出されている（大ブロック４１）。上述したように，大ブロック４１は，水平方向および垂直方向にそれぞれ３つの光電変換素子は４２から構成される９個分の小ブロックＢｒ１１−Ｂｒ１９と等しい。
これらの小ブロックＢｒ１１−Ｂｒ１９のそれぞれにおいて，中央の光電変換素子４２の上下および左右の光電変換素子４２の受光面上には緑色の光成分を透過する緑色フィルタＧが形成されている。中央の光電変換素子４２の受光面上には赤色の光成分を透過する赤色フィルタＲまたは青色の光成分を透過する青色フィルタＢが形成されている。中央の光電変換素子４２の受光面に赤色フィルタＲが形成されている場合には，四隅の光電変換素子４２の受光面には青色フィルタＢが形成されており，中央の光電変換素子４２の受光面に青色フィルタＢが形成されている場合には四隅の光電変換素子４２の受光面には赤色フィルタＲが形成されている。
また，上下または左右に隣接する小ブロックＢｒ１１−Ｂｒ１９同士では，中央の光電変換素子４２に形成されているフィルタおよび四隅の光電変換素子４２に形成されているフィルタは異なっている。たとえば，第１８図において左上の小ブロックＢｒ１１の中央の光電変換素子４２には赤色フィルタＲが形成されており，四隅の光電変換素子４２には青色フィルタＢが形成されているが，この小ブロックＢｒ１１の右隣および下の小ブロックＢｒ１２および小ブロックＢｒ１４の中央の光電変換素子４２には青色フィルタＢが形成されており，四隅の光電変換素子４２には赤色フィルタＲが形成されている。このように，小ブロックＢｒ１１において赤色フィルタＲ（または青色フィルタＢ）が形成されている光電変換素子４２の位置に対応する小ブロックＢｒ１２および小ブロックＢｒ１４の位置にある光電変換素子４２の受光面には青色フィルタＢ（または赤色フィルタＲ）が形成されている。小ブロックＢｒ１１と小ブロックＢｒ１２および小ブロックＢｒ１４だけでなく，他の小ブロックについても同様の関係が成立する。
第１８図においては，９つの小ブロックＢｒ１１−Ｂｒ１９からなる大ブロック４１のみが図示されているが，そのような小ブロックが水平方向および垂直方向に繰り返されていることはいうまでもない。
上記の例では，光電変換素子１１の受光面上に赤色フィルタＲ，緑色フィルタＧまたは青色フィルタＢが形成されているが，三原色の補色であるシアンＣの光成分を透過する特性を有するシアン・フィルタ，マゼンタＭの光成分を透過する特性を有するマゼンタ・フィルタまたはイエローＹの光成分を透過する特性を有するイエロー・フィルタが形成されていてもよい。
第１８図に示す固体電子撮像素子４０Ａにおける画素混合は，第３ａ図から第３ｃ図にもとづいて行われればよい。上述したのと同様に，画像の縮小と画素補間とが同時に行われるのは理解できよう。また，そのような画素混合は，第４ａ図から図４ｃ図に示すディジタル・フィルタ１６−１８を利用すればよい。
第１９図は，第１８図に示すカラー・フィルタ配列をもつ撮像素子４０Ａを用いて被写体を撮像することにより得られる画像５０Ａに対し，第４ａ図から第４ｃ図に示すフィルタ１６から１８を用いてフィルタ処理するときの各フィルタ係数を並べて表示したものである。第１９図は，第１１図に対応している。
第１９図において，Ｒ，ＧまたはＢの符号は，それぞれの画素が有する色成分を示している。括弧内の数字は，それぞれの画素に乗じられるフィルタ係数を示している。上述したのと同様に，第１９図において水平方向の中央のラインにある画素のフィルタ係数を色成分ごとに加算すると，赤色成分については４，緑色成分については１＋１＋１＋１＝４，青色成分については４＋４＝８となってしまい，赤色成分，緑色成分および青色成分の比率が１：１：２となっており，１：１：１となっていない。垂直方向の中央のラインにある画素のフィルタ係数についても同様である。
上述したのと同様に，第１２図に示すような被写体像７０が，第１８図に示す撮像素子４０Ａの受光面上に結像し，かつ第４ａ図から第４ｃ図に示すフィルタ１６から１８を用いてフィルタ処理が行われると，第２０図に示す画像８０となる。
第２０図を参照して，画像８０Ａには水平方向および垂直方向にそれぞれ３つのブロック（３画素×３画素から構成される）８１Ａ，８２Ａおよび８３Ａが含まれている。第１行のブロック８１Ａはオレンジ色となり，第２行のブロック８２Ａは青色となり，第３行のブロック８３Ａはオレンジ色となる。この実施例においても，赤色成分，緑色成分および青色成分の比率が１：１：１となるように，さらにフィルタ処理が行われる。
第２１図は，第１９図に示すフィルタ係数に対して第１４図に示すフィルタ６１の重み付け係数を掛け合わせたものである。
第２１図においても第１９図と同様に，Ｒ，ＧまたはＢの符号は，それぞれの画素が有する色成分を示している。括弧内の数字は，それぞれの画素に乗じられたフィルタ係数を示している。
第２１図においては，第１９図に示すものと異なり，水平方向および垂直方向の中央のラインにおいてフィルタ係数の和は赤色成分では１６，緑色成分では２＋２＋４＋４＋２＋２＝１６，青色成分では８＋８＝１６であり，１：１：１の色成分の関係が保たれている。
第２２図は，第１４図に示すフィルタ６１を利用してフィルタ処理が行われる様子を示すもので，第１６図に対応している。
上述のように，第２０図に示す画像８０Ａは，第１行のブロック８１Ａおよび第３行のブロック８３Ａについては赤色成分が２５５，緑色成分が８ビット標記で１２８，青色成分が８ビット標記で０となっている。また，画像８０Ａの第２行のブロック８２Ａについては赤色成分が０，緑色成分が１２８，青色成分が２５５となっている。
このような画像８０Ａにフィルタ６１を用いてフィルタ処理が行われると，上述した式１から式３と同様に，画像８０Ａのブロック８２Ａの中央の領域の赤色成分，緑色成分および青色成分のそれぞれについて式４から式６で表される。
赤色成分＝（２５５×１＋２５５×２＋２５５×１＋０×２＋０×４＋０×２＋２５５×１＋２５５×２＋２５５×１）／１６＝１２８・・・式４
緑色成分＝（１２８×１＋１２８×２＋１２８×１＋１２８×２＋１２８×４＋１２８×２＋１２８×１＋１２８×２＋１２８×１）／１６＝１２８・・・式５
青色成分＝（０×１＋０×２＋０×１＋２５５×２＋２５５×４＋２５５×２＋０×１＋０×２＋０×１）／１６＝１２８・・・式６
式４から式６を参照すれば分るように，赤色成分，緑色成分および青色成分の比率が１：１：１となり，ブロック（３画素×３画素から構成される）９０Ａで示すように偽色の発生が防止される。このようなフィルタ６１によるフィルタ処理が，隣接する隣の領域に移動して順次行われ，これを繰り返すことで画像８０Ａに対してフィルタ処理が行われる。
第２３図は，ディジタル・カメラの電気的構成を示すブロック図である。この図において，第５図に示す回路と同一物については同一符号を付して説明を省略する。
撮像素子４０は，第６図に示すカラー・フィルタの配列をもつものが利用される。上述したように，画素混合装置（第１の画素混合装置）２９において，第９ａ図から第９ｃ図および第１０ａ図から第１０ｃ図を参照して説明したように第１のフィルタ処理が行われる。第１のフィルタ処理が行われた画像データは第２の画素混合装置１００に入力する。
第２の画素混合装置１００に入力した画像データは切り替えスイッチ１０１に与えられる。切り替えスイッチ１０１は，切り替えスイッチ２５および２８と同様に，上述したフィルタ処理等が行われる場合にはＳ２端子が接続され，ユーザーの指示などによりフィルタ処理を行わない時にはＳ１端子が接続される。後述の切り替えスイッチ１０４も同様である。
切り替えスイッチ１０１のＳ２端子が接続されて画像データがメモリ１０２に入力すると入力した画像データはメモリ１０２に一時的に記憶される。画像データはメモリ１０２から読み出され，第１４図に示すフィルタ係数をもつフィルタ１０３においてフィルタ処理が行われる。フィルタ１０３から画像データが切り替えスイッチ１０４を介して出力される。出力された画像データは偽色の発生が防止されたものとなる。なお，上記実施の形態においては撮像素子から出力された映像信号をアナログ／ディジタル変換したディジタル画像データに対して上述の画素混合処理を行う例を示したが，撮像素子としてＣＭＯＳを用いた場合には，撮像素子から映像信号を読み出す際に，上述の画素混合処理を行うようにしても良い。

Claims (7)

1. 水平方向および垂直方向に多数配列された光電変換素子を備え，色の三原色である赤色，緑色および青色のうちのいずれかの色の光成分または色の三原色の補色であるシアン，マゼンタおよびイエローの３つの補色のうちのいずれかの色の光成分を透過するフィルタ特性を有するカラー・フィルタが上記光電変換素子の受光面上に形成され，水平方向および垂直方向にそれぞれ３つの上記光電変換素子から構成される１つの小ブロックにおいては，緑色またはイエローの光成分を透過するフィルタ特性を有するカラー・フィルタが各行および各列の上記光電変換素子の受光面上に形成され，このような小ブロックが水平方向および垂直方向に繰り返されており，水平方向および垂直方向に隣接する第１および第２の小ブロックのうち第１の小ブロックにおいて赤色またはシアンの色成分を透過するフィルタ特性を有するカラー・フィルタが形成されている上記光電変換素子の位置に対応する第２の小ブロックの位置にある上記光電変換素子の受光面上に青色またはマゼンタの色成分を透過するフィルタ特性を有するカラー・フィルタが形成されており，かつ，水平方向および垂直方向に隣接する第１および第２の小ブロックのうち第１の小ブロックにおいて青色またはマゼンタの色成分を透過するフィルタ特性を有するカラー・フィルタが形成されている上記光電変換素子の位置に対応する第２の小ブロックの位置にある上記光電変換素子の受光面上に赤色またはシアンの色成分を透過するフィルタ特性を有するカラー・フィルタが形成されており，上記光電変換素子に蓄積された信号電荷を映像信号として出力する固体電子撮像素子，ならびに
   上記固体電子撮像素子から出力される映像信号のうち，同じフィルタ特性を有するカラー・フィルタが形成されている上記光電変換素子に蓄積された信号電荷にもとづいて得られる映像信号を，混合後の映像信号レベルが色成分ごとに等しくなるような重み付け係数で重み付けをして混合して出力する第１の映像信号混合回路，
   を備えた撮像装置。
2. 請求の範囲第１項に記載の撮像装置を備え，
   水平方向および垂直方向にそれぞれ３つの上記小ブロックから構成される１つの大ブロック中の水平方向および垂直方向の１ラインにおいて混合後の映像信号レベルが色成分ごとに等しくなる第２の重み付け係数を用いて上記第１の映像信号混合回路から出力される映像信号について色成分ごとに混合して出力する第２の映像信号混合回路，
   を備えた撮像システム。
3. 水平方向および垂直方向にそれぞれ二つの上記小ブロックから構成される一つの中ブロックに含まれる光電変換素子の受光面に形成されている緑色またはイエローの光成分を透過するカラー・フィルタが水平方向，垂直方向および斜め方向のすべてにおいて２つ連続している部分が少なくとも１つ含まれている，
   請求の範囲第２項に記載の撮像システム。
4. 上記中ブロックに含まれる光電変換素子の受光面に形成されている緑色またはイエローの光成分を透過するカラー・フィルタが水平方向および垂直方向に２つずつ連続している部分が少なくとも１つ含まれている，
   請求の範囲第３項に記載の撮像システム。
5. 上記小ブロックに，中央の光電変換素子を中心に点対称となるように上記色の三原色または上記３つの補色の光成分を透過するフィルタ特性を有する３種類のカラー・フィルタがすべて含まれている，
   請求の範囲第１項に記載の撮像システム。
6. 上記第１の小ブロックにおいて赤色もしくはシアンの色の光成分を透過するフィルタ特性を有するカラー・フィルタまたは青色もしくはマゼンタの色の光成分を透過するフィルタ特性を有するカラー・フィルタは水平方向または垂直方向に一つの上記光電変換素子おきに形成されている，
   請求の範囲第１項に記載の撮像システム。
7. 固体電子撮像素子が，水平方向および垂直方向に多数配列された光電変換素子を備え，色の三原色である赤色，緑色および青色のうちのいずれかの色の光成分または色の三原色の補色であるシアン，マゼンタおよびイエローの３つの補色のうちのいずれかの色の光成分を透過するフィルタ特性を有するカラー・フィルタが上記光電変換素子の受光面上に形成され，水平方向および垂直方向にそれぞれ３つの上記光電変換素子から構成される１つの小ブロックにおいては，緑色またはイエローの光成分を透過するフィルタ特性を有するカラー・フィルタが各行および各列の上記光電変換素子の受光面上に形成され，このような小ブロックが水平方向および垂直方向に繰り返されており，水平方向および垂直方向に隣接する第１および第２の小ブロックのうち第１の小ブロックにおいて赤色またはシアンの色成分を透過するフィルタ特性を有するカラー・フィルタが形成されている上記光電変換素子の位置に対応する第２の小ブロックの位置にある上記光電変換素子の受光面上に青色またはマゼンタの色成分を透過するフィルタ特性を有するカラー・フィルタが形成されており，かつ，水平方向および垂直方向に隣接する第１および第２の小ブロックのうち第１の小ブロックにおいて青色またはマゼンタの色成分を透過するフィルタ特性を有するカラー・フィルタが形成されている上記光電変換素子の位置に対応する第２の小ブロックの位置にある上記光電変換素子の受光面上に赤色またはシアンの色成分を透過するフィルタ特性を有するカラー・フィルタが形成されており，上記光電変換素子に蓄積された信号電荷を映像信号として出力し，
   映像信号混合回路が，上記固体電子撮像素子から出力される映像信号のうち，同じフィルタ特性を有するカラー・フィルタが形成されている上記光電変換素子に蓄積された信号電荷にもとづいて得られる映像信号を，混合後の映像信号レベルが色成分ごとに等しくなるような重み付け係数で重み付けをして混合して出力する，
   撮像装置の動作制御方法。

Images