JP4478934B2 - 画像信号処理装置 - Google Patents

Description

本発明は画像信号処理装置に係り、特に画素が１列ごとに半ピッチずれて配列された固体撮像素子から出力される画像信号の処理技術に関する。

図６はハニカム配列と呼ばれる画素配列を有する固体撮像素子の概略構成図である。同図に示すように、この固体撮像素子１０は、受光セル１１の幾何学的な形状の中心点を行方向及び列方向に１つ置きに画素ピッチの半分（１／２ピッチ）ずらして配列させたものとなっている。

また、この固体撮像素子１０は、各受光セル１１に対応してそれぞれＲ（赤）、Ｇ（緑）、Ｂ（青）の何れか１色の原色カラーフィルタが割り当てられている。図６のように、水平方向についてＧＧＧＧ…の行の次段にＢＲＢＲ…の行が配置され、その次段にＧＧＧＧ…の行、更にその次の行にＲＢＲＢ…という具合に配列される。また、列方向についてみれば、ＧＧＧＧ…の列と、ＢＢＢＢ…の列と、ＧＧＧＧ…の列と、ＲＲＲＲ…の列とが循環式に繰り返される配列パターンとなっている。

この種のハニカム配列の固体撮像素子１０は、Ｒ、Ｇ、Ｂ画素が斜め４５度の配置をとり、正方配列の固体撮像素子に対し、水平、垂直の解像度をアップさせている。

ところで、固体撮像素子１０は、動画（ムービー）駆動される場合と、静止画駆動される場合とがある。ムービー駆動される場合には、所定のフレームレートで周期的に各受光セル１１に蓄積された信号電荷の読み出しを行なう必要があるが、近年の固体撮像素子の高画素数化に伴い、所定のフレームレート内で信号電荷を読み出すことが困難になっており、そのため水平ラインを間引いて読み出すようにしている。

一方、特許文献１には、水平方向の同じ色の画素同士を画素混合し、これにより高画質、信号電荷の読み出しの高速化を図るようにした固体撮像素子装置が提案されている。
特開２００３−２６４８４４号公報

図６に示した固体撮像素子１０からの情報の読み出し順序は、図７（Ａ）に示すよう斜め４５度に配置されたＧライン、ＲＢラインの２ラインの画素情報を同一水平タイミングで読み出し、ムービー駆動においては、この読み出した画素情報（…Ｇ_n Ｂ_n Ｒ_n,Ｇ_n+1 Ｂ_n+1 Ｒ_n+1,…）をそれぞれの空間位置の画素情報として使用し、又は同図（Ｂ）に示すように読み出した隣接するライン間の画素情報を補間処理し、垂直方向のライン数を増加させた画素情報をそれぞれの空間位置の画素情報として使用しているため、各画素の本来の画素空間位置の情報が有効に利用されず、特に垂直解像度が十分に引き出されず、また、偽信号が発生するという問題がある。

また、一般の正方画素配列の固体撮像素子と同じ垂直本数を読み出そうとすると、４５度配置された２ラインの画素情報を同時に読み出すことになるため、１．４倍の駆動周波数が必要となり、周辺も含めたデバイスへの要求性能が厳しくなることでのコストアップ、消費電力増大によるシステム負荷となる。

一方、ハニカム配列の固体撮像素子から全画素情報を読み出し、静止画と同じ信号処理（正方画素配列と同じ画素配列になるように不足する画素を補間処理によって作成する信号処理など）を行なうことで、垂直本数は少なくとも同等の垂直解像度を得ようとすると、高速な信号処理、メモリ容量の増大に繋がるという問題がある。また、垂直方向にＲＢ市松状に配置されていなければ、静止画と同等の画像処理は不可能であり、一方、ＲＢ市松状に配置された固体撮像素子では、垂直奇数間引きしか対応できないという問題がある。

本発明はこのような事情に鑑みてなされたもので、ハニカム配列の固体撮像素子をムービー駆動する際に駆動周波数を上げることなく、垂直解像度の改善、及び偽信号の発生を低減することができる画像信号処理装置を提供することを目的とする。

前記目的を達成するために本発明の画像信号処理装置は、Ｒ、Ｇ、Ｂの何れか１色のカラーフィルタがそれぞれ割り当てられた複数の画素が２次元配列された固体撮像素子であって、各画素が相互に斜め４５度の位置関係に配列されるとともに、水平方向にＧ画素のみからなるＧラインと水平方向にＲ画素とＢ画素とが交互に繰り返すＲＢラインとが垂直方向に繰り返してなる固体撮像素子と、前記固体撮像素子にて互いに隣接する前記Ｇラインと前記ＲＢラインとから画素ごとに交互に画素情報を読み出して、互いに隣接する前記Ｇラインの画素情報及び前記ＲＢラインの画素情報を１読出ライン分の画素情報として出力する読出手段と、前記Ｇライン及び前記ＲＢラインのうちいずれか一方を第１ラインとして他方を第２ラインとし、前記固体撮像素子上の垂直方向の空間位置が互いに異なる一の読出ライン及び他の読出ラインにおける前記第２ラインの垂直方向の空間位置に応じて、前記一の読出ライン及び前記他の読出ラインにおける前記第２ラインの画素情報を重み付けして演算することで、前記各読出ラインの前記第２ラインの画素情報を補正する補正手段であって、前記各読出ラインにて補正後の前記第２ラインの画素情報が前記第１ラインの垂直方向の空間位置に対応する画素情報になる重み付けを行う補正手段と、を備えたことを特徴とする。
例えば、前記補正手段は、前記一の読出ラインにおける前記第２ラインの画素情報をＤ１、前記他の読出ラインにおける前記第２ラインの画素情報をＤ２、前記一の読出ラインにおける前記第１ラインと前記一の読出ラインにおける前記第２ラインとの垂直方向の空間位置の差をａ、前記一の読出ラインにおける前記第１ラインと前記他の読出ラインにおける前記第２ラインとの垂直方向の空間位置の差をｂとしたとき、前記一の読出ラインにおける前記第２ラインの補正後の画素情報Ｄを、数式｛Ｄ＝（Ｄ１×ａ＋Ｄ２×ｂ）／（ａ＋ｂ）｝により算出する。

即ち、前記読出手段は、前記固体撮像素子から１ライン分の画素情報を読み出す際に、隣接するＧラインとＲＢラインとから画素ごとに交互に読み出し、これによりＧＢＧＲＧＢＧＲ…の点順次の画素情報として出力する。上記のようして読み出した１ラインの画素情報のうちのＧライン及びＲＢラインのうちの一方のライン（例えば、Ｇライン）の垂直方向の空間位置を基準にすると、ＲＢライン上のＲ画素、Ｂ画素の垂直方向の空間位置は、ＧラインとＲＢラインの間隔だけずれている。そこで、前記補正手段は、他方のラインの画素情報を垂直方向の空間位置のずれに対応した重み付けで補正するようにしている。これにより、各画素の本来の画素空間位置の情報を有効に利用し、垂直解像度の向上を図るとともに、偽信号の発生を低減できるようにしている。

また、本発明の一態様において、前記読出手段は、ムービー駆動時に前記固体撮像素子から垂直方向の画素情報を間引いて読み出すことを特徴としている。これにより、固体撮像素子からの画素情報の読み出しのための駆動周波数を上げることなく、ムービーで要求される所定のフレームレート内で１フレーム分の画素情報を読み出すことができるようにしている。

また、本発明の一態様において、前記固体撮像素子は、垂直方向にＧ画素、Ｒ画素、及びＢ画素が一列に配列されていることを特徴としている。垂直方向に同じ色の画素が一列に並んでいるため、間引き間隔に制限がなく、奇数間引き及び偶数間引きの両方が可能である。

また、本発明の一態様において、前記補正手段は、前記固体撮像素子の垂直方向にて前記各読出ラインの間に位置し且つデータ上にて前記読出ラインの間に挿入される補間ラインの画素情報を、前記各読出ラインの画素情報に基づいて補間演算するものであって、前記補間ラインの垂直方向の空間位置と、前記各読出ラインの垂直方向の同じ色の画素の垂直方向の空間位置とに基づいて重み付け補間を行なうことを特徴としている。

即ち、前記読出手段によって読み出されたラインとは異なる任意のライン（補間ライン）上の画素情報を補間によって算出するようにしている。これにより、固体撮像素子から読み出す垂直本数を低減しつつ、垂直解像度の向上を図るようにしている。

本発明によれば、ハニカム配列の固体撮像素子から隣接するＧラインとＲＢラインとから画素ごとに交互に読み出された１ライン分の画素情報は、Ｇ画素とＲＢ画素との垂直方向の空間位置がずれているが、Ｇライン及びＲＢラインのうちの一方のラインの垂直方向の空間位置を基準にし、他方のラインの画素情報を垂直方向の空間位置に比例した重み付けで補正するようにしたため、各画素の本来の画素空間位置の情報を有効に利用することができ、垂直解像度の向上を図るとともに、偽信号の発生を低減することができる。

以下添付図面に従って本発明に係る画像信号処理装置の好ましい実施の形態について詳説する。

図１は本発明に係る画像信号処理装置を含む撮像装置の実施の形態を示すブロック図である。

同図に示す撮像装置（デジタルカメラ）１００は、静止画や動画の記録及び再生機能を有し、デジタルカメラ１００全体の動作は中央処理装置（ＣＰＵ）１２によって統括制御される。 ＣＰＵ１２は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、ホワイトバランス（ＷＢ）調整演算など、各種演算を実施する演算手段として機能し、更に後述するように信号処理回路１６での補間演算に必要なデータ（係数）等を出力する。

バス１４を介してＣＰＵ１２と接続されたメモリ１８はＲＯＭやＳＤＲＡＭを含み、ＲＯＭには、ＣＰＵ１２が実行するプログラム及び制御に必要な各種データ等が格納される。また、ＳＤＲＡＭは、プログラムの展開領域及びＣＰＵ１２の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。

操作部２０は、撮影ボタン、モード切替えレバー、モードダイヤル、メニュー／ＯＫキー、十字キー等を有し、この操作部１８での操作による信号はＣＰＵ１２に入力され、ＣＰＵ１２は入力信号に基づいてデジタルカメラ１００の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、ＬＣＤモニタの表示制御などを行う。

ＬＣＤモニタ２２は、撮影時に画角確認用の電子ファインダとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、ＬＣＤモニタ２２は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。

メディアコントローラ２４は、メディアソケット（図示せず）に装着される記録メディア２６に適した入出力信号の受渡しを行うために所要の信号変換を行う。

次に、デジタルカメラ１００の撮影機能について説明する。

撮影モードが選択されると、ＣＣＤ等からなる固体撮像素子（以下、この実施の形態では「ＣＣＤ」という）１０を含む撮像部に電源が供給され、撮影可能な状態になる。尚、ＣＣＤ１０は、図６に示したようにハニカム配列のもので、Ｒ、Ｇ、Ｂ画素が斜め４５度の配置をとり、水平方向にＧＧＧＧ…のＧラインと、ＢＲＢＲ…のＲＢラインとが交互に配置され、垂直方向にＧＧＧＧ…の列と、ＢＢＢＢ…の列と、ＧＧＧＧ…の列と、ＲＲＲＲ…の列とが循環式に繰り返される配列パターンとなっている。

撮影レンズ３０は、ＣＰＵ１２によって制御されるレンズドライバ３２によって電動駆動され、フォーカス制御が行われる。撮影レンズ３０を通過した光は、ＣＣＤ１０の受光面に結像される。ＣＣＤ１０は、各受光セル１１の電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。ＣＰＵ１２は、タイミングジェネレータ３４及びＣＣＤドライバ３６を介してＣＣＤ１０での電荷蓄積時間の制御、ＣＣＤ１０からの信号電荷の読出制御を行なう。

ＣＣＤ１０の受光面に結像された被写体像は、各受光セル１１によって入射光量に応じた量の信号電荷に変換される。各受光セル１１に蓄積された信号電荷は、ＣＰＵ１２の指令に従いタイミングジェネレータ３４及びＣＣＤドライバ３６から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。

ＣＣＤ１０から出力された信号はアナログ処理部（ＣＤＳ／ＡＤＣ）３８に送られ、ここで画素ごとのＲＧＢ信号がサンプリングホールド（相関二重サンプリング処理）され、Ａ／Ｄ変換器によってデジタル信号に変換される。デジタル信号に変換された点順次のＲＧＢ信号は、信号処理回路１６に加えられる。

信号処理回路１６は、後述するようにＲＧＢ画素のＣＣＤ１０での垂直方向の空間位置ずれを補正する補間処理部を含み、ここで補正されたＲＧＢの画像データはメモリ１８に一時記憶される。また、信号処理回路１６は、メモリ１８に記憶されたＲＧＢの画像データをＣＰＵ１２の指令に従って処理する。即ち、信号処理回路１６は、同時化回路、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、ＣＰＵ１２からのコマンドに従ってメモリ１８を活用しながら所定の信号処理を行う。信号処理回路１６で処理された画像データは再びメモリ１８に記憶される。

撮影画像をＬＣＤモニタ２２にモニタ出力する場合、メモリ１８から画像データが読み出され、バス１４を介してＬＣＤドライバ４０に送られる。ＬＣＤドライバ４０は、入力された画像データをＬＣＤ表示用の信号に変換してＬＣＤモニタ２２に出力する。

ＣＣＤ１０をムービー駆動する場合には、撮像中の映像がリアルタイムにＬＣＤモニタ２２に表示される。撮影者は、ＬＣＤモニタ２２に表示される映像（ムービー画）によって撮影画角を確認できる。

操作部２０の撮影ボタンが半押しされると、デジタルカメラ１００はＡＥ及びＡＦ処理を開始し、その後、撮影ボタンが全押しされると、静止画記録用の撮影動作がスタートする。即ち、撮影ボタンの全押しに応動して取得された画像データは信号処理回路１６において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、メモリ１８に格納される。

メモリ１８に格納されたＹ／Ｃ信号は、圧縮伸長回路４２によって所定のフォーマットに従って圧縮された後、メディアコントローラ２４を介して記録メディア２６に記録される。例えば、静止画についてはJPEG（Joint Photographic Experts Group）形式で記録される。

次に、信号処理回路１６における本発明に係る画像信号処理について説明する。

いま、ＣＣＤ１０をムービー駆動する際にＣＣＤ１０から垂直方向の画素情報を１／２間引きで読み出す場合、図６に示すようにＣＣＤのトランスファーゲートに対応する電極Ｖ１Ａ，Ｖ３Ａに転送時の電圧よりも高い電圧の読出用パルスを印加し、そのトランスファーゲートに対応する受光セルに蓄積された電荷を垂直転送路に読み出す。その後、垂直転送路は垂直転送用のタイミング信号によって４相駆動され、垂直転送路に読み出された電荷を水平転送路に向かって転送する。水平転送路に転送された電荷は、水平駆動パルスによって水平方向に転送され、信号電荷に応じた電圧信号として順次読み出される。

ここで、電極Ｖ１Ａに対応するＧラインと、電極Ｖ３Ａに対応するＲＢラインとは、１ラインとして信号処理され、前述したアナログ処理部３８からは、ＧＢＧＲＧＢＧＲ…の順に点順次のＲＧＢ信号が出力される。

図２（Ａ）はＣＣＤ１０から読み出されたラインｎ、ｎ＋１における点順次のＲＧＢ信号を示している。

ここで、ラインｎにおけるＧ画素（Ｇライン上の画素）とＲＢ画素（ＲＢライン上の画素）とは垂直方向の空間位置がずれているため、この空間位置ずれに応じて画像情報を補正する。例えば、Ｇラインを基準にし、ＲＢラインのＲＢ画素を、Ｇラインの空間位置に対応する画素情報になるように補間処理する。

即ち、図２（Ｂ）に示すように、ラインｎ−１のＲＧＢ画素情報（ＲＧＢ信号）をＲ_n-1 Ｇ_n-1 Ｂ_n-1 、ラインｎのＲＧＢ信号をＲ_n Ｇ_n Ｂ_n 、ラインｎ＋１のＲＧＢ信号をＲ_n+1 Ｇ_n+1 Ｂ_n+1 、ラインｎ＋２のＲＧＢ信号をＲ_n+2 Ｇ_n+2 Ｂ_n+2 とすると、補間処理後の実データラインｎ、ｎ＋１のＲＧＢ信号を、次式に示すように補正する。
［数１］
実データラインｎ
Ｇ＝Ｇ_n
Ｂ＝（Ｂ_n ×３＋Ｂ_n+1 ×１）／４
Ｒ＝（Ｒ_n ×３＋Ｒ_n+1 ×１）／４
実データラインｎ＋１
Ｇ＝Ｇ_n+1
Ｂ＝（Ｂ_n+1 ×３＋Ｂ_n+2 ×１）／４
Ｒ＝（Ｒ_n+1 ×３＋Ｒ_n+2 ×１）／４
また、ラインｎ−１とラインｎとの中間のライン（補間ライン）ｎ、ラインｎとラインｎ＋１との中間の補間ラインｎ＋１のＲＧＢ信号は、次式によって算出する。
［数２］
補間ラインｎ
Ｇ＝（Ｇ_n-1 ＋Ｇ_n ）／２
Ｂ＝（Ｂ_n-1 ×１＋Ｂ_n ×３）／４
Ｒ＝（Ｒ_n-1 ×１＋Ｒ_n ×３）／４
補間ラインｎ＋１
Ｇ＝（Ｇ＋Ｇ_n+1 ）／２
Ｂ＝（Ｂ_n ×１＋Ｂ_n+1 ×３）／４
Ｒ＝（Ｒ_n ×１＋Ｒ_n+1 ×３）／４
上記［数１］について、図３を参照しながら詳述する。

図３はＣＣＤ１０のＲＧＢ画素の空間位置関係を示す図である。

いま、ＣＣＤ１０から１／２間引きで読み出されるラインｎ−１、ｎ、ｎ＋１…のうちのラインｎでの補正について説明する。Ｇラインを基準にすると、Ｇライン上のＧ_n は補正する必要がない。一方、Ｇライン上のＢを求める場合には、ＧラインからＢ_n までの垂直方向の距離ａと、ＧラインからＢ_n+1 までの垂直方向の距離ｂとを使用し、Ｂ_n とＢ_n+1 とを１次線形補間することによりＧライン上のＢを求める。このＢは、次式により求めることができる。
［数３］
Ｂ＝（Ｂ_n ×ａ＋Ｂ_n+1 ×ｂ）／（ａ＋ｂ）
＝（Ｂ_n ×ａ＋Ｂ_n+1 ×３ａ）／（ａ＋３ａ） （∵ｂ＝３ａ）
＝（Ｂ_n ×３＋Ｂ_n+1 ×１）／４
同様にして、Ｇライン上のＲを求めることができる。

次に、上記補間処理を行なう信号処理回路１６の補間処理部について説明する。

図４は信号処理回路１６内の補間処理部の実施の形態を示すの要部ブロック図である。この補間処理部は、ラインメモリ５０、５２、乗算器５４、５６及び加算器５８から構成されている。

ラインメモリ５０、５２は、それぞれアナログ処理部３８から点順次で出力される１ライン分のＲＧＢ信号（ＣＣＤデータ）を保持し、かつラインｎ、ラインｎ＋１の２ラインのＣＣＤデータを１画素ずつ同時に乗算器５４、５６に出力する。乗算器５４、５６の他の入力には、ＣＰＵ１２の端子ａ，ｂから補間演算に必要な係数が加えられており、乗算器５４、５６は、これらの２入力を乗算する。即ち、ＣＰＵ１２は、［数１］に示したようにＧ信号が乗算器５４、５６に入力される場合には、乗算器５４、５６にそれぞれ係数１、０を出力し、ＲＢ信号が乗算器５４、５６に入力される場合には、乗算器５４、５６にそれぞれ係数３／４、１／４を出力する。そして、乗算器５４、５６での乗算結果は、それぞれ加算器５８に加えられ、ここで加算されて補間データとして出力される。

図５は信号処理回路１６の補間処理部の他の実施の形態を示す要部ブロック図である。尚、図４に示した補間処理部と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図５に示す補間処理部は、図４に示した補間処理部に対して、更にラインメモリ５３、乗算器５７、加算器５９及びセレクタ６０が追加されて構成されている。

ＣＰＵ１２は、実データラインにおける補間データを出力させる場合には、セレクタ６０が入力Ａを選択出力するように選択信号をセレクタ６０に出力し、補間ラインにおける補間データを出力させる場合には、セレクタ６０が入力Ｂを選択出力するように選択信号をセレクタ６０に出力する。

また、ＣＰＵ１２は、図４で説明したように実データラインにおける補間データを出力させる場合には、端子ａ，ｂから補間演算に必要な係数（１，０）又は（３／４，１／４）を出力し、補間ラインにおける補間データを出力させる場合には、［数２］に示したように、端子ｂ，ｃから補間演算に必要な係数（１／２，１／２）又は（１／４，３／４）を出力する。

即ち、ＣＰＵ１２は、乗算器５６、５７にそれぞれラインｎ＋１、ｎ＋２のＧ信号が入力される場合には、乗算器５６、５７にそれぞれ係数１／２、１／２を出力し、乗算器５６、５７にそれぞれラインｎ＋１、ｎ＋２のＲＢ信号が入力される場合には、乗算器５６、５７にそれぞれ係数１／４、３／４を出力する。そして、乗算器５６，５７での乗算結果は、それぞれ加算器５９に加えれ、ここで加算されてセレクタ６０のＢ入力に出力される。

この補間処理部では、１ライン分のＣＣＤデータが取り込まれると、実データラインにおける補間データの演算と、補間ラインにおける補間データの演算とを行い、複数ライン（２ライン）分の補間データを出力するようにしている。

尚、この実施の形態では、ＣＣＤ１０をムービー駆動する際にＣＣＤ１０から垂直方向の画素情報を１／２間引きで読み出す場合について説明したが、このＣＣＤ１０は、垂直方向にＧ画素、Ｒ画素、及びＢ画素が一列に配列されているため、奇数間引き、偶数間引きのいずれの間引き系で読み出すようにしてもよく、任意の間引き率で間引くことができる。

いま、間引きを１／Ｎとし、Ｇラインを基準にすると、実データラインにおける補正データは、次式で表すことができる。
［数４］
Ｇ＝Ｇ_n
Ｒ＝（Ｒ_n ×（Ｎ×２−１）＋Ｒ_n+1 ）／（Ｎ×２）
Ｂ＝（Ｂ_n ×（Ｎ×２−１）＋Ｂ_n+1 ）／（Ｎ×２）
但し、間引き：１／Ｎ
また、実データライン間に任意の本数の補間ラインを挿入することができる。この場合の任意の補間ラインにおける補正データは、次式で表すことができる。
［数５］
Ｇ＝（Ｇ_n ×（Ｍ−Ｌ）＋Ｇ_n+1 ×Ｌ）／Ｍ
Ｒ＝Ｒ_n ×｛（Ｎ−１）／Ｎ×２＋Ｌ／Ｍ｝
＋Ｒ_n+1 ×｛（Ｎ＋１）／Ｎ×２＋（Ｍ−Ｌ）／Ｍ｝
Ｂ＝Ｂ_n ×｛（Ｎ−１）／Ｎ×２＋Ｌ／Ｍ｝
＋Ｂ_n+1 ×｛（Ｎ＋１）／Ｎ×２＋（Ｍ−Ｌ）／Ｍ｝
但し、間引き：１／Ｎ
Ｍ倍ライン補間（Ｍ−１ライン挿入）
Ｌ＝１〜Ｍ−１ ：Ｌ≦Ｎ×２の時
Ｌ＝１−in（Ｍ／Ｎ）〜Ｍ−１〜int （Ｍ／Ｎ）：Ｌ＞Ｎ×２の時

図１は本発明に係る画像信号処理装置を含む撮像装置の実施の形態を示すブロック図である。 図２（Ａ）及び（Ｂ）はそれぞれＣＣＤから読み出されたラインｎ、ｎ＋１における点順次のＲＧＢ信号と補間処理後のＲＧＢ信号とを示す図である。 図３は本発明に係る補間処理を説明するために用いたＣＣＤのＲＧＢ画素の空間位置関係を示す図である。 図４は信号処理回路内の補間処理部の実施の形態を示すの要部ブロック図である。 図５は信号処理回路内の補間処理部の他の実施の形態を示すの要部ブロック図である。 図６はハニカム配列を有する固体撮像素子の概略構成図である。 図７（Ａ）及び（Ｂ）はそれぞれＣＣＤから読み出されたラインｎ、ｎ＋１における点順次のＲＧＢ信号と従来の補間処理後のＲＧＢ信号とを示す図である。

符号の説明

１０…固体撮像素子（ＣＣＤ）、１１…受光セル、１２…中央処理装置（ＣＰＵ）、１６…信号処理回路、３４…タイミングジェネータ、３６…ＣＣＤドライバ、５０、５２、５３…ラインメモリ、５４、５６、５７…乗算器、５８、５９…加算器、６０…セレクタ、１００…撮像装置（デジタルカメラ）

Claims (5)

1. Ｒ、Ｇ、Ｂの何れか１色のカラーフィルタがそれぞれ割り当てられた複数の画素が２次元配列された固体撮像素子であって、各画素が相互に斜め４５度の位置関係に配列されるとともに、水平方向にＧ画素のみからなるＧラインと水平方向にＲ画素とＢ画素とが交互に繰り返すＲＢラインとが垂直方向に繰り返してなる固体撮像素子と、
   前記固体撮像素子にて互いに隣接する前記Ｇラインと前記ＲＢラインとから画素ごとに交互に画素情報を読み出して、互いに隣接する前記Ｇラインの画素情報及び前記ＲＢラインの画素情報を１読出ライン分の画素情報として出力する読出手段と、
   前記Ｇライン及び前記ＲＢラインのうちいずれか一方を第１ラインとして他方を第２ラインとし、前記固体撮像素子上の垂直方向の空間位置が互いに異なる一の読出ライン及び他の読出ラインにおける前記第２ラインの垂直方向の空間位置に応じて、前記一の読出ライン及び前記他の読出ラインにおける前記第２ラインの画素情報を重み付けして演算することで、前記各読出ラインの前記第２ラインの画素情報を補正する補正手段であって、前記各読出ラインにて補正後の前記第２ラインの画素情報が前記第１ラインの垂直方向の空間位置に対応する画素情報になる重み付けを行う補正手段と、
   を備えたことを特徴とする画像信号処理装置。
2. 前記補正手段は、前記一の読出ラインにおける前記第２ラインの画素情報をＤ１、前記他の読出ラインにおける前記第２ラインの画素情報をＤ２、前記一の読出ラインにおける前記第１ラインと前記一の読出ラインにおける前記第２ラインとの垂直方向の空間位置の差をａ、前記一の読出ラインにおける前記第１ラインと前記他の読出ラインにおける前記第２ラインとの垂直方向の空間位置の差をｂとしたとき、前記一の読出ラインにおける前記第２ラインの補正後の画素情報Ｄを、数式｛Ｄ＝（Ｄ１×ａ＋Ｄ２×ｂ）／（ａ＋ｂ）｝により算出することを特徴とする請求項１に記載の画像信号処理装置。
3. 前記読出手段は、ムービー駆動時に前記固体撮像素子から垂直方向の画素情報を間引いて読み出すことを特徴とする請求項１または２に記載の画像信号処理装置。
4. 前記固体撮像素子は、垂直方向にＧ画素、Ｒ画素、及びＢ画素が一列に配列されていることを特徴とする請求項１ないし３のいずれか１項に記載の画像信号処理装置。
5. 前記補正手段は、前記固体撮像素子の垂直方向にて前記各読出ラインの間に位置し且つデータ上にて前記読出ラインの間に挿入される補間ラインの画素情報を、前記各読出ラインの画素情報に基づいて補間演算するものであって、前記補間ラインの垂直方向の空間位置と、前記各読出ラインの垂直方向の同じ色の画素の垂直方向の空間位置とに基づいて重み付け補間を行なうことを特徴とする請求項３に記載の画像信号処理装置。

Images