JP2000102024A - 画像信号処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 水平、垂直方向の解像度のみならず、斜め方
向の解像度をも高めることを可能にする。 【解決手段】 Ｙｅ、Ｃｙ、Ｍｇ、Ｇの補色市松コーテ
ィングが施された画素を配列してなるＣＣＤ等の撮像デ
バイスからの読み出し信号を処理する補色カメラシステ
ムであり、撮像デバイスからの読み出し信号に対して、
それぞれ近傍の他色を画素補間する解像度改善検出補間
回路９を有してなる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば補色系のコ
ーティングが施されたＣＣＤ等の撮像デバイスからの読
み出し信号に対して画素補間を行う画像信号処理装置に
関する。

【０００２】

【従来の技術】従来より、例えばイエロー（Ｙｅ）、シ
アン（Ｃｙ）、マゼンタ（Ｍｇ）、グリーン（Ｇ）等の
補色系のコーティングを施してなるＣＣＤ等の撮像デバ
イスを備えた補色カメラシステムは、レッド（Ｒ）、ブ
ルー（Ｂ）、グリーン（Ｇ）の原色系のコーティングを
施してなるＣＣＤ等の撮像デバイスを備えた原色カメラ
システムに比べて、各画素の感度が高く、各画素色成分
も多いため、解像度改善をしなくても比較的良好な画素
が得られることが特徴となっている。

【０００３】図１１には、従来の補色カメラシステムに
おける、２画素混合読み出し時の輝度信号処理の構成例
を示す。なお、図１１の補色カメラシステム例では、撮
像デバイスにいわゆる補色市松コーティングが施されて
おり、また、ＣＣＤ等の撮像デバイスからの画像信号に
時間軸方向のフィルタリング処理を施して当該画像信号
の高周波成分を補償する信号処理（以下、アパーチャコ
ントロール処理と呼ぶ）を行うようになされている。

【０００４】この図１１において、入力端子１０１に
は、ＣＣＤ等の撮像デバイスから空間的に離散的に存在
するＹｅ、Ｃｙ、Ｍｇ、Ｇの補色画像信号が供給され
る。この補色画像信号は、１／４Ｖフィルタ１０４と１
ラインディレイ回路１０２に送られ、また、当該１ライ
ンディレイ回路１０２の出力は１ラインディレイ回路１
０３に送られる。

【０００５】１ラインディレイ回路１０２及び１０３
は、入力された画像信号をそれぞれ１ライン分遅延し、
各々の遅延出力を１／４Ｖフィルタ１０４に送る。これ
により、１／４Ｖフィルタ１０４には、３ライン同時化
された画像信号が供給されることになる。

【０００６】また、１ラインディレイ回路１０２にて１
ライン分遅延された画像信号は、水平方向方向ローパス
フィルタ１０７にも送られる。

【０００７】水平方向ローパスフィルタ１０７は、１ラ
インディレイ回路１０２にて１ライン分遅延された画像
信号の低域成分を抜き出すことで輝度信号を取り出し、
この輝度信号を、加算器１１２、１／４Ｈフィルタ１０
５及び１／２Ｈフィルタ１０６に送る。

【０００８】１／４Ｖフィルタ１０４は、３ライン同時
化された画像信号から、サンプリング周波数の垂直方向
１／４の高域成分を抜き出し、その周波数成分を乗算器
１０８に送る。１／４Ｈフィルタ１０５は、水平方向ロ
ーパスフィルタ１０７より取り出された輝度信号から、
サンプリング周波数の水平方向１／４の高域成分を抜き
出し、その周波数成分を乗算器１０９に送る。１／２Ｈ
フィルタ１０６は、水平方向ローパスフィルタ１０７よ
り取り出された輝度信号から、サンプリング周波数の水
平方向１／２の高域成分を抜き出し、その周波数成分を
乗算器１１０に送る。

【０００９】乗算器１０８は、１／４Ｖフィルタ１０４
からの垂直方向１／４の周波数成分に所定のアパーチャ
コントロールゲインを掛け、その出力信号を加算器１１
１に送る。乗算器１０９は、１／４Ｈフィルタ１０５か
らの水平方向１／４の帯域の周波数成分に所定のアパー
チャコントロールゲインを掛け、その出力信号を加算器
１１１に送る。乗算器１１０は、１／２Ｈフィルタ１０
６からの水平方向１／２の帯域の周波数成分に所定のア
パーチャコントロールゲインを掛け、その出力信号を加
算器１１１に送る。

【００１０】加算器１１１では、乗算器１０８〜１１０
の各出力信号を加算し、アパーチャコントロール信号と
して出力する。この加算器１１１からのアパーチャコン
トロール信号は加算器１１２に送られる。

【００１１】加算器１１２では、上記アパーチャコント
ロール信号と輝度信号を加算し、これにより、当該加算
器１１２からは、高周波成分を補償（アパーチャコント
ロール処理）した輝度信号が出力される。この加算器１
１２から出力された輝度信号は、ガンマ（γ）補正回路
１１３に送られる。

【００１２】ガンマ補正回路１１３では、アパーチャコ
ントロール処理後の輝度信号をガンマ処理し、このガン
マ補正後の輝度信号が出力端子１１４から出力される。

【００１３】この図１１に示した従来の補色カメラシス
テムの２画素混合読み出し時の輝度信号処理では、入力
画像信号に対して水平方向のフィルタを掛けて輝度信号
を取り出し、また、同時化された水平，垂直信号に対し
てフィルタを通して高域成分（サンプリング周波数の垂
直１／４、水平１／２，１／４の高域成分）だけを抜き
出し、これらに適当なゲインを掛けてから足し合わせて
所望のアパーチャコントロール信号（高域周波数補償信
号）を生成し、このアパーチャコントロール信号を輝度
信号に加算するようにしている。

【００１４】図１２には、従来の補色カメラシステムに
おける、全画素独立読み出し時の輝度信号処理の構成例
を示す。なお、図１２の例でも、撮像デバイスに補色市
松コーティングが施されており、また、アパーチャコン
トロール処理を行うようになされている。

【００１５】この図１２において、入力端子１２１に
は、ＣＣＤ等の撮像デバイスから空間的に離散的に存在
するＹｅ、Ｃｙ、Ｍｇ、Ｇの補色画像信号が供給され
る。この補色画像信号は、Ｖフィルタ１２５と垂直方向
ローパスフィルタ１２８、及び１ラインディレイ回路１
２２に送られる。

【００１６】１ラインディレイ回路１２２の出力は、１
ラインディレイ回路１２３を介して更に１ラインディレ
イ回路１２４に送られる。これら１ラインディレイ回路
１２２〜１２４は、それぞれ入力された画像信号を１ラ
イン分遅延し、各々の遅延出力をＶフィルタ１２５と垂
直方向ローパスフィルタ１２８に送る。これにより、Ｖ
フィルタ１２５と垂直方向ローパスフィルタ１２８に
は、４ライン同時化された画像信号が供給されることに
なる。

【００１７】上記垂直方向ローパスフィルタ１２８の信
号はさらに水平方向ローパスフィルタ１２９を通過する
ようになされており、これにより、４ライン同時化され
た画像信号から輝度信号が取り出される。この輝度信号
は、１／４Ｈフィルタ１２６と１／２Ｈフィルタ１２
７、及び加算器１３４に送られる。

【００１８】Ｖフィルタ１２５は、４ライン同時化され
た画像信号から、サンプリング周波数の垂直方向の高域
成分を抜き出し、その周波数成分を乗算器１３０に送
る。１／４Ｈフィルタ１２６は、輝度信号から、サンプ
リング周波数の水平方向１／４の高域成分を抜き出し、
その周波数成分を乗算器１３１に送る。１／２Ｈフィル
タ１２７は、輝度信号から、サンプリング周波数の水平
方向１／２の高域成分を抜き出し、その周波数成分を乗
算器１３２に送る。

【００１９】乗算器１３０は、Ｖフィルタ１２５からの
垂直方向の周波数成分に所定のアパーチャコントロール
ゲインを掛け、その出力信号を加算器１３３に送る。乗
算器１３１は、１／４Ｈフィルタ１２６からの水平方向
１／４の帯域の周波数成分に所定のアパーチャコントロ
ールゲインを掛け、その出力信号を加算器１３３に送
る。乗算器１３２は、１／２Ｈフィルタ１２７からの水
平方向１／２の帯域の周波数成分に所定のアパーチャコ
ントロールゲインを掛け、その出力信号を加算器１３３
に送る。

【００２０】加算器１３３では、乗算器１３０〜１３２
の各出力信号を加算し、アパーチャコントロール信号と
して出力する。この加算器１３３からのアパーチャコン
トロール信号は加算器１３４に送られる。

【００２１】加算器１３４では、上記アパーチャコント
ロール信号と輝度信号を加算し、これにより、当該加算
器１３４からは、高周波成分を補償（アパーチャコント
ロール処理）した輝度信号が出力される。この加算器１
３４から出力された輝度信号は、ガンマ（γ）補正回路
１３５に送られる。

【００２２】ガンマ補正回路１３５では、アパーチャコ
ントロール処理後の輝度信号をガンマ処理し、このガン
マ補正後の輝度信号が出力端子１３６から出力される。

【００２３】この図１２に示した従来の補色カメラシス
テムの全画素独立読み出し時の輝度信号処理では、入力
画像信号に対して垂直及び水平方向のフィルタを掛けて
輝度信号を取り出し、また、同時化された水平，垂直信
号に対してフィルタを通して高域成分（サンプリング周
波数の垂直、水平１／２，１／４の高域成分）だけを抜
き出し、これらに適当なゲインを掛けてから足し合わせ
て所望のアパーチャコントロール信号（高域周波数補償
信号）を生成し、このアパーチャコントロール信号を輝
度信号に加算するようにしている。

【００２４】上述したように、従来の補色カメラシステ
ムでは、２画素混合読み出し時、全画素読み出し時のど
ちらの場合も、輝度信号と平行してアパーチャコントロ
ール信号を生成し、ガンマ（γ）補正前で輝度信号にア
パーチャコントロール信号を加えて、高周波成分を持ち
上げるようにしている。

【００２５】

【発明が解決しようとする課題】ところで、上述した従
来の補色カメラシステムの場合、斜め方向の解像度が低
く、特に静止画像では画質の劣化として目立ちやすい傾
向にある。すなわち例えば、斜め線が階段状になる現象
が見えやすいという問題がある。

【００２６】そこで、本発明はこのような状況に鑑みて
なされたものであり、水平、垂直方向の解像度のみなら
ず、斜め方向の解像度を高めることが可能な画像信号処
理装置を提供することを目的とする。

【００２７】

【課題を解決するための手段】本発明の画像信号処理装
置は、補色系コーティングが施された画素を配列してな
る撮像手段からの読み出し信号を処理する画像信号処理
装置であり、撮像手段からの読み出し信号に対してそれ
ぞれ近傍の他色を画素補間する補間手段を有することに
より、上述した課題を解決する。

【００２８】

【発明の実施の形態】本発明の好ましい実施の形態につ
いて、図面を参照しながら説明する。

【００２９】図１には、本発明の画像信号処理装置の第
１の実施の形態として、図２に示すようなイエロー（Ｙ
ｅ）、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、グリーン
（Ｇ）の補色系の２×４市松コーティングを施してなる
ＣＣＤ撮像デバイスからの画像信号を処理する補色カメ
ラシステムの概略構成を示す。なお、図１の補色カメラ
システムでは、全画素読み出し時の輝度信号の高周波成
分を補償するアパーチャコントロール処理を行う例を挙
げている。

【００３０】この図１において、入力端子１には、上記
図２のような補色市松コーティングされたＣＣＤからの
補色画像信号が供給される。この補色画像信号は、１ラ
インディレイ回路２と解像度改善検出補間回路９に送ら
れる。

【００３１】当該１ラインディレイ回路２の出力は、１
ラインディレイ回路３、４、５、６、７、８に順次送ら
れる。これら１ラインディレイ回路２〜８は、それぞれ
入力された画像信号を１ライン分遅延し、各々の遅延出
力を解像度改善検出補間回路９に送る。これにより、解
像度改善検出補間回路９には、８ライン同時化された画
像信号が供給されることになる。

【００３２】詳細については後述するが、当該解像度改
善検出補間回路９は、解像度改善のために、８ライン同
時化された信号の相関を検出し、その検出結果に基づい
て上記８ライン同時化された信号の同一ライン内の信号
（例えばＹｅ画素とＣｙ画素の信号、Ｍｇ画素とＧ画素
の信号）を補間し、４ラインの補間信号を生成するもの
である。言い換えれば、本実施の形態の補色カメラシス
テムでは、解像度改善検出補間回路９にて４ライン分の
補間を行うために、８ライン分の１ラインディレイ回路
２〜８が必要となっている。この解像度改善検出補間回
路９から出力された４ラインの補間信号は、垂直方向ロ
ーパスフィルタ１３とＶフィルタ１０に送られる。

【００３３】垂直方向ローパスフィルタ１３は、解像度
改善検出補間回路９からの４ラインの補間信号から、垂
直方向の低域成分を抜き出すことで輝度信号を取り出
す。すなわち、当該垂直方向ローパスフィルタ１３で
は、図２のコーティングパターンのうち、解像度改善検
出補間回路９にてＹｅ画素にＣｙ画素の信号を補間した
ラインと、Ｍｇ画素にＧ画素の信号を補間したラインの
２つのラインを加えて、Ｙｅ＋Ｃｙ＋Ｍｇ＋Ｇ＝Ｙの輝
度信号を生成し、同様に、解像度改善検出補間回路９に
てＣｙ画素にＹｅ画素の信号を補間したラインと、Ｇ画
素にＭｇ画素の信号を補間したラインの２つのラインを
加えてＹｅ＋Ｃｙ＋Ｍｇ＋Ｇ＝Ｙの輝度信号を生成す
る。この輝度信号は、加算器１８、１／４Ｈフィルタ１
１及び１／２Ｈフィルタ１２に送られる。

【００３４】Ｖフィルタ１０は、４ラインの補間信号か
ら、垂直方向の高域成分を抜き出し、その周波数成分を
乗算器１４に送る。１／４Ｈフィルタ１１は、輝度信号
から、サンプリング周波数の水平方向１／４の高域成分
を抜き出し、その周波数成分を乗算器１５に送る。１／
２Ｈフィルタ１２は、輝度信号から、サンプリング周波
数の水平方向１／２の高域成分を抜き出し、その周波数
成分を乗算器１６に送る。

【００３５】乗算器１４は、Ｖフィルタ１０からの垂直
方向の周波数成分に所定のアパーチャコントロールゲイ
ンを掛け、その出力信号を加算器１７に送る。乗算器１
５は、１／４Ｈフィルタ１１からの水平方向１／４の帯
域の周波数成分に所定のアパーチャコントロールゲイン
を掛け、その出力信号を加算器１７に送る。乗算器１６
は、１／２Ｈフィルタ１２からの水平方向１／２の帯域
の周波数成分に所定のアパーチャコントロールゲインを
掛け、その出力信号を加算器１７に送る。

【００３６】加算器１７では、乗算器１４〜１６の各出
力信号を加算し、アパーチャコントロール信号として出
力する。この加算器１７からのアパーチャコントロール
信号は加算器１８に送られる。

【００３７】加算器１８では、上記アパーチャコントロ
ール信号と輝度信号を加算し、これにより、当該加算器
１８からは、高周波成分を補償（アパーチャコントロー
ル処理）した輝度信号が出力される。この加算器１８か
ら出力された輝度信号は、ガンマ（γ）補正回路１９に
送られる。

【００３８】ガンマ補正回路１９では、アパーチャコン
トロール処理後の輝度信号をガンマ処理し、このガンマ
補正後の輝度信号が出力端子２０から出力される。

【００３９】この図１に示した実施の形態の補色カメラ
システムの全画素独立読み出し時の輝度信号処理では、
解像度改善検出補間回路９にて８ライン同時化した信号
を補間して４ラインの補間信号を生成し、その４ライン
の補間信号に対して、垂直方向のフィルタを掛けて輝度
信号を取り出し、また、４ラインの補間信号をフィルタ
に通して高域成分（垂直、水平１／２，１／４の高域成
分）だけを抜き出し、これらに適当なゲインを掛けてか
ら足し合わせて所望のアパーチャコントロール信号（高
域周波数補償信号）を生成し、このアパーチャコントロ
ール信号を輝度信号に加算するようにしている。

【００４０】すなわち、図１に示した実施の形態の補色
カメラシステムでは、同一ライン内の信号を補間（Ｙｅ
画素とＣｙ画素、Ｍｇ画素とＧ画素を補間）しているの
で、水平方向のローパスフィルタが無くても、輝度信号
を得ることができる。言い換えれば、撮像デバイスに図
２のような補色市松コーティングが施されている場合、
Ｙｅ画素とＣｙ画素とＭｇ画素とＧ画素の信号を足す
（Ｙｅ＋Ｃｙ＋Ｍｇ＋Ｇ）ことで輝度信号（Ｙ）を生成
できるので、本実施の形態の補色カメラシステムでは、
４ラインの補間信号を垂直方向ローパスフィルタ１３に
通すことによって輝度信号を得るようにしている。ま
た、水平、垂直のアパーチャコントロール信号は、従来
と同様の方法で生成することができる。

【００４１】ここで、本発明実施の形態の最も特徴的な
点は、同一ライン内の信号を補間して後段のフィルタで
ライン加算をして輝度信号を作ることにある。なお、本
実施の形態との比較として、例えばＲ，Ｇ，Ｂ原色系の
カメラシステムでは、Ｇの画素にＲとＢの画素を補間す
るように、一つの画素に対して全画素の色データを補間
している。

【００４２】次に、図１の補色カメラシステムの解像度
改善検出補間回路９における相関検出と補間処理につい
て、以下に説明する。

【００４３】図３及び図４には、解像度改善検出補間回
路９にて扱う画素列を示す。

【００４４】解像度改善検出補間回路９は、この図３及
び図４に示す画素列のうち、Ｙｅ画素とＣｙ画素からな
るラインについては、Ｙｅ画素に対してＣｙ画素を補間
し、Ｃｙ画素に対してＹｅ画素を補間する。また、Ｇ画
素とＭｇ画素からなるラインについては、Ｇ画素に対し
てＭｇ画素を補間し、Ｍｇ画素に対してＧ画素を補間す
る。

【００４５】このような補間処理を行う場合において、
解像度改善検出補間回路９では、各画素の相関を検出
し、その相関検出結果に応じた補間処理を行う。

【００４６】実際の相関検出例として、簡単な処理例を
以下に説明する。

【００４７】例えば、図３に示すように、Ｍｇ画素に対
してＧ画素を補間する場合は、先ず、相関検出のため
に、 ｜Ｇ１−Ｇ４｜ の計算を行った値（レベル）と、 ｜Ｇ２−Ｇ３｜ の計算を行った値（レベル）とを比べて、前者のレベル
が大きければ水平相関が大きく、後者のレベルが大きけ
れば垂直相関が大きく、略々等しい場合は斜め方向の相
関が大きいと判断する。

【００４８】また例えば、図４に示すように、Ｙｅ画素
に対してＣｙ画素を補間する場合は、先ず、相関検出の
ために、 ｜（Ｃｙ１＋Ｃｙ３＋Ｃｙ５）／３−（Ｃｙ２＋Ｃｙ４
＋Ｃｙ６）／３｜ の計算を行った値（レベル）と、 ｜（Ｃｙ１＋Ｃｙ２）／２−（Ｃｙ５＋Ｃｙ６）／２｜ の計算を行った値（レベル）とを比べて、前者のレベル
が大きければ水平相関が大きく、後者のレベルが大きけ
れば垂直相関が大きく、略々等しい場合は斜め方向の相
関が大きいと判断する。

【００４９】上述の相関検出をした結果に基づき、例え
ばＭｇ画素に対してＧ画素を補間する場合に、水平方向
の相関が大きければ、 （Ｇ２＋Ｇ３）／２ の計算により補間を行い、また、垂直方向の相関が大き
ければ、 （Ｇ１＋Ｇ４）／２ の計算により補間を行い、一方、斜め方向の相関が大き
ければ、 （Ｇ１＋２×Ｇ２＋２×Ｇ３＋Ｇ４）／６ の計算により補間を行う。

【００５０】同様に、上述のような相関検出をした結果
に基づき、例えばＹｅ画素に対してＣｙ画素を補間する
場合に、水平方向の相関が大きければ、 （Ｃｙ３＋Ｃｙ４）／２ の計算により補間を行い、また、垂直方向の相関が大き
ければ、 （Ｃｙ１＋Ｃｙ２＋Ｃｙ３＋Ｃｙ４＋Ｃｙ５＋Ｃｙ６）
／６ の計算により補間を行い、一方、斜め方向の相関が大き
ければ、（Ｃｙ２＋Ｃｙ５）／２ 又は、（Ｃｙ１＋Ｃ
ｙ６）／２ の計算により補間を行う。

【００５１】なお、解像度改善検出補間回路９において
は、相関検出時に更に細かく縦と横の相関比を計算する
ことにより、垂直方向、水平方向、斜め方向の３つの方
向だけでなく、更に細かい方向の補間コントロールも可
能となる。

【００５２】但し、上述した相関検出に基づく補間処理
において、Ｍｇ画素に対してＧ画素を補間する場合の相
関検出時には、１画素だけの演算で相関の判断を行って
いるため、当該画素の信号に例えばノイズが乗っている
ような場合に誤検出する可能性が大きい。また、Ｙｅ画
素に対してＣｙ画素を補間する場合、垂直方向の相関が
強い場合に水平方向の３画素で補間が掛かるので、解像
度の面で不利となってしまう。これはＣｙ画素に対して
Ｙｅ画素を補間する場合や、Ｇ画素に対してＭｇ画素を
補間する場合も同様である。したがって、相関検出に基
づく補間処理の際には、これらを考慮する必要がある。

【００５３】ところで、図２の補色市松コーティングパ
ターンにおけるＹｅ、Ｃｙ、Ｍｇ、Ｇの各画素の分光特
性は、図５に示すようになっており、この図５に示す分
光特性例から見てわかるように、Ｙｅ画素とＣｙ画素の
ラインは、Ｇ画素とＭｇ画素のラインに比べて、各波長
についての感度（レスポンス）が高いことがわかる。こ
れに対して、Ｍｇ画素は緑色光に対する感度が低く、Ｇ
画素は赤色光と青色光に対する感度が低い。これらか
ら、Ｍｇ画素とＧ画素のラインにおいて、Ｍｇ画素に対
してＧ画素を、また、Ｇ画素に対してＭｇ画素を補間す
るだけで、解像度を補正することが充分に可能であるこ
とがわかる。

【００５４】このような補間処理の場合は、（Ｙｅ＋Ｃ
ｙ＋Ｍｇ＋Ｇ）＝Ｙの輝度信号を生成する際に、水平方
向と垂直方向の２画素を必ず加算しなければならない。
したがって、このような場合、輝度信号を生成するため
には、垂直方向ローパスフィルタだけでなく水平方向ロ
ーパスフィルタも必要になる。

【００５５】上述のようにＭｇとＧの画素のラインだけ
に対して補間を行う場合の本発明の第２の実施の形態の
補色カメラシステムの構成例を、図６に示す。なお、こ
の図６において、図１の各構成要素と略々同じ動作を行
う各構成要素には、それぞれ同一の指示符号を付してい
る。

【００５６】すなわちこの図６に示す第２の実施の形態
の補色カメラシステムと、図１に示したシステムとの相
違点は、図６の解像度改善検出補間回路２１において、
図１の解像度改善検出補間回路９のように図３や図４に
示した全ての画素について補間を行うのではなく、前記
図２の補色市松コーティングパターンのＧ画素とＭｇ画
素のラインだけに対して相関検出と補間処理を行うよう
にした点と、輝度信号の生成のために、垂直方向ローパ
スフィルタ１３の後段に更に水平方向ローパスフィルタ
２２を設けた点である。したがって、この図６の構成の
場合、１／４Ｈフィルタ１１と１／２Ｈフィルタ１２及
び加算器１８には、当該水平方向ローパスフィルタ２２
からの輝度信号が送られる。なお、この図６の解像度改
善検出補間回路２１でのＧ画素とＭｇ画素の補間処理の
方法は、図１の解像度改善検出補間回路９におけるＧ画
素とＭｇ画素の補間処理と同じである。

【００５７】次に、上述した相関検出及び補間処理の際
に考慮すべき点のうち、画素の信号にノイズが乗ってい
る場合の誤検出に対処するための本発明の第３の実施の
形態の補色カメラシステムについて説明する。なお、こ
の第３の実施の形態のシステム構成については、前記図
１のシステム構成と同じであるため、その図示を省略す
る。但し、第３の実施の形態の場合、解像度改善検出補
間回路における処理内容が第１の実施の形態の場合とは
異なるため、以下の説明では、第１の実施の形態での解
像度改善検出補間回路９と区別するため、解像度改善検
出回路の指示符号として２３の番号（すなわち解像度改
善検出回路２３とする）を用いることにする。

【００５８】図７及び図８を用いて、当該第３の実施の
形態の解像度改善検出補間回路２３にて扱う相関検出用
の画素列の説明を行う。

【００５９】本実施の形態の解像度改善検出補間回路２
３では、例えば図７中の矢印にて示す範囲のＧ画素とＭ
ｇ画素を加えた信号を相関検出用の信号として相関検出
を行い、或いは、例えば図８中の矢印にて示す範囲のＹ
ｅ、Ｃｙ、Ｍｇ、Ｇの各画素を加えた信号を相関検出用
の信号として相関検出を行うようにしている。以下、図
７に示すようにＧ画素とＭｇ画素を加えて相関検出を行
うことを第１の相関検出方法と呼び、図８に示すように
Ｙｅ、Ｃｙ、Ｍｇ、Ｇの各画素を加えて相関検出を行う
ことを第２の相関検出方法と呼ぶことにする。なお、こ
の第３の実施の形態において、実際の補間画素及び補間
演算については前記第１の実施の形態にて説明した簡単
な水平、垂直、斜め方向の場合と同様である。

【００６０】ここで、当該第３に実施の形態において、
上記第１と第２の相関検出方法は共にＭｇ画素とＧ画素
を扱い、これらＭｇ画素とＧ画素の信号を加えて得られ
る相関検出用信号の分光特性は一致する。すなわち、前
述した実施の形態では、相関検出時に使用するＧ画素、
Ｍｇ画素の信号の分光特性が違うため、水平、垂直、斜
め方向の補間処理選択時のレベルもこれに伴いＧ画素、
Ｍｇ画素で違う設定をしなければならなかったが、当該
第３の実施の形態では、Ｇ画素とＭｇ画素を加えるよう
にしているため、相関検出時の判断レベルを別々に設定
にする必要がない。言い換えると、この第３の実施の形
態では、図７及び図８に示したように、各画素の相関判
断時の相関検出用信号の分光特性を揃えることにより、
相関検出レベル設定を容易にすることが可能になる。

【００６１】例えば、第１の相関検出方法を例に挙げ、
水平、垂直方向だけの補間処理の選択を行う場合、その
選択は一例として以下のようになされる。例えば、 Ｇ１Ja＝（Ｍｇ５＋２×Ｇ１＋Ｍｇ１）／４ Ｇ２Ja＝（Ｍｇ６＋２×Ｇ２＋Ｍｇ２）／４ Ｇ３Ja＝（Ｍｇ２＋２×Ｇ３＋Ｍｇ３）／４ Ｇ４Ja＝（Ｍｇ７＋２×Ｇ４＋Ｍｇ４）／４ とすると、この時、相関検出のために、 ｜Ｇ２Ja−Ｇ３Ja｜−｜Ｇ１Ja−Ｇ４Ja｜ の計算行い、この計算結果の値が正の値であったなら
は、 Ghokan＝（Ｇ１＋Ｇ４）／２ の演算により垂直方向の補間とし、一方、上記相関検出
のための計算結果の値が負の値あったならば、 Ghokan＝（Ｇ２＋Ｇ３）／２ の演算により水平方向の補間とする。

【００６２】またさらに、Ｍｇ、Ｇの４つの画素値の平
均値を使って、水平、垂直だけでなく斜め方向の補間処
理を行う場合は、以下のようになされる。例えば、斜め
方向の補間値（レベル）を１つ、Ｊlevとして設定し、 ｜Ｇ１Ja−Ｇ４Ja｜−｜Ｇ２Ja−Ｇ３Ja｜＜−Ｊlev の関係が成り立てば、 Ghokan＝（Ｇ１＋Ｇ４）／２ の演算により垂直方向の補間とし、一方で、 ｜Ｇ１Ja−Ｇ４Ja｜−｜Ｇ２Ja−Ｇ３Ja｜＞Ｊｌｅｖ の関係が成り立てば、 Ｇｈｏｋａｎ＝（Ｇ２＋Ｇ３）／２ の演算により水平方向の補間とし、さらに、それら関係
のどちらも成り立たない場合は、 Ghokan＝（２＊（Ｇ２＋Ｇ３）＋（Ｇ１＋Ｇ４））／６
（平均） の演算により斜め方向の補間とする。

【００６３】上述したように、Ｍｇ画素とＧ画素の信号
を加えた相関検出用信号を使用して相関検出を行い、そ
の検出結果に応じて補間処理の選択を行う、第３の実施
の形態の解像度改善検出補間回路２３の具体的な構成例
を図９に示す。

【００６４】この図９において、加算器３１ではＧ２と
Ｇ３画素の信号を加算し、加算器３２ではＧ１とＧ４の
画素の信号を加算する。加算器３１の加算出力は１／２
倍演算器４４と２倍演算器４１に送られ、加算器３２の
加算出力は加算器４２と１／２倍演算器４６に送られ
る。１／２倍演算器４４では加算器３１の加算出力を１
／２倍し、２倍演算器４１では加算器３１の加算出力を
２倍し、１／２倍演算器４６では加算器３２の加算出力
を１／２倍する。加算器４２では２倍演算器４１の出力
と加算器３２の出力とを加算し、その加算出力を１／６
演算器４５に送る。１／６演算器４５では加算器４２の
加算出力を１／６倍する。１／２倍演算器４４と、１／
６倍演算器４５と、１／２演算器４６の各出力は、それ
ぞれ選択器４７に送られる。

【００６５】また、加算器３３ではＧ１とＭｇ１とＭｇ
５画素の信号を加算してその加算結果を減算器３７に送
り、加算器３４ではＧ４とＭｇ４とＭｇ７画素の信号を
加算してその加算結果を減算器３７に送る。加算器３５
ではＧ２とＭｇ２とＭｇ６画素の信号を加算してその加
算結果を減算器３８に送り、加算器３６ではＧ３とＭｇ
２とＭｇ３画素の信号を加算してその加算結果を減算器
３８に送る。減算器３７では加算器３３と３４の加算出
力の差分を求めてその差分結果を絶対値化器３９に送
り、減算器３８では加算器３５と３６の加算出力の差分
を求めてその差分結果を絶対値化器４０に送る。絶対値
化器３９では減算器３７の減算出力の絶対値を求めてそ
の絶対値出力を減算器４３に送り、絶対値化器４０では
減算器３８の減算出力の絶対値を求めてその絶対値出力
を減算器４３に送る。当該減算器４３では、絶対値化器
３９と４０の絶対値出力の差分を求めてその差分結果を
比較器４８に送る。また、当該比較器４８には、前記斜
め方向の補間値（レベル）として設定した値Ｊlevが送
られ、これらの比較結果が選択器４７に送られる。

【００６６】選択器４７では、比較器４８からの比較結
果に応じて、１／２倍演算器４４と１／６倍演算器４５
と１／２演算器４６の各出力の何れかを選択し、この選
択出力が補間値Ｇとして出力される。

【００６７】この図９の例のように、解像度改善検出補
間回路２３を、水平方向と垂直方向の相関の差分をその
レベルから補間方向を選ぶような回路構成にすれば、小
規模な回路での補間が実現可能となる。

【００６８】その他の例として、上記例の様に、水平方
向、垂直方向、斜め方向での３つの補間だけでなく、更
に細かい補間を行うためには、得られた水平方向、垂直
方向の相関データ比を取り、その結果から垂直方向、水
平方向の加算割合を決定する方法等が考えられる。

【００６９】図１０には、このように更に細かい補間を
行う場合の、解像度改善検出回路の構成例を示す。な
お、この図１０の各構成要素のうち、図９と同じ構成要
素にはそれぞれ同一の指示符号を付してその説明は省略
する。

【００７０】この図１０において、加算器３１からの加
算出力は水平方向の補間値Ｇhとして乗算器５３に送ら
れ、加算器３２の加算出力は垂直方向の補間値Ｇvとし
て乗算器５４に送られる。

【００７１】また、絶対値化器３９からの絶対値出力Ｄ
iffVは除算器５２と加算器５１に送られ、絶対値化器４
０からの絶対値出力ＤiffHは加算器５１に送られる。加
算器５１では絶対値出力ＤiffVと絶対値出力ＤiffHを加
算しその加算出力（ＤiffV＋ＤiffH）を除算器５２に送
る。除算器５２では絶対値化器３９からの絶対値出力Ｄ
iffVを加算器５１からの加算出力（ＤiffV＋ＤiffH）で
除算し、その除算値α＝（ＤiffV／（ＤiffV＋Ｄiff
H））と１−αの値を出力する。除算値αは乗算器５３
に送られ、値（１−α）は乗算器５４に送られる。

【００７２】乗算器５３では加算器３１からの補間値Ｇ
hと除算器５２からの除算値αを乗算し、してその乗算
出力（α×Ｇh）を加算器５５に送り、乗算器５４では
加算器３２からの補間値Ｇvと除算器５２からの値（１
−α）を乗算してその乗算出力（１−α）Ｇvを加算器
５５に送る。加算器５５では、乗算器５３からの乗算出
力（α×Ｇh）と乗算器５４からの乗算出力（１−α）
Ｇvを加算する。この加算器５５の加算出力（α×Ｇh＋
（１−α）Ｇv）が補間値Ｇとして出力される。

【００７３】なお、第２の相関検出方法における画素選
択の場合も、図８で示されているＹｅ、Ｃｙ、Ｍｇ、Ｇ
の各画素の加算結果から、上記例と同様に判断、処理す
れば補間検出と補間処理が実現できる。

【００７４】上述したように、本実施の形態の補色カメ
ラシステムにおいては、補色系コーティングが施された
画素配列のＣＣＤ等の撮像デバイスからの読み出し信号
に対して、近辺の他色を画素補間することにより、輝度
信号の解像度を改善することが可能となっている。ま
た、近辺の他色を画素補間する時に、全画素でなく一部
の画素に対して画素補間することにより、解像度を改善
することができる。

【００７５】本実施の形態の補色カメラシステムにおい
ては、Ｙｅ、Ｃｙ、Ｍｇ、Ｇ（２×４）補色市松画素配
列の撮像デバイスからの全画素独立読み出し信号に対し
て、Ｍｇ、Ｇ画素に対してだけ画素補間することによ
り、解像度の改善をすることができる。また、画素補間
する場合に、補間すべき色の情報だけでなく、幾つかの
他色の画素情報を用いて補間検出を行うことにより、精
度の良い補間検出をすることができる。さらに、画素補
間する場合に、Ｙｅ、Ｃｙ、Ｍｇ、Ｇの全画素情報を用
いて補間検出を行うことにより、誤差検出が無く精度の
良い補間検出をすることができる。

【００７６】本実施の形態の補色カメラシステムにおい
ては、補色市松画素配列の撮像デバイスからの読み出し
信号に対して補間検出を行う場合、水平方向、垂直方向
の画素レベル差分の大小関係を用いて補間方法を決定す
ることにより、少ない回路規模で精度の良い補間ができ
る。

【００７７】上記の様に、本実施の形態の補色カメラシ
ステムによれば、補色市松画素配列の撮像デバイスに対
して処理を行うことにより、１個の補色市松ＣＣＤから
２画素混合、全画素の両読み出し方式それぞれに対し
て、最適な信号処理対応ができる。例えば、動画の時は
２画素混合読み出しで信号処理を行い、静止画の時は全
画素独立読み出しで信号処理するような場合、それぞれ
に最適な信号処理が一つのシステムで実現できる。

【００７８】

【発明の効果】以上の説明で明らかなように、本発明に
おいては、撮像手段からの読み出し信号に対してそれぞ
れ近傍の他色を画素補間することにより、輝度信号の解
像度を改善することができ、したがって水平、垂直方向
の解像度のみならず、斜め方向の解像度を高めることが
可能になる。また、撮像手段からの読み出し信号に対し
てそれぞれ近傍の他色を画素補間するとき、一部の画素
に対して画素補間を行うことにより、解像度を改善する
ことができる。

【００７９】また、本発明においては、撮像手段は格子
状に配列された各画素に対してイエロー、シアン、マゼ
ンタ、グリーンの補色系コーティングが市松状に施され
てなり、撮像手段からの全画素独立の読み出し信号に対
して、マゼンタ、グリーンの画素に対してのみ画素補間
を行うことにより、解像度の改善をすることができる。
または、撮像手段からの全画素独立の読み出し信号に対
して画素補間をする際に、補間すべき色の情報と同時に
複数の他色の画素の情報を用いて補間検出を行うことに
より、精度の良い補間検出をすることができる。或い
は、撮像手段からの全画素独立の読み出し信号に対して
画素補間をする際に、イエロー、シアン、マゼンタ、グ
リーンの全画素情報を用いて補間検出を行うことによ
り、誤差検出が無く精度の良い補間検出をすることがで
きる。

【００８０】さらに、本発明においては、補間検出を行
う際に、水平方向、垂直方向の画素レベル差分の大小関
係を用いて補間方法を決定することにより、少ない回路
規模で精度の良い補間ができる。

【００８１】このようなことから、本発明によれば、撮
像手段からの２画素混合読み出し方式、或いは全画素の
両読み出し方式のそれぞれに対して、最適な信号処理対
応ができ、したがって、例えば動画の時には２画素混合
読み出しで信号処理を行い、例えば静止画の時には全画
素独立読み出しで信号処理するようなことができ、それ
ぞれに最適な信号処理を一つのシステムで実現可能であ
る。

【図面の簡単な説明】

【図１】本発明の第１，第３の実施の形態の補色カメラ
システムの概略構成を示すブロック回路図である。

【図２】全画素独立読み出しコーティングパターンの例
を示す図である。

【図３】解像度改善検出補間回路にて扱う画素列を示
し、Ｍｇ画素に対してＧ画素を補間する場合の相関検出
の説明に用いる図である。

【図４】解像度改善検出補間回路にて扱う画素列を示
し、Ｙｅ画素に対してＣｙ画素を補間する場合の相関検
出の説明に用いる図である。

【図５】補色コーティング分光特性例を示す特性図であ
る。

【図６】本発明の第２の実施の形態の補色カメラシステ
ムの概略構成を示すブロック回路図である。

【図７】第１の相関検出方法の説明に用いる図である。

【図８】第２の相関検出方法の説明に用いる図である。

【図９】Ｍｇ画素とＧ画素の信号を加えた相関検出用信
号で相関検出を行い、その検出結果に応じて補間処理の
選択を行う、第３の実施の形態の解像度改善検出補間回
路の具体的な構成例を示す回路図である。

【図１０】水平、垂直、斜め方向での３つの補間だけで
なく、更に細かい補間を行う場合の解像度改善検出回路
の構成例を示す回路図である。

【図１１】従来の補色カメラシステムにおける２画素混
合読み出し時の輝度信号処理の構成例を示すブロック回
路図である。

【図１２】従来の補色カメラシステムにおける全画素独
立読み出し時の輝度信号処理の構成例を示すブロック回
路図である。

【符号の説明】 １ 入力端子、 ２〜８ １ラインディレイ回路、
９，２１，２３ 解像度改善検出補間回路、 １０ Ｖ
フィルタ、 １１ １／４Ｈフィルタ、 １２１／２Ｈ
フィルタ、 １３ 垂直方向ローパスフィルタ、 １４
〜１６ 乗算器、 １７，１８ 加算器、 １９ ガン
マ補正回路、 ２０ 出力端子、 ２２水平方向ローパ
スフィルタ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C065 AA01 BB10 BB12 BB48 CC01 DD02 DD17 EE05 EE07 EE08 GG01 GG02 GG13 GG21 GG22 GG23

Claims (7)

【特許請求の範囲】
1. 【請求項１】 補色系コーティングが施された画素を配
   列してなる撮像手段からの読み出し信号を処理する画像
   信号処理装置において、 上記撮像手段からの読み出し信号に対して、それぞれ近
   傍の他色を画素補間する補間手段を有することを特徴と
   する画像信号処理装置。
2. 【請求項２】 上記補間手段は、上記撮像手段からの読
   み出し信号に対してそれぞれ近傍の他色を画素補間する
   とき、一部の画素に対して画素補間を行うことを特徴と
   する請求項１記載の画像信号処理装置。
3. 【請求項３】 上記撮像手段は、格子状に配列された各
   画素に対してイエロー、シアン、マゼンタ、グリーンの
   補色系コーティングが市松状に施されてなり、 上記補間手段は、当該撮像手段からの全画素独立の読み
   出し信号に対して、マゼンタ、グリーンの画素に対して
   のみ画素補間を行うことを特徴とする請求項１記載の画
   像信号処理装置。
4. 【請求項４】 上記撮像手段は、格子状に配列された各
   画素に対してイエロー、シアン、マゼンタ、グリーンの
   補色系コーティングが市松状に施されてなり、 上記補間手段は、上記撮像手段からの全画素独立の読み
   出し信号に対して画素補間をする際に、補間すべき色の
   情報と同時に複数の他色の画素の情報を用いて補間検出
   を行うことを特徴とする請求項１記載の画像信号処理装
   置。
5. 【請求項５】 上記撮像手段は、格子状に配列された各
   画素に対してイエロー、シアン、マゼンタ、グリーンの
   補色系コーティングが市松状に施されてなり、 上記補間手段は、上記撮像手段からの全画素独立の読み
   出し信号に対して画素補間をする際に、イエロー、シア
   ン、マゼンタ、グリーンの全画素情報を用いて補間検出
   を行うことを特徴とする請求項１記載の画像信号処理装
   置。
6. 【請求項６】 上記補間手段は、上記補間検出を行う際
   に、水平方向、垂直方向の画素レベル差分の大小関係を
   用いて補間方法を決定することを特徴とする請求項４記
   載の画像信号処理装置。
7. 【請求項７】 上記補間手段は、上記補間検出を行う際
   に、水平方向、垂直方向の画素レベル差分の大小関係を
   用いて補間方法を決定することを特徴とする請求項５記
   載の画像信号処理装置。