JPH10155158A - 撮像装置及びカラー画像信号の処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 電子シャッタ等の諸機能を犠牲にすることな
く、ダイナミックレンジを拡大しつつ高解像度の画像を
得る。 【解決手段】 相関適応補間回路５３は、２枚のＣＣＤ
イメージセンサから出力された画素信号Ｒ，Ｇの配列を
互いに半ピッチ斜め画素ずらしして記憶する。相関適応
補間回路５３は、上記画素信号Ｒ，Ｇの間隙にある画素
補間点の縦，横，及び斜め方向の相関度を算出して、こ
の相関度の大きい方向で上記画素補間点に補間処理を施
した後、ＨＰＦ５４を介して得られた高域輝度信号ＹＨ
を加算器５５に供給する。加算器５５は、色信号Ｒ，
Ｇ，Ｂに上記高域輝度信号ＹＨを合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画素間の補間処理
を行って高解像度を得る撮像装置及びカラー画像信号の
処理方法に関する。

【０００２】

【従来の技術】近年、高解像カラー画像は、パーソナル
・コンピュータの入力画像として適しており、いわゆる
マルチメディアの浸透によってますます高解像度カラー
カメラが求められている。このようなフルカラー解像度
を向上させるカメラとして３板式カメラが提供されてい
る。

【０００３】

【発明が解決しようとする課題】しかし、３板式カメラ
は、撮像素子が３枚あるため、単板式カメラに比べて非
常に高価であり、とりわけ１３０万画素以上のＣＣＤイ
メージセンサを用いると非常に高価になってしまう。３
板式カメラは、光学部のプリズムによる色ずれ補正が必
要であり、また、３枚の撮像素子の固着が数μｍ前後の
高精度固着技術を必要とするので小型化を図るのが困難
であった。

【０００４】一方、単板式カメラは、３板式カメラに比
べて安価であり、色ずれ補正不要，固着技術不要，撮像
速度が速く電子シャッタの使用が可能である。しかし、
単板式カメラは、色解像度が低く、図１９に示すよう
に、折り返し歪の影響を軽減するために光学ローパスフ
ィルタ等を用いても解像度を高めることが困難であっ
た。

【０００５】高解像度の画像を得る方法として、バイモ
ルフ駆動のＣＣＤイメージセンサ等による光路シフトの
ウォーブリング手法によって複数のフレームからフルカ
ラー高解像度を得るものがある。この手法は、単板式及
び２板式に用いることができるが、撮像速度の低下，電
子シャッタの使用が不可能等の欠点があり、用途が限定
されてしまった。

【０００６】また、従来のＣＣＤカメラは、フィルムカ
メラに比べてダイナミックレンジが不足し、撮影した画
像に白潰れ又は黒潰れの部分が目立ってしまう問題が生
じた。

【０００７】本発明は、このような問題点に鑑みてなさ
れたものであり、電子シャッタ等の諸機能を犠牲にする
ことなく、ダイナミックレンジを拡大しつつ高解像度の
画像を得ることができる撮像装置及びカラー画像信号の
処理方法を提供することを目的とする。

【０００８】

【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係る撮像装置は、３原色にそれぞれ対応
して市松模様状に配列された画素の画素信号をそれぞれ
出力する２枚の撮像素子と、上記撮像素子が出力した各
画素信号のうち特定の２原色の各画素信号を、上記それ
ぞれの撮像素子の画素配列に対応して半ピッチ斜めにず
らして取り込んで記憶する記憶手段と、上記記憶手段に
取り込んだ各画素信号に対応する画素によって囲まれる
画素を輝度信号の補間箇所とし、前記補間箇所を挟んで
位置する各画素の相関度の大きい方向に位置する画素信
号に基づいて、上記補間箇所の画素の輝度信号を補間す
ることにより補間処理済みの輝度信号を生成する補間処
理手段と、補間済みの輝度信号の低域成分を除去して高
域輝度信号を生成するハイパスフィルタと、上記高域輝
度信号と上記撮像部で生成された３原色の各画素信号と
を合成する合成手段とを備えることを特徴とする。

【０００９】したがって、上記撮像装置は、上記２枚の
撮像素子が出力した各画素信号のうち特定の２原色の各
画素信号を、上記それぞれの撮像素子の画素配列に対応
して半ピッチ斜めにずらして取り込んで記憶したものに
基づいて適応的に補間処理を施すので、解像度を倍以上
に向上させて良好な画像を得ることができる。

【００１０】また、本発明に係るカラー画像信号の処理
方法は、３原色の画素が市松模様状に配列された２枚の
撮像素子から出力された各画素信号のうち特定の２原色
の信号を上記２枚の撮像素子の画素配列に対応して半ピ
ッチ斜めにずらして記憶し、上記記憶された特定の２原
色の画素信号を輝度信号として取り扱い、前記特定の２
原色の各画素信号に対応する画素によって囲まれる画素
を輝度信号の補間箇所とし、この補間箇所を中心として
それぞれ対をなす画素間の相関度を算出し、算出された
相関度の大きい方向で対をなす画素の各画素信号に基づ
いて輝度信号の補間処理を行い、上記補間処理済みの輝
度信号の低域成分を除去して高域輝度信号を生成し、上
記３原色の各画素信号にそれぞれ上記高域輝度信号を合
成することを特徴とする。

【００１１】したがって、上記カラー画像信号の処理方
法は、上記２枚の撮像素子が出力した各画素信号のうち
特定の２原色の各画素信号を、上記それぞれの撮像素子
の画素配列に対応して半ピッチ斜めにずらして取り込ん
で記憶したものに基づいて適応的に補間処理を施すの
で、解像度を倍以上に向上させて良好な画像を得ること
ができる。

【００１２】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。

【００１３】本発明は、２つのＣＣＤ（Charge Coupled
Device ）イメージセンサで生成された画素信号をそれ
ぞれ半ピッチ斜めにずらして取り込み、取り込まれた画
素信号の間隙を適応的に補間することにより、従来の倍
の高解像度化を図るものである。

【００１４】本発明に係る撮像装置１は、図１に示すよ
うに、撮像レンズ１１と、光学フィルタ１２と、ハーフ
ブロックミラー１３と、ハーフブロックミラー１３で反
射された撮像光が入射するＣＣＤイメージセンサ１４
（１４Ａ，１４Ｂ）と、相関二重サンプリング／自動利
得制御（ＣＤＳ／ＡＧＣ：Correlated Double sampling
/Automatic Gain Control ）回路１５（１５Ａ，１５
Ｂ）と、アナログ信号をディジタル信号に変換するＡ／
Ｄコンバータ１６（１６Ａ，１６Ｂ）と、ホワイトバラ
ンス，ガンマ補正等の処理を行うカメラ信号補正処理回
路１７（１７Ａ，１７Ｂ）とを備える。

【００１５】撮像レンズ１１で集光された撮像光は、光
学フィルタ１２を介してハーフブロックミラー１３に入
射され、ハーフブロックミラー１３内で反射光と透過光
に分けられる。そして、ＣＣＤイメージセンサ１４Ａに
は上記反射光が、ＣＣＤイメージセンサ１４Ｂには上記
透過光が入射される。

【００１６】ＣＣＤイメージセンサ１４Ａ，１４Ｂで
は、図２に示すように、３原色の赤（Ｒ）画素，緑
（Ｇ），青（Ｂ）画素がマトリクス状に配列され、この
マトリクスにおいてＧ画素は市松模様状（ツインカンク
ス）に設けられている。それぞれの画素数の等しいＲ画
素とＢ画素は、縦方向及び横方向がそれぞれＧ画素に隣
接している。

【００１７】また、ＣＣＤイメージセンサ１４Ａ，１４
Ｂは、全画素読出し式のものであり、それぞれ電子シャ
ッタの時間を調整できるようになっている。ＣＣＤイメ
ージセンサ１４Ａ，１４Ｂは、被写体からの入射光を受
光すると、この入射光に応じて色信号Ｒ，Ｇ，Ｂを生成
してＣＤＳ／ＡＧＣ回路１５Ａ，１５Ｂに供給する。

【００１８】ＣＤＳ／ＡＧＣ回路１５Ａ，１５Ｂは、各
色信号のプリチャージレベルとデータレベルをサンプル
ホールドし、その差分を検出して正確な信号レベルを検
出することによりランダム雑音を除去し、さらに、各色
信号の強弱に応じてＣＤＳ／ＡＧＣ回路自体の利得を自
動的に制御して常に信号レベルの安定した色信号を出力
している。

【００１９】Ａ／Ｄコンバータ１６Ａ，１６Ｂは、サン
プリングパルスに基づいて駆動するようになっていて、
ＣＤＳ／ＡＧＣ回路１５Ａ，１５Ｂからの各色信号をデ
ィジタル信号に変換してカメラ信号補正処理回路１７
Ａ，１７Ｂに供給する。

【００２０】カメラ信号補正処理回路１７Ａ，１７Ｂ
は、ガンマ補正，ニー処理等のいわゆるディジタル信号
処理を各色信号に施すようになっている。

【００２１】また、上記撮像装置１は、図１に示すよう
に、カメラ信号補正処理回路１７Ａ，１７Ｂからの色信
号Ｒ，Ｇ，Ｂに後述する適応補間処理等を施することに
より高解像度の色信号Ｒ，Ｇ，Ｂを出力する適応補間部
１８（１８Ａ，１８Ｂ）と、適応補間部１８Ａ，１８Ｂ
からの高解像度色信号を合成する画像合成部１９と、画
像合成部１９からの合成された色信号Ｒ，Ｇ，Ｂを所定
のテレビジョン信号に変換するビデオエンコーダ２０
と、カメラ信号補正処理回路１７Ａ，１７Ｂからの色信
号Ｒ，Ｇ，Ｂを合成して適応補間処理等を行うことによ
って高解像度の色信号Ｒ，Ｇ，Ｂを生成する高解像度適
応補間部２１とを備える。

【００２２】ここで、適応補間部１８Ａは、図３に示す
ように、カメラ信号補正処理回路１７Ａから供給される
各色信号の高域成分を除去するローパスフィルタ（ＬＰ
Ｆ）３１と、カメラ信号補正処理回路１７Ａから供給さ
れる各色信号に適応補間処理を施す相関適応補間回路３
２と、相関適応補間回路３２からの各色信号の低域成分
を除去するＨＰＦ３３と、ＬＰＦ３１からの各色信号と
ＨＰＦ３３からの各色信号とを合成する加算器３４とを
備える。なお、適応補間部１８Ｂも適応補間部１８Ａと
同様の構成となっており、以下、適応補間部１８Ｂの詳
細な説明は省略するものとする。

【００２３】上記相関適応補間回路３２には、カメラ信
号補正処理回路１７Ａからの色信号が供給され、図４に
示すように、色信号Ｒ，Ｇを構成する画素信号Ｒ，Ｇが
ＣＣＤイメージセンサ１４Ａの画素配列に対応して記憶
される。これら色信号はカメラ信号補正処理回路１７Ａ
においてホワイトバランス調整の施されたものである。
従って、ホワイトバランス調整後において画素信号Ｒと
画素信号Ｇのレベルは同じに調整されているので、画素
信号Ｒ，Ｇが有する輝度信号Ｙの情報に着目すると、図
４の点線で囲った３×３の近傍では、図５に示すように
輝度信号Ｙ１〜Ｙ９が配列されているとみなすことがで
きる。そこで、相関適応補間回路３２は、画素信号Ｒ，
Ｇに基づいて局所画素相関度を計算し、この相関度が最
大になる画素で補間を行って高解像度の輝度信号を生成
するようになっている。

【００２４】なお、相関度Ｓは、ある方向の画素列Ｙｎ
に対して以下のように定義される。

【００２５】Ｓ＝ｍｉｎ（Ｙｎ）／ｍａｘ（Ｙｎ） （Ｓ≦１であるので、Ｓ＝１のとき相関が最大） かかる補間処理を行うために、相関適応補間回路３２
は、具体的には図６及び図７に示すステップＳ１以下の
処理を行う。

【００２６】図６に示すステップＳ１において、相関適
応補間回路３２は、色信号が供給されると、上述の図４
に示すように、色信号Ｒ，Ｇを構成する画素信号Ｒ，Ｇ
がＣＣＤイメージセンサ１４Ａの画素配列に対応して記
憶され、ステップＳ２に進む。

【００２７】ステップＳ２において、ポインタを最初の
画素補間箇所に設定して、ステップＳ３に進む。

【００２８】ステップＳ３において、相関適応補間回路
３２は、縦方向の相関度ａを計算する。ここで、縦方向
の相関度ａは、図５において、以下の式によって算出さ
れる。なお、以下の式に表すＹ１〜Ｙ９は輝度信号Ｙの
レベルを示すものである。

【００２９】ａ＝ｍｉｎ（Ｙｎ）／ｍａｘ（Ｙｎ） ｍｉｎ（Ｙｎ）＝ｍｉｎ（Ｙ１，Ｙ４，Ｙ７）・ｍｉｎ
（Ｙ２，Ｙ８）・ｍｉｎ（Ｙ３，Ｙ６，Ｙ９） ｍａｘ（Ｙｎ）＝ｍａｘ（Ｙ１，Ｙ４，Ｙ７）・ｍａｘ
（Ｙ２，Ｙ８）・ｍａｘ（Ｙ３，Ｙ６，Ｙ９） 相関適応補間回路３２は、算出された相関度ａを変数Ｘ
に代入して、フラグＡを立てて、ステップＳ４に進む。

【００３０】ステップＳ４において、相関適応補間回路
３２は、横方向の相関度ｂを以下の式に基づいて計算し
て、ステップＳ５に進む。

【００３１】ｂ＝ｍｉｎ（Ｙｎ）／ｍａｘ（Ｙｎ） ｍｉｎ（Ｙｎ）＝ｍｉｎ（Ｙ１，Ｙ２，Ｙ３）・ｍｉｎ
（Ｙ４，Ｙ６）・ｍｉｎ（Ｙ７，Ｙ８，Ｙ９） ｍａｘ（Ｙｎ）＝ｍａｘ（Ｙ１，Ｙ２，Ｙ３）・ｍａｘ
（Ｙ４，Ｙ６）・ｍａｘ（Ｙ７，Ｙ８，Ｙ９） ステップＳ５において、相関適応補間回路３２は、縦方
向と横方向の相関度を比較すべく、Ｘの値が相関度ｂよ
り大きいかを判定し、Ｘが大きいときはステップＳ７に
進み、Ｘが大きくないときはステップＳ６に進む。

【００３２】ステップＳ６において、相関適応補間回路
３２は、変数Ｘに相関度ｂを代入して、フラグＢを立て
て、ステップＳ７に進む。

【００３３】ステップＳ７において、相関適応補間回路
３２は、左上右下斜め方向の相関度ｃを以下の式により
計算して、ステップＳ８に進む。

【００３４】ｃ＝ｍｉｎ（Ｙｎ）／ｍａｘ（Ｙｎ） ｍｉｎ（Ｙｎ）＝ｍｉｎ（Ｙ２，Ｙ６）・ｍｉｎ（Ｙ
１，Ｙ９）・ｍｉｎ（Ｙ４，Ｙ８） ｍａｘ（Ｙｎ）＝ｍａｘ（Ｙ２，Ｙ６）・ｍａｘ（Ｙ
１，Ｙ９）・ｍａｘ（Ｙ４，Ｙ８） ステップＳ８において、相関適応補間回路３２は、変数
Ｘがｃより大きいかを判定し、変数Ｘが大きいときは図
７に示すステップＳ１０に進み、変数Ｘが大きくないと
きはステップＳ９に進む。

【００３５】ステップＳ９において、相関適応補間回路
３２は、変数Ｘに相関度ｃの値を代入して、フラグＣを
立てて、ステップＳ１０に進む。

【００３６】ステップＳ１０において、相関適応補間回
路３２は、左下右上斜め方向の相関度ｄを以下の式によ
って算出して、ステップＳ１１に進む。

【００３７】ｄ＝ｍｉｎ（Ｙｎ）／ｍａｘ（Ｙｎ） ｍｉｎ（Ｙｎ）＝ｍｉｎ（Ｙ２，Ｙ４）・ｍｉｎ（Ｙ
３，Ｙ７）・ｍｉｎ（Ｙ６，Ｙ８） ｍａｘ（Ｙｎ）＝ｍａｘ（Ｙ２，Ｙ４）・ｍａｘ（Ｙ
３，Ｙ７）・ｍａｘ（Ｙ６，Ｙ８） ステップＳ１１において、相関適応補間回路３２は、変
数Ｘが相関度ｄより大きいかを判定し、変数Ｘが大きい
ときはステップＳ１３に進み、変数Ｘが大きくないとき
はステップＳ１２に進む。

【００３８】ステップＳ１２において、相関適応補間回
路３２は、変数Ｘに相関度ｄを代入し、フラグＤを立て
て、ステップＳ１３に進む。

【００３９】ステップＳ１３において、相関適応補間回
路３２は、変数Ｘに立てていたフラグがＡであるかを判
定し、フラグがＡであるときはステップＳ１４に進み、
フラグがＡでないときはステップＳ１５に進む。

【００４０】ステップＳ１４において、相関適応補間回
路３２は、画素補間箇所の近傍における縦方向の画素信
号Ｙの平均を求める。例えば補間すべき輝度信号Ｙのレ
ベルをＹ５とおくと、 Ｙ５＝（Ｙ２＋Ｙ８）／２ を算出することにより縦方向の補間処理を行って、ステ
ップＳ２０に進む。

【００４１】ステップＳ１５において、相関適応補間回
路３２は、フラグがＢであるかを判定し、フラグがＢで
あるときはステップＳ１６に進み、フラグがＢでないと
きはステップＳ１７に進む。

【００４２】ステップＳ１６において、相関適応補間回
路３２は、 Ｙ５＝（Ｙ４＋Ｙ６）／２ を算出することにより横方向の補間処理を行って、ステ
ップＳ２０に進む。

【００４３】ステップＳ１７において、相関適応補間回
路３２は、フラグがＣであるかを判定し、フラグがＣで
あるときはステップＳ１８に進み、フラグがＣでないと
きはステップＳ１９に進む。

【００４４】ステップＳ１８において、相関適応補間回
路３２は、後述するステップＳ３１以下の処理を行うこ
とにより左上右下斜め方向の補間処理を行って、ステッ
プＳ２０に進む。

【００４５】ステップＳ１９において、相関適応補間回
路３２は、後述するステップＳ３１以下の処理を行うこ
とにより左下右上斜め方向の補間処理を行って、ステッ
プＳ２０に進む。

【００４６】ステップＳ２０において、相関適応補間回
路３２は、ポインタを次の画素補間箇所に設定して、ス
テップＳ２１に進む。

【００４７】ステップＳ２１において、相関適応補間回
路３２は、画素補間箇所（×印）が無いか、すなわち補
間処理が終了したかを判定して、終了していないときは
ステップＳ３に戻り、終了したときは画素信号Ｒ，Ｇ及
び補間処理された輝度信号Ｙを出力するようになってい
る。

【００４８】ここで、上述したステップＳ１８及びステ
ップＳ１９では、具体的には図８のステップＳ３１以下
の処理を行っている。

【００４９】ステップＳ３１において、相関適応補間回
路３２は、ポインタの近傍Ｒの分散度σを計算する。

【００５０】同じ色の分散度σは、局所近傍空間内にお
いて平均値からの偏差のばらつきを示すものである。例
えば分散度σが小さければ、その色での相関はどの方向
でも同じであることであり、適応補間の効果がなくな
る。すなわち、Ｒの分散度σＲが小さければＲを除いた
Ｇで縦と横のみの適応補間を行うようにすれば十分であ
る。

【００５１】ここで、分散度σを以下のように定義する
と、 σ色＝ｍｉｎ（色全画素）／ｍａｘ（色全画素） 図９の場合は σＲ＝ｍｉｎ（Ｒ１，Ｒ２，Ｒ３，Ｒ４）／ｍａｘ（Ｒ
１，Ｒ２，Ｒ３，Ｒ４） となる。

【００５２】ステップＳ３２において、相関適応補間回
路３２は、分散度σが所定値より大きいかを判定し、大
きいときはステップＳ３３に進み、大きくないときはス
テップＳ３４に進む。

【００５３】ステップＳ３３において、相関適応補間回
路３２は、斜め方向の補間処理を行う。ここで、ステッ
プＳ１８からの処理を行っているときは Ｙ５＝（Ｙ１＋Ｙ９）／２ を算出して、左上右下斜め方向の補間処理を行う。ま
た、ステップＳ１９からの処理を行っているときは Ｙ５＝（Ｙ３＋Ｙ７）／２ を算出して、左下右上斜め方向の補間処理を行って、サ
ブルーチンを終了する。

【００５４】一方、ステップＳ３２で分散度σが大きく
ないと判定したときのステップＳ３４において、相関適
応補間回路３２は、上述したステップＳ３で算出した縦
方向の相関度ａとステップＳ４で算出した横方向の相関
度ｂのうち、相関度の大きい方向において補間処理を行
って、サブルーチンを終了する。

【００５５】すなわち、相関適応補間回路３２は、分散
度σが大きいときは斜め方向の補間処理を行い、分散度
σが小さいときはその色（Ｒ）での相関はどの方向もほ
とんど同じであって適応補間処理の効果がそれほど大き
くないので、Ｒを除いて一般画像の中で最も頻度の高い
Ｇのみで縦方向又は横方向の適応補間を行うようになっ
ている。換言すると、分散度σが小さいときは、カラー
画像のＲ及びＧのレベルの違いによる適応補間処理のわ
ずかなずれを回避すべく、最も頻度が高くレベルの高い
Ｇのみで補間処理を行うことにより、より高解像な画像
を得ることがきる。

【００５６】以上の相関適応補間回路３２において実行
された相関適応補間によれば、相関適応補間回路３２
は、適応補間処理を Ｙ５＝ａＹ１＋ｂＹ２＋ｃＹ３＋ｄＹ４＋ｅＹ６＋ｆＹ
７＋ｇＹ８＋ｈＹ９ によって表すことができ、画素補間箇所の周辺画素の相
関度を求めてからａ〜ｈを設定することにより、最適な
適応補間処理を行うことができる。すなわち、相関適応
補間回路３２は、図４に示す点線で囲まれた８つの有効
画素の近傍の縦，横，及び斜め方向の画素信号の相関度
Ｓを算出して、この相関度Ｓが最大となる方向で補間を
行うことにより、最適な補間処理を行うことができる。
すなわち、相関適応補間回路３２は、補間された方向に
対して直交する方向では、ＬＰＦ処理を施すことにはな
らないので、かかる直交方向の解像度は劣化しない。換
言すると、相関に応じて適応的に補間することで、折り
返し歪をなくして解像度の向上を図ることができる。

【００５７】なお、相関度を算出する代わりに、縦横斜
めの各方向における輝度信号Ｙのレベル差を算出しても
よい。

【００５８】例えば図５に示す点線で囲まれた部分にお
いて、縦方向のレベル差をＰ，横方向のレベル差をＱ，
左上右斜め下方向のレベル差をＵ，左下右上斜め方向の
レベル差をＶとすると、以下の式が成り立つ。

【００５９】 Ｐ＝｜Ｙ１−Ｙ７｜・｜Ｙ２−Ｙ８｜・｜Ｙ３−Ｙ９｜ Ｑ＝｜Ｙ１−Ｙ３｜・｜Ｙ４−Ｙ６｜・｜Ｙ７−Ｙ９｜ Ｕ＝｜Ｙ２−Ｙ６｜・｜Ｙ１−Ｙ９｜・｜Ｙ４−Ｙ８｜ Ｖ＝｜Ｙ２−Ｙ４｜・｜Ｙ３−Ｙ７｜・｜Ｙ６−Ｙ８｜ ここで、各方向における輝度信号Ｙのレベル差が小さい
ときはその方向における相関度が大きくなり、輝度信号
Ｙのレベル差が大きいときはその方向における相関度が
小さくなる。従って、Ｐ，Ｑ，Ｕ，Ｖのうち最も値の小
さい方向において輝度信号Ｙ５の適応補間処理を行って
もよい。

【００６０】相関適応補間回路３２は、以上のような補
間処理を行い、図１０に示すように、画素信号Ｒ，Ｇと
その間隙に生成された輝度信号ＹとをＨＰＦ３３に供給
する。ＨＰＦ３３は、画素信号Ｒ，Ｇにより構成される
色信号Ｒ，Ｇ及び輝度信号Ｙの低域成分を除去すること
により、図１１に示すように、高域輝度信号ＹＨを生成
して加算器３４に供給する。

【００６１】また、加算器３４には、カメラ信号補正処
理回路１７Ａからの各色信号Ｒ，Ｇ，ＢがＬＰＦ３１で
高域成分が除去されて供給される。加算器３４は、この
各色信号Ｒ，Ｇ，Ｂのそれぞれに上記高域輝度信号ＹＨ
を合成することにより高解像度の色信号Ｒ，Ｇ，Ｂを生
成して画像合成部１９に供給する。

【００６２】すなわち、適応補間部１８Ａは、図１２に
示すように、上述の図１９に比べて色信号Ｒ，Ｇ，Ｂの
折り返し歪の成分を低減して高解像度化を図っている。

【００６３】なお、適応補間部１８Ｂも、上述のよう
に、適応補間部１８Ａと同様の構成となっていて、カメ
ラ信号補正処理回路１７Ｂから供給される色信号Ｒ，
Ｇ，Ｂに高域輝度信号ＹＨを合成し、高解像度の色信号
Ｒ，Ｇ，Ｂを生成して画像合成部１９に供給する。

【００６４】画像合成部１９は、適応補間部１８Ａ，１
８Ｂからの色信号を選択して出力するものであり、図１
３に示すように、切換回路４１と、ＬＰＦ４２と、レベ
ル比較器４３と、切換回路４４とを備える。

【００６５】切換回路４１は、適応補間部１８Ａからの
色信号ＨＤ１が供給される端子ａ，ｄと、適応補間部１
８Ｂからの色信号ＨＤ２が供給される端子ｂ，ｃと、端
子ａ又は端子ｂに供給された色信号を選択して出力する
スイッチ４１Ｘと、端子ｃ又は端子ｄに供給された色信
号を選択して出力するスイッチ４１Ｙとを備える。スイ
ッチ４１Ｘ，４１Ｙは、互いに連動して、システムコン
トローラ２２で切換制御されている。

【００６６】具体的には、システムコントローラ２２
は、白潰れ補正モードになったときはスイッチ４１Ｘを
端子ａに，スイッチ４１Ｙを端子ｃを設定して、また、
黒潰れ補正モードになったときはスイッチ４１Ｘを端子
ｂに，スイッチ４１Ｙを端子ｄに設定するようになって
いる。そして、スイッチ４１Ｘは、選択出力した色信号
をＬＰＦ４２及び切換回路４４の端子ｅに供給する。ス
イッチ４１Ｙは、選択出力した色信号を切換回路４４の
端子ｆに供給する。

【００６７】ＬＰＦ４２は、適応補間部１８Ａから供給
される画素データの不要な高域成分を除去して、この色
信号をレベル比較器４３に供給する。

【００６８】レベル比較器４３は、ＬＰＦ４２から供給
される色信号のレベルとスレショールドレベルとを比較
して、色信号のレベルの方が高いときにスイッチ制御信
号を出力するようになっている。ここで、システムコン
トローラ２２は、白潰れ補正モード又は黒潰れ補正モー
ドに応じてスレショールドレベルを設定するようになっ
ている。そして、切換回路４４は、レベル比較器４３か
らＨレベルのスイッチ制御信号が供給されると端子ｅに
供給されている色信号を出力し、Ｌレベルのスイッチ制
御信号が供給されると端子ｆに供給されている色信号を
出力するようになっている。

【００６９】ここで、例えば白潰れモードに設定される
と、レベル比較器４３は、図１４（Ａ）に示すように、
ＬＰＦ４２から供給される色信号ＨＤ１のレベルと白潰
れが生じるレベルに設定されたスレショールドレベルと
を比較して、図１４（Ｂ）に示すように、色信号ＨＤ１
のレベルが高いときにＨレベルのスイッチ制御信号を出
力するようになっている。

【００７０】切換回路４４では、端子ｅに適応補間部１
８Ａからの色信号ＨＤ１が供給され、端子ｆに適応補間
部１８Ｂからの色信号ＨＤ２が供給される。切換回路４
４は、レベル比較器４３からＨレベルのスイッチ制御信
号が供給されると端子ａに供給されている色信号ＨＤ１
を出力し、レベル比較器４３からＬレベルの信号が供給
されると端子ｂに供給されている色信号ＨＤ２を出力す
るようになっている。

【００７１】換言すると、切換回路４４の端子ｅには図
１４（Ａ）に示す色信号ＨＤ１が供給され、端子ｆには
図１４（Ｃ）に示す色信号ＨＤ２が供給される。色信号
ＨＤ２に白潰れを生じていない期間は、図１４（Ｂ）に
示すスイッチ制御信号がＬレベルになっているので、図
１４（Ｄ）に示すように、切換回路４４は色信号ＨＤ２
を出力する。色信号ＨＤ２に白潰れが生じている期間
は、スイッチ制御信号はＨレベルになって、図１４
（Ｄ）に示すように、切換回路４４は色信号ＨＤ１を出
力する。

【００７２】したがって、例えば室内から屋外を撮影し
ているとき等に色信号ＨＤ２に白潰れが生じると、画像
合成部１９は、この白潰れが生じた部分に色信号ＨＤ１
を挿入することにより白潰れの生じない色信号を出力す
ることにより画像に白潰れが生じるのを回避して、高ダ
イナミックレンジ化を図ることができる。

【００７３】つぎに、例えば黒潰れ補正モードに設定さ
れると、システムコントローラ２２は、スイッチ４１Ｘ
を端子ｂに、スイッチ４１Ｙを端子ｄに切換設定して、
スレショールドレベルを黒潰れ補正に応じた所定のレベ
ルに設定する。このとき切換回路４４では、端子ｅには
図１５（Ａ）に示す色信号ＨＤ２が供給され、端子ｆに
は図１５（Ｃ）に示す色信号ＨＤ１が供給される。

【００７４】色信号ＨＤ２に黒潰れが生じていない期間
は、図１５（Ｂ）に示すスイッチ制御信号がＨレベルに
なっているので、図１５（Ｄ）に示すように、切換回路
４４は色信号ＨＤ１を出力する。色信号ＨＤ２に黒潰れ
が生じている期間は、スイッチ制御信号はＬレベルにな
って、図１５（Ｄ）に示すように、切換回路４４は色信
号ＨＤ２を出力する。

【００７５】すなわち、画像合成部１９は、例えば屋外
から室内を撮影する場合等において一方の色信号に黒潰
れが生じると、黒潰れの生じた部分に他方の色信号を挿
入することにより、黒潰れのない色信号を出力すること
ができる。

【００７６】上記画像合成部１９で出力された色信号
Ｒ，Ｇ，Ｂは、白潰れ又は黒潰れを防止しつつダイナミ
ックレンジが拡大されたものであって、ビデオエンコー
ダ２０で所定のテレビジョン信号に変換されて出力され
る。

【００７７】したがって、上記撮像装置１は、３板式の
撮像装置で得られる信号に匹敵する高解像度の映像信号
を２枚のＣＣＤイメージセンサで実現することができる
とともに、この２枚のＣＣＤイメージセンサのそれぞれ
の電子シャッタ時間を調整することにより高ダイナミッ
クレンジ化も可能にすることができる。

【００７８】一方、カメラ信号補正処理回路１７Ａ，１
７Ｂは、いわゆるプロセス処理の施された色信号Ｒ，
Ｇ，Ｂを高解像度適応補間部２１に供給するようになっ
ている。

【００７９】前記高解像度適応補間部２１は、適応補間
部１８Ａ（１８Ｂ）の入力部に信号合成手段を設けたも
のと同様の構成となっていて、具体的には図１６に示す
ように、信号合成回路５１と、ＬＰＦ５２と、相関適応
補間回路５３と、ＨＰＦ５４と、加算器５５とを備え
る。

【００８０】信号合成回路５１は、カメラ信号補正処理
回路１７Ａ，１７Ｂから供給される色信号Ｒ，Ｇ，Ｂを
合成してＬＰＦ５２及び相関適応補間回路５３に供給す
る。ＬＰＦ５２は、信号合成回路５１からの色信号Ｒ，
Ｇ，Ｂの高域成分を除去して加算器５５に供給する。

【００８１】相関適応補間回路５３は、信号合成回路５
１から供給される色信号Ｒ，Ｇを構成する画素信号Ｒ，
Ｇを、それぞれのＣＣＤイメージセンサ１４Ａ，１４Ｂ
の画素配列に応じて記憶する。このとき、相関適応補間
回路５３は、ＣＣＤイメージセンサ１４Ａから出力され
た画素信号Ｒ，Ｇの配列とＣＣＤイメージセンサ１４Ｂ
から出力された画素信号Ｒ，Ｇの配列を、図１７（Ａ）
に示すように、互いに半ピッチ斜め画素ずらしして記憶
するようになっている。

【００８２】ここで、画素補間箇所（Ｙ５）の周辺画素
信号を示す図１８において、相関適応補間回路５３は、
上述の図６及び図７に示すステップＳ１〜ステップＳ２
１の処理を実現することにより、適応的に補間処理をす
る。

【００８３】具体的には図６に示すステップＳ１におい
て、相関適応補間回路５３は、色信号が供給されると、
上述の図１７（Ａ）に示すように、色信号Ｒ，Ｇを構成
する画素信号Ｒ，ＧがＣＣＤイメージセンサ１４Ａ，１
４Ｂの画素配列にそれぞれ対応して記憶され、ステップ
Ｓ２に進む。なお、画素信号Ｒ，Ｇが有する輝度信号Ｙ
の情報に着目すると、図１８に示すように、画素補間箇
所（Ｙ５）の近傍では輝度信号Ｙ１〜Ｙ８が配列されて
いるとみなすことができる。

【００８４】ステップＳ２において、ポインタを最初の
画素補間箇所に設定して、ステップＳ３に進む。

【００８５】ステップＳ３において、相関適応補間回路
５３は、縦方向の相関度ａを計算する。ここで、縦方向
の相関度ａは、図１８において、以下の式によって算出
される。なお、以下の式に表すＹ１〜Ｙ８は輝度信号Ｙ
のレベルを示すものである。

【００８６】ａ＝ｍｉｎ（Ｙｎ）／ｍａｘ（Ｙｎ） ｍｉｎ（Ｙｎ）＝ｍｉｎ（Ｙ１，Ｙ７）・ｍｉｎ（Ｙ
２，Ｙ８） ｍａｘ（Ｙｎ）＝ｍａｘ（Ｙ１，Ｙ７）・ｍａｘ（Ｙ
２，Ｙ８） 相関適応補間回路５３は、算出された相関度ａを変数Ｘ
に代入して、フラグＡを立てて、ステップＳ４に進む。

【００８７】ステップＳ４において、相関適応補間回路
５３は、横方向の相関度ｂを以下の式に基づいて計算し
て、ステップＳ５に進む。

【００８８】ｂ＝ｍｉｎ（Ｙｎ）／ｍａｘ（Ｙｎ） ｍｉｎ（Ｙｎ）＝ｍｉｎ（Ｙ１，Ｙ３）・ｍｉｎ（Ｙ
４，Ｙ６） ｍａｘ（Ｙｎ）＝ｍａｘ（Ｙ１，Ｙ３）・ｍａｘ（Ｙ
４，Ｙ６） ステップＳ５において、相関適応補間回路５３は、縦方
向と横方向の相関度を比較すべく、Ｘの値が相関度ｂよ
り大きいかを判定し、Ｘが大きいときはステップＳ７に
進み、Ｘが大きくないときはステップＳ６に進む。

【００８９】ステップＳ６において、相関適応補間回路
５３は、変数Ｘに相関度ｂを代入して、フラグＢを立て
て、ステップＳ７に進む。

【００９０】ステップＳ７において、相関適応補間回路
５３は、左上右下斜め方向の相関度ｃを以下の式により
計算して、ステップＳ８に進む。

【００９１】ｃ＝ｍｉｎ（Ｙｎ）／ｍａｘ（Ｙｎ） ｍｉｎ（Ｙｎ）＝ｍｉｎ（Ｙ２，Ｙ３，Ｙ６）・ｍｉｎ
（Ｙ４，Ｙ７，Ｙ８） ｍａｘ（Ｙｎ）＝ｍａｘ（Ｙ２，Ｙ３，Ｙ６）・ｍａｘ
（Ｙ４，Ｙ７，Ｙ８） ステップＳ８において、相関適応補間回路５３は、変数
Ｘがｃより大きいかを判定し、ｃより大きいときは図７
に示すステップＳ１０に進み、ｃより大きくないときは
ステップＳ９に進む。

【００９２】ステップＳ９において、相関適応補間回路
５３は、変数Ｘに相関度ｃの値を代入して、フラグＣを
立てて、ステップＳ１０に進む。

【００９３】ステップＳ１０において、相関適応補間回
路５３は、左下右上斜め方向の相関度ｄを以下の式によ
って算出して、ステップＳ１１に進む。

【００９４】ｄ＝ｍｉｎ（Ｙｎ）／ｍａｘ（Ｙｎ） ｍｉｎ（Ｙｎ）＝ｍｉｎ（Ｙ２，Ｙ１，Ｙ４）・ｍｉｎ
（Ｙ３，Ｙ７）・ｍｉｎ（Ｙ６，Ｙ８） ｍａｘ（Ｙｎ）＝ｍａｘ（Ｙ２，Ｙ１，Ｙ４）・ｍａｘ
（Ｙ３，Ｙ７）・ｍａｘ（Ｙ６，Ｙ８） ステップＳ１１において、相関適応補間回路５３は、変
数Ｘより相関度ｄが大きいかを判定し、Ｘが大きいとき
はステップＳ１３に進み、Ｘが大きくないときはステッ
プＳ１２に進む。

【００９５】ステップＳ１２において、相関適応補間回
路５３は、変数Ｘに相関度ｄを代入し、フラグＤを立て
て、ステップＳ１３に進む。

【００９６】ステップＳ１３において、相関適応補間回
路５３は、変数Ｘに立てていたフラグがＡであるかを判
定し、フラグがＡであるときはステップＳ１４に進み、
フラグがＡでないときはステップＳ１５に進む。

【００９７】ステップＳ１４において、相関適応補間回
路５３は、画素補間箇所の近傍における縦方向の画素信
号Ｙの平均を求める。例えば補間すべき輝度信号Ｙのレ
ベルをＹ５とおくと、 Ｙ５＝（Ｙ２＋Ｙ８）／２ を算出することにより縦方向の補間処理を行って、ステ
ップＳ２０に進む。

【００９８】ステップＳ１５において、相関適応補間回
路５３は、フラグがＢであるかを判定し、フラグがＢで
あるときはステップＳ１６に進み、フラグがＢでないと
きはステップＳ１７に進む。

【００９９】ステップＳ１６において、相関適応補間回
路５３は、 Ｙ５＝（Ｙ４＋Ｙ６）／２ を算出することにより横方向の補間処理を行って、ステ
ップＳ２０に進む。

【０１００】ステップＳ１７において、相関適応補間回
路５３は、フラグがＣであるかを判定し、フラグがＣで
あるときはステップＳ１８に進み、フラグがＣでないと
きはステップＳ１９に進む。

【０１０１】ステップＳ１８において、相関適応補間回
路５３は、Ｙ１のレベル値をそのままホールドして、 Ｙ５＝Ｙ１ として左上右下斜め方向で補間処理を行って、ステップ
Ｓ２０に進む。すなわち、適応補間処理回路１５は、そ
の斜め方向の相関度が高いにも拘らずその方向の画素信
号が１つしかないときには、その斜め方向の近傍画素の
情報を画素補間箇所に取り込むことによって、解像度を
向上させている。

【０１０２】ステップＳ１９において、相関適応補間回
路５３は、 Ｙ５＝（Ｙ３＋Ｙ７）／２ を算出することにより左下右上斜め方向の補間処理を行
って、ステップＳ２０に進む。

【０１０３】ステップＳ２０において、相関適応補間回
路５３は、ポインタを次の画素補間箇所に設定して、ス
テップＳ２１に進む。

【０１０４】ステップＳ２１において、相関適応補間回
路５３は、図１７（Ａ）に示す画素補間箇所（■印）が
無いか、すなわち補間処理が終了したかを判定して、終
了していないときはステップＳ３に戻り、終了したとき
は画素信号Ｒ，Ｇ及び補間処理された輝度信号Ｙを出力
するようになっている。

【０１０５】なお、相関適応補間回路５３は、図１８に
示すように、Ｙ５と同様の処理を行うことで、画素補間
箇所（Ｙ９）についてもＹ３，Ｙ６，Ｙ７，Ｙ８，Ｙ１
０，Ｙ１１，Ｙ１２に基づいて適応的に補間処理を行う
ことができる。

【０１０６】相関適応補間回路５３は、補間処理を終了
した後、ＨＰＦ５４にて低域成分を除去することによ
り、図１７（Ｂ）に示すように、高域輝度信号ＹＨを生
成する。加算器５５は、ＬＰＦ５２からの色信号Ｒ，
Ｇ，Ｂに上記高域輝度信号ＹＨをそれぞれ加算合成し
て、超高解像度の色信号Ｒ，Ｇ，Ｂを出力することがで
きる。 すなわち、高解像度適応補間部２１は、２枚の
ＣＣＤイメージセンサが出力する色信号を構成する画素
信号Ｒ，Ｇに対して、斜め半ピッチの画素ずらしを行っ
て記憶することによって解像度を２倍にし、さらに、画
素間を適応的に補間処理して超高解像度の色信号を生成
することができる。なお、このときＣＣＤイメージセン
サ１４Ａ，１４Ｂの電子シャッタの時間は同じものとす
る。

【０１０７】以上のように、上記撮像装置１では、カラ
ーフィルタ画素の配列に応じて相関適応補間回路３２に
取り込まれたＲＧ画素によって、縦横斜め方向において
適応補間処理を施すことにより、縦横斜め方向の解像度
を向上することができる。また、２板式であるために安
価でコンパクトであるにも拘らず、画素ずらし機構等を
用いることなく３板式相当の高解像度を得ることができ
る。また、上記撮像装置１は、画素ずらし機構等を用い
ることなく高解像度を得ることができるので、電子シャ
ッタ機能も使用することができる。撮像装置１は、全画
素読出し式のＣＣＤイメージセンサ１４Ａ，１４Ｂを用
いているので、パーソナルコンピュータのモニタ装置等
に最適なノンインターレス画像を得ることができる。

【０１０８】また、上記撮像装置１では、画像合成部１
９において白潰れ又は黒潰れが生じないように電子シャ
ッタ時間の異なる出力信号を切り換えることで、高ダイ
ナミックレンジ化を実現することができ、また、ＣＣＤ
イメージセンサ１４Ａ，１４Ｂの電子シャッタ時間を調
整することでダイナミックレンジを調整することもでき
る。

【０１０９】上記撮像装置１では、相関適応補間回路５
３において、２枚のＣＣＤイメージセンサ１４Ａ，１４
Ｂを半ピッチ斜め画素ずらしを行った状態でそれぞれの
画素信号を取り込み、この取り込まれた画素信号の間隙
を適応的に補間することで、解像度を従来の２倍以上に
向上させることができる。

【０１１０】なお、本発明は、上述の実施の形態に限定
されるものではなく、例えばハーフミラーブロック１３
とＣＣＤイメージセンサ１４Ａの間にＮＤ（Neutral De
nsity）フィルタを設け、ＣＣＤイメージセンサ１４
Ａ，１４Ｂの電子シャッタ時間を同じにしてもよい。こ
れにより、ＣＣＤイメージセンサ１４Ａは、ＮＤフィル
タを介して入射光を受光すると全体的に光量の少ない各
色信号を生成し、シャッタ時間を短くした場合と同様の
各色信号を生成することができる。

【０１１１】また、本発明は、例えばＣＣＤイメージセ
ンサの代わりにＭＯＳ等の撮像素子を用いてもよく、特
許請求の範囲に記載された範囲内で種々の変更ができる
のは勿論である。

【０１１２】

【発明の効果】以上詳細に説明したように、本発明に係
る撮像装置によれば、２枚の撮像素子が出力する３原色
の各画素信号のうち特定の２原色の各画素信号をそれぞ
れの撮像素子の画素配列に対応して半ピッチ斜めにずら
して取り込んで記憶し、取り込んだ各画素信号の間隙を
適応的に補間して輝度信号を生成して上記３原色の画素
信号に合成することにより、超高解像度化を図ることが
できる。また、従来の光路シフトのウォーブリング手法
を用いることなく上記半ピッチ斜め画素ずらしを行って
いるので、小型化及びコスト抑制を実現するとともに、
ウォーブリング手法を用いている撮像装置では使用不可
能だった電子シャッタの機能を発揮することができる。

【０１１３】また、本発明に係るカラー画像信号の処理
方法によれば、３原色の画素が市松模様状に配列された
２枚の撮像素子から出力された各画素信号のうち特定の
２原色の信号を上記２枚の撮像素子の画素配列に対応し
て半ピッチ斜めにずらして記憶し、取り込んだ各画素信
号の間隙を適応的に補間して輝度信号を生成して上記３
原色の画素信号に合成することにより、超高解像度化を
図ることができる。従来の光路シフトのウォーブリング
手法を用いることなく上記半ピッチ斜め画素ずらしを行
っているので、小型化及びコスト抑制を実現することが
できる。

【図面の簡単な説明】

【図１】本発明に係る撮像装置の構成を示すブロック図
である。

【図２】ＣＣＤイメージセンサに配列されている画素の
説明図である。

【図３】適応補間部の具体的な構成を示すブロック図で
ある。

【図４】適応補間部の相関適応補間回路が画素信号Ｒ，
Ｇを取り込んだときの状態を示す図である。

【図５】画素信号Ｒ，Ｇの有する輝度信号Ｙの情報に基
づいて補間処理するときの状態を説明する図である。

【図６】適応補間処理を説明するためのフローチャート
である。

【図７】適応補間処理を説明するためのフローチャート
である。

【図８】分散度に応じた適応補間処理を説明するための
フローチャートである。

【図９】分散度に応じて適応補間処理するときの画素信
号Ｒ，Ｇの状態を説明する図である。

【図１０】補間処理された後の画素信号Ｒ，Ｇと輝度信
号Ｙの配列を示す図である。

【図１１】高域成分の輝度信号ＹＨが生成されたときの
状態を示す図である。

【図１２】折り返し歪がなくなった状態を説明する図で
ある。

【図１３】画像合成部の具体的な構成を示すブロック図
である。

【図１４】白潰れが生じるときの信号レベルの状態を説
明する図である。

【図１５】黒潰れが生じるときの信号レベルの状態を説
明する図である。

【図１６】高解像度適応補間部の具体的な構成を示すブ
ロック図である。

【図１７】高解像度適応補間部内の相関適応補間回路に
取り込まれた画素信号Ｒ，Ｇの状態を説明する図であ
る。

【図１８】高解像度適応補間部内の相関適応補間回路で
適応的に補間処理を施すときの状態を説明する図であ
る。

【図１９】従来の光学ローパスフィルタ等を用いたとき
の折り返し歪の影響を説明する図である。

【符号の説明】

１４Ａ，１４Ｂ ＣＣＤイメージセンサ、２１ 高解像
度適応補間部、５３相関適応補間回路

Claims (10)

【特許請求の範囲】
1. 【請求項１】 ３原色にそれぞれ対応して市松模様状に
   配列された画素の画素信号をそれぞれ出力する２枚の撮
   像素子と、 上記撮像素子が出力した各画素信号のうち特定の２原色
   の各画素信号を、上記それぞれの撮像素子の画素配列に
   対応して半ピッチ斜めにずらして取り込んで記憶する記
   憶手段と、 上記記憶手段に取り込んだ各画素信号に対応する画素に
   よって囲まれる画素を輝度信号の補間箇所とし、前記補
   間箇所を挟んで位置する各画素の相関度の大きい方向に
   位置する画素信号に基づいて、上記補間箇所の画素の輝
   度信号を補間することにより補間処理済みの輝度信号を
   生成する補間処理手段と、 補間済みの輝度信号の低域成分を除去して高域輝度信号
   を生成するハイパスフィルタと、 上記高域輝度信号と上記撮像部で生成された３原色の各
   画素信号とを合成する合成手段とを備えることを特徴と
   する撮像装置。
2. 【請求項２】 上記補間処理手段は、上記補間箇所を中
   心として縦方向又は横方向又は斜め方向において相関度
   を算出し、算出された相関度の大きい方向において補間
   処理を施すことを特徴とする請求項１に記載の撮像装
   置。
3. 【請求項３】 上記補間処理手段は、上記補間箇所を挟
   んで位置する各画素の相関度の大きい方向において、上
   記補間箇所を挟んで位置する画素信号の平均を算出する
   ことにより補間処理済みの輝度信号を生成することを特
   徴とする請求項２に記載の撮像装置。
4. 【請求項４】 上記補間処理手段は、斜め方向で補間処
   理を施す際に上記補間箇所を挟んで位置する画像信号が
   対を成していないときは、上記補間箇所の上記斜め方向
   の近傍にある画素信号を上記補間箇所にホールドするこ
   とを特徴とする請求項２に記載の撮像装置。
5. 【請求項５】 上記記憶手段は、上記２枚の撮像素子が
   出力した各画素信号のうち赤画素信号及び緑画素信号を
   取り込んで記憶し、 上記補間処理手段は、上記算出された相関度の大きい方
   向において、上記取り込んだ赤画素画素信号及び緑画素
   信号に基づいて上記補間処理済みの輝度信号を生成する
   ことを特徴とする請求項１に記載の撮像装置。
6. 【請求項６】 ３原色の画素が市松模様状に配列された
   ２枚の撮像素子から出力された各画素信号のうち特定の
   ２原色の信号を上記２枚の撮像素子の画素配列に対応し
   て半ピッチ斜めにずらして記憶し、 上記記憶された特定の２原色の画素信号を輝度信号とし
   て取り扱い、前記特定の２原色の各画素信号に対応する
   画素によって囲まれる画素を輝度信号の補間箇所とし、
   この補間箇所を中心としてそれぞれ対をなす画素間の相
   関度を算出し、 算出された相関度の大きい方向で対をなす画素の各画素
   信号に基づいて補間処理済みの輝度信号を生成し、 上記補間処理済みの輝度信号の低域成分を除去して高域
   輝度信号を生成し、 上記３原色の各画素信号にそれぞれ上記高域輝度信号を
   合成することを特徴とするカラー画像信号の処理方法。
7. 【請求項７】 記憶した画素信号によって囲まれる補間
   箇所を中心として縦方向又は横方向又は斜め方向におい
   て相関度を算出することを特徴とする請求項６に記載の
   カラー画像信号の処理方法。
8. 【請求項８】 算出された相関度の大きい方向におい
   て、上記補間箇所を挟んで位置する画素信号の平均を算
   出することにより補間処理済みの輝度信号を生成するこ
   とを特徴とする請求項７に記載のカラー画像信号の処理
   方法。
9. 【請求項９】 斜め方向で補間処理を施すときであって
   上記補間箇所を挟んで位置する画像信号が対を成してい
   ないときは、上記補間箇所の上記斜め方向の近傍にある
   画素信号を上記補間箇所にホールドすることを特徴とす
   る請求項７に記載のカラー画像信号の処理方法。
10. 【請求項１０】 ３原色の画素信号のうち赤画素信号及
    び緑画素信号を輝度信号として取り扱い、前記赤画素信
    号及び緑画素信号に対応する画素によって囲まれる画素
    を輝度信号の補間箇所とすることを特徴とする請求項６
    に記載のカラー画像信号の処理方法。