JP2001016597A - 固体撮像装置および信号処理方法 - Google Patents

固体撮像装置および信号処理方法

Info

Publication number
JP2001016597A
JP2001016597A JP11187178A JP18717899A JP2001016597A JP 2001016597 A JP2001016597 A JP 2001016597A JP 11187178 A JP11187178 A JP 11187178A JP 18717899 A JP18717899 A JP 18717899A JP 2001016597 A JP2001016597 A JP 2001016597A
Authority
JP
Japan
Prior art keywords
pixel data
data
light receiving
pixel
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11187178A
Other languages
English (en)
Other versions
JP4077120B2 (ja
JP2001016597A5 (ja
Inventor
Masaru Osada
勝 長田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP18717899A priority Critical patent/JP4077120B2/ja
Priority to US09/606,005 priority patent/US6847397B1/en
Publication of JP2001016597A publication Critical patent/JP2001016597A/ja
Publication of JP2001016597A5 publication Critical patent/JP2001016597A5/ja
Application granted granted Critical
Publication of JP4077120B2 publication Critical patent/JP4077120B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【課題】 入射光の利用効率を高めるとともに、得られ
る画像の解像度をより高く実現できる固体撮像装置およ
び信号処理方法の提供。 【解決手段】 ディジタルカメラ10は、色フィルタCFに
応じて撮像部30の受光部に配した受光素子PDからの信号
電荷を２ラインずつ、３ラインずつまたは読出しを１ラ
インシフトさせながら３ラインずつ出力させた画素デー
タを、供給信号処理部36のデータ補正部36a で補正し、
補正したこの画素データを基に、仮想受光素子または受
光素子の位置における三原色のいずれかの色の画素デー
タを補間生成して、原色の色フィルタを用いた場合より
も入射光の利用を高効率にし、感度が低くなりがちな高
画素の受光素子の感度を向上させ、高画質化に寄与す
る。さらに、この生成した画素データを用いてそれぞ
れ、受光素子または仮想受光素子のデータを補間を行
い、これらの画素データで受光素子および仮想受光素子
の位置の画素データを広帯域化して高画質化し、偽色の
発生も防止する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、固体撮像装置およ
び信号処理方法に係り、たとえば、補色方式の固体撮像
装置から得られる画像信号に対して施す画像信号処理等
に用いて好適なものである。
【０００２】
【従来の技術】現在、固体撮像装置を適用したディジタ
ルカメラが普及しつつある。この普及は、銀塩カメラの
解像度に相当する画像が得られ、搭載した液晶表示モニ
タですぐに鑑賞できる点や撮影した画像データをコンピ
ュータに取り込んで活用できる点などが理由に挙げられ
る。特に、画像の解像度を向上させるとともに、コスト
ダウンも鑑みて、撮像デバイスの画素サイズは小さくな
る傾向にある。この傾向は画素の感度を低下させてしま
う。画像の高画質化には、解像度と感度の両方を高める
とよい。しかしながら、解像度と感度の向上は、上述し
た観点から相反するものであることがわかる。
【０００３】この問題に対して、隣接する画素をずらし
て解像度を向上させる方法がある。この一例が特開平8-
340455号公報に記載の画像信号処理装置である。この画
像信号処理装置には、非格子状の画素配列の撮像素子を
適用しながらもコンピュータへの取り込みに適合した格
子状配列の画素に対応する画素データが得られるよう
に、画素近傍に位置する非格子状の配列による複数の実
画素からの画像信号に基づいて生成する格子状配列画素
データ生成手段を備えることが提案されている。
【０００４】また、特開昭59-72283号の公報の電子スチ
ルカメラの映像信号処理装置は、受光部画素が市松配置
で２走査線を単位として同時読出し可能な固体撮像素子
を用いて得られる映像信号に対し、上下組となる２走査
線の信号を互いに水平方向に補間合成して新たな１水平
走査信号を作り出す第１の回路手段と、この２走査線の
垂直走査方向下方の１走査線信号を１走査時間遅延し、
かつ、次の組となる２走査線の上方の走査線信号との間
で互いに水平方向に補間合成して、もう１つの新たな１
水平走査信号を作り出す第２の回路手段とを備え、第１
および第２の回路手段の出力を同時に出力させて、１回
の垂直方向走査により2:1 のインターレース走査におけ
る奇遇２フィールドの信号を、同時に、並列に出力可能
にして、水平と垂直とを入れ換えても画面の縦位置、横
位置にかかわらず良好な画質のスチル撮影が行えるよう
にしている。
【０００５】前述した要求を満たすには、空間サンプリ
ングする画素が小さくするとともに、感度を向上させな
ければならないので、この他にも様々な工夫が検討され
ている。この一例として、乾谷正史は、乾谷、「メガピ
クセルＤＳカメラにおける撮像特性」、日本写真学会の
デジタルカメラ研究会、1998年の資料を提供するととも
に、その一考察について発表した。この発表は、画素サ
イズが、特に感度とS/N に関して与える撮像特性への影
響や単板カラーフィルタを用いた撮像方式等について考
察した。固体撮像装置には、カラーフィルタに三原色RG
B を用いた原色撮像方式と、複数の補色を用いた補色撮
像方式がある。そして、この考察により入射光の利用効
率において補色撮像方式が有効であることがわかった。
【０００６】補色撮像方式においても解像度の向上を図
るための提案が特開昭58-31688号の公報に記載されてい
る。提案された固体カラー撮像装置は、垂直方向に相隣
接する受光素子が水平方向に半ピッチずれて配置されて
おり、かつ相接する３つの感光素子からの出力和がほぼ
輝度信号に対応する信号となるように３ヶの色フィルタ
素子の分光特性を選択してモアレの低減および高解像度
の映像信号を得ている。より具体的に説明すると、色W,
Ye, Cy がデルタ型の補色方式を用いて隣接する３画素
（水平２ライン）から輝度信号を作成する。
【０００７】
【発明が解決しようとする課題】ところで、特開昭58-3
1688号公報および特開昭59-72283号公報の発明は、色多
重化方式のうち、受光して得られた信号電荷を信号ライ
ンに供給し、信号ラインの２つを混合して読み出す２線
混合読出し（または２行同時独立読出し方式）を用いて
いる。また、これらの発明はムービーおよび MOS（Meta
l Oxide Semiconductor:金属酸化膜半導体）を想定して
いる。
【０００８】MOS 型の撮像素子では CCD（Charge Coupl
ed Device:電荷結合素子）で行われる全画素同時読出し
ができないことが知られている。このことから、MOS 型
の撮像素子では、全画素同時読出しして得られた画像に
比べて高い解像度が得られない。特に、動画での垂直解
像度が得られない。特開平8-340455公報の発明でも得ら
れる画像の垂直解像度の要求を十分満足させることがで
きない。
【０００９】本発明はこのような従来技術の欠点を解消
し、入射光の利用効率を高めるとともに、得られる画像
の解像度をより高く実現できる固体撮像装置および信号
処理方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】本発明は上述の課題を解
決するために、入射光を遮光する遮光部材の開口部に対
応した位置でこの入射光を色分解し、この色分解した入
射光を光電変換して撮像し、該撮像により得られた信号
に信号処理を施して広帯域な信号にする固体撮像装置に
おいて、開口部からの入射光を異なる分光特性の複数の
色フィルタで色分解する色フィルタのうち、少なくとも
分光特性が補色系の色フィルタを含む色分解手段、この
色分解手段から補色系の色を含むフィルタを通った入射
光を光電変換する受光素子とこの受光素子に隣接した受
光素子とが垂直方向および／または水平方向にずらされ
て２次元配置された受光部、この受光部の開口部を迂回
するように配置され、かつ受光素子からの信号を取り出
す電極、およびこの電極を介して供給される信号を受光
部の垂直または水平方向に順番に転送する各方向に対応
した転送レジスタを含む撮像手段と、撮像手段から供給
されるディジタルデータに変換するディジタル変換手段
とを含み、さらにこの装置は、ディジタル変換されたデ
ィジタルデータの面データにおいて、受光素子のずらし
配置に伴う受光素子の空領域を仮想受光素子とし、用い
る色分解手段の色フィルタに応じて実在の受光素子から
２ラインずつ、３ラインずつまたは読出しを１ラインシ
フトさせながら３ラインずつ供給される複数の補色系を
含む画素データを基に、仮想受光素子または受光素子の
位置における三原色R, G, B のいずれかの色の画素デー
タを補間生成し、この生成した画素データを用いてそれ
ぞれ、実在の受光素子または仮想受光素子でのデータを
補間するとともに、これらの補間により得られた画素デ
ータを用いて実在する受光素子および仮想受光素子の位
置の画素データを広帯域化する信号処理手段を含むこと
を特徴とする。
【００１１】ここで、開口部は、開口形状を正方格子あ
るいは多角形にするとともに、それぞれ、開口部に対応
して配置される受光素子の間隔を画素ピッチとすると
き、開口部が一列ごとに垂直方向にあるいは一行ごとに
水平方向に画素ピッチ分だけ移動させて２次元配置され
ているか、あるいは正方格子を45°回転させた開口形状
あるいは多角形の開口形状の開口部が２次元配置されて
いることが好ましい。
【００１２】色分解手段に用いる色フィルタは、色フィ
ルタに減色混合法で表すシアン（Cy）、マゼンタ（M
g）、黄色（Ye）、白色（W ）、および緑色（G ）のい
ずれかを複数個ずつ用いて、受光素子のずらし配置に対
応し、隣接する受光素子にずれを持たせながらW を正方
格子状に配し、このW 正方格子に対するずれをピッチの
半分の距離にしたシアン黄色完全市松パターン、色フィ
ルタに減色混合法で表すシアン（Cy）、マゼンタ（M
g）、黄色（Ye）、および緑色（G ）のいずれかを複数
個ずつ用いて、受光素子のずらし配置に対応し、隣接す
る受光素子にずれを持たせながらG を正方格子状に配
し、このG 正方格子に対するずれをピッチの半分の距離
にしたシアン黄色完全市松パターン、色フィルタに減色
混合法で表すシアン（Cy）、マゼンタ（Mg）、黄色（Y
e）、および緑色（G ）のいずれかを複数個ずつ用い
て、受光素子のずらし配置に対応して隣接する受光素子
とをピッチの半分の距離のずれ関係にし、４色を用いて
完全市松パターンの一部が互いに重なる部分重複市松パ
ターンまたは４色のうちの緑色(G) に白色(W) を用いた
部分重複市松パターン、色フィルタに減色混合法で表す
シアン（Cy）、黄色（Ye）、マゼンタ（Mg）、および緑
色（G ）を用いて、受光素子のずらし配置に対応して隣
接する受光素子とをピッチの半分の距離のずれ関係に
し、４色のうち３色を組み合わせてそれぞれ縦方向また
は横方向に配するパターン、色フィルタに減色混合法で
表すシアン（Cy）、黄色（Ye）、および白色（W ）を用
いて、受光素子のずらし配置に対応して隣接する受光素
子とをピッチの半分の距離のずれ関係にし、３色がそれ
ぞれ縦方向または横方向に配するパターン、そして色フ
ィルタに減色混合法で表すシアン（Cy）、マゼンタ（M
g）、黄色（Ye）、および三原色のR, G, Bのいずれかを
複数個ずつ用いて、受光素子のずらし配置に対応して隣
接する受光素子とをピッチの半分の距離のずれ関係に
し、シアン黄色完全市松パターンの中心にG を配すると
ともに、このシアン黄色完全市松パターンを囲むG を正
方格子状に配し、さらにこのG 正方格子上の中間位置に
マゼンタを配した４色完全市松パターンまたは４色のう
ちの緑色(G) に白色(W) を用いた４色完全市松パターン
を含むことが望ましい。
【００１３】撮像手段は、色フィルタの配置に応じて受
光素子により得られた信号電荷を、２ラインずつの読出
しまたは３ラインの読み出す際の読出し開始ラインを１
ラインずつシフトさせながら読み出す３ライン読出しを
行うことが好ましい。
【００１４】信号処理手段は、撮像手段の実在する受光
素子から２ラインずつ得られる画素データを用いて仮想
受光素子の位置における画素データを算出するととも
に、この算出した画素データを用いて仮想受光素子の位
置での輝度データを算出する補間手段と、この補間手段
からの画素データが含む帯域をさらに広帯域化する広帯
域化手段とを含むことが好ましい。
【００１５】補間手段は、仮想受光素子の位置に対する
補間を、この仮想受光素子に隣接する２つまたは３つの
実在する受光素子からの補色を含む画素データを用い
て、少なくとも１回減算する第１の補間手段と、この第
１の補間手段により算出された仮想受光素子での原色の
画素データを組み合わせてこの仮想受光素子の位置にお
ける輝度データを算出する第２の補間手段とを含むこと
が望ましい。第１の補間手段での三原色R, G, B のいず
れかの原色データを算出とこれら原色データから第２の
補間手段で輝度データを生成することにより、仮想受光
素子における画素データおよび輝度データが得られる。
特に、後述するように色フィルタにW 正方格子CyYe完全
市松パターンを用いた際に、仮想受光素子の位置にG 正
方格子RB完全市松パターンを生成できる。
【００１６】第１の補間手段は、仮想受光素子に対して
隣接する実在の受光素子から色フィルタの色がシアン
（Cy）、マゼンタ（Mg）、黄色（Ye）、白色（W ）、お
よび緑色（G ）の画素データのうち、２つまたは３つの
画素データがつくるパターンの組合せにより得られる場
合、画素データ、三原色R, G, B を、それぞれ、R=W-C
y, B=W-Ye, G=Ye+Cy-W の組合せ、R=Ye-G, B=Cy-G, G=G
の組合せ、R=Ye-G, B=Cy-G, G=G の組合せの一つに基
づいて仮想受光素子の画素データを補間演算する色補間
機能ブロックとを含むことが望ましい。
【００１７】第２の補間手段は、仮想受光素子に対して
隣接する実在の受光素子から色フィルタの色がシアン
（Cy）、マゼンタ（Mg）、黄色（Ye）、白色（W ）、お
よび緑色（G ）のいずれかの画素データを３つまたは４
つ用いたパターンの組合せで得られる場合、仮想受光素
子の輝度データY を、それぞれ、Y=Ye+Cy+W の組合せ、
Y=Ye+Cy+G の組合せ、Y=Mg+Ye+Cy+Gの組合せの一つに基
づいて補間演算する補間生成機能ブロックを含むことが
望ましい。
【００１８】また、補間手段は、実在する受光素子を輝
度データ生成対象とした際に、この対象の受光素子の位
置における輝度データを、この対象の受光素子に隣接し
た周囲の画素データに基づいて算出する第３の補間手段
を含むことが望ましい。
【００１９】広帯域化手段は、補間手段から供給される
輝度データを用いて実在する受光素子または仮想受光素
子のいずれかの位置における輝度データの補間を行う輝
度補間手段と、この輝度補間手段および補間手段からそ
れぞれ供給される画素データを用いて画素データが含む
帯域をより広域化するとともに、三原色R, G, B の各色
に応じたプレーンデータを生成するプレーン補間手段
と、このプレーン補間手段により作成されたプレーンデ
ータを用いて輝度データ、色差データを生成するマトリ
クス手段と、このマトリクス手段からの出力のうち、輝
度データに対して輪郭強調処理を施すアパーチャ調整手
段とを含むことが好ましい。
【００２０】輝度補間手段は、供給される輝度データに
ローパスフィルタ処理を施す手段を用いることが好まし
い。
【００２１】第２の補間手段は、作成する対象の輝度デ
ータY を画素データG と作成する対象の輝度データをこ
の対象の輝度データの周囲に位置する画素データR, Bを
用いた演算による算出あるいは水平方向および垂直方向
の色境界の判断による適応処理を考慮して算出する適応
補間手段を含むことが好ましい。
【００２２】第３の補間手段は、W 正方格子CyYe市松パ
ターンの場合、作成するシアンまたは黄色の受光素子を
対象として輝度データW を算出する際に、この対象とす
る位置の一方の色と異なる他方の市松パターンの色に対
する画素データを平均した値と一方の色の画素データを
加算する輝度算出機能ブロックを含むとよい。
【００２３】また、第３の補間手段は、作成する対象の
輝度データW を、水平方向および垂直方向の色境界の判
断による適応処理を考慮した相関の大きい方向の画素デ
ータの平均値を加算する補色適応補間手段を含むとよ
い。
【００２４】先の信号処理手段と異なる構成により得ら
れる信号を広帯域化することができる。この広帯域化の
一例として信号処理手段は、撮像手段の実在する受光素
子から３ラインずつ得られる画素データを用いて仮想受
光素子の位置における画素データを算出するとともに、
この算出した画素データを用いて仮想受光素子および実
在する受光素子の位置での画素データに関する輝度デー
タおよび色差データを帯域に応じて算出する帯域別デー
タ生成手段と、この帯域別データ生成手段からの画素デ
ータが含む信号成分をさらに高域化する高域化処理手段
とを含むことが好ましい。
【００２５】広帯域化手段は、補間手段からの仮想受光
素子に対して得られた画素データを基に正確な色再現重
視、ならびに水平方向および／または垂直方向の解像度
の重視と重視する項目に応じて演算処理が施される演算
処理手段と、この演算処理手段から出力される色再現が
考慮された成分信号と解像度を重視した成分信号が擬似
周波数的に加算される擬似加算手段と、この演算処理手
段で水平方向および垂直方向の解像度が重視された各信
号に共通した周波数帯が含まれている場合、共通した周
波数帯の重複を防止する重複防止手段と、演算処理手段
の色再現を重視した成分信号に信号の振幅制御を施す信
号調整手段と、この信号調整手段および重複防止手段か
らの成分信号を基に三原色R, G, B を生成する信号変換
手段とを含むようにしてもよい。
【００２６】高域化処理手段は、帯域別データ生成手段
からの仮想受光素子に対して得られた画素データを基に
正確な色再現重視、ならびに水平方向および／または垂
直方向の解像度の重視と重視する項目に応じて演算処理
が施される項目対応演算手段と、この項目対応演算手段
から出力される色再現が考慮された成分信号と解像度を
重視した成分信号が擬似周波数的に加算される擬似加算
手段と、この演算処理手段で水平方向および垂直方向の
解像度が重視された各信号に共通した周波数帯が含まれ
ている場合、共通した周波数帯の重複を防止する重複防
止手段と、この重複防止手段からの解像度を重視した成
分信号と項目対応演算手段の色再現を重視した成分信号
に、それぞれ輪郭強調と信号の振幅制御を施す信号調整
手段と、この信号調整手段からの成分信号を基に三原色
R, G, B を生成する信号変換手段とを含むとよい。
【００２７】擬似加算手段は、演算処理手段から供給さ
れる解像度が重視される周波数帯までの第１の成分信号
を一端側に減算入力させ他端側に第１の成分信号の周波
数帯よりも低域の色再現を考慮した第２の成分信号を加
算入力させる第１の加算手段と、この第１の加算手段の
出力と第１の成分信号にそれぞれ生じる折り返し歪みを
防ぐ処理を施すフィルタリング手段と、このフィルタリ
ング手段からの各出力が加算入力される第２の加算手段
とを含むことが好ましい。
【００２８】重複防止手段は、擬似加算手段から出力さ
れる信号のうち、一方の信号の共通した周波数帯に対し
て帯域制限を施すフィルタ手段と、このフィルタ手段か
らの出力と共通した周波数帯を含む他方の信号とを加算
する加算処理手段とを含むことが好ましい。
【００２９】アパーチャ調整手段は、仮想受光素子にお
ける色G だけから相関検出補間を行って解像度を重視し
た成分信号を輪郭強調する信号として生成させる強調デ
ータ生成手段と、この強調データ生成手段の出力に水平
方向および垂直方向の解像度が重視され、共通した周波
数帯が含まれている場合、共通した周波数帯の重複を防
止する重複防止手段とを含むことが望ましい。
【００３０】固体撮像装置において、撮像手段と入射光
を結像させる結像光学系との間に、入射光を少なくと
も、２つに分光し、各撮像手段の撮像面に被写界像を投
影させる分光光学系を備え、撮像面を形成する受光素子
を行方向と列方向で２次元配列されるとともに、撮像面
に投影された同一の被写界像を空間的に重ね合わせた際
に一方の２次元配列された受光素子と他方の２次元配列
された受光素子の対応する幾何学的な撮像面形状の中心
が行方向および列方向に半ピッチずつずれた画素ずらし
配置の関係に配設し、色フィルタは、受光素子に対応し
てこの受光素子の前面に配置され、空間的に重ね合わせ
た際にこの受光素子の空隙位置に原色の画素をもたらす
補色の色配列が用いられているとよい。
【００３１】受光部が２つの場合、画素ずらし配置の色
フィルタを組み合わせて色W が正方格子状に配され、色
シアン、黄色が完全市松に配されたW 正方格子CyYe完全
市松パターン、色G が正方格子状に配されるG 正方格子
CyYe完全市松パターン、部分重複市松パターン、縦スト
ライプ、横ストライプまたは４色完全市松パターンを形
成することが望ましい。
【００３２】受光部が３つの場合、画素ずらし配置パタ
ーンの第１の色フィルタと、画素ずらし配置から画素ピ
ッチ分ずらした配置パターンで、かつ第１の色フィルタ
の色と同色の第２の色フィルタと、この第２の色フィル
タの配置パターンで、かつ第２の色フィルタの色と異な
る色の第３の色フィルタとを備え、第２の色フィルタと
第３の色フィルタを組み合わせて固着させることが好ま
しい。
【００３３】受光部が３つの場合、画素ずらし配置の互
いに異なる３つの色フィルタの一の色フィルタに対して
残りの２つの色フィルタを、ともに画素ピッチ分だけず
らして重複した空間配置の色フィルタを形成するとよ
い。
【００３４】本発明の固体撮像装置は、撮像手段の受光
部に配した受光素子から得られる複数の補色を含む信号
電荷を２ラインずつ、３ラインずつまたは読出しを１ラ
インシフトさせながら３ラインずつ出力させ、出力され
る信号電荷をディジタル変換手段で供給される複数の補
色系を含む画素データにする。そして信号処理手段では
この画素データを基に、仮想受光素子または受光素子の
位置における三原色R,G, B のいずれかの色の画素デー
タを補間生成し、この生成した画素データを用いてそれ
ぞれ、実在の受光素子または仮想受光素子でのデータを
補間するとともに、これらの補間により得られた画素デ
ータを用いて実在する受光素子および仮想受光素子の位
置の画素データを広帯域化することにより、撮像した画
像信号の解像度をより一層高めることができる。
【００３５】また、本発明は上述の課題を解決するため
に、入射光を異なる分光感度特性を含む複数の色フィル
タを介して受光素子に送るように形成した遮光部材に開
けた開口部の直下に配した受光素子が２次元配列されて
いるとき、開口形状が正方格子あるいは多角形に形成さ
れた開口部を一列毎に垂直方向にあるいは一行毎に水平
方向にずらされた開口部、あるいは正方格子を45°回転
させた開口形状あるいは多角形の開口形状を含む開口部
を介して受光素子で受光し、この受光素子を画素として
扱い、受光によって得られた２次元の画素を基に画像信
号にし、この画像信号に信号処理を施して広帯域な画像
信号にする信号処理方法において、色フィルタの組合せ
パターンに応じて受光素子の２ラインずつ、３ラインず
つまたは読出しを１ラインシフトさせながら３ラインず
つ供給される信号をディジタルデータに変換するディジ
タル変換工程と、このディジタル変換工程後の画素デー
タを記憶するデータ記憶工程とを含み、さらにこの方法
は、データ記憶工程で記憶された画素データをディジタ
ル変換工程のライン読出しと同じに読み出し、かつ読み
出した画素データに対して受光素子のずらし配置に伴う
受光素子の空領域を仮想受光素子とし、隣接する受光素
子からの補色の画素データを基に、仮想受光素子の位置
における三原色R, G, B のいずれかの色の画素データを
補間生成する仮想画素補間工程と、この仮想画素補間工
程で生成した画素データを用いて実在の受光素子の位置
における三原色R, G, B のいずれかの色の画素データを
補間生成するとともに、これらの補間により得られた画
素データを用いて実在する受光素子および仮想受光素子
の位置の画素データを広帯域化する広帯域化工程を含む
ことを特徴とする。
【００３６】ここで、仮想画素補間工程は、データ記憶
工程から画素データが２ライン読出しで供給される際
に、仮想受光素子の位置における画素データを、この仮
想受光素子に隣接する２つまたは３つの受光素子から得
られる補色を含む画素データを用いて、少なくとも１回
の減算を行ってこの仮想受光素子の画素データを補間生
成する第１の補間生成工程と、この第１の補間生成工程
により算出した仮想受光素子での原色の画素データを組
み合わせてこの仮想受光素子の位置における輝度データ
を算出する第２の補間生成工程とを含むことが好まし
い。第１の補間生成工程により、後述するように、たと
えばW 正方格子CyYe完全市松パターンでは仮想受光素子
でG 正方格子とこのG 正方格子に対してピッチの半分の
距離だけずらしたRB完全市松パターンの画素データを生
成し、第２の補間生成工程でこれらの位置での輝度デー
タも生成する。
【００３７】第１の補間生成工程は、仮想受光素子に対
して隣接する受光素子から得られる色シアン（Cy）、黄
色（Ye）、および白色（W ）の画素データのうち、２つ
または３つの画素データがつくるパターンの組合せで得
る場合、仮想受光素子の三原色R, G, B を、それぞれ、
R=W-Cy, B=W-Ye, G=Ye+Cy-W に基づいて補間演算を行う
ことが望ましい。
【００３８】第２の補間生成工程は、仮想受光素子に対
して隣接する受光素子から得られるシアン（Cy）、黄色
（Ye）、および白色（W ）の画素データすべてを加算し
て輝度データを補間生成することが好ましい。
【００３９】また、第２の補間生成工程は、第１の補間
生成工程により仮想受光素子の位置にG 正方格子とこの
G 正方格子に対してピッチの半分の距離だけずらしたRB
完全市松を合わせたG 正方格子RB完全市松パターンを生
成するとともに、得られたパターンの画素データG の周
囲から得られるR の画素データとB の画素データから輝
度データを作成する際に、画素データR と画素データB
のいずれか一方の画素データを輝度データの作成対象に
する場合、この作成対象の画素データを半分にした作成
対象の半値データと、この作成対象の周囲に最も近傍、
かつ等距離に位置する他方の画素データを加算し、この
加算結果を加算した画素データの個数を倍した値で割っ
た周囲画素データとから実際に用意された受光素子の位
置における輝度データを算出することが望ましい。
【００４０】仮想画素補間工程は、W 正方格子CyYe完全
市松パターンの色フィルタを用いた際に、第１の補間生
成工程で仮想受光素子の位置における色の画素データを
生成させ、実在する受光素子の位置に色フィルタのシア
ンまたは黄色が用いられる際に、シアンまたは黄色の一
方の色の受光素子の位置を輝度データ生成対象とし、こ
の対象の受光素子に隣接した他方の色の４つの画素デー
タに基づいて算出し、この算出した値と対象の画素デー
タとを加算するとともに、得られる画素データを用いて
水平方向および／または垂直方向に正確な色再現重視、
ならびに解像度の重視と各項目に応じた画素データの成
分信号をそれぞれ生成する第３の補間生成工程を含み、
輝度データは、仮想受光素子または受光素子のいずれか
で算出することが好ましい。
【００４１】仮想画素補間工程は、W 正方格子CyYe完全
市松パターンの色フィルタを用いた際に、第１の補間生
成工程で仮想受光素子の位置における色の画素データを
生成させ、実在する受光素子の位置に前記色フィルタの
シアンまたは前記黄色が用いられる際に、シアンまたは
黄色の一方の色の受光素子の位置を輝度データ生成対象
とし、この対象の受光素子に隣接した他方の色の４つの
画素データに基づいて水平方向／垂直方向の第１の相関
値を算出して比較を行い、所定の値以上の第１の相関値
の方向に位置する２つの受光素子の平均値の算出または
水平および垂直ともに第１の所定の値より小さい第１の
相関値では４つの画素データの平均値の算出を行い、こ
の算出した値と対象の画素データとを加算するととも
に、得られる画素データを用いて水平方向および／また
は垂直方向に正確な色再現重視、ならびに解像度の重視
と各項目に応じた画素データの成分信号をそれぞれ生成
する第４の補間生成工程を含み、輝度データは、仮想受
光素子または受光素子のいずれかで算出することが好ま
しい。
【００４２】第４の補間生成工程は、シアンまたは黄色
の一方の色の受光素子の位置を輝度データ生成対象と
し、この対象の受光素子に隣接した他方の色の４つの画
素データに基づいて水平方向／垂直方向の第１の相関値
を算出して比較を行い、第１の所定の値以上の第１の相
関値の方向に位置する２つの受光素子の平均値の算出、
水平方向および垂直方向の第１の相関値ともに第１の所
定の値より小さいときこの対象の受光素子に隣接した４
つの色W の画素データを用い、水平方向に位置する画素
データを差分した絶対値の加算と垂直方向に位置する画
素データを差分した絶対値の加算とを水平方向および垂
直方向の第２の相関値とし、この算出した各方向の第２
の相関値の比較を行い、第２の所定の値以上となる第２
の相関値の方向に位置する２つの受光素子の平均値の算
出、また、水平方向および垂直方法の第２の相関値とも
に第２の所定の値より小さいとき４つ色W の画素データ
の平均値の算出を行い、この算出した値と対象の画素デ
ータとを加算するとともに、得られる画素データを用い
て水平方向および／または垂直方向に正確な色再現重
視、ならびに解像度の重視と各項目に応じた画素データ
の成分信号をそれぞれ生成することが好ましい。
【００４３】また、仮想画素補間工程は、色フィルタの
配置が４色完全市松パターンを用い、データ記憶工程か
ら画素データが３ラインずつまたは読出しを１ラインシ
フトさせながら３ラインずつ読み出した際に、４色の受
光素子が囲む仮想受光素子の色R, G, B を補間生成する
第５の補間生成工程と、この第５の補間生成工程により
得られた画素データを用いて受光素子の画素データを補
間生成する第６の補間生成工程と、４色のうち、色のシ
アンと黄色とに挟まれる仮想受光素子の位置における輝
度データを、水平方向と垂直方向にそれぞれ配される色
のシアンと黄色の２つの画素データを加算して算出する
低域輝度算出工程と、４色のうち、緑色の位置の受光素
子の画素データG を高域輝度データとし、この高域輝度
データを、画素データG の２倍と色マゼンタの位置の受
光素子からの画素データとを加算して生成する高域輝度
算出工程とを含むことが望ましい。
【００４４】広帯域化工程は、仮想画素補間工程から供
給される輝度データを用いて受光素子の位置における輝
度データの補間を行う輝度補間工程と、この輝度補間工
程および仮想画素補間工程からそれぞれ供給される画素
データを用いて画素データが含む帯域をより広域化する
とともに、三原色R, G, B の各色に応じたプレーンデー
タを生成するプレーン補間工程と、このプレーン補間工
程により作成されたプレーンデータを用いて輝度デー
タ、色差データを生成するマトリクス工程と、このマト
リクス工程からの出力のうち、輝度データに対して輪郭
強調処理を施すアパーチャ調整工程とを含むことが好ま
しい。
【００４５】輝度補間工程は、仮想画素補間工程により
得られた輝度データに基づいて受光素子における輝度デ
ータを水平・垂直方向あるいは垂直・水平方向の順に作
成するとともに、受光素子に対応する位置の画素データ
を水平方向に関して補間する際に、補間する画素データ
に対応する乗算係数を乗算する第０段の水平工程を行
い、そしてこの補間する画素データの左右両側に隣接す
るデータを加算し、この加算結果に乗算係数を乗算する
第１段の水平工程と、各段で第１段の工程と同様にこの
補間する画素データから水平方向に等距離に位置する画
素データに対応する乗算係数を乗算する水平工程をｎ段
繰り返し、０段の水平工程、第１段の水平工程以降に繰
り返された乗算結果すべてを加算して補間画素データを
生成する水平補間工程と、この水平補間工程により得ら
れた画素データを用いて対象とする位置の画素データを
生成する際に、垂直方向に位置する画素データに対応す
る乗算係数を乗算し、得られた乗算結果をすべて加算し
て垂直方向のローパス処理を行う垂直処理工程とを含む
ことが有利である。
【００４６】第２の補間生成工程は、輝度データの算出
処理を行う前に、水平方向および垂直方向の第１相関値
をそれぞれ算出し、第１の所定の値と各算出結果をそれ
ぞれ比較し、この比較した結果が水平方向に相関がある
と判断した際に、輝度データの算出を水平方向の画素デ
ータを用いて加算し、この加算結果を加算した画素デー
タの個数を倍した値で割って周囲画素データとする水平
輝度算出工程と、この比較した結果が垂直方向に相関が
あると判断した際に、輝度データの算出を垂直方向の画
素データを用いて加算し、この加算結果を加算した画素
データの個数を倍した値で割って周囲画素データとする
垂直輝度算出工程と、この比較した結果が水平方向の相
関値および垂直方向の相関値が所定の値より小さいと
き、周囲画素データをこの作成対象の周囲に最も近傍、
かつ等距離に位置する他方の画素データを加算し、この
加算結果を加算した画素データの個数を倍した値で割っ
て算出する平均輝度算出工程とを含み、作成対象の半値
データと、水平輝度算出工程、垂直輝度算出工程、およ
び平均輝度算出工程のいずれか一つから得られる周囲画
素データとから輝度データのパターンを作成することが
好ましい。
【００４７】第２の補間生成工程は、輝度データの算出
処理を行う前に、水平方向および垂直方向の第１相関値
をそれぞれ算出し、第１の所定の値と各算出結果をそれ
ぞれ比較し、この比較結果に応じて水平輝度算出工程あ
るいは垂直輝度算出工程を行うとともに、画素データR
あるいは画素データB のうち、一方の画素データを作成
対象の輝度データとした際に、この作成対象の輝度デー
タを介して水平方向に位置する他方の画素データとこの
作成対象の輝度データを用いてそれぞれ得られた相関値
を加算し、水平方向および垂直方向の第２相関値をそれ
ぞれ算出し、第２の所定の値と各算出結果をそれぞれ比
較し、この比較した結果が水平方向に相関があるとの判
断に応じて行う水平輝度算出工程と、この比較した結果
が垂直方向に相関があるとの判断に応じて行う垂直輝度
算出工程と、この比較した結果がいずれの相関とも異な
る際に行う平均輝度算出工程とを含み、作成対象の画素
データの半値と、水平輝度算出工程、垂直輝度算出工
程、および平均輝度算出工程のいずれか一つから得られ
る周囲画素データとから輝度データのパターンを作成す
ることが望ましい。
【００４８】第２の補間生成工程には、画素データG の
対角位置の画素データを加算し、この加算結果の差の絶
対値により得られた値が第３の所定の値以上の場合、周
囲画素データの算出を平均輝度算出工程で行うとよい。
【００４９】また、第２の補間生成工程は、輝度データ
の算出処理を行う前に、輝度データを算出する画素デー
タに対して２方向に対角位置に位置する同色の画素デー
タの差からそれぞれ右斜め方向および左斜め方向の第１
相関値を算出し、第４の所定の値と各算出結果をそれぞ
れ比較し、この比較した結果が右斜め方向に相関がある
と判断した際に、右斜め方向の第１相関値の算出に用い
た画素データを加算し、この加算結果を加算した画素デ
ータの個数を倍した値で割って周囲画素データとする右
斜め輝度算出工程と、この比較した結果が左斜め方向に
相関があると判断した際に、左斜め方向の第１相関値の
算出に用いた画素データを加算し、この加算結果を加算
した画素データの個数を倍した値で割って周囲画素デー
タとする左斜め輝度算出工程と、この比較した結果が右
斜め方向の第１相関値および左斜め方向の第１相関値が
第４の所定の値より小さいとき、相関値の算出に用いた
同色の画素データすべてを加算し、この加算結果を加算
した画素データの個数を倍した値で割って算出する平均
輝度算出工程とを含み、作成対象の画素データの半値
と、右斜め輝度算出工程、左斜め輝度算出工程、および
平均輝度算出工程のいずれか一つから得られる周囲画素
データとの加算から輝度データのパターンを作成すると
よい。
【００５０】さらに、第２の補間生成工程は、輝度デー
タの算出処理を行う前に、第４の所定の値と右斜め方向
および左斜め方向の第１相関値の算出結果をそれぞれ比
較し、作成対象の画素データの半値と、右斜め輝度算出
工程および左斜め輝度算出工程のいずれか一方の算出し
たデータとを加算する場合と、さらに、この場合に加え
て、輝度データを算出する画素データに対して２方向に
対角位置に位置する異色の画素データの差からそれぞれ
右斜め方向および左斜め方向の第２相関値を算出し、新
たに設定する第５の所定の値と右斜め方向および左斜め
方向の第２相関値の算出結果をそれぞれ比較し、この比
較した結果が右斜め方向に相関があると判断した際に、
右斜め方向の第２相関値の算出に用いた異色の画素デー
タで演算し、この演算結果を演算に用いた画素データの
個数を倍した値で割って周囲画素データとする右斜め輝
度演算工程と、この比較した結果が左斜め方向に相関が
あると判断した際に、左斜め方向の第２相関値の算出に
用いた異色の画素データで演算し、この演算結果を演算
に用いた画素データの個数を倍した値で割って周囲画素
データとする左斜め輝度演算工程と、この比較した結果
が右斜め方向の第２相関値および左斜め方向の第２相関
値が第５の所定の値より小さいとき、第２相関値の算出
に用いた異色の画素データで演算し、この演算結果を演
算に用いた画素データの個数を倍した値で割って算出す
る平均輝度演算工程とを含み、作成対象の画素データの
半値と、右斜め輝度演算工程、左斜め輝度演算工程、お
よび平均輝度演算工程のいずれか一つから得られる周囲
画素データとを加算する場合とから輝度データのパター
ンを作成することが好ましい。
【００５１】右斜め方向および左斜め方向の第１相関値
ならびに第２相関値の算出は、供給される各画素位置を
算出の前に45°回転させた位置に回転移動させた後に水
平方向および垂直方向の第１相関値ならびに第２相関値
として算出し、所定の値との比較をそれぞれ行って対応
する輝度データの算出を行い、この算出の後に、得られ
た輝度データを回転移動前の位置に戻すとよい。
【００５２】水平方向および垂直方向の第２相関値は、
それぞれ輝度データ作成対象画素を挟んで水平方向に配
される一方の異色の画素データとこの作成対象画素の輝
度データとの差の絶対値および他方の異色の画素データ
とこの作成対象画素の輝度データとの差の絶対値の加算
値ならびに輝度データ作成対象画素を挟んで垂直方向に
配される一方の異色の画素データとの差の絶対値および
他方の異色の画素データとこの作成対象画素の輝度デー
タとの差の絶対値の加算値で表すことが好ましい。
【００５３】右斜め方向および左斜め方向の第２相関値
は、それぞれ輝度データ作成対象画素を挟んで水平方向
に配される異色の画素データ同士の差の絶対値および輝
度データ作成対象画素を挟んで垂直方向に配される異色
の画素データ同士の差の絶対値で表すことが望ましい。
【００５４】第２相関値は、第１相関値の算出に用いた
画素データよりも作成対象画素に近い位置の画素データ
を算出に用いるとよい。
【００５５】プレーン補間工程は、第１の補間生成工程
によりG 正方格子とこのG 正方格子に対してピッチの半
分の距離だけずらしたRB完全市松パターンにおける仮想
受光素子に対応して得られた各色の画素データと、第２
の補間生成工程により作成された輝度データを用い、画
素データのG のプレーン補間には、補間対象画素に対し
て水平方向および／または垂直方向に隣接して存在する
実際に得られた画素データG の平均と補間対象画素に対
して水平方向および／または垂直方向に隣接している輝
度データの加算平均との差に補間対象画素の位置に対応
する輝度データを加算して得られる工程と、画素データ
のR のプレーン補間には、補間対象画素に対して斜め方
向に隣接して存在する実際に得られた画素データR の平
均と補間対象画素に対して斜め方向と同方向に隣接して
いる輝度データの加算平均との差に補間対象画素の位置
に対応する輝度データを加算して得られる第１のR 工程
と、補間対象画素の残る色R に対する画素データR をこ
の第１のR 工程により得られた、等距離に位置する画素
データの加算平均とこの等距離に位置する輝度データの
加算平均との差に補間対象画素の残る色R に対する輝度
データを加算して得られる第２のR 工程と、さらに補間
対象画素の残る色R に対する画素データR を最近傍に位
置する第１、第２の工程および実際に得られた画素デー
タR の加算平均とこの加算平均に用いた画素に対応する
輝度データの加算平均との差に補間対象画素の位置に対
応する輝度データを加算して得られる第３のR 工程とを
含み、さらにこの方法は、画素データのB のプレーン補
間には、補間対象画素に対して斜め方向に隣接して存在
する実際に得られた画素データB の加算平均と補間対象
画素に対して斜め方向と同方向に隣接している輝度デー
タの加算平均との差に補間対象画素の位置に対応する輝
度データを加算して得られる第１のB 工程と、補間対象
画素の残る色B に対する画素データB をこの第１のB 工
程により得られた、等距離に位置する画素データの加算
平均とこの等距離に位置する輝度データの加算平均との
差に補間対象画素の残る色B に対する輝度データを加算
して得られる第２のB 工程と、さらに補間対象画素の残
る色B に対する画素データB を最近傍に位置する第１、
第２の工程および実際に得られた画素データB の加算平
均とこの加算平均に用いた画素に対応する輝度データの
加算平均との差に補間対象画素の位置に対応する輝度デ
ータを加算して得られる第３のB 工程とを含むことが好
ましい。
【００５６】広帯域化工程は、仮想画素補間工程から供
給される画素データおよび輝度データを用いて画素デー
タおよび輝度データの受光素子の位置におけるデータ欠
如を補間する欠如データ補間工程と、この欠如データ補
間工程および仮想画素補間工程からそれぞれ供給される
画素データおよび輝度データを用いて、水平方向および
／または垂直方向に正確な色再現重視、ならびに解像度
の重視と各項目に応じた成分信号をそれぞれ生成する項
目対応データ生成工程と、この項目対応データ生成工程
により生成した輝度データ、色差データを用いて三原色
R, G, B を生成する三原色マトリクス工程とを含むこと
が好ましい。
【００５７】項目対応データ生成工程は、受光素子のず
らし配置に伴う受光素子からの画素データを基に水平方
向および／または垂直方向に正確な色再現を重視して演
算処理を施す色再現重視工程と、画素データを基に水平
方向および／または垂直方向の解像度を重視して演算処
理を施す解像度重視工程とを含むことがを特徴とする信
号処理方法。
【００５８】項目対応データ生成工程は、色再現が考慮
された成分信号と解像度を重視した成分信号を擬似周波
数的に加算する擬似加算処理工程と、この画素データ生
成工程で水平方向および垂直方向の両解像度を重視する
際に共通する周波数帯の重複を防止する帯域重複防止工
程とを含むことが望ましい。
【００５９】擬似加算処理工程は、画素データ生成工程
で生成された解像度が重視される周波数帯までの第１の
成分信号から第１の成分信号の周波数帯よりも低域の色
再現を考慮した第２の成分信号を減算する減算工程と、
この減算工程からの出力と第１の成分信号に対してそれ
ぞれ折り返し歪みを防ぐ処理を施す歪み防止工程と、こ
の歪み防止工程を経た各出力を加算する第２の加算工程
とを含むことが好ましい。
【００６０】帯域重複防止工程は、水平方向および垂直
方向の成分信号内のいずれか一方の成分信号の共通する
周波数帯に対して帯域制限を施す帯域制限工程と、この
帯域制限工程で帯域制限された出力と共通した周波数帯
を含む他方向の成分信号とを加算する加算処理工程とを
含むことが望ましい。
【００６１】第２の補間生成工程は、光学系により被写
界像を少なくとも、受光素子が２次元配列された受光部
で形成される２つの撮像面にそれぞれ投影させ、行方向
と列方向で２次元配列に配置した受光素子が形成する撮
像面の配設を一方の２次元配列された受光素子と他方の
２次元配列された受光素子において対応する幾何学的な
撮像面形状の中心が行方向および列方向に半ピッチずつ
ずれた関係にし、この受光素子に対応してこの受光素子
の前面に用意する補色または補色および色G に色分解す
るフィルタの色配列を介してこの２つの撮像面に投影さ
れた同一の被写界像を空間的に重ね合わせる工程により
得られた画素データを用いるとよい。
【００６２】本発明の信号処理方法は、受光素子の２ラ
インずつ、３ラインずつまたは読出しを１ラインシフト
させながら３ラインずつ供給される信号をディジタルデ
ータに変換し、この後の画素データを記憶する。そして
記憶された画素データを上述したライン読出しと同じに
読み出し、かつ仮想受光素子に隣接する受光素子からの
補色の画素データを基に、仮想受光素子の位置における
三原色R, G, B のいずれかの色の画素データを補間生成
し、ここで生成した画素データを用いて実在の受光素子
の位置における三原色R, G, B のいずれかの色の画素デ
ータを補間生成するとともに、これらの補間により得ら
れた画素データを用いて実在する受光素子および仮想受
光素子の位置の画素データを広帯域化することにより、
得られる画像の解像度をより一層高くすることができ
る。
【００６３】
【発明の実施の形態】次に添付図面を参照して本発明に
よる固体撮像装置の実施例を詳細に説明する。
【００６４】本発明を適用した実施例のディジタルスチ
ルカメラ10の構成を図１に示す。図１のディジタルスチ
ルカメラ10には、光学レンズ系12、操作部14、システム
制御部18、信号発生部20、タイミング信号発生部22、ド
ライバ部24、絞り機構26、光学ローパスフィルタ28、色
分解部CF、撮像部30、前処理部32、A/D 変換部34、信号
処理部36、圧縮／伸張部38、記録再生部40、およびモニ
タ42が備えられている。これら各部を順次説明する。光
学レンズ系12は、たとえば、複数枚の光学レンズを組み
合わせて構成されている。光学レンズ系12には、図示し
ないが、これら光学レンズの配置する位置を調節して画
面の画角を操作部14からの操作信号に応じて調節するズ
ーム機構や被写体とカメラ10との距離に応じてピント調
節する、AF（Automatic Focus:自動焦点) 調節機構が含
まれている。操作信号は、システムバス16を介してシス
テム制御部18に供給される。光学レンズ系12には、後述
する信号発生部20、タイミング信号発生部22、ドライバ
部24を介して駆動信号が供給される。
【００６５】操作部14には、図示しないがシャッタスイ
ッチやたとえばモニタ画面に表示される項目を選択する
機能が備えられている。特に、シャッタスイッチは、複
数の段階のそれぞれでカメラ10の操作を行うようにシス
テムバス16を介して操作信号をシステム制御部18に出力
する。
【００６６】システム制御部18は、たとえば CPU（Cent
ral Processing Unit:中央演算処理装置）を有する。シ
ステム制御部18には、ディジタルスチルカメラ10の動作
手順が書き込まれた ROM（Read Only Memory：読み出し
専用メモリ）がある。システム制御部18は、たとえば、
ユーザの操作に伴って操作部14から供給される情報とこ
の ROMの情報を用いて各部の動作を制御する制御信号を
生成する。システム制御部18は、生成した制御信号を信
号発生部20、あらわに制御信号の供給を示していないタ
イミング信号発生部22、前処理部32、A/D 変換部34の他
に、システムバス16を介して信号処理部36、圧縮／伸張
部38、記録再生部40およびモニタ42にも供給する。
【００６７】信号発生部20は、システム制御部18からの
制御に応じてシステムクロックを発振器により発生す
る。信号発生部20は、このシステムクロックをタイミン
グ信号発生部22および信号処理部36に供給する。また、
システムクロックは、たとえばシステムバス16を介して
システム制御部18の動作タイミングとしても供給され
る。
【００６８】タイミング信号発生部22は、供給されるシ
ステムクロックを制御信号に基づいて各部を動作させる
タイミング信号を生成する回路を含む。タイミング信号
発生部22は、生成したタイミング信号を図１に示すよう
に各部に出力するとともに、ドライバ部24にも供給す
る。ドライバ部24は、前述した光学レンズ系12のズーム
調節機構およびAF調節機構の他、絞り調節機構26および
撮像部30にも駆動信号をそれぞれ供給する。
【００６９】絞り調節機構26は、被写体の撮影において
最適な入射光の光束を撮像部30に供給するように入射光
束断面積（すなわち、絞り開口面積）を調節する機構で
ある。絞り調節機構26にもドライバ部24から駆動信号が
供給される。この駆動信号は、前述したシステム制御部
18からの制御に応じて行う動作のための信号である。こ
の場合、システム制御部18は、図示しないが、撮像部30
で光電変換した信号電荷を基にAE（Automatic Exposure
:自動露出）処理として絞り・露光時間を算出してい
る。絞り調節機構26には、この算出した値に対応する制
御信号が供給されたタイミング信号発生部22からの信号
に応じた駆動信号がドライバ部24から供給される。
【００７０】撮像部30は光電変換する撮像素子を光学レ
ンズ系12の光軸と直交する平面が形成されるように配置
する。また、撮像素子の入射光側には、個々の撮像素子
に対応して光学像の空間周波数をナイキスト周波数以下
に制限する光学ローパスフィルタ28と一体的に色分解す
る色フィルタCFが一体的に配設される。本実施例では単
板方式の色フィルタを用いて撮像する。色フィルタCFの
種類等については後段でさらに詳述する。撮像素子に
は、 CCD（Charge Coupled Device:電荷結合素子）や M
OS（Metal Oxide Semiconductor:金属酸化型半導体）タ
イプがある。撮像部30は、供給される駆動信号に応じて
光電変換によって得られた信号電荷を所定のタイミング
として、たとえば、電子シャッタのオフ毎に前処理部32
に出力する。撮像部30は、CCD タイプでは信号電荷の読
出しにフィールド蓄積２行混合読出しの色多重化方式や
色フィルタ配置に対応させて画素補間が行えるようにす
る同時３ライン読出しの色多重化方式を用いる。これら
の色多重化方式についてはさらに後段で詳述する。
【００７１】前処理部32には、図示しないがCDS （Corr
elated Double Sampling: 相関二重サンプリング；以下
CDS という）部が備えられている。CDS 部は、たとえ
ば、CCD 型の撮像素子を用いて、基本的にその素子によ
り生じる各種のノイズをタイミング信号発生部22からの
タイミング信号によりクランプするクランプ回路と、タ
イミング信号により信号電荷をホールドするサンプルホ
ールド回路を有する。CDS 部は、ノイズ成分を除去して
A/D 変換部34に送る。A/D 変換部34は、供給される信号
電荷というアナログ信号の信号レベルを所定の量子化レ
ベルにより量子化してディジタル信号に変換するA/D 変
換器を有する。A/D 変換部34は、タイミング信号発生部
22から供給される変換クロック等のタイミング信号によ
り変換したディジタル信号を信号処理部36に出力する。
【００７２】信号処理部36には、データ補正部36a 、補
間処理部36b および広帯域信号処理部36c が含まれる。
データ補正部36a には、図示しないが色の補正を行うガ
ンマ補正回路や自動的にホワイトバランスの調整を行う
AWB (Automatic White Balance）回路等がある。特に、
ガンマ補正回路は、 ROM（Read Only Memory）に供給さ
れるディジタル信号とこのディジタル信号に対応して出
力する補正データとを組にした複数のデータセットの集
まりであるルックアップテーブルを用いる。これら一連
のデータ補正においてもタイミング信号発生部22からの
タイミング信号に応じて供給される。データ補正部36a
は、この処理した補正データを補間処理部36b に出力す
る。
【００７３】補間処理部36b は、本実施例では図２に示
すように、供給される受光素子から得られる画素データ
に対して受光素子のない空隙位置、すなわち仮想受光素
子または仮想画素での画素データを周囲の画素データか
ら三原色R, G, B のいずれかを補間生成する仮想画素補
間機能部360bおよび得られた画素データを基にこの仮想
画素での輝度データを生成する輝度データ生成機能部36
2bを含む。仮想画素補間機能部360bおよび輝度データ生
成機能部362bは、演算処理により各画素でのデータを補
間生成を行って得られた原色R データ, G データ, B デ
ータ、および輝度データY （または高域輝度データYhで
表す）を出力する。
【００７４】図１に戻って、広帯域信号処理部36c に
は、原色R データ, G データ, B データ、および輝度デ
ータY に相当する信号ラインが補間処理部36b と接続さ
れる。広帯域信号処理部36c には、図３に示すように、
輝度データ補間機能部360c、高解像度プレーン補間機能
部362c、色差マトリクス部364c、アンチエリアシングフ
ィルタ部366cおよびアパーチャ調整部368cが備えられて
いる。本実施例で、輝度データ補間機能部360cは、仮想
画素の位置での輝度データY を用いて受光素子の位置に
おける輝度データY を補間生成する。輝度データ補間機
能部360cは、この輝度データY の補間生成を演算処理す
る演算回路の構成または所定の係数の積和でLPF （Low
Pass Filter ）効果をもたらすLPF でもよい。このLPF
はディジタル回路で構成する。この動作については後段
で述べる。
【００７５】高解像度プレーン補間機能部362cは、R 補
間展開部3620、G 補間展開部3622、B 補間展開部3624を
含む（図４を参照) 。R 補間展開部3620、G 補間展開部
3622、B 補間展開部3624には、輝度データY （高域輝度
データYh）が共通して供給されるとともに、それぞれ各
色のデータ、すなわちR データ、G データ、B データが
仮想画素補間機能部360bから供給される。各色毎に補間
演算することによって、R 補間展開部3620、G 補間展開
部3622、B 補間展開部3624は、それぞれR プレーンデー
タ、G プレーンデータ、B プレーンデータを生成して色
差マトリクス部364cに出力する。
【００７６】図３に戻って、色差マトリクス部364cは、
供給される原色信号R, G, B のデータに基づいて輝度デ
ータY 、色差データ (R-Y), (B-Y) を生成する。これら
３つのデータは、各色に定めた混合割合を乗算し演算す
ることから得られる。混合割合を決める係数は、従来か
らの値を用いる。アンチエリアシングフィルタ部366cに
は、色差マトリクス部364cで得られた輝度データY 、色
差データ (R-Y), (B-Y) の各帯域をカバーするLPF を用
いる。アパーチャ調整部368cは、輪郭補償器である。輪
郭補償器は高域でのレスポンスの低下を補うように、た
とえばトランスバーサルフィルタ等を用いて構成する。
信号処理部36は、このように構成して撮像信号を輝度デ
ータY および色差データにして圧縮／伸張部38に出力す
る。
【００７７】図１に示す圧縮／伸張部38は、たとえば、
直交変換を用いたJPEG（Joint Photographic Experts G
roup）規格での圧縮を施す回路と、この圧縮した画像を
再び元のデータに伸張する回路とを有する。圧縮／伸張
部38は、システム制御部18の制御により記録時には圧縮
したデータをシステムバス16を介して記録再生部40に供
給する。また、圧縮／伸張部38は、前述と同様にシステ
ム制御部18の制御により信号処理部36からのデータをス
ルーさせ、システムバス16を介してモニタ42に供給する
こともできる。圧縮／伸張部38が伸張処理を行う場合、
逆に記録再生部40から読み出したデータをシステムバス
16を介して圧縮／伸張部38に取り込んで処理する。ここ
で、処理されたデータもモニタ42に供給して表示させ
る。
【００７８】記録再生部40は、記録媒体に記録する記録
処理部と、記録媒体から記録した画像データを読み出す
再生処理部とを含む（ともに図示せず）。記録媒体に
は、たとえば、いわゆる、スマートメディアのような半
導体メモリや磁気ディスク、光ディスク等がある。磁気
ディスク、光ディスクを用いる場合、画像データを変調
する変調部とともに、この画像データを書き込むヘッド
がある。モニタ42は、システム制御部18の制御に応じて
システムバス16を介して供給される輝度データおよび色
差データまたは三原色RGB のデータを画面の大きさを考
慮するとともに、タイミング調整して表示する機能を有
する。
【００７９】本実施例のディジタルカメラ10は、このよ
うに構成してカラー撮像信号の広帯域化を図っている。
このカメラ10の動作を説明する前に色フィルタCFの色配
置と撮像部30の関係について説明する。撮像部30は、図
５に示すように、入射する光を光電変換する受光素子PD
に隣接した受光素子PDが垂直方向および水平方向にずら
されて２次元配置された受光部30a と、この受光部30a
の前面に形成された開口部APを迂回するように配置さ
れ、かつ受光素子PDからの信号を取り出す電極ELと、こ
の電極ELを介して供給される信号を受光部30の垂直方向
に順次転送する垂直転送レジスタVR1 〜VR4 とを備えて
いる。
【００８０】垂直転送レジスタVR1 〜VR4 は、供給され
る垂直転送駆動信号V1〜V4に応じて信号を転送してい
る。すなわち、垂直転送レジスタは１受光部あたり４電
極構造になっている。また、１受光部領域の水平隣接領
域が２電極構造で前述した画素ずれしている。本実施例
の撮像部30に形成された開口部APは、六角形のハニカム
形状に形成する。開口形状は、一般的に正方格子である
がこの形状は、感度を向上させるとともに、垂直転送レ
ジスタの幅を同じにして転送効率を低下させないように
する条件を満たせばよい。このことから判るように形状
は、多角形でもよく、この他の例としては、正方格子を
45°回転させた開口形状として、たとえば、菱形等があ
り、さらに八角形等にしてもよい。
【００８１】開口部APは、図５に示すように各開口部AP
を覆う色フィルタCFの直下にそれぞれ対応して配置され
る受光素子PDの間隔を各方向毎の画素ピッチPPとすると
き、開口部APの配列は、一列毎に垂直方向にあるいは一
行毎に水平方向に画素ピッチPP分だけ移動させた２次元
配置になっている。四角形以上の多角形を用いる場合、
開口形状に合わせて開口部APを隙間なく、隣接する開口
部APが稠密な配置に配置にさせてもよい。図５のように
六角形の場合、稠密な配置は、水平・垂直方向とも上述
した画素ピッチPPの半分だけずらした配置により形成で
きる。このように稠密な配置を得るには開口部APの形状
に依存する。
【００８２】ここで、撮像部30が一般的に用いられる正
方格子状の場合とハニカム形状の場合の配置関係を比較
すると、ハニカム形状の配置は、原理的に図６(a) に示
すように画素ピッチPPがそれぞれN(μm)の正方格子状の
配置をそれぞれ45°回転させた図６(b) に示す配置と等
価である。ハニカム形状の配置、すなわち画素の半ピッ
チずれを有する配置は、正方格子状の配置における水平
／垂直方向の隣接画素間距離｜PP｜= N(μm)を基準にし
てN*(2)-1/2 と隣接画素間距離｜PP｜より短くなる。し
たがって、ハニカム形状の配置は、正方格子状の配置よ
りも画素が稠密に配置されるので、原理的に水平・垂直
方向の解像度を(2)1/2倍に向上させることができる。ま
た、ハニカム形状の配置から出力形態に見合う正方格子
状の配置に展開する場合、仮想画素は、隣接する実在す
る画素に基づいて信号処理部36で補間処理が行われる。
この補間処理を行いながらまだ得られていない色および
輝度の画素等を補間展開すると、解像度は、単に正方格
子状に受光素子PDを配置したときより高くできることが
わかる。
【００８３】本実施例では前述したように色フィルタに
補色を用いている。この色フィルタを用いる特徴につい
て簡単に説明する。現在、チップサイズの小型化を図っ
ても撮像の感度特性を保つために入射光を有効に用いる
必要性が生じている。ここで、分光エネルギーが波長に
関わらず一定な入射光30I を入射させた際に、波長に応
じた比視感度（比視感度曲線30C ）とアンプゲイン（ゲ
イン30K ）を掛けて波長に依存した測光量を求めると図
７に示す測光の分光曲線30M が得られる。さらに、原色
フィルタR, G, B で撮像した場合(A) と補色フィルタM
g, Ye, G, Cy で撮影した場合(B) との分光感度の比較
を相対感度表示（図８を参照）および最大感度によるRG
B 正規化表示（図９を参照）で行う。相対感度表示から
補色フィルタで撮像した場合(B) の方が原色フィルタを
用いた場合(A) より高い相対感度が得られることが判っ
た。この関係をRGB 正規化表示で見ると、この表示でも
補色フィルタで撮像した場合(B) の方が原色フィルタを
用いた場合(A) より各曲線で作る面積が大きい。すなわ
ち入射光を有効に信号電荷への変換にも寄与している。
このような検討結果から補色フィルタが入射光量の有効
な利用に効果的であることがわかる。
【００８４】この結果を受けてハニカム形状の配置と等
価な補色系の色フィルタCFの一例を図10に模式的に示
す。この色フィルタは、受光素子のずらし配置に対応し
て３つの補色（W, Cy, Ye ）の色フィルタをそれぞれず
れを有するとともに、色W を正方格子に配し、色シアン
と黄色を完全市松となるパターンを形成している（図10
(a) を参照）。このパターンは、W 正方格子CyYe完全市
松パターンという。破線の六角形は受光素子のない仮想
画素を示している。このパターンはCy, Yeが入れ替わっ
ても構わない。また、補色の構成は、（G, Cy, Ye ）で
もよく、W 正方格子CyYe完全市松パターンのうち、色W
を色G にしたG 正方格子CyYe完全市松パターンである
（図10(b) を参照）。
【００８５】補色を用いた色フィルタは、W 正方格子Cy
Ye完全市松パターンに限定されるものでなく、各種の色
フィルタがある。色フィルタの例としては、たとえば、
図11〜図13の色フィルタには、前述した構成の撮像部30
に適用する。図11の色フィルタは、受光素子PDの位置に
対応して色Cy, W, Ye を縦または横ストライプに配した
ストライプパターンである。また、図12の色フィルタ
は、図11の色フィルタのうち、色W を色G にしたもので
ある。図13の色フィルタは、補色を（Cy, Ye, Mg）の構
成にし、これらの色を縦ストライプパターン（図13(a)
）と横ストライプパターン（図13(b) ）を表してい
る。
【００８６】また、４色Cy, Ye, Mg, G の色フィルタの
うち、たとえば、図14(a) の２色で完全市松パターンを
部分的に重複形成した部分重複市松パターンや図15(a)
に示すこの部分重複市松パターンと異なる色の配置関係
にした４色完全市松パターン等がある。また、４色Cy,
Ye, Mg, G の色フィルタのうち、色G に色W を用いた部
分重複市松パターンや４色完全市松パターンもある（図
14(b) および図15(b)のそれぞれを参照）。図14および
図15のパターンを適用する場合、前述した撮像部30から
の２ライン混合読出しではなく、３ライン同時読出しを
行う。撮像部30は、水平方向の電極構造を前述した２電
極構造にするとともに、この読出しが行えるように垂直
転送路の１受光部あたり６電極構造にする。非破壊読出
しが可能な、たとえばMOS タイプを撮像部30の受光部に
用いると、撮像部30は１ラインずつシフトさせながら、
３ラインずつ信号を読み出せる。
【００８７】次にディジタルカメラ10の動作について説
明する。ディジタルカメラ10は、図16に示すメインフロ
ーチャートに従って動作する。カメラ10に電源を投入し
た後に、システム制御部18によって各種の初期設定が行
われる（ステップS10 ）。また、この段階で撮像は、供
給される駆動信号に応じて撮像部30からの撮像信号の読
出しを行う。この読出しは、色フィルタCFのW 正方格子
CyYe完全市松パターンを使用した場合について説明す
る。したがって、撮像部30の信号読出しはフィールド蓄
積2 ライン混合読出しで行う。
【００８８】次にこの読み出された信号に対して、前処
理を行う（ステップS12 ）。前処理としては、前処理部
32でたとえば、CDS 処理を行って撮像部30からの信号に
含まれるノイズ成分を除去している。
【００８９】次にステップS14 では、ノイズ除去等が施
された信号をA/D 変換部34でディジタル信号に変換す
る。この変換により各受光素子PDからの信号電荷が画素
データに変換される。この変換より以後の信号処理をデ
ィジタル処理で行う。図１に図示していないが、前述し
たように特に、CCD イメージセンサを用いた際に非破壊
タイプのバッファメモリを用いるとよい。この場合、バ
ッファメモリはシステム制御部18から供給される書込み
／読出しイネーブル信号やアドレス信号等の制御信号に
応じて各色の画素データを信号処理部36に供給する。こ
の後、サブルーチンSUB1に進む。
【００９０】サブルーチンSUB1では、供給される画素デ
ータに対してあらわに図示していないが、たとえば、白
バランスやガンマ補正を施すとともに、この補正処理に
より得られた画素データを用いて順次に補間処理が行わ
れる。この補正・補間処理は、データ補正部36a および
補間処理部36b で行う。補間処理部36b についてはさら
に後段で詳述する。この後、サブルーチンSUB2に進む。
【００９１】サブルーチンSUB2では、サブルーチンSUB1
で処理した信号を広帯域化する処理を行う。また、広帯
域化した信号には、R, G, B データから輝度データY 、
色差データ (R-Y), (B-Y) （またはCr, Cb）へと信号出
力形式の変換も行う。このようにして撮像データ（画素
データ）に信号処理を施す。
【００９２】次にステップS16 では、得られた輝度デー
タY 、色差データ (R-Y), (B-Y) は、図１の圧縮／伸張
部38、システムバス16を介して記録再生部40やモニタ42
にそれぞれ供給される。この供給に際してシステム制御
部18は、表示と記録の場合に応じて圧縮／伸張部38に異
なる制御をする。すなわち、信号処理したこれらのデー
タを表示させる場合、圧縮／伸張部38はスルー処理し、
すでに記録済みの圧縮データを再生する場合、圧縮／伸
張部38は圧縮データに伸張処理を施してモニタ42に出力
する。また、信号処理したこれらデータを記録する場
合、圧縮／伸張部38は、たとえば、JPEGといった圧縮処
理を施し、情報量を減少させて半導体メモリ、光記録媒
体、磁気記録媒体、または光磁気記録媒体を含む記録再
生部40に供給する。モニタ42では、高品質な画像データ
が供給されることにより、一層高い品質の表示画像を表
示できる。この処理の後、ステップS18 に進む。
【００９３】ステップS18 では、撮影を終了するか判断
している。撮影を継続する場合（NO）、ステップS10 に
戻って、前述の動作を繰り返す。また、撮影を終了する
場合（YES ）、終了に進んで、たとえば、電源スイッチ
をオフにして動作を終了させる。
【００９４】次にサブルーチンSUB1について図17を用い
て説明する。サブルーチンSUB1を開始して、サブステッ
プSS10に進む。このルーチンでは、最初に撮像部30の受
光部において画素ずらしが行われていることにより生じ
る受光素子のない空隙領域、すなわち仮想画素の位置に
おける画素データを補間生成する。ここで、画素データ
の補間生成とは、撮像部30に実在する受光素子PDから色
フィルタCFを介すことにより供給される補色の画素デー
タから原色の画素データを生成することである。さらに
この原色の画素データは、三原色R, G, B のうちの一つ
を生成する。この補間生成の色および画素配置関係を図
18に示す。実在する受光素子PDは、実線で、仮想画素は
破線で示す。また、これらの実線および破線の枠内に示
した記号W, Cy, Ye, R, G, Bは色を表す。そして、これ
ら色を表す記号に付す添字は、画素の位置を表す行例表
示である。撮像部30は、２ラインずつ信号電荷を混合さ
せて１ラインとして出力する。ところで、垂直方向に２
ラインを見た場合、仮想画素が各列にあるので、２ライ
ン混合して読み出しても各受光素子PDで得られた信号電
荷はそのまま保存される。補色と原色には次のような関
係が知られている。上述した色記号を用いてこの関係
は、式(1)
【００９５】
【数１】 R=W-Cy B=W-Ye G=Cy+Ye-W ・・・(1) で表される。
【００９６】より具体的にこの補色の画素データを用い
て仮想画素の位置に原色の画素データを補間生成する
と、たとえば仮想画素10, 12, 01は、式(2) 〜式(4)
【００９７】
【数２】 R10=W11-Cy00 ・・・(2) B12=W11-Ye02 ・・・(3) G01=Cy00+Ye02-W11 ・・・(4) によって得られる。この関係を用いて、各仮想画素の原
色データを補間生成すると、図19に示す配置関係で原色
の画素データが得られる。この配置関係は、色Gが正方
格子に配され、かつ色R, Bが完全市松に配された、G 正
方格子RB完全市松パターンである。
【００９８】次にサブステップSS12では、この仮想画素
の位置における輝度データYhを求める。この場合、輝度
データYhは、求める仮想画素の周囲にある３つの補色の
受光素子PDからの画素データを用いて、式(5)
【００９９】
【数３】 Yh=Cy+Ye+W=(G+B)+(R+G)+(R+G+B)=2R+2B+3G ・・・(5) により補間生成される。たとえば、色フィルタの３色C
y, W, Ye で囲まれた仮想画素01の輝度データYh03は、
式(6)
【０１００】
【数４】 Yh03=Cy04+Ye02+W13 ・・・(6) により得られる。単純にフィールド蓄積２ライン混合読
出しした場合、この色フィルタでは２ラインのうち、上
側のラインにある仮想画素しか補間生成できない。した
がって、下側のラインに位置する仮想画素、たとえば添
字10, 12, 14, 16, ・・・ の輝度データは、次の２ライン
が読み出された際の画素データYe20, Cy22, Ye24, C
y26, ・・・ を用いて色Cy, W, Ye が囲むようにして算出
する。仮想画素12における輝度データYh12は、式(7)
【０１０１】
【数５】 Yh12=Cy22+Ye02+W13 ・・・(7) により得られる。このようにして仮想画素の位置におけ
る輝度データYhが市松状に得られる。得られた原色の画
素データおよび輝度データYhは、色フィルタCFに原色を
用いた場合よりも入射光量を有効に用いて算出されるこ
とになる。また、仮想画素の位置で算出した原色の画素
データの配置に着目すると、図21から明らかなように、
この仮想画素の補間生成によってG 正方格子RB完全市松
パターンが得られる。一画面分の仮想画素における補間
が終了したとき、サブステップSS12を終了してリターン
に移行する。このリターンを介してサブルーチンSUB1を
終了する。
【０１０２】次にサブルーチンSUB2について説明する。
サブルーチンSUB2では、サブルーチンSUB1で市松状の配
置で得られる輝度データYhに基づいて補間処理を行う
（図22のサブステップSS20) 。ここでの補間される位置
は、実在する受光素子の位置である。この補間処理は、
図23に示すように、すでに算出した原色に対応する画素
（すなわち、仮想画素の位置）d(-3), d(-1), d(1), d
(3)を実線で示し、形成した受光素子に対応する画素を
破線で示し、４つの仮想画素の間の受光素子での輝度デ
ータを輝度データ補間機能部360cで行っている。受光素
子に対応する画素dn(-4), dn(-2), dn(0), dn(2), d
n(4) には、仮想画素との対応を考慮すると、何もデー
タが入っていない状態と同じ関係として扱う。すなわ
ち、これらの画素には、ゼロが予め設定されている。た
とえば、図23(a) に示すように画素dn(0) を水平方向に
補間するとき、ディジタルフィルタのタップ係数をk0,
k1, k2, k3,k4,・・・, knとして整理すると、高域成分を
含む輝度データYh(0) が式(8)
【０１０３】
【数６】 Yh(0)=k0*dn(0)+k1*(d(1)+ d(-1))+k2*(dn(-2)+dn(2)+k3*(d(-3)+d(3)) +k4*(dn(-4)+dn(4))+・・・kn*(dn(-n)+dn(n)) ・・・(8) で表されるように得られる。ただし、この場合、図23
(a) から明らかなように、ゼロのデータが交互に入るの
で、係数は２倍になる。この関係は、図23(a) における
この他の補間対象の画素dn(-4), dn(-2), dn(2), dn(4)
に対しても当てはめまる。これらの補間処理が施される
ことにより、高域成分を含む輝度データYh(-4),
Yh(-2), Yh(2), Yh(4)が得られる（図23(b) を参照）。
【０１０４】また、垂直方向に対してもローパスフィル
タ（LPF ）処理を輝度データ補間機能部360cでディジタ
ルフィルタにより行う。この場合、既に水平方向の補間
処理によって受光素子に対応する画素のデータが補間さ
れているので、画素データは密に入っている。したがっ
て、ローパスフィルタの係数は通常と同じにして済ませ
ることができる。このようにして得られた高域成分を含
む輝度データを図20に示したように行列表現で表すと、
図24に示すように輝度データ補間機能部360cには高域成
分を含む輝度データYhが作成される。この高域成分を含
む輝度データYhに関し、以下の記載では高域輝度データ
と呼ぶことにする。これら水平方向および垂直方向のLP
F 処理は、回路構成で行うだけでなく、ソフトウェア的
に演算処理によっても行えることは言うまでもない。こ
の算出後、得られた高域輝度データYhを高解像度プレー
ン補間機能部362cに供給する。
【０１０５】次にサブルーチンSUB3においてすでに得ら
れている三原色RGB のデータを用いてこれら三原色RGB
のプレーン補間処理を行う。この処理は、図４に示した
高解像度プレーン補間機能部362cのR 補間展開部3620、
G 補間展開部3622およびB 補間展開部3624で行われる。
R 補間展開部3620、G 補間展開部3622およびB 補間展開
部3624には、仮想画素および受光素子の位置すべてに関
して作成した高域輝度データYhが供給されるとともに、
仮想画素の位置について得た三原色RGB データがそれぞ
れに供給されている。これらの供給される画素データを
用いて色毎にそれぞれまだ算出していない色の画素デー
タを仮想画素および受光素子に対して図25に示すフロー
チャートに従って補間する。この場合、画素データG の
補間処理をサブステップSS30で最初に行う。このとき、
得られた各仮想画素での三原色RGB データの配置パター
ンを図26に示す。図26では、既得の画素位置を実線で、
未算出の画素位置を破線で示す。実線の画素の色パター
ンは、単板画素ずらし型G正方格子RB完全市松のパター
ンになっている。さらに、図26に示した色パターンのう
ち、色G だけに着目すると、図27のパターンが得られ
る。このパターンは、画素データG を持たない画素、す
なわち、仮想受光素子の対応する画素および既存の画素
データを有していながら、色G と異なる色の画素を破線
で表す。ここで、この画素データG を持たない画素を仮
想画素と呼ぶ。補間処理には、４つずつ既存の画素デー
タを用いる。
【０１０６】図27のパターンが示すように、仮想画素G
00 〜G50, G02〜G52, G04〜 G54, G06 〜G56 の各列、G
10 〜 G16, G30 〜G36, G50〜G56 の各行の画素データ
を補間する場合、補間処理は隣接する４つずつの画素デ
ータG01, G03, G21, G23や画素データG03, G05, G23, G
25等を用いる。また、補間に用いる画素データG に対応
する図24の高域輝度データも用いて演算する。たとえ
ば、補間対象である仮想画素の画素データG11 の補間
は、同一の列方向の２つの画素に対応する既存データお
よび高域輝度データならびに補間対象位置の高域輝度デ
ータを用いて、式(34)
【０１０７】
【数７】 G11=(G01+G21)/2-(Yh01+Yh21)/2+Yh11 ・・・(9) から得られる。式(9) の計算式を用いると、仮想画素G
13 も同様に補間することができる。また、仮想画素G02
の補間は、同一の行方向の２つの画素に対応する既存
データおよび高域輝度データならびに補間対象位置の高
域輝度データを用いて、式(10)
【０１０８】
【数８】 G02=(G01+G03)/2-(Yh01+Yh03)/2+Yh02 ・・・(10) から得られる。式(10)の計算式を用いると、仮想画素G
22 も同様に補間することができる。そして、４つずつ
の画素データG01, G03, G21, G23の中心に位置する画素
データG12 は、これら４つの位置の画素データおよび高
域輝度データを用いて、式(11)
【０１０９】
【数９】 G12=(G01+G03+G21+G23)/4-(Yh01+Yh03+Yh21+Yh23)/4+Yh12 ・・・(11) から得られる。式(11)の計算式を用いると、仮想画素G
14 も同様に補間することができる。画素データG03, G
05, G23, G25を４つを一組のデータとみなして補間する
場合、すでに画素データG13 は算出されているので、残
る画素データG04, G24, G15 を算出すればよい。この処
理を繰り返し行うことにより、画素データGのプレーン
画像を作成する。ただし、プレーン画像の最外縁は、こ
のような関係にならないので、厳密に補間を行う場合、
境界値として設定しておくとよい。また、有効画面を考
慮すると、この周辺部のデータは有効画面の範囲外にあ
るので算出しなくても構わない。
【０１１０】次に画素データR の算出をサブステップSS
32で行う。この場合も演算によって算出されたR での仮
想画素は、実線で表し、受光素子があってもまたは仮想
画素で色R と異なる色が算出された画素は破線で表す。
色R の画素データは、図28に示すようにR10, R14, R32,
R36, R50, R54しかない。この場合、サブステップSS32
では、補間対象の仮想画素に対して斜めに隣接している
画素データとこの位置に対応する図24の高域輝度データ
を用いる。たとえば、画素データR21 は、画素データR
10, R32ならびに高域輝度データYh10, Yh32およびYh21
を用いて、
【０１１１】
【数１０】 R21=(R10+R32)/2-(Yh10+Yh32)/2+Yh21 ・・・(12) によって算出される。同様に、仮想画素R23, R41, R43
も、式(12)と同じ関係にあるそれぞれ画素データR14, R
32、画素データR50, R32および画素データR54 ，R32 を
適用して算出する。画素R36 も考慮して算出すると、隣
接斜め補間処理により仮想画素R25, R45も作成すること
ができる。この結果が図29に示されている。
【０１１２】次にサブステップSS34では、一つ前のサブ
ステップSS32で算出された画素によって囲まれた画素を
補間対象の画素とし、補間に際して算出されたこれら４
つの画素データおよびその位置の高域輝度データYhを用
いて補間処理を行う。たとえば、画素データR34 を中心
に算出するとき、図29から判るように、その周囲の画素
データR23, R25, R43, R45の位置のデータを用いて、式
(13)
【０１１３】
【数１１】 R34=(R23+R25+R43+R45)/4-(Yh23+Yh25+Yh43+Yh45)/4+Yh34 ・・・(13) によって算出される。式(13)に用いる画素データと同等
の配置関係が周辺の画素から得られるとき、この補間を
施すことによって、図30に示すように画素データR12, R
30, R52 等も得られる。換言すると、補間対象の画素か
ら見れば、補間に使用する画素データはすべて斜めに位
置している。
【０１１４】次にサブステップSS36では、これまでに得
られた画素データを用いるとともに、これらの画素の
内、補間対象の画素に対して上下左右に位置する画素デ
ータから補間を行う。たとえば、画素データR22 を中心
に上下左右の４つの画素データおよびその位置の高域輝
度データを用いて、式(14)
【０１１５】
【数１２】 R22=(R12+R21+R23+R32)/4-(Yh12+Yh21+Yh23+Yh32)/4+Yh22 ・・・(14) によって算出される。同様の位置関係にある、たとえ
ば、画素データR24, R42,R44 等は、式(13)に用いた画
素データの位置関係に対応するデータを代入すると算出
できる。さらに、図30の右側に画素が継続していると、
画素データR26, R46も算出することができる。
【０１１６】なお、図31に示すように周辺部には未補間
の画素が残ってしまうので、この画素に対して周囲を囲
む、たとえば３つの画素から補間するようにしてもよ
い。この補間の場合も前述した補間の手法を用いると、
仮想画素の画素データR11 は、
【０１１７】
【数１３】 R11=(R10+R12+R21)/3-(Yh10+Yh12+Yh21)/3+Yh11 ・・・(15) によって算出される。このようにしてこの他、画素デー
タR13, R15, R20, R40,R51, R53, R55 が補間される。
最終的に画素データR に関して第０行を除く、プレーン
画面全体が補間される。
【０１１８】次に画素データB に対する補間処理がサブ
ステップSS38, SS40, SS42で行われる。サブステップSS
38, SS40, SS42は、それぞれ、画素データB における隣
接斜め補間処理、４つの補間データによる中央補間処理
および上下左右の４画素による中央補間処理である。こ
れらの補間処理は、前述した画素データR の補間処理
（すなわち、サブステップSS32, SS34, SS36）に準拠し
ている。これは、図28の画素データR と図32の画素デー
タB の画素配置の関係から判る。すなわち、図32の画素
データB の画素配置は、各色の添字に表される行列表示
から、図28の画素データR を水平（すなわち、行）方向
に２列ずつ全体にシフトした配置になっている。このこ
とから、これまでの式(12)〜式(15)までの式を適用して
仮想画素を補間する場合、行列表示で列の数字が２以上
の右側で各画素データの添字の列の数字に+2だけ加算し
た関係で算出を行うとよい。たとえば、画素データB23
や画素データB43 は、式(12)の色R を色B に置換し、画
素データR10, R32の位置関係を画素データB12, B34にし
て
【０１１９】
【数１４】 B21+2=(B10+2+B32+2)/2-(Yh10+2+Yh32+2)/2+Yh21+2 B23=(B12+B34)/2-(Yh12+Yh34)/4+Yh23 ・・・(16) B41+2=(B32+2+B50+2)/2-(Yh32+2+Yh50+2)/4+Yh41+2 B43=(B34+B52)/2-(Yh34+Yh52)/4+Yh43 ・・・(17) のように演算処理することにより算出される。また、画
素データの行列表示における列の数字が２より小さい左
側で各画素データの補間処理を行う場合には、画素デー
タR14, R32を用いて画素データR23 を算出する関係を用
い、色R の添字の数字から-2だけ減算させて算出すると
よい。たとえば、画素データB21 は、
【０１２０】
【数１５】 B23-2=(B14-2+B32-2)/2-(Yh14-2+Yh32-2)/2+Yh23-2 B21=(B12+B30)/2-(Yh12+Yh30)/4+Yh21 ・・・(18) から得られる。他の式(13)〜式(15)においても同様の関
係が成立している。この関係に注意してサブステップSS
40, SS42で補間処理を行うと、画素データB に関するプ
レーン補間展開を行うことができる。この処理の後、サ
ブステップSS44に進む。
【０１２１】サブステップSS44では、プレーン補間展開
が各色毎にすべて終了したかどうかの判定を行う。一連
の処理がまだ終了していないとき（NO）、サブステップ
SS30に戻って処理を繰り返す。なお、各色毎にこの確認
処理をおこなってもよい。また、一連の処理が終了した
とき（YES ）、リターンに移行する。この移行後、サブ
ルーチンSUB3の処理が終了し、サブステップSS22に進
む。
【０１２２】ここで、サブルーチンSUB3の処理により得
られた三原色RGB の各データ等を信号が持つ周波数帯域
として図33に表す。横軸は水平方向の周波数軸（fh）で
縦軸は垂直方向の周波数軸（fv）である。図33のハニカ
ム配置における空間周波数表示は、市松状で、かつ完全
に交互にR/B が入れ換わるパターンで配される関係によ
り実線RBの分布で表される。これに対して、画素G は、
画素ずらしを含んだ４画素でストライプパターンに配さ
れたことにより周波数が高く、画素R/B の周波数が範囲
内に含まれるようになる。画素G の空間周波数は、ほぼ
fs/4で水平方向および垂直方向の周波数軸を通ってい
る。補間処理により得られた高域輝度信号Yhは、画素G,
R/Bを含み、帯域をfs/2まで延ばしている。
【０１２３】また、各処理による色毎の周波数帯域につ
いて図34を用いて説明する。図34の横軸は、水平方向の
空間周波数軸で縦軸は、信号レベルを表している。図34
(a)の信号RBは、画素RBの撮像信号をディジタル変換し
た際の帯域を表している。図34(b) の高域輝度信号Y
hは、輝度データ生成機能部362bで作成されたデータに
対して信号としてみた場合の帯域を表している。この信
号は高周波数側の遮断周波数がfs/2の近傍になってい
る。高解像度プレーン補間機能部362cでは、図34(a)お
よび図34(b) を合成したと同じ補間処理が行われること
により、図34(c) に示す水平方向の空間周波数帯域にす
ることができる。このようにして得られるRGBそれぞれ
のプレーン画像を高域成分のデータにしている。
【０１２４】再びサブルーチンSUB2に戻ってサブステッ
プSS22以降の動作を説明する。サブステップSS22では、
これまでの信号処理により得られた三原色RGB データを
用いてマトリクス処理を行う。この処理は色差マトリク
ス部364cで行う。このマトリクス処理により輝度データ
Y 、色差データ(R-Y), (B-Y)が生成される。この処理
後、サブステップSS72に進む。サブステップSS24では、
広帯域にわたるLPF 処理を施す。この処理によって折り
返し歪みの発生を抑制している。この処理は、アンチエ
リアシングフィルタ部366cで行う。この処理を経て色差
データ信号(R-Y)=Cr, (B-Y)=Cbが得られる。また、輝度
データY には、さらにアパーチャ調整が施される。この
処理がサブステップSS26で行われる。アパーチャ調整
は、図３のアパーチャ調整部368cで行われている。この
ように処理されて輝度データY が得られる。この処理の
後、リターンに進み、サブルーチンSUB2を終了してディ
ジタルカメラ10のメインルーチンに戻る。
【０１２５】このような手順で各処理を行うことによ
り、最初補色系の色フィルタを介して撮像信号を得るこ
とにより、入射光の光量を原色の色フィルタを適用した
場合に比べて有効に用いることができるので、画素の感
度を高めることができる。これによって、受光素子の感
度領域がたとえ小さくても感度の低下を防ぐとともに、
得られる信号を広帯域化することができる。
【０１２６】次に前述した補間処理のうち、輝度データ
生成における他の実施例を説明する。本実施例の輝度デ
ータ生成は、市松状の輝度データYhを生成する際に用い
る画素データの相関に応じた適応処理を行う。本実施例
は、図35に示すように、前述したサブステップSS10で得
た仮想画素の位置における原色の画素データを基にサブ
ルーチンSUB5で輝度データYhを生成する際に、用いる画
素データを選択して行う。これにより、最適な画素デー
タの組合せで輝度データYhが生成される。
【０１２７】さらに、サブルーチンSUB5の適応選択の手
順を図36〜図38を参照しながら説明する。まず、図36に
おいてサブステップSS500 では、まず、モードが適応処
理モードであるかどうかの判別を行う。適応処理モード
の場合（YES ）、図36のサブステップSS502 に進む。ま
た、モードが適応処理モードでなかった場合（NO）、接
続子A を介して図38のサブステップSS504 に進む。
【０１２８】次にサブステップSS502 では、斜め相関処
理を行うかどうか選択を行う。斜め相関処理を行う場合
（YES ）、サブステップSS506 に進む。また、斜め相関
処理を行わない場合（NO）、接続子B を介してサブステ
ップSS508 に進む。サブステップSS508 では、相関処理
を行うかどうかの判定を行う。
【０１２９】ところで、上述したサブステップSS504 で
は、適応処理モードと関係なく輝度データの算出が行わ
れる。この処理を行うにあたり撮像部30のCCD イメージ
センサにおいて図26に示したように仮想画素に対して原
色の画素データが生成されている。ここで、添字は、各
受光素子の画素としての位置を行列表現で表した際の位
置である。また、前述したように図26の実在する受光素
子の画素は実線で、仮想受光素子に対応する画素は破線
で表している。基本的に輝度データY は、画素データG
と画素データR, Bを用いて（0.5*R+0.5B）で算出できる
ことが知られている。この場合も画素データG は、その
まま輝度データとみなして扱われる（画素データG=輝度
データ）。また、画素データR, Bによる輝度データは、
実在する受光素子の位置に対応する色がG でなくR/B の
場合に、たとえば、図26の画素データR32 の位置に対す
る輝度データY32 は、画素データR32 とその周囲に位置
する画素データB の４画素、すなわち画素データB12, B
30, B34, B52を用いて
【０１３０】
【数１６】 Y32=R32/2+(B12+B30+B34+B52)/8 ・・・(19) から得られる。また、画素データB34 の位置に対応する
輝度データY34 は、画素データB34 とその周囲に位置す
る画素データR の４画素、すなわち画素データR14,
R32, R36, R54を用いて
【０１３１】
【数１７】 Y34=B34/2+(R14+R32+R36+R54)/8 ・・・(20) から得られる。周囲の画素を用いて補正する補正量はこ
れら４つの画素の総和を画素数を倍した数、すなわち 4
×2=8 で割った値を作成対象画素の半値に加算して求め
ている。これは、算出した平均値に係数0.5 を掛けてい
ることと同じである。各画素に対してこの演算を行って
輝度データY が求められている。このようにして得られ
た結果、図20に示した輝度データの市松状のパターンが
得られる。なお、このような演算は、後述するように斜
め方向、垂直方向および水平方向に相関がないときにも
行われる。
【０１３２】次にサブステップSS506 では、この斜め処
理を行う場合段階を踏んで行うかどうかの判定を行う。
斜め処理を複数の段階を踏まえて行うと判定したとき
（YES）、サブステップSS510 に進む。また、斜め処理
を複数の段階を経て行わないとするとき（NO）、サブス
テップSS512 に進む。
【０１３３】ここで、サブステップSS510 では、比較デ
ータの算出を行う。算出に用いる画素データには、作成
対象の画素データの色と同色の画素データを用いる。比
較データARS は、たとえば、その対象の画素データがR
32 の場合、周囲の画素データR10, R54, R14, R50を用
いて、
【０１３４】
【数１８】 ARSL= ｜R10-R54 ｜ ・・・(21) ARSR= ｜R14-R50 ｜ ・・・(22) から得られる。添字“L ”, “R ”は、それぞれ斜め
（S ）の傾斜が左斜めと右斜めにあることを示してい
る。図26の配列をたとえば、反時計方向に45°回転させ
た場合、水平方向と垂直方向に対応する。算出した比較
データARSLとARSRの値を用いてさらに相関値（ARSL-ARS
R ）, （ARSR-ARSL ）が算出される。
【０１３５】次にサブステップSS514 では、算出した相
関値（ARSL-ARSR ）と新たに設けられた所定の判定基準
値J0よりも相関値が大きいとき（YES ）、 ARSR の値が
小さいことを示し、換言すると用いた画素データの値が
似ていることを意味する。これにより、右斜め方向に相
関があると判断してサブステップSS516 に進む。また、
上述した条件が満たされないとき（相関値（ARSL-ARS
R ）＜J0）（NO) 、この作成対象画素に対する右斜め相
関がないとしてサブステップSS518 に進む。サブステッ
プSS516 では、この場合、輝度データY32 が
【０１３６】
【数１９】 Y32=R32/2+(R10+R54)/4 ・・・(23) から得られる。
【０１３７】サブステップSS518 では、算出した相関値
（ARSR-ARSL ）と所定の判定基準値J0よりも相関値が大
きいとき（YES ）、左斜め方向に相関があると判断して
サブステップSS520 に進む。また、上述した条件が満た
されないとき（相関値（ARSR-ARSL ）＜J0）（NO) 、こ
の作成対象画素に対する左斜め相関がないと判定してサ
ブステップSS522 に進む。サブステップSS520 では、こ
の場合、輝度データY32 が
【０１３８】
【数２０】 Y32=R32/2+(R14+R50)/4 ・・・(24) から得られる。サブステップSS516 とサブステップSS52
0 の輝度データ算出後は、接続子C を介して図38のサブ
ステップSS524 に進む。
【０１３９】次にサブステップSS522 では、新たな比較
データの算出を行う。ここで、算出に用いる画素データ
は、作成対象画素データの色と異なっている。たとえ
ば、色G を用いて比較データを算出する。比較データAG
S は、たとえば、その対象の画素データがR32 の場合、
比較データAGS は、周囲の画素データG21, G43, G23, G
41を用いて、
【０１４０】
【数２１】 AGSL= ｜G21-G43 ｜ ・・・(25) AGSR= ｜G23-G41 ｜ ・・・(26) から得られる。このサブステップでは算出した比較デー
タAGSLとAGSRの値を用いてさらに相関値（AGSL-AGS
R ）, （AGSR-AGSL ）も算出される。この処理後、接続
子D を介して図37のサブステップSS526 に進む。
【０１４１】次にサブステップSS526 では、算出した相
関値（AGSL-AGSR ）と、たとえば、新たに設けられた所
定の判定基準値J0a よりも相関値が大きいとき（YES
）、ここでもAGSRの値が小さいことから、用いた画素
データの値が似ていることを推定する。これにより、右
斜め方向に相関があると判断してサブステップSS528 に
進む。また、上述した条件が満たされないとき（相関値
（AGSL-AGSR ）＜J0a ）（NO) 、この作成対象画素に対
する右斜め相関がないと判定してサブステップSS530 に
進む。サブステップSS528 では、この場合、輝度データ
Y32 が
【０１４２】
【数２２】 Y32=R32/2+(G21+G43)/4 ・・・(27) から得られる。また、輝度データY32 は、式(22)から算
出してもよい。
【０１４３】サブステップSS530 では、算出した相関値
（AGSR-AGSL ）と所定の判定基準値J0a よりも相関値が
大きいとき（YES ）、左斜め方向に相関があると判断し
てサブステップSS532 に進む。また、上述した条件が満
たされないとき（相関値（AGSR-AGSL ）＜J0a ）（NO)
、この作成対象画素に対する左斜め相関がないとして
サブステップSS508 に進む。サブステップSS532 では、
この場合、輝度データY32 が
【０１４４】
【数２３】 Y32=R32/2+(G23+G41)/4 ・・・(28) から得られる。また、輝度データY32 は、式(23)でもよ
い。サブステップSS528とサブステップSS532 の輝度デ
ータ算出後は、接続子C を介して図38のサブステップSS
524 に進む。
【０１４５】ところで、サブステップSS506 において簡
易的な斜め処理を選んだ場合、サブステップSS512 に進
むことはすでに述べた。このサブステップSS512 では、
比較データの算出を行う。比較データは、たとえば、適
応処理を施す対象の画素データを中心にしてその周囲の
画素データがどの方向に相関しているかの判別に用い
る。たとえば、その対象の画素データがR32 の場合、比
較データAGは、周囲の画素データG21, G23, G41, G43を
用いて、
【０１４６】
【数２４】 AG= ｜G21+G43-(G23+G41) ｜ ・・・(29) から得られる。画素データが色R の場合について説明し
ているが、色B の場合も周囲の画素データG から算出す
る。この算出により、左右のいずれか一方に傾きを有す
る大きい方の値が比較データAGとして得られることにな
る。この演算の後、サブステップSS534 に進む。
【０１４７】サブステップSS534 では、対象の画素デー
タを挟んで斜めに位置する画素データに相関（すなわ
ち、斜め相関）があるかどうか判定を行う。この判定に
は、判定基準値として新たにJ1が設定されている。比較
データAGが判定基準値J1以上に大きいとき（YES ）、サ
ブステップSS536 に進む。また、比較データAGが判定基
準値J1よりも小さいとき（NO）、接続子B を介して図37
のサブステップSS508 に進む。
【０１４８】サブステップSS536 では、比較データAGの
算出に用いた４つの画素データG を平均して輝度データ
Y を算出する。作成対象の画素に対して複数の段階や簡
易的な斜め方向に配された画素が相関しているかという
判定により、少なくとも、図39(a) 〜(f) の６パターン
が、たとえば、画素データR=R32 に対して判別されるこ
とになる。ところで、一般的に、図39(a) 〜(f) の斜線
部分と斜線のない領域の近傍には偽色が発生してしまう
虞れがある。しかしながら、境界近傍に位置する画素デ
ータR における輝度データY が、上述した演算により算
出されると、画像全体として見た際に色境界での偽色の
発生を良好に抑圧することができる。具体的な説明を省
略するが画素データB=B34 に対してもサブステップSS51
4 〜SS520 、SS52〜SS532 およびSS534 からSS536 と同
様に比較データを算出し斜め相関の有無に基づいた適応
的な輝度データY を作成することができる。
【０１４９】サブステップSS536 の処理の後、接続子C
を介して図38のサブステップSS524に進む。これによ
り、一連の斜め処理が終了する。サブステップSS534 で
斜め処理を行わない場合（NO）、接続子B を介してサブ
ステップSS508 に進む。このサブステップ以降、作成対
象画素に対する水平・垂直方向の相関の有無に応じたデ
ータ処理である。サブステップSS508 では相関処理をす
るかどうかの判定を行う。相関処理を受光素子（または
色フィルタ）の広い範囲に関して他の方向、すなわち水
平・垂直方向の相関を行う場合の判定である。この判定
を行うとき（YES）、サブステップSS538 に進む。この
判定をしないとき（NO）、接続子A を介してサブステッ
プSS504 に進む。
【０１５０】サブステップSS538 では、比較データを算
出する。ここでも画素データR=R32に対する一例を挙げ
て説明する。この処理では画素データR=R32 に対する垂
直方向の比較データABRVと水平方向の比較データABRHを
周囲に配置されているもう一方の色の画素データ、すな
わち画素データB を用いて式(30)、式(31)
【０１５１】
【数２５】 ABRV= ｜B12-B52 ｜ ・・・(30) ABRH= ｜B30-B34 ｜ ・・・(31) により算出する。算出した比較データABRV, ABRHの値を
用いてさらに相関値（ABRH-ABRV ）, （ABRV-ABRH ）が
算出された際に、新たに設けられた所定の判定基準値J2
に対する各方向の相関値の大きさを比較して相関の有無
を判定する手順を説明する。
【０１５２】サブステップSS540 では、対象の画素デー
タを挟んで垂直に位置する画素データに相関（すなわ
ち、垂直相関）があるかどうか判定を行う。この判定に
は、判定基準値としてJ2a が設定されている。比較デー
タABRHと比較データABRVの差が判定基準値J2a 以上に大
きいとき（YES ）、垂直相関があると判定してサブステ
ップSS542 に進む。また、比較データの差(ABRH-ABRV)
が判定基準値J2a よりも小さいとき（NO）、垂直相関が
ないものとみなしサブステップSS544 に進む。
【０１５３】サブステップSS542 では、相関のあるとい
うことは画素データ同士の値が近いことを意味するか
ら、画素データB12, B52を用いて輝度データY を算出す
る。この場合、輝度データY32 は、
【０１５４】
【数２６】 Y32=R32/2+(B12+B52)/4 ・・・(32) により得られる。この後、この画素データにおける輝度
データY の算出を終了したものとみなして接続子C を介
して図38のサブステップSS524 に進む。
【０１５５】次にサブステップSS544 では、対象の画素
データを挟んで水平に位置する画素データに相関（すな
わち、水平相関）があるかどうか判定を行う。この判定
には、判定基準値として前述したJ2b を用いる。比較デ
ータABRVと比較データABRHの差が判定基準値J2b 以上に
大きいとき（YES ）、水平相関があると判定してサブス
テップSS546 に進む。また、比較データの差(ABRV-AB
RH) が判定基準値J2b よりも小さいとき（NO）、水平相
関がないと判定し、サブステップSS548 に進む。
【０１５６】サブステップSS546 では、相関のあるとし
て画素データB30, B34を用いて輝度データY を算出す
る。この場合、輝度データY32 は、
【０１５７】
【数２７】 Y32=R32/2+(B30+B34)/4 ・・・(33) により得られる。この後、この画素データにおける輝度
データY の算出を終了したものとみなして接続子C を介
してサブステップSS524 に進む。
【０１５８】次にサブステップSS548 では、たとえば、
作成対象画素である色R の画素に対する周囲の色B の画
素の相関判定を行うかどうかを選択する。色R の画素が
周囲の色B の画素の中央位置に配されているので、サブ
ステップSS540, SS544における画素間の距離が短い。す
なわち、たとえば、垂直方向において、画素R32 - 画素
B12 、画素R32 - 画素B52 は、画素B12-画素B52 の半分
の距離である。この関係は、作成対象画素と水平方向に
位置する画素においても言える。したがって、前述した
水平・垂直方向の相関判定に比べてより受光素子（また
は色フィルタ）の狭い範囲に対する相関の有無判定が以
後の処理で行われることが判る。この相関判定を行う場
合（YES ）、サブステップSS550 に進む。また、この相
関判定を行わない場合（NO）、接続子A を介してサブス
テップSS504 に進む。この場合、先の判定基準値J2と異
なる判定基準値J2a, J2bのいずれの基準を満たさなかっ
たものと判定される。なお、以後の処理を行わない処理
手順にしてもよい。
【０１５９】サブステップSS550 では、再び比較データ
を算出する。この場合の比較データは、対象の画素デー
タと周囲の画素データの各相関を求め、得られた各相関
値を加算することにより垂直方向および水平方向に対す
る算出がされる。前述の場合と同様に画素データR32 に
対する輝度データY の算出は、垂直方向の比較データAC
RVと水平方向の比較データACRHを周囲に配置されている
もう一方の色の画素データ、すなわち画素データG を用
いて、式(34)、式(35)
【０１６０】
【数２８】 ACRV= ｜G21-G41 ｜+ ｜G23-G43 ｜ ・・・(34) ACRH= ｜G21-G23 ｜+ ｜G41-G43 ｜ ・・・(35) により算出する。この処理の後、サブステップSS512 に
進む。この比較データを用いることにより、より一層画
素データの距離を作成対象の画素データと近づけて相関
値が求められることになるので、先のサブステップSS54
0 〜SS546 の手順での相関判定の範囲よりも狭い範囲に
関して相関の有無を調べることができる。この算出後、
サブステップSS552 に進む。
【０１６１】サブステップSS552 では、対象の画素デー
タを挟んで垂直に位置する画素データに相関（すなわ
ち、垂直相関）があるかどうか判定を行う。この判定に
は、判定基準値としてJ3が設定されている（ここで、判
定基準値J3は、水平と垂直用にJ3a, J3bと分けてもよ
い）。比較データACRHと比較データACRVの差が判定基準
値J3以上に大きいとき（YES ）、垂直相関があると判定
してサブステップSS554 に進む。また、比較データの差
(ACRH-ACRV) が判定基準値J3よりも小さいとき（NO）、
垂直相関がないと判定してサブステップSS556 に進む。
【０１６２】サブステップSS554 では、前述したサブス
テップSS542 での処理と同じ処理を行う。したがって、
演算には式(32)が用いられる。また、サブステップSS55
6 では、対象の画素データを挟んで水平に位置する画素
データに相関（すなわち、水平相関）があるかどうかの
判定を行う。この判定にも判定基準値J3が用いられる。
【０１６３】サブステップSS556 において、比較データ
の差(ACRV-ACRH) が判定基準値J3以上のとき（YES ）、
水平相関があると判定してサブステップSS558 に進む。
この場合、サブステップSS558 での輝度データY は、サ
ブステップSS546 で前述したように画素データを用い、
式(33)に基づいて算出される。この後、サブステップSS
524 に進む。また、サブステップSS556 で比較データの
差(ACRV-ACRH) が判定基準値J3より小さいとき（NO）、
水平相関がないと判定して接続子A を介して図38のサブ
ステップSS504 に進む。サブステップSS504 では、式(1
8)により対象の画素データと周囲のもう一方の色の画素
データ（この場合、画素データB ）を加算平均し0.5 の
係数を乗算して輝度データY を算出している。この算出
後、サブステップSS524 に進む。
【０１６４】サブステップSS524 では、市松状の輝度デ
ータのデータ作成が１フレーム分、完了したかどうかの
判定を行っている。この判定は、たとえば、算出した輝
度データY の個数をカウントし、このカウント値と受光
素子の数とが一致するかどうかで容易に行うことができ
る。カウント値が受光素子の数より小さい値のとき（N
O）、まだ処理が完了していないと判定する。この結
果、輝度データY の算出処理を接続子E を介して図36の
サブステップSS500 にまで戻して、これまでの一連の処
理を繰り返す。また、カウント値が受光素子の数に一致
したとき（YES ）、処理をリターンに移行させる。この
リターンを経て処理をサブルーチンSUB1に移行させる。
このようにして輝度データY を算出することにより、図
20のように市松状の仮想画素の位置にデータが作成され
る。
【０１６５】このように、図39および図40に示すような
色境界を含む画像は、色境界の方向を相関の方向から推
定することができる。ただし、図41に示すように輝度デ
ータの算出対象の画素R(=R32) に対して周囲の画素デー
タB12, B30, B34, B52から算出する場合、水平方向また
は垂直方向の相関を特定することはできない。しかしな
がら、この適応処理を用いて輝度データを求めると、高
画質かつ偽色の発生等を抑えた画像を得ることができ
る。
【０１６６】次に本発明を適用したディジタルカメラ10
の信号処理部36の第１の変形例について説明する。ま
た、この信号処理部36の他の構成は、前述した構成をそ
のまま用い、同じ参照符号を付して説明を省略する。信
号処理部36には、データ補正部36a 、仮想画素補間機能
部360b、成分別生成機能部364b、擬似周波数加算部370
c、周波数重複防止部（輝度プロセス）372c、信号調整
部374c、およびRGB 変換部376cが備えられている。
【０１６７】この場合、補間処理部36b は、仮想画素補
間機能部360bおよび成分別生成機能部364bを含む。補間
処理部36b は、受光し得られた補色の画素データから原
色の画素データを生成し、この画素データを基に輝度デ
ータおよび色差データの生成を行うことに基づいて分類
している。
【０１６８】前述した補間処理部36b の構成と異なる点
である成分別生成機能部364bを説明する。成分別生成機
能部364bは、仮想画素補間機能部360bからの仮想画素に
対して得られた画素データを基に正確な色再現重視、な
らびに水平方向および／または垂直方向の解像度の重視
を行うように信号成分別かつ帯域別の項目に応じた演算
処理を施す。成分別生成機能部364bには、たとえば、高
域成分生成機能部3640、低域成分生成機能部3642、低域
色差成分生成機能部3644, 3646が含まれる。
【０１６９】ここで、色再現が考慮された成分信号(YL)
は、解像度を重視した成分信号(YH)に比べて周波数的に
低い低域成分になっている。この成分別生成機能部364b
は、たとえば、Yh・Ylow 作成法を用いて生の画素データ
から各画素のデータYh, Ylowをそれぞれ生成する。この
データYh, Ylowの生成時に正方格子状に画素ずらししな
がら展開して、入力データの空な仮想画素についての補
間処理も行っている。成分別生成機能部364bは、図42に
示すように低域色差成分生成機能部3644, 3646で色差信
号(R-Y)L, (B-Y)Lについての演算処理も行う。このよう
にして得られたデータは、上述した２つの成分信号(YH,
YL)および低域の色差信号(R-Y)L, (B-Y)Lとして図43の
擬似周波数加算部370cに出力される。成分別生成機能部
364bにおけるこの演算処理については後段で詳述する。
【０１７０】また、広帯域信号処理部36c は、図43に示
すように、擬似周波数加算部370c、周波数重複防止部37
2c、信号調整部374c、およびRGB 変換部376cを含む。広
帯域信号処理部36c は、輝度信号に対してそれそれ処理
を施して生成される輝度信号Y,色差信号(R-Y)L, (B-Y)L
を出力するとともに、さらに、これらの信号に信号調整
部374cでたとえば、色差信号に振幅調整を施し、RGB 変
換部376cに供給される信号成分に基づいてRGB 変換して
三原色R, G, B データを出力する。広帯域信号処理部36
c の構成をさらに説明する。
【０１７１】擬似周波数加算部370cは、図44に示すよう
に、加算器3700, アンチエリアシングフィルタ部3702,
および加算器3704を備えている。加算器3700には、成分
別生成機能部364bから供給される成分信号(YH)を一端側
に減算入力させ他端側に成分信号(YL)を加算入力させて
アンチエリアシングフィルタ部3702に出力する。アンチ
エリアシングフィルタ部3702には、加算器3700の他に高
域成分の信号(YH)、低域色差成分生成部3644, 3646から
低域の色差信号(R-Y)L, (B-Y)Lがそれぞれ供給されてい
る。
【０１７２】アンチエリアシングフィルタ部3702は、供
給される成分信号にそれぞれ折り返し歪みが生じないよ
うにディジタルフィルタを適用してローパスフィルタ処
理を施している。また、アンチエリアシングフィルタ部
3702は、図44に示すように低域の色差信号(R-Y)L, (B-
Y)Lに対してもディジタルフィルタを用いてローパスの
フィルタ処理を行っている。アンチエリアシングフィル
タ部3702は、ローパスフィルタ処理された高域成分信号
(YH)と低域成分信号(YL)を加算器3704に加算入力する。
【０１７３】擬似周波数加算部370cは、周波数アロケー
ションを図45に示すと、加算器3700の出力(YL-YH)
low（図45(a) を参照）と供給される高域成分信号(YH)
（図45(b)を参照）とを加算器3704に供給して加算する
ことにより、加算器3704からの出力を(YL-YH)low+YH
（図45(c) を参照）にしている。ここで、(YL-YH)lowで
の添字「low 」は、ローパスフィルタを通ったことを示
している。擬似周波数加算部370cは、成分別生成機能部
364bから出力される成分信号(YL), (YH)とを擬似周波数
的に加算している。この加算により、輝度信号の広帯域
化が図られる。擬似周波数加算部364bに供給される各成
分信号は、それぞれ画像の水平方向／垂直方向にも方向
成分を分けて供給されている。
【０１７４】周波数重複防止（輝度プロセス）部372c
は、成分別生成機能部364bで水平方向および垂直方向の
両解像度が重視された成分信号に共通した周波数帯が含
まれている場合、共通した周波数帯の重複を防止するよ
うに輝度信号(YL-YH)low+YH における水平方向と垂直方
向の一方の成分信号において共通した周波数帯を帯域制
限し、この信号と他方の成分信号とを加算する。この処
理のため、周波数重複防止部372cは、図46に示すよう
に、選択スイッチSW1 、切換スイッチSW2 、フィルタ部
3720、および加算器3722を備えている。
【０１７５】周波数重複防止部372cは、選択スイッチSW
1 で擬似周波数加算部370cからの出力を両方向あるいは
一方向の解像度重視かに応じて切り換えている。両方向
の解像度重視の場合、選択スイッチSW1 は端子b を介し
て選択された信号を切換スイッチSW2 に供給する。切換
スイッチSW2 は供給される信号の内、水平／垂直方向の
解像度重視の信号を切り換える。ここで、切換スイッチ
SW2 は、端子a を介して、たとえば、垂直方向の解像度
重視の信号をフィルタ部3720に送る。フィルタ部3720
は、たとえば、垂直方向の解像度重視の信号の中で水平
方向の解像度重視の信号に共通して含まれる周波数帯に
対して帯域制限を施している。フィルタ部3720はハイパ
スフィルタである。加算器3722は、フィルタ部3720から
の出力と切換スイッチSW2 の端子b から出力される、た
とえば、水平方向の解像度重視の信号とを加算してい
る。
【０１７６】ここで、選択スイッチSW1 は、水平方向あ
るいは垂直方向の一方だけしか解像度を重視しないと
き、たとえば、CPU 等を含むシステム制御部18から供給
される選択信号18A によって端子a に切り換えられて、
この端子a を介して信号が出力フィルタ部3720、加算器
3722を迂回して周波数重複防止部372cから出力させてい
る。また、切換スイッチSW2 もこの制御部から供給され
る水平／垂直切換信号18B に応じて切り換えられてい
る。
【０１７７】周波数重複防止部372cは、上述したような
輝度プロセス処理により輝度信号(YL-YH)low+YH を水平
／垂直方向の信号を合成しても異常が生じない輝度信号
(Y)にしてRGB 変換部376cに供給している。また、アン
チエリアシングフィルタ部3702からの低域の色差信号(R
-Y)L, (B-Y)Lには、図43に示した信号調整部374c内に配
した利得制御部3740, 3742でゲイン調整が施されてRGB
変換部376cに供給される。RGB 変換部376cは、供給され
た信号を基にこの内部の信号処理によって色再現、解像
度の向上した三原色RGB を出力する。
【０１７８】次にサブルーチンSUB1に水平・垂直方向の
解像度の重視を考慮したサブルーチンSUB6およびサブル
ーチンSUB2に得られた信号に対する高解像度化を施すサ
ブルーチンSUB7を適用した場合について説明する。サブ
ルーチンSUB1では、前述したと同様に図47のサブステッ
プSS10で仮想画素の位置における原色の画素データを算
出する。このようにして得られた画素データを用いてサ
ブルーチンSUB6に進む。この段階で仮想画素の位置で形
成される色パターンは、G 正方格子RB完全市松パターン
になっている。
【０１７９】サブルーチンSUB6では、供給される画素デ
ータに図48の手順でYh・Ylow 作成法を施す。Yh・Ylow 作
成法は、成分別生成機能部364bの低域成分生成機能部36
42で読み出される画素データを用いる色フィルタの色に
対応したYlow処理により色再現重視した低域成分の信号
生成に関わる画素データと、高域成分生成機能部3640で
Yh処理により解像度重視した高域成分の信号生成に関わ
る画素データとを生成する際の演算処理方法である。
【０１８０】この処理の説明において図49を用いる。こ
こでは図49に示すように、たとえば、５行４列を基本配
列とする画素ずらしした２次元配置の場合について検討
する。図49(a) の中の記号R, G, B は色フィルタCFの色
であり、その添字は行列表示による位置を示し、前述し
た図26に示したように実線の正方形が仮想画素、破線の
正方形が実在する受光素子を表している。この演算処理
は画素および仮想画素を含めた各位置の添字10〜54、計
20箇所でYhとYlowの値を求める。以下の説明ではその計
算をいくつか具体的に例示しながら説明する。
【０１８１】図48のサブステップSS600 では、Ylow処理
において水平解像度を重視するか判断する。水平解像度
を重視するとき（YES ）、サブステップSS602 に進む。
また、水平解像度を重視しないとき（NO）、サブステッ
プSS604 に移行する。
【０１８２】サブステップSS602 では、Ylow処理におい
て図49(b) の３行２列のエリアlowG3(一点鎖線), lowRB
3(二点鎖線) 内にある画素データからRBあるいはGG間の
補色の受光素子位置での原色画素データを補間し、かつ
５行２列のエリア lowRB5(破線) にある仮想画素の画素
データから補色の受光素子位置での色R あるいは色Bの
画素データを算出するとともに、G の画素はそのままの
画素データを用いて低域成分の信号を生成する。
【０１８３】ここで、この補間処理において受光素子位
置を便宜上、仮想画素という。具体的には、たとえば、
G 行の仮想画素Ylow20を求めるとき、画素データR10, G
21,B30 を用いて仮想画素Ylow20は、
【０１８４】
【数２９】 Ylow20=0.3*R10+0.59*G21+0.11*B30 ・・・(36) から得られ、色R あるいは色B 行の画素データY
low32は、
【０１８５】
【数３０】 Ylow32=0.3*R32+0.295*(G23+G43)+0.055*(B12+B52) ・・・(37) から得られる。得られた画素データはメモリ等に記憶さ
せておく。
【０１８６】サブステップSS604 では、Ylow処理におい
て垂直解像度を重視するか判断する。垂直解像度を重視
するとき（YES ）、サブステップSS606 に進む。また、
垂直解像度を重視しないとき（NO）、サブステップSS61
0 に移行する。
【０１８７】サブステップSS606 では、前述した基本配
列から読み出す画素データを組み換えて読み出す（画素
データの組換え読出し）。この読出しの一例として元の
基本配列に対して90°回転させた画素位置から画素デー
タを読み出してもよい。この画素データの読み出した
後、サブステップSS608 に進む。
【０１８８】サブステップSS608 では、読み出された画
素データを基にサブステップSS602での画素位置と同じ
関係を見い出す処理を行ってサブステップSS602 と同じ
演算処理を施すとともに、得られた画素データを読出し
位置に対応させて格納する。上述した読出し位置を回転
させた例の場合、得られた画素データの配列を再び逆方
向に回転または -90°回転させて元の基本配列の状態に
した後、各画素と対応するメモリ等にデータを格納する
ようにしてもよい。
【０１８９】次にサブステップSS610 では、Yh処理にお
いて水平解像度を重視するか判断する。水平解像度を重
視するとき（YES ）、サブステップSS612 に進む。ま
た、水平解像度を重視しないとき（NO）、サブステップ
SS614 に移行する。
【０１９０】サブステップSS612 では、図49(c) の５行
１列のエリアhRB5（一点鎖線）にある画素データに重み
付け演算を行ってエリア中央に位置する画素データの算
出、かつ３行１列のエリアhG3, hRB3(破線) にある画素
データからエリア中央の仮想画素位置の画像データの補
間を行うとともに、色G の画素はそのままの画素データ
を用いて水平方向の高域成分を生成する。このYh処理
は、水平方向の解像度重視する処理である。具体的に
は、たとえば、色R,色B を用いて単独画素Yh30を求める
とき、垂直方向５ラインの画素データR10, B30, R50 を
用いて画素データYh30は、
【０１９１】
【数３１】 Yh30=0.5*B30+0.25*(R10+R50) ・・・(38) から得られ、データ算出対象の仮想画素Y20 に隣接する
色R あるいは色B 行の画素データR10, B30を用いると、
仮想画素Y20 は、
【０１９２】
【数３２】 Yh20=0.5*(R10+B30) ・・・(39) から得られる。また、仮想画素Y31 を求める場合、仮想
画素Y31 の上下に隣接する画素データG21, G41を用いる
と、仮想画素Y31 は、
【０１９３】
【数３３】 Yh31=0.5*(G21+G41) ・・・(40) から得られる。色G が単独で存在する画素データに対し
てはそのままの画素データを用いる。したがって、たと
えば、画素データY21 は、G21 をそのまま用いる。この
ような処理を撮像面全体に対して繰り返すことにより、
水平解像度に関する撮像面の画素データおよび仮想画素
データが求められる。この後、サブステップSS614 に進
む。
【０１９４】サブステップSS614 ではYh処理において垂
直解像度を重視するか判断する。垂直解像度を重視する
とき（YES ）、サブステップSS616 に進む。また、垂直
解像度を重視しないとき（NO）、リターンに移行する。
【０１９５】サブステップSS616 では、前述した基本配
列から読み出す画素データの読出しを組み換える。この
場合もサブステップSS606 の例と同様に読み出す画素位
置を組み換えて読み出す。読出し組換え方法の一例には
基本配列を90°回転させて読み出す方法がある。この処
理の後、サブステップSS618 に進む。
【０１９６】サブステップSS618 では回転させられた画
素データを基にサブステップSS612での画素位置と同じ
関係を見い出してサブステップSS612 と同じ演算処理を
施すとともに、得られた画素データの配列を、たとえ
ば、読出し組換えに対応して -90°回転させて元の基本
配列の状態にしてからメモリ等に格納する。一般的に、
画素データの組換え読出しは、図49(d), (e)の破線に示
すように読出し位置（あるいはエリア）を変えて読み出
して水平／垂直方向の解像度重視処理が行われる。
【０１９７】なお、このフローチャートでは、１つの基
本配列に対する演算処理について説明したが、撮像部30
から得られる画面の画像全体に対して演算処理する場合
は、基本配列のエリアを水平および／または垂直方向に
少しずつずらしながら、前述したエリアとの一致性をチ
ェックし、かつこの処理手順を用いて演算を行う。ま
た、ここで詳述しないが、このとき、画面の周辺領域に
対する演算には、予め設定しておいた境界条件に応じて
値を求めるとよい。
【０１９８】このように処理した後、処理をリターンに
移行してサブルーチンSUB6を終了する。この終了の後、
メインルーチンに戻る。このサブルーチンSUB1のデータ
処理により、水平・垂直方向に色・白黒（輝度）を重視
した信号処理が行われ水平・垂直方向の低域および高域
の成分信号YL, YHが生成される。このとき、このデータ
処理により、仮想画素（すなわち、受光素子位置）の補
間処理も同時に行っているので、正方格子状の展開処理
もここで行われ、プレーンデータが得られることにな
る。
【０１９９】次に本実施例のサブルーチンSUB2は、図50
に示すようにサブルーチンSUB7で画素データを高解像度
化する処理を施し、以後の処理を前述したと同様の手順
で処理を行う。画素データを用いた広帯域化は、サブル
ーチンSUB7で、サブルーチンSUB6で得られた低域および
高域の成分信号を基に輝度信号を広帯域化させることに
より行う（すなわち、高解像度化）。サブルーチンSUB7
には、後述するように擬似加算処理工程と帯域重複防止
工程が含まる。図51のフローチャートに従いサブルーチ
ンSUB7を開始してサブステップSS700 に進む。
【０２００】サブステップSS700 では、サブルーチンSU
B6で生成された低域成分の信号YLから解像度を重視した
高域成分の信号YHを減算して(YL-YH)lowを得る（減算工
程）。図44に示したように加算器3700での信号処理が対
応している。この処理の後、サブステップSS702 に進
む。
【０２０１】サブステップSS702 では、加算器3700から
の出力(YL-YH)lowと高域成分の信号(YH)に対してアンチ
エリアシングフィルタ部3702でそれぞれ折り返し歪みを
防ぐ処理を施す（歪み防止工程）。アンチエリアシング
フィルタ部3702には、この他、低域の色差信号(R-Y),
(B-Y)も同様に処理されている。この信号処理の後にサ
ブステップSS704 に進む。
【０２０２】サブステップSS704 では、出力(YL-YH)low
と高域成分の信号(YH)を加算する（第２の加算工程）。
この加算処理が擬似周波数的に加算処理である。これに
より、図45に示した周波数アロケーションから明らかな
ように輝度信号（Y=(YL-YH)low+YH ）が広帯域化する。
したがって、擬似加算処理工程は、サブステップSS700
〜SS704 までの処理とみなすことができる。
【０２０３】次にサブステップSS706 では、サブルーチ
ンSUB6で水平および垂直方向の両方に対して解像度を重
視した処理が施されたか判断する。両方に対して解像度
を重視した処理が施されていたとき（YES ）、サブステ
ップSS708 に進む。また、一方に対してしか解像度を重
視した処理が施されていないとき（NO）、リターンに移
行する。この選択が選択スイッチSW1 によって行われ
る。
【０２０４】サブステップSS708 では、サブステップSS
704 までに行われた両方向の解像度重視した信号に共通
した周波数帯の内、垂直方向の解像度重視した信号の共
通した周波数帯を帯域制限する（帯域制限工程）。たと
えば、図46に示すように垂直方向の高域成分の信号に帯
域制限を施すとき、この成分信号が、図46の周波数重複
処理部372cのフィルタ部（HPF ）3720に供給するように
切換スイッチSW2 が水平／垂直方向の信号を切り換えて
いる。フィルタ部3720は、垂直方向の解像度重視した信
号において水平方向の解像度重視した信号と共通した周
波数帯以外の周波数だけを通すハイパスフィルタであ
る。水平／垂直方向の解像度重視した信号は、図52(a),
(b)に示すように、それぞれ、横軸を周波数軸f(h), f
(v)、縦軸をレスポンスレベルR(h), R(v)で表される。
フィルタ部3720を通した後、垂直方向の解像度重視した
信号は、図52(c) に示すような周波数分布になる。
【０２０５】次にサブステップSS710 では、フィルタ部
3720からの出力と共通した周波数帯を含む他方向、すな
わち、水平方向の高域成分の信号を加算する（加算処理
工程）。水平／垂直方向の成分信号を水平／垂直方向の
周波数軸(fh, fv)上に表すと、図52(a) の信号と図52
(c) の信号を加算器3722で加算することにより、図52
(d) に示す周波数分布が得られる。これにより、両方向
の画像信号を重ねて画像信号を広帯域化させても得られ
た画像に異常を来すことなく、高解像度な画像を供給す
ることができるようになる。この後、リターンに進み、
サブルーチンSUB7を終了する。さらに、メインフローチ
ャートに戻る。
【０２０６】上述した帯域重複防止工程には、サブステ
ップSS708, SS710での処理に相当している。画素に対応
した成分信号の広帯域化は、水平／垂直の周波数分布で
チェックできる。この比較として図52に正方格子をG 正
方格子とこのG 正方格子に対してピッチの半分の距離だ
けずらしたRB完全市松パターン（以下、単板画素ずらし
型G 正方RB完全市松フィルタパターンという）に配置し
た際の周波数分布と高域の成分信号(YH)を作成したとき
の周波数分布をそれぞれ示す。ここで、比較基準として
従来の150 万個の受光素子に正方格子状にG ストライプ
RB市松パターンに配置した場合、RGB のパターンは、図
53(a) のように水平／垂直周波数軸fh/fv をそれぞれ2
と1 の位置を切る周波数分布で表される。
【０２０７】このパターンから高域の成分信号(YH)を生
成した際の周波数分布は、図53(b)に示すように水平／
垂直周波数軸fh/fv をそれぞれ2 と2 をそれぞれ切るの
で、正方形になる。画素数を倍の300 万画素に増やす
と、図53(c) の周波数分布は、比較基準に対し(2)1/2倍
に大きく、すなわち水平／垂直周波数軸fh/fv 上で1.4
と2.8 をそれぞれ取ることになる。したがって、高域の
成分信号(YH)の周波数分布は、図53(d) のように帯域が
広がる。
【０２０８】本発明を適用して補色フィルタを半ピッチ
ずつ水平および垂直方向に画素ずらしした受光素子から
原色の画素データを仮想画素の位置に生成し、その際の
原色の画素データの色パターンがたとえば、単板画素ず
らし型G 正方RB完全市松フィルタパターンで、かつ画素
数が300 万個の場合、図53(e) に示す周波数分布は、水
平／垂直周波数軸fh/fv 上で2 と2 を切る分布になる。
高域の成分信号(YH)の周波数分布は、図53(f) のように
水平方向と垂直方向の各成分が交差する点では、擬似加
算処理のため、4 になる。このような周波数特性を得る
には、画素数を倍の600 万個に増やして水平／垂直周波
数軸fh/fv 上での値を4 と2 にしたときの高域の成分信
号(YH)の周波数分布に相当している（図53(g), (h)を参
照）。
【０２０９】ディジタルカメラ10は、補色系の色フィル
タを用い、少ない画素数でありながら、このように画素
の配置およびその配置の受光素子からの（生の）画素デ
ータに基づいて原色の画素データを算出する信号処理を
施して得られた成分信号の周波数帯域を広帯域化するこ
とにより、得られる画像を高品質なものにしている。
【０２１０】また、サブルーチンSUB6でのYh・Ylow 作成
法による演算に限定されるものでなく、水平／垂直方向
の解像度を重視したYhの画素データの生成には、画素デ
ータのうちで生成した色R, Bに対応する画素データをそ
のまま用い、仮想画素位置(受光素子) の画素データを
隣接する行（すなわち、上下の画素データ）あるいは列
（すなわち、左右の画素データ）の画素データに重み付
けして補間処理を行ってもよい。図49に示す画素ずらし
基本配列のパターン配置では、色R,色B の画素データを
そのまま用い、上下の画素データから補間すると、画
素、および仮想画素位置のYhは、たとえば、
【０２１１】
【数３４】 Yh10=R10, Yh11=0.5*G21+0.5*G21*Yh12, Yh12=B12, Yh13=0.5*G23+0.5*G23, Yh20=0.5*R10+0.5*B30, Yh21=G21, Yh22=0.5*B12+0.5*R32, Yh23=G23,・・・・ ・・・(41) として求めることができる。色R,色B の画素データをそ
のまま用い、左右の画素データから補間するとき、上述
したYh10, Yh11, Yh12, Yh13, Yh21, Yh23の算出方法は
同じであるが、Yh20とYh22はYh20=0.5*G21+0.5*G21, Y
h22=0.5*G21+0.5*G23から求める。
【０２１２】この他、Yhの作成には、たとえば、Yh32を
算出する際にYh32に隣接する上下左右斜めに位置する色
フィルタのG に対応する４つの画素データG21, G23, G
41, G43だけを用いて相関検出を行って相関値｜G21-G43
｜と｜G23-G41 | を算出する。次に、得られた相関値
の大きい方の画素データを用いて直線補間を行ってYh32
の値を算出し、この位置関係にある同じ配置の画素デー
タについてYhの計算を繰り返す。さらに、ここで求めた
Yhの値を用い他の画素を算出する。このとき、最初の直
線補間で得られた画素データを含めた３つの画素データ
で囲まれる仮想画素の位置の画素データを求めるように
相関検出を行う。この相関検出の処理結果に応じて直線
補間を行って、繰り返し処理することにより、パターン
全面の画素および仮想画素のYhを算出している。また、
この直線補間の代わりに最初の直線補間工程で得られた
画素データを含めた３つの画素データで囲まれる仮想画
素の位置の画素データに対して４つの画素データを用い
て加重平均するようにしてもよい。
【０２１３】なお、この実施例では、画像データを生成
する段階で正方格子状の展開処理も行ったが、受光素子
からの仮想画素位置の画素データだけに対して広帯域化
し、得られた広帯域な画素データを基に原色の画素デー
タのない受光素子位置の画素データを補間して画素デー
タを増やし正方格子状の配列になるように展開処理を行
うようにしてもよい。
【０２１４】次にディジタルカメラ10における信号処理
部36の第２の変形例について説明する。本実施例でも色
フィルタは、前述と同様にW 正方格子CyYe完全市松パタ
ーンを用いる。撮像部30は、受光素子PDで得られた信号
電荷を電圧で表される信号に変換して出力する。この信
号に前処理、A/D 変換が施されたディジタル信号が信号
処理部36に供給される。本実施例の信号処理部36には、
図54に示すように補間処理部36b 内に仮想画素補間機能
部360bとともに、プレーン補間展開機能部366bが備えら
れている。また、広帯域信号処理部36c には、色差マト
リクス部364c、輪郭信号発生部378c、および加算器380c
を備えている。
【０２１５】プレーン補間展開機能部366bは、三原色R,
G, B の各色に着目し実在する受光素子位置の原色の画
素データも含めた面データにする際に色再現をも考慮し
て３つの成分信号にそれぞれ補間展開させる演算処理部
である。この機能が図55のサブルーチンSUB1に含む。プ
レーン補間展開機能部366bは、三原色RGB に対応したR
プレーン補間展開機能部3660、G プレーン補間展開機能
部3662、およびB プレーン補間展開機能部3664を備えて
いる。これら各部の処理については後段の処理手順（サ
ブルーチンSUB8）で詳細に説明する。
【０２１６】色差マトリクス部364cは、プレーン補間展
開部366bから得られる３つの成分信号を基に色差信号お
よび輝度信号を生成する。
【０２１７】輪郭信号発生部378cは、輪郭強調データ生
成機能部3780と、周波数重複防止部3782とを備えてい
る。輪郭強調データ生成機能部3780は、G プレーン補間
展開機能部3662から供給される色G の画素データを用い
て相関検出を行い、次に得られた相関検出の高い方のデ
ータを用いて補間処理を行う機能を有する。この補間処
理では、当然原色の画素データのない受光素子の位置に
ついても画素データを補間している。これら一連の補間
を伴う輪郭強調処理は、図57のサブルーチンSUB2のう
ち、サブルーチンSUB9で行う。このようにして得られた
画素データが輪郭強調データ生成機能部3780から周波数
重複防止部3782に供給される。周波数重複防止部3782
は、たとえば、供給される水平および垂直方向の解像度
重視した信号のうち、一方の方向の信号と他方の信号と
に共通の周波数帯が存在するとき、たとえば、一方の信
号に対して共通の周波数帯を帯域制限する。このように
生成された信号が図54に示す加算器380cに供給される。
加算器380cは、色差マトリクス部364cからの出力と周波
数重複防止部3782の出力を加算して輝度信号Y を輪郭強
調させる。
【０２１８】なお、プレーン補間展開機能部366bに供給
される前のデータから解像度を重視した高域成分信号(Y
H)の基となる画素データを生成するようにしてもよい。
この場合、輪郭強調データ生成機能部3780がこの画素デ
ータと、たとえば、Yh・Ylow法のうち、Yhの算出方法と
を用いて高域成分信号(YH)を生成する。この画素データ
の生成時、輪郭強調データ生成機能部3780は、データを
正方格子状に展開生成し周波数重複防止部3782に供給す
る。周波数重複防止部3782は、たとえば、水平および垂
直方向の解像度重視した信号が供給され、水平・垂直方
向の信号内、一方の方向の信号と他方の信号とに共通の
周波数帯が存在するとき、たとえば、一方の信号に対し
て共通の周波数帯を帯域制限し、この信号と他方の信号
とを合成して加算器380cに出力する。この出力信号は、
前述した実施例の高域の成分信号(YH)で輪郭強調させる
信号として用いる。
【０２１９】加算器380cは、輪郭信号発生部378cからの
出力と色差マトリクス部364cからの輝度信号をそれぞれ
加算入力する。この加算により輝度信号の輪郭が強調さ
れるようになる。
【０２２０】次に本実施例の信号処理部36の信号処理の
手順について説明する。信号処理部36は、これまでと同
様に色フィルタ、W 正方格子CyYe完全市松パターンを配
した撮像部30から得られる画素データに補正を施して、
これにより得られる画素データを用いて、仮想画素補間
処理部360bで仮想画素位置で原色の画素データを生成す
る。この画素データの三原色R, G, B の各色に着目し、
プレーン補間展開機能部366bでは仮想画素の位置で補間
された色以外の画素データおよび受光素子位置での三原
色の各画素データが補間される。この補間では、プレー
ン補間展開を行う際に、色再現を考慮した三原色R, G,
B の着目対象の色を含む行（水平）あるいは列（垂直）
に対して画素データを重み付け平均して補間し、かつ着
目対象の色と異なる色を含む行に対して隣接する行ある
いは列の画素データを平均して行う。このプレーン補間
展開のサブルーチンSUB8についてさらに説明する。サブ
ルーチンSUB8に移行すると、すぐにサブステップSS800
に進む。サブステップSS800 では、R プレーンにおいて
水平方向の補間展開を行う。この補間は、原色R の着目
対象の色を含む行に対して画素データを重み付け平均し
て補間し、かつ着目対象の色と異なる色を含む行、すな
わち、R 画素のない行に対して隣接する行の画素データ
を用い平均して補間する。具体的には、図26の色R10 〜
R54 までの配列（５行５列）を基に説明すると、R プレ
ーン補間展開機能部3660は、たとえば、
【０２２１】
【数３５】 Rlow10H=R10, Rlow11H=(3*R10+R14)/4, Rlow12H=(2*R10+2*R14)/4, Rlow13H=(R10+3*R14)/4, Rlow14H=R14,・・・・ ・・・(42) 等の演算を行ってサブステップSS802 に進む。
【０２２２】サブステップSS802 では、G プレーンにお
いて水平方向の補間展開を行う。この補間は原色G の着
目対象の色を含む行に対して画素データを重み付け平均
して補間し、かつ着目対象の色と異なる色を含む行、す
なわち、G 画素のない行に対して隣接する行の画素デー
タを用い平均して補間する。具体的に図26の画素ずらし
基本配列を基に説明すると、G プレーン補間展開機能部
3662は、たとえば、
【０２２３】
【数３６】 Glow10H=G21/3, Glow11H=G21/2, Glow12H=(G21+G23)/4, Glow13H=G23/2, Glow14H=G23/3, Glow20H=G21/2, Glow21H=G21, Glow22H=(G21+G23)/2, Glow23H=G23, Glow24H=G23/3,・・・・ ・・・(43) 等の演算を行ってサブステップSS804 に進む。
【０２２４】サブステップSS804 では、B プレーンにお
いて水平方向の補間展開を行う。この補間は原色B の着
目対象の色を含む行に対して画素データを重み付け平均
して補間し、かつ着目対象の色と異なる色を含む行、す
なわち、B 画素のない行に対して隣接する行の画素デー
タを用い平均して補間する。具体的に図26の画素ずらし
配列を基に説明すると、B プレーン補間展開機能部3664
は、たとえば、
【０２２５】
【数３７】 Blow10H=B12/3, Blow11H=B12/2, Blow12H=B12, Blow13H=B12/2, Blow14H=B12/3, Blow20H=(3*B30+B12)/4, Blow21H=(3*B30+2*B12)/4, Blow22H=B12/2, Blow23H=(2*B12+3*B34/4, Blow24H=2*B12/3,・・・・ ・・・(44) 等の演算を行ってサブステップSS806 に進む。
【０２２６】サブステップSS806 以降では、垂直方向の
プレーン補間展開を行う。この補間は、三原色R, G, B
の着目対象の色を含む列に対して画素データを重み付け
平均して補間し、かつ着目対象の色と異なる色を含む行
に対して隣接する列の画素データを平均して補間を行
う。サブステップSS806 では、R プレーンにおいて垂直
方向に補間展開を行う。この補間は、原色R の着目対象
の色を含む列に対して画素データを重み付け平均して補
間し、かつ着目対象の色と異なる色を含む列、すなわ
ち、R 画素のない列に対して隣接する列の画素データを
用い平均して補間する。具体的に図26の画素ずらし配列
を基に説明すると、R プレーン補間展開機能部3660は、
たとえば、
【０２２７】
【数３８】 Rlow10V=R10, Rlow20V=(3*R10+R50)/4, Rlow30V=(2*R10+2*R50)/4, Rlow40V=(R10+3*R50)/4, Rlow50V=R50,・・・・ ・・・(45) 等の演算を行ってサブステップSS808 に進む。
【０２２８】サブステップSS808 では、G プレーンにお
いて垂直方向の補間展開を行う。この補間は原色G の着
目対象の色を含む列に対して画素データを重み付け平均
して補間し、かつ着目対象の色と異なる色を含む列、す
なわち、G 画素のない列に対して隣接する列の画素デー
タを用い平均して補間する。具体的に図26の画素ずらし
配列を基に説明すると、G プレーン補間展開機能部3662
は、たとえば
【０２２９】
【数３９】 Glow10V=G21/3, Glow20V=G21/2, Glow30V=(G21+G41)/4, Glow40V=G41/2, Glow50V=G51/3, Glow11V=G21/2, Glow21V=G21, Glow31V=(G21+G41)/2, Glow41V=G41, Glow51V=G41/3,・・・・ ・・・(46) 等の演算を行ってサブステップSS810 に進む。
【０２３０】サブステップSS810 では、B プレーンにお
いて垂直方向の補間展開を行う。この補間は原色B の着
目対象の色を含む列に対して画素データを重み付け平均
して補間し、かつ着目対象の色と異なる色を含む列、す
なわち、B 画素のない列に対して隣接する列の画素デー
タを用い平均して補間する。具体的に図26の画素ずらし
配列を基に説明すると、B プレーン補間展開機能部3664
は、たとえば、
【０２３１】
【数４０】 Blow10V=B30/3, Blow20V=B30/2, Blow30V=B30, Blow40V=B30/2, Blow50V=B30/3, Blow11V=(3*B12+B30)/4, Blow21V=(3*B12+3*B30)/4, Blow31V=B30/2, Blow41V=(3*B30+3*B52)/4, Blow51V=B52/2,・・・・ ・・・(47) 等の演算を行ってサブステップSS812 に進む。
【０２３２】サブステップSS812 では、プレーン補間機
能部366b内において正確な色再現を重視した水平方向の
輝度信号(YLH) としてのデータを生成する。ここで、輝
度信号(YLH) 、すなわちYlowは、これまで求めた各位置
でのRlow, Glow, Blowを用いて、
【０２３３】
【数４１】 Ylow=0.3*Rlow+0.5*Glow+0.11*Blow ・・・(48) によって計算する。この生成にあたり、水平方向の解像
度を重視した輝度信号(YLH)は、サブステップSS800 〜S
S804 でプレーン補間されたR, G, B を用いて算出され
る。
【０２３４】次にサブステップSS814 では、式(48)を用
いてプレーン補間機能部366b内において正確な色再現を
重視した垂直方向の輝度信号(YLV) として生成する。こ
の生成にあたり、垂直方向の解像度を重視した輝度信号
(YLV) は、サブステップSS806 〜SS810 でプレーン補間
されたR, G, B を用いて算出される。このようにして算
出されたデータが色差マトリクス部364cに出力される。
これらの演算処理の後、リターンに移行してサブルーチ
ンSUB8を終了する。このように処理することにより、RG
B プレーン補間展開するとともに、隣接するRGB 間の仮
想画素位置のデータも算出されたことになる。このよう
にサブルーチンSUB8では、RGB の各色についてのプレー
ン補間展開およびこの展開後の各位置に対するYlowの値
を算出し、さらにこの値に対応する信号を出力する。サ
ブルーチンSUB8では水平／垂直方向のプレーン補間展開
をそのまま行うように説明したが、サブステップSS800
とSS806 の前にそれぞれプレーン補間展開の演算処理を
行うかどうか判断させるようにしてもよい。
【０２３５】得られた画素データおよび信号を用いて輝
度データの広帯域化を図る処理をサブルーチンSUB2で行
う。特に、この場合、サブルーチンSUB2では図57に示す
ようにたとえばマトリクス処理（サブステップSS22）を
行った後に、輪郭強調処理が前述した方法と異なる手順
で行われる。この手順をサブルーチンSUB9に示す。サブ
ルーチンSUB9では、図58に示す手順に従って、水平方向
および／または垂直方向の高域成分の信号(YH)を生成す
る処理を行う。この処理は輪郭信号発生部378cで行う。
サブルーチンSUB9では、まずサブステップSS900 に進
む。
【０２３６】サブステップSS900 では、色G のプレーン
データを用いて水平方向の高域成分に対応する画素デー
タを生成する。このデータ生成には前述したサブルーチ
ンSUB1で用いたYh・Ylow 法のうち、Yhを算出する手順だ
けを用いてもよい。ところで、前述した手順と別な手法
でも輪郭強調に用いる画素データを生成できる。この方
法を簡単に説明する。一般的に、原色G の信号のレベル
変化は映像信号における輝度の変化に大きく影響するこ
とを知っている。この方法は、この影響が他の原色R, B
の展開に反映させることに基づいて行う。たとえば、図
59を用いて簡単に原理を説明する。この一例は、R プレ
ーン補間展開で図59に示す未知のR11 を求める場合であ
る。ただし、この図は、直接的に図26を表していない。
この際に、G20, G11, G22, R20, R22 の既知の信号レベ
ルを用いる。この補間処理には、G20, G22の加重平均値
ΔG とR20, R22の加重平均値ΔR が等しいと近似される
と仮定を用いる（ΔG ＝ΔR ）。この関係を用いれば、
加重平均する際の各重み係数も既知の値であるから、未
知の画素データR11 は容易に算出される。この手順を繰
り返してR プレーン補間展開してもよい。原色B 信号の
補間も同様に行うことができる。このようにしてR, B展
開補間させることができる。この後サブステップSS902
に進む。
【０２３７】サブステップSS902 では、色G のプレーン
データと上述した関係とを用いて垂直方向の高域成分に
対応する画素データを生成してサブステップSS904 に進
む。
【０２３８】サブステップSS904 では、サブステップSS
902 までに水平および垂直方向の信号が得られたとき、
共通の周波数帯が重複することを防止するため一方の信
号に帯域制限を施し、この信号と他方の信号を加算して
加算器380cに出力する。
【０２３９】次にサブステップSS906 では、輪郭強調処
理を行う（輪郭強調工程）。この処理のために加算器38
0cが用いられる。加算器380cは、一端側に色差マトリク
ス部364cからの輝度信号Y を加算入力させ、他端側には
輪郭信号発生部378cからの水平方向および／または垂直
方向の解像度の重視の高域成分の信号を加算入力させて
いる。この両信号を加算することにより、出力される輝
度信号は輪郭が強調された信号になる。この一連の処理
によってRGB の各色毎にプレーン展開し、色差マトリク
スして得られた輝度信号に高域成分の信号を加算して輪
郭強調を施している。この輪郭強調が終了すると、リタ
ーンに移行してサブルーチンSUB9の処理を終了する。本
実施例のように、この一連の処理によってRGB の各色毎
にプレーン展開して得られた輝度信号に輪郭強調を施し
ている。このように構成しても撮像信号の高画質化を図
ることができる。
【０２４０】前述したディジタルカメラ10の信号処理部
36の構成をそのままに（第２の変形例；図42および図43
を参照）、撮像部30の前面に形成する色フィルタに４色
完全市松パターンを用いた場合について説明する。この
パターンを使用することにより、撮像部30は、信号電荷
の読出しを単に３ラインずつ、または１ラインずつシフ
トさせながら３ライン単位に行う（図60を参照）。後者
の信号読出しはMOS タイプの撮像で行うことができる。
前者の読出しで後者の信号供給を行う場合、一旦、非破
壊型のバッファメモリに記憶させ、前述したシフトを考
慮したデータ読出しを行うと実現できる。このように信
号処理部36は、これまで２ラインずつ供給して補間した
場合と異なり、３ラインの画素データから仮想画素位置
での補間を行う。信号処理部36は前述の実施例と同じも
のを用いる。各部と各手段の対応は成分別生成機能部36
4bが帯域別データ生成手段に相当し、広帯域信号処理部
36c が高域化処理手段である。
【０２４１】このように構成した信号処理部36の処理手
順について説明する。信号処理部36では、データ補正し
た画素データが仮想画素補間機能部360bに供給される。
ここでの概略的な処理手順は前述した実施例と同じであ
るが（図47および図50を参照）、補色の画素データから
原色の画素データを生成する計算式が異なる。この計算
式は、３つの補色Mg, Cy, Yeおよび原色G の画素データ
を用いて
【０２４２】
【数４２】 R=0.95Mg+1.37Ye-0.43G-0.85Cy G=-0.15Mg ＋0.48Ye+0.68G+0.05Cy B=1.00Mg-0.90Ye-0.50G+1.40Cy (49) で三原色RGB の各画素データを生成する。より具体的に
各原色の画素データを生成するとき、たとえば、仮想画
素12に対して周囲に位置する４つの受光素子Mg02, Y
e11, Cy13, G22 を用いる。仮想画素12における三原色R
GB は式(45)を用いて、
【０２４３】
【数４３】 R12=0.95Mg02+1.37Ye11-0.43G13-0.85Cy22 G12=-0.15Mg02 ＋0.48Ye11+0.68G13+0.05Cy22 B12=1.00Mg02-0.90Ye11-0.50G13+1.40Cy22 (50) により得られる。
【０２４４】その次のラインにおける仮想画素23の三原
色RGB は式(49)を用いて、
【０２４５】
【数４４】 R23=0.95Mg24+1.37Ye33-0.43G22-0.85Cy13 G23=-0.15Mg24 ＋0.48Ye33+0.68G22+0.05Cy13 B23=1.00Mg24-0.90Ye33-0.50G22+1.40Cy13 (51) により得られる。このように３ラインずつ供給される補
色および原色の画素データが供給されて際に周囲のこれ
ら４画素を用いて原色の画素データが生成される。この
仮想画素における三原色RGB の画素データがジグザグに
生成される。色および輝度の低域成分には、しかしなが
ら、広帯域信号処理部36c でLPF 処理が施されることか
ら問題とならない。
【０２４６】次にサブルーチンSUB6における処理を簡単
に説明する。図48に示したサブステップSS602 やサブス
テップSS608 における低域輝度成分、低域色差成分は、
生成した画素データでG 正方格子CyYe完全市松パターン
を考慮し、このパターンに対応する位置から得られる画
素データからYlowを生成する。また、図48のサブステッ
プSS612 やサブステップSS618 において行う高域成分生
成は、式(52)
【０２４７】
【数４５】 Yh=2*G+Mg=2*G+R+B (52) で求める。図61の色G の受光素子位置では、たとえばG
00 における輝度データYh00を、
【０２４８】
【数４６】 Yh00=G00+Mg02 (53) Yh00=G00+Mg20 (54) のいずれかにより求める。
【０２４９】また、シアンCyと黄色Yeの間の仮想画素位
置におけるYhの算出は、式(55)
【０２５０】
【数４７】 Yh=Ye+Cy=2*G+R+B (55) を用いて行う。高域成分は、たとえば、画素データYe11
およびCy13または画素データYe11およびCy31を用いて
【０２５１】
【数４８】 Yh12=Ye11+Cy13 (56) Yh21=Ye11+Cy31 (57) の縦横型適応補間により得られる。式(52)と式(55)から
判るように、色G の単独での高域成分の算出は、画素デ
ータG を２倍してマゼンタの画素データを加算して式(5
5)の算出関係と同じになるようにしている。生成した画
素データや高域成分等はまだプレーンに算出されていな
い。この算出されていない位置のデータを算出するた
め、前述したLPF による補間を用いて全面のデータを算
出する。
【０２５２】これ以後のサブルーチンSUB2の処理は、前
述した処理と同じに行う。また、この高域成分を輪郭強
調信号として変形例に適用することもできる。このよう
に構成して信号処理をほどこすことによっても、光の利
用効率が高く、得られた撮像信号をより一層高画質化さ
せることができる。
【０２５３】この他の補間処理方法について簡単に説明
する。色フィルタは再びW 正方格子CyYe完全市松パター
ンを用いた場合である。この補間方法は、受光素子の実
在する位置に色W の画素データ（輝度データに相当) を
生成する方法である。この方法では、まず、図18のパタ
ーンが示すように画素データCy22の位置に対して周辺に
位置する画素データYe02, Ye20, Ye24, Ye42およびCy22
を用いて、
【０２５４】
【数４９】 W22=Yh22=(Ye02+Ye20+Ye24+Ye42)+Cy22 (58) により色W22 （輝度データ）を算出する。
【０２５５】また、これまで仮想画素に適用してきた適
応処理を実在する受光素子に適用して相関検出によって
輝度データを生成する方法もある。補間処理部36b は、
仮想画素補間機能部360bと併用して実画素補間処理機能
部（図示せず）を備えてもよい。図18において水平およ
び垂直方向の相関を算出し、この両者の差を所定のスレ
ッショルド値TH1 と比較する。このスレッショルド値TH
1 より差が大きいとき相関があると判定する。このと
き、相関のある絶対値の小さい方の方向を相関方向とす
る。輝度データは、この相関方向の２つの画素データの
平均値と算出位置の画素データの加算で求められる。
【０２５６】この手順を具体的に説明すると、たとえ
ば、画素データYe20とYe24から絶対値｜Ye20-Ye24 ｜と
Ye02とYe42から絶対値｜Ye02-Ye42 ｜の差をスレッショ
ルドTH1 を用いて
【０２５７】
【数５０】 ( ｜Ye20-Ye24 ｜- ｜Ye02-Ye42 ｜)>TH1 (59) ( ｜Ye02-Ye42 ｜- ｜Ye20-Ye24 ｜)>TH1 (60) の比較が行われる。式(59)が真のとき垂直方向に相関が
あり、式(60)が真のとき水平方向に相関があることを意
味する。この相関のある２つの画素データの平均値と中
央に位置する輝度生成位置の画素データを加算して輝度
データを算出する。また、式(59)および式(60)が偽のと
き相関がいずれの方向にもないとして式(58)を用いて輝
度データを算出する。
【０２５８】さらに式(59)および式(60)で相関がないと
判定された場合、さらに輝度生成位置を中心に周辺に位
置する４つの色W の画素データを用いて相関検出を行っ
てもよい。この手順を説明すると、図18において色W に
おける水平および垂直方向の相関を算出し、この両者の
差を所定のスレッショルド値TH2 と比較する。このスレ
ッショルド値TH2 より差が大きいとき相関があると判定
する。このとき、前述と同様に相関のある絶対値の小さ
い方の方向を相関方向とする。輝度データは、この相関
方向の２つの画素データの平均値と算出位置の画素デー
タの加算で求められる。
【０２５９】この手順を具体的に説明すると、たとえば
画素データW11 とW13 から絶対値｜W11-W13 ｜とW31 と
W33 から絶対値｜W31-W33 ｜の差を加算して水平方向の
相関値WCh2を算出する。同様に、垂直方向の相関値が画
素データW11 とW31 から絶対値｜W11-W31 ｜とW13 とW
33 から絶対値｜W13-W33 ｜の差を加算して垂直方向の
相関値WCv2を算出する。これまでに得られた水平方向の
相関値WCh2と垂直方向の相関値WCv2との差をスレッショ
ルドTH2 と比較する。この比較は
【０２６０】
【数５１】 (WCh2-WCv2)>TH2 (61) (WCv2-WCh2)>TH2 (62) により行う。式(61)が真のとき垂直方向に相関があり、
式(62)が真のとき水平方向に相関があることを意味す
る。この相関のある２つの画素データの平均値と中央に
位置する輝度生成位置の画素データを加算して輝度デー
タを算出する。また、式(61)および式(62)が偽のとき相
関がいずれの方向にもないとして式(58)を用いて輝度デ
ータを算出する。
【０２６１】また、前述したようにシアンと黄色の加算
は、2G+R+Bの関係にある。このことを利用して、たとえ
ば、隣接する色G の画素データで減算してやると、G+R+
B=Wという関係が得られる。これは、既存のサンプル点
の色W と同じ重み付けにできる。
【０２６２】この色フィルタにおいて色G を生成する場
合、画素データG22 は、画素データW11, W13, W31, W33
に算出されている色G11, G13, G31, G33および色R11, R
13,R31, R33と、色Cy22上での色R22 を用いて、式(63)
【０２６３】
【数５２】 G22=(G11+G13+G31+G33)/4+R22-(R11+R13+R31+R33)/4 (63) により求めてもよい。
【０２６４】この他、色W に対応する受光素子位置で色
R と色B の画像データは、それぞれ、色W と色Cyの画素
データの平均値と、色W と色Yeの画素データの平均値を
用いて、たとえば、
【０２６５】
【数５３】 R33=W33-(Cy22+Cy44)/2 (64) B33=W33-(Ye24+Ye42)/2 (65) により算出してもよい。また、画素データCy22における
画素データR22 は、式(65)
【０２６６】
【数５４】 R22=(W11+W13+W31+W33)/4-Cy22 (66) によって算出してもよい。この算出により市松状の輝度
データW が生成される。さらに、全面の画素データの算
出は、前述した補間処理を用いて容易に行える。
【０２６７】前述した実施例では、色フィルタにW 正方
格子CyYe完全市松パターンや４色完全市松パターンの場
合を例示してきたが、G 正方格子CyYe完全市松パターン
やCyMgYeG 部分重複市松パターンでも、原色の画素デー
タR, Bは、R=Ye-G, B=Cy-Gの関係から算出することがで
きる。高解像度化を行う上で算出する輝度データY は、
図10のW 正方格子CyYe完全市松パターンのなかで、色W
を色G にした、G 正方格子CyYe完全市松パターンとCyMg
YeG 部分重複市松パターンとで、それぞれY=Ye+Cy+G=3G
+R+BとY=Mg+Ye+Cy+G=3G+2(R+B)として求める。ただし、
Ye=R+G, Cy=G+B, Mg=R+Bの関係にある。このパターンで
も入射光の利用効率を高めるとともに、撮像信号を高画
質化することができる。
【０２６８】これまでの説明から明らかなように本発明
を適用したディジタルカメラ10は、正方格子状に画素を
配置した際の画素数に比べてこの画素数よりも少ない画
素数で画素ずらしした、いわゆるハニカム配置と呼ぶ配
置を用い、かつ信号処理を行うことによって、得られる
画像の色再現および解像度等の特性を向上させることが
できることがわかった。一方、従来のディジタルカメラ
は、上述した特性等を向上させるため画素数を増加させ
た結果、単位画素の占める受光面積も小さく（すなわ
ち、画素ピッチの縮小限界にまで達するように）なり素
子の感度低下が発生してしまう。画素が小さいことや得
られる信号の特性改善を図るため画素ずらしを行う際
に、従来のディジタルカメラの撮像部では組立て工程に
おいて画素数の増加に伴って画素ずらしの精度向上がク
ローズアップされるてきている。この精度要求は、特
に、カラーカメラの組立て工程等の作業が困難なものに
なり、この結果、カラーカメラ装置の光学系のコストを
アップさせてきた。しかしながら、ディジタルカメラ10
は撮像部30および色フィルタCFに画素ずらしを伴った、
いわゆるハニカム配置を用いているので、画素数が従来
のディジタルカメラに比べて、たとえば、半分程度にな
っている。このような画素ずらし配置を用いることによ
り、光学系の一部をなす撮像部30および色フィルタCFの
組立ておよびそれに伴う調整工程の作業が比較的に容易
に行うことができるようになる。
【０２６９】この配置を用いた複数組み合わせた多板の
色フィルタについて具体例を挙げて説明する。まず、光
学系には分光手段として複数のプリズム（図示せず）を
接合してレンズからの透過光が撮像部30の各受光部に送
られる。この各受光部の前には色フィルタCFが配設され
ている。ここで、受光部が２つの２板式の場合、色フィ
ルタCFは、色フィルタCF1 および色フィルタCF2 を用い
る。
【０２７０】第１の色フィルタCFの場合、図62(a) に示
す色フィルタCF1 の色の空間配置は、色W1と色Yeを１行
毎に交互に配したハニカム配置にする。図62(b) に示す
色フィルタCF2 の色の空間配置は、色W2と色Cyを１行毎
に交互に用い、かつ色フィルタCF1 の色W1の行に色Cyを
配したハニカム配置にする。たとえば、色フィルタCF1
に対して色フィルタCF2 を行方向に１画素ピッチ分ずら
して貼り合わせると、図62(c) に示す色フィルタCFを容
易にW ストライプCyYe完全市松パターンにすることがで
きる。
【０２７１】また、第２の色フィルタCFの場合、図62
(d) に示すようにハニカム配置の色フィルタCF1 を色W
だけで構成し、色フィルタCF2 の色の空間配置は、図62
(e) に示すように色Yeと色Cyを１行毎に交互に配したハ
ニカム配置にする。この場合も、たとえば、色フィルタ
CF1 に対して色フィルタCF2 を行方向に１画素ピッチ分
ずらして貼り合わせる。この貼り合わせにより、第２の
色フィルタCFを容易にベイヤパターンにすることができ
る（図62(f) を参照）。
【０２７２】そして、第３の色フィルタCFは、前述した
第１の色フィルタの色フィルタCF1,CF2を用いる（図63
(a), (b)を参照）。第３の色フィルタCFは色フィルタCF
1, CF2の画素位置を完全に一致させて貼り合わせること
により、図63(c) に示すハニカム配置のパターンを形成
する。
【０２７３】次にハニカム配置を用いた３板DG方式の色
フィルタの空間配置について説明する。色フィルタCF
は、色フィルタCF1, CF2, CF3 を用いる（図63(a),(b),
(c) を参照）。図63(a),(b) の色フィルタCF1, CF2はハ
ニカム配置で互いに画素ピッチ分ずれた位置関係にあ
る。色フィルタCF1, CF2は、同色のW1, W2を設定してい
る。また、図63(c) の色フィルタCF3 は、色フィルタCF
2 と同じ画素配置のハニカム配置であるとともに、配色
を色Yeおよび色Cyに設定している。色フィルタを固着さ
せる際には、同じ画素配置関係にある色フィルタCF2 と
色フィルタCF3 を組み合わせて貼り合わせる。これによ
り、色フィルタは、図63(d) の同色W1, W2が交互に配さ
れる正方格子状の配列と図63(e) の異色Ye, Cyがハニカ
ム配置された配列を作ることができる。
【０２７４】また、図65(a), (b), (c) のように、色フ
ィルタCF1, CF2, CF3 を同じハニカム配置の関係に形成
する。これらの色フィルタCF1, CF2, CF3 には、それぞ
れ色Ye, W, Cy の色が対応している。色フィルタCF2 に
対して色フィルタCF1, CF3は、ともに画素ピッチ分だけ
ずらして重ね合わせる。このよう重ね合わせると色フィ
ルタは、色のW と重ねた色Ye, Cyが交互に得られる配列
を作ることができる（図65(d) を参照）。この他にもハ
ニカム配置においてそれぞれ従来から用いられている３
板式の色フィルタを構成できる。
【０２７５】次に本発明を適用した面順次単板方式のデ
ィジタルカメラについて簡単に説明する。この面順次単
板方式のディジタルカメラは、静止した被写体の撮影に
好適なものである。一般的に、面順次単板方式は、撮
像、受像とも白黒のデバイスで良好なことが知られてい
る。
【０２７６】この方式のディジタルカメラは、受光素子
が２次元的に並べられた撮像部と、撮像部の撮像面に平
行な２次元平面内を、たとえば、横(X) 方向と縦(Y) 方
向とに移動させる移動機構と、被写体と撮像部との光路
間、たとえば、撮像部の直前に配されるハニカム配置の
複数の色フィルタCFと、複数の色フィルタから１枚の色
フィルタを選択して光路間への挿入を切り換える色フィ
ルタ切換機構と、撮像部からの出力を記録する記録再生
部と、撮像部および記録再生部の出力に信号処理を施す
カラー信号処理部とを備えている。
【０２７７】ここで、撮像部、複数の色フィルタおよび
カラー信号処理部は、前述した実施例で説明した構成と
同じように構成されている。特に、色フィルタは、移動
機構により撮像部が移動させられるので、この移動にし
ても撮像面がカバーされるように撮像面積より大きく形
成されている。
【０２７８】移動機構は、撮像部の微小な移動を使用す
る色フィルタの種類に応じて行う。すなわち、移動は色
フィルタの画素ずらし分に対応して行う。微小な制御が
難しい場合、ずらす画素ピッチの関係には周期性がある
ので適当な移動量に設定して調整するようにしてもよ
い。この移動機構としては、X-Y 方向にそれぞれ精度よ
く撮像部を移動させるため、たとえば、ステッピングモ
ータ等の駆動部と、この駆動部からの駆動力を伝達する
歯車と、この歯車と噛合させて歯車の回転運動を並進運
動に変換するラックと、ステッピングモータの駆動部の
動作を制御する並進制御部とを用い、このラック上に撮
像部を載置する。撮像部は、移動させても信号の入出力
が可能になるようにフレキシブル基板等を介して並進制
御部、記録再生部およびカラー信号処理部12と接続して
いる。このように構成することにより、色フィルタの種
類に応じた移動を撮像部にさせることができる。
【０２７９】色フィルタ切換機構は、複数の色フィルタ
をフィルタ枚数を考慮して一定の角度毎に、かつ透過可
能なようにフィルタ開口部を円盤の同一半径位置に設け
た色フィルタ設置部と、円盤を回転中心の回りに回転さ
せる回転駆動部としてのモータと、モータの動作を制御
する回転制御部とを用いる。色フィルタ設置部のフィル
タ開口面は、撮像面と平行状態を保つように配設させる
とよい。また、モータに取り付けられている回転軸は色
フィルタ設置部の円盤中心に開けられた貫通口に挿通す
る。回転軸は、たとえば、接着剤等を貫通口に塗布して
円盤と固着させている。回転制御部は、一定の角度毎の
回転駆動を行うように回転開始および回転終了を制御す
る。このように制御することにより、色フィルタを要求
に応じて切り換えることができるようになる。
【０２８０】記録再生部には、たとえば、SCSIインター
フェース等を介して画素データが供給される。記録再生
部は色フィルタ切換機構および移動機構の動作の組合せ
に応じてその都度、撮像部から得られる信号が画素デー
タにされて記録される。したがって、一枚の画像を作成
するために撮像が複数回行われる。このように得られた
画素データが記録再生部に記録されこの記録再生部から
再生した画素データがカラー信号処理部に供給される
と、前述した実施例のいずれかを行って色再現・解像度
が重視された高品質な画像が得られる。このようにディ
ジタルカメラは、ハニカム配置の色フィルタおよび撮像
部を用いるので製造工程での複雑な配置および調整を回
避することができ、撮像素子（受光素子）上に配設して
いたオンチップカラーフィルタを設ける必要性をなくす
ことができる。
【０２８１】また、単板式に限定されることなく、ディ
ジタルカメラは、ハニカム配置の色フィルタおよび撮像
部を２セット用いた２板式でもよく、このとき撮像部を
白黒の正方格子配置の高解像度撮像部とする面順次方式
のカラー撮像装置とみなすことができる。
【０２８２】以上のように構成することにより、色フィ
ルタに応じて撮像部30の受光部に配した受光素子PDから
得られる複数の補色を含む信号電荷を２ラインずつ、３
ラインずつまたは読出しを１ラインシフトさせながら３
ラインずつ出力させ、出力される信号電荷をA/D 変換部
34で供給される複数の補色系を含む画素データにし、信
号処理部36ではこの画素データを基に、仮想受光素子ま
たは受光素子の位置における三原色R, G, B のいずれか
の色の画素データを補間生成する。この際、入射光の利
用効率が単に原色の色フィルタを介した場合よりも高効
率なので、感度が低くなりがちな高画素の受光素子が配
された、いわゆるメガピクセルを有する撮像部30から得
られる信号電荷の変換効率を高くすることができる。こ
れにより、高画質化に寄与することができる。さらに、
この生成した画素データを用いてそれぞれ、実在の受光
素子または仮想受光素子でのデータを補間するととも
に、これらの補間により得られた画素データを用いて実
在する受光素子および仮想受光素子の位置の画素データ
を広帯域化することにより、感度向上による信号レベル
の維持を図るとともに、撮像した画像信号の解像度をよ
り一層高め、偽色の発生等も防ぐことができる。
【０２８３】撮像して得られた信号電荷の読出しにおい
ても、色フィルタの配列パターンに応じて受光素子の２
ラインずつ、３ラインずつまたは読出しを１ラインシフ
トさせながら３ラインずつ供給される信号をディジタル
データに変換し、この後の画素データを記憶する。そし
て記憶された画素データを上述したライン読出しと同じ
に読み出し、かつ仮想受光素子に隣接する受光素子から
の補色の画素データを基に、仮想受光素子の位置におけ
る三原色R, G, B のいずれかの色の画素データを補間生
成する。補色の画素データを用いることで、入射光の利
用効率を原色よりも高くできる。ここで生成した画素デ
ータを用いて実在の受光素子の位置における三原色R,
G, B のいずれかの色の画素データを補間生成するとと
もに、これらの補間により得られた画素データを用いて
実在する受光素子および仮想受光素子の位置の画素デー
タを広帯域化することにより、得られる画像の解像度を
これまでになく高くすることができる。これにより、高
品質な画質を容易に手に入れることができる。このよう
に供給される撮像信号の色フィルタ配置を考慮して信号
処理を行うことにより、信号処理によって得られる信号
を高画質化でき、画像処理にも適用することができる。
【０２８４】
【発明の効果】このように本発明の固体撮像装置によれ
ば、色フィルタに応じて撮像手段の受光部に配した受光
素子から得られる複数の補色を含む信号電荷を２ライン
ずつ、３ラインずつまたは読出しを１ラインシフトさせ
ながら３ラインずつ出力させ、出力される信号電荷をデ
ィジタル変換手段で供給される複数の補色系を含む画素
データにする。そして信号処理手段ではこの画素データ
を基に、仮想受光素子または受光素子の位置における三
原色R, G, B のいずれかの色の画素データを補間生成
し、この生成した画素データを用いてそれぞれ、実在の
受光素子または仮想受光素子でのデータを補間するとと
もに、これらの補間により得られた画素データを用いて
実在する受光素子および仮想受光素子の位置の画素デー
タを広帯域化することにより、撮像した画像信号の解像
度をより一層高め、偽色等の発生も防ぐことができる。
【０２８５】また、本発明の信号処理方法によれば、受
光素子の２ラインずつ、３ラインずつまたは読出しを１
ラインシフトさせながら３ラインずつ供給される信号を
ディジタルデータに変換し、この後の画素データを記憶
する。そして記憶された画素データを上述したライン読
出しと同じに読み出し、かつ仮想受光素子に隣接する受
光素子からの補色の画素データを基に、仮想受光素子の
位置における三原色R,G, B のいずれかの色の画素デー
タを補間生成し、ここで生成した画素データを用いて実
在の受光素子の位置における三原色R, G, B のいずれか
の色の画素データを補間生成するとともに、これらの補
間により得られた画素データを用いて実在する受光素子
および仮想受光素子の位置の画素データを広帯域化する
ことにより、得られる画像の解像度をより一層高くする
ことができる。
【図面の簡単な説明】
【図１】本発明に係る固体撮像装置を適用したディジタ
ルカメラの概略的な構成を示すブロック図である。
【図２】図１の補間処理部の概略的な構成を示すブロッ
ク図である。
【図３】図１の広帯域信号処理部の概略的な構成を示す
ブロック図である。
【図４】図３の高解像度プレーン補間機能部の概略的な
構成を示すブロック図である。
【図５】図１の撮像部の受光部を入射光の入射側から見
た色フィルタ、受光素子の開口部、転送路の関係を表す
模式図である。
【図６】図５の受光部における受光素子を正方格子状と
ハニカム状の画素ずらし配置の違いを示す模式図であ
る。
【図７】撮像部に入射光の分光エネルギー、比視感度特
性および測定した際の波長依存の分光エネルギーの関係
を表すグラフである。
【図８】入射光を(A) 原色撮像と(B) 補色撮像した際の
波長に対する相対感度を表すグラフである。
【図９】入射光を(A) 原色撮像と(B) 補色撮像した際に
おける最大感度で正規化した波長に対する相対感度を表
すグラフである。
【図１０】図１の撮像部に適用する色フィルタ、W 正方
格子CyYe完全市松パターンとG 正方格子CyYe完全市松パ
ターンを示す模式図である。
【図１１】図１の撮像部に適用する色フィルタ、CyWYe
縦ストライプパターンを示す模式図である。
【図１２】図１の撮像部に適用する色フィルタ、CyGYe
縦ストライプパターンを示す模式図である。
【図１３】図１の撮像部に適用する色フィルタ、CyYeMg
の縦ストライプパターンと横ストライプパターンを示す
模式図である。
【図１４】図１の撮像部に適用する色フィルタ、CyMgYe
G 部分重複完全市松パターンとCyMgYeW 部分重複完全市
松パターンを示す模式図である。
【図１５】図１の撮像部に適用する色フィルタ、CyMgYe
G およびCyMgYeW を用いた４色完全市松パターンを示す
模式図である。
【図１６】本発明を適用したディジタルカメラの動作を
説明するメインフローチャートである。
【図１７】図16のサブルーチンSUB1の動作を説明するフ
ローチャートである。
【図１８】撮像部の受光素子と仮想画素との位置関係を
行列表示した模式図である。
【図１９】図17のサブルーチンSUB1における仮想画素補
間で生成される原色の画素データの位置関係を表す模式
図である。
【図２０】図17のサブルーチンSUB1における仮想画素補
間で生成した画素データを用いて生成される輝度データ
の位置関係を表す模式図である。
【図２１】図17のサブルーチンSUB1における補間処理で
生成した原色の画素データの位置関係、G 正方RB完全市
松パターンを表す模式図である。
【図２２】図16のサブルーチンSUB2の動作を説明するフ
ローチャートである。
【図２３】図22のサブステップSS20でローパスフィルタ
処理により輝度データYhの補間を行う際の関係を説明す
る模式図である。
【図２４】図23の処理により作成した高域成分の輝度デ
ータYhと図20の輝度データをプレーン表示した際の関係
を示す模式図である。
【図２５】図16のサブルーチンSUB2で用いるサブルーチ
ンSUB3の手順を説明するフローチャートである。
【図２６】図17のサブルーチンSUB1により得られた原色
画素のG 正方RB完全市松パターンと補間対象の画素との
位置関係を示す模式図である。
【図２７】図25のサブルーチンSUB3における画素データ
G に関する補間対象の画素と既存の画素の位置関係を示
す模式図である。
【図２８】図25のサブルーチンSUB3における画素データ
R に関する補間対象の画素と既存の画素の位置関係を示
す模式図である。
【図２９】図28の位置関係に隣接斜め補間処理した結果
を加えた際の位置関係を示す模式図である。
【図３０】図29の位置関係に隣接斜め補間処理により得
られた４つの画素データを用いて補間処理した結果を加
えた際の位置関係を示す模式図である。
【図３１】図29の位置関係に補間対象の画素に対して上
下左右に位置する画素データを用いて補間処理した結果
を加えた際の位置関係を示す模式図である。
【図３２】図25のサブルーチンSUB3における画素データ
B に関する補間対象の画素と既存の画素の位置関係を示
す模式図である。
【図３３】図１のディジタルカメラにおいて生成した原
色の画素データ配置に伴う各色の空間周波数の関係を示
す模式図である。
【図３４】図16のサブルーチンSUB2の広帯域化の各処理
による水平方向の空間周波数帯域とその信号レベルの関
係を示すグラフである。
【図３５】図17のサブルーチンSUB1における仮想画素補
間で生成した画素データを用いて適応処理による輝度デ
ータの生成処理を行うフローチャートである。
【図３６】図35のサブルーチンSUB5における適応処理を
施して輝度データを生成する手順を説明するフローチャ
ートである。
【図３７】図36のサブルーチンSUB5における動作に続く
その動作を説明するフローチャートである。
【図３８】図37のサブルーチンSUB5における動作に続く
その動作を説明するフローチャートである。
【図３９】図35のサブルーチンSUB5で行われる斜め相関
の判定が可能な色境界のパターンを示す模式図である。
【図４０】図36ないし図38のサブルーチンSUB5で行われ
る垂直相関および水平相関の判定が可能な色境界のパタ
ーンを示す模式図である。
【図４１】図36ないし図38のサブルーチンSUB5で色境界
の判定が困難なパターンを示す模式図である。
【図４２】本発明を適用したディジタルカメラにおける
信号処理部の第１の変形例の構成を概略的に示すブロッ
ク図である。
【図４３】図42の広帯域信号処理部の概略的な構成を示
すブロック図である。
【図４４】図43の擬似周波数加算部の概略的な構成を示
すブロック図である。
【図４５】図43に示した擬似周波数加算部の動作により
得られる信号の周波数アロケーション表示の模式図であ
る。
【図４６】図43の周波数重複防止部の概略的な構成を示
すブロック図である。
【図４７】図42の第１の変形例の構成に伴い、サブルー
チンSUB1における仮想画素補間で生成した画素データを
用いた水平・垂直対応処理による輝度データ生成処理を
行うことを示すフローチャートである。
【図４８】図47のサブルーチンSUB6の処理手順を説明す
るフローチャートである。
【図４９】図47に示したサブルーチンSUB6における演算
処理を説明する基本配列および使用するエリアを示す模
式図である。
【図５０】図42の第１の変形例の構成に伴い、サブルー
チンSUB2で行う処理手順を説明するフローチャートであ
る。
【図５１】図50のサブルーチンSUB7における高域処理化
の手順を説明するフローチャートである。
【図５２】図51のサブルーチンSUB7の処理手順において
周波数重複防止処理に応じた得られる信号の周波数分布
を示す図である。
【図５３】従来の正方格子配置と本発明で得られた画素
ずらし配置（G ストライプ完全市松パターン）から得ら
れる高域成分信号を比較する周波数分布図である。
【図５４】本発明を適用したディジタルカメラにおける
信号処理部の第２の変形例の構成を概略的に示すブロッ
ク図である。
【図５５】図54の第２の変形例の構成に伴い、サブルー
チンSUB1における仮想画素補間で生成した画素データを
用いた水平・垂直対応処理による輝度データ生成処理を
行うことを示すフローチャートである。
【図５６】図55のサブルーチンSUB8の処理手順を説明す
るフローチャートである。
【図５７】図54の第２の変形例の構成に伴い、サブルー
チンSUB2で行う処理手順を説明するフローチャートであ
る。
【図５８】図57のサブルーチンSUB9の処理手順を説明す
るフローチャートである。
【図５９】図58の処理手順で行ううち、相関演算処理に
よる画素データ算出の原理を説明する模式図である。
【図６０】図１のディジタルカメラの撮像部前面に用い
る色フィルタを４色完全市松パターンおよびその際の撮
像部からの読出しを説明する模式図である。
【図６１】図60のパターンで仮想画素の補間処理される
位置と色の関係を説明する模式図である。
【図６２】図１のディジタルカメラに適用する色フィル
タを２板構成にした際に用いる色のパターン配置とこれ
らのパターン配置を合成して得られる空間配置の関係を
示す模式図である。
【図６３】図62と同じくディジタルカメラに適用する色
フィルタを２板構成にした際に用いる色のパターン配置
とこれらのパターン配置を合成して得られる空間配置の
関係を示す模式図である。
【図６４】図１のディジタルカメラに適用する色フィル
タを３板構成にした際に用いる色のパターン配置とこれ
らのパターン配置を合成して得られる空間配置の関係を
示す模式図である。
【図６５】図64と同じくディジタルカメラに適用する色
フィルタを３板構成にした際に用いる色のパターン配置
とこれらのパターン配置を合成して得られる空間配置の
関係を示す模式図である。
【符号の説明】
10 ディジタルカメラ 12 光学レンズ系 14 操作部 18 システム制御部 22 信号発生部 24 ドライバ部 30 撮像部 34 A/D 変換部 36 信号処理部 36a データ補正部 36b 補間処理部 36c 広帯域信号処理部 360b 仮想画素補間機能部 360c 輝度データ補間機能部 362b 輝度データ生成機能部 362c 高解像度プレーン補間機能部 364c 色差マトリクス部 366c アンチエリアシングフィルタ部

Claims (56)

    【特許請求の範囲】
  1. 【請求項１】 入射光を遮光する遮光部材の開口部に対
    応した位置で該入射光を色分解し、該色分解した入射光
    を光電変換して撮像し、該撮像により得られた信号に信
    号処理を施して広帯域な信号にする固体撮像装置におい
    て、該装置は、 前記開口部からの入射光を異なる分光特性の複数の色フ
    ィルタで色分解する色フィルタのうち、少なくとも分光
    特性が補色系の色フィルタを含む色分解手段、 該色分解手段から補色系の色を含むフィルタを通った入
    射光を光電変換する受光素子と該受光素子に隣接した受
    光素子とが垂直方向および／または水平方向にずらされ
    て２次元配置された受光部、 該受光部の開口部を迂回するように配置され、かつ前記
    受光素子からの信号を取り出す電極、および該電極を介
    して供給される信号を前記受光部の垂直または水平方向
    に順番に転送する各方向に対応した転送レジスタを含む
    撮像手段と、 前記撮像手段から供給されるディジタルデータに変換す
    るディジタル変換手段とを含み、 さらに該装置は、 前記ディジタル変換されたディジタルデータの面データ
    において、前記受光素子のずらし配置に伴う受光素子の
    空領域を仮想受光素子とし、用いる色分解手段の色フィ
    ルタに応じて実在の受光素子から２ラインずつ、３ライ
    ンずつまたは読出しを１ラインシフトさせながら３ライ
    ンずつ供給される複数の補色系を含む画素データを基
    に、前記仮想受光素子または前記受光素子の位置におけ
    る三原色R,G, B のいずれかの色の画素データを補間生
    成し、該生成した画素データを用いてそれぞれ、前記実
    在の受光素子または前記仮想受光素子でのデータを補間
    するとともに、これらの補間により得られた画素データ
    を用いて前記実在する受光素子および前記仮想受光素子
    の位置の画素データを広帯域化する信号処理手段を含む
    ことを特徴とする固体撮像装置。
  2. 【請求項２】 請求項１に記載の装置において、前記開
    口部は、開口形状を正方格子あるいは多角形にするとと
    もに、それぞれ、前記開口部に対応して配置される受光
    素子の間隔を画素ピッチとするとき、前記開口部が一列
    ごとに垂直方向にあるいは一行ごとに水平方向に前記画
    素ピッチ分だけ移動させて２次元配置されているか、あ
    るいは前記正方格子を45°回転させた開口形状あるいは
    多角形の開口形状の開口部が２次元配置されていること
    を特徴とする固体撮像装置。
  3. 【請求項３】 請求項１または２に記載の装置におい
    て、前記色フィルタに減色混合法で表すシアン（Cy）、
    マゼンタ（Mg）、黄色（Ye）、白色（W ）、および緑色
    （G ）のいずれかを複数個ずつ用いて、前記受光素子の
    ずらし配置に対応し、隣接する受光素子にずれを持たせ
    ながらW を正方格子状に配し、該W 正方格子に対するず
    れを前記ピッチの半分の距離にしたシアン黄色完全市松
    パターンが形成されていることを特徴とする固体撮像装
    置。
  4. 【請求項４】 請求項１または２に記載の装置におい
    て、前記色フィルタに減色混合法で表すシアン（Cy）、
    マゼンタ（Mg）、黄色（Ye）、および緑色（G）のいず
    れかを複数個ずつ用いて、前記受光素子のずらし配置に
    対応し、隣接する受光素子にずれを持たせながらG を正
    方格子状に配し、該G 正方格子に対するずれを前記ピッ
    チの半分の距離にしたシアン黄色完全市松パターンが形
    成されていることを特徴とする固体撮像装置。
  5. 【請求項５】 請求項１または２に記載の装置におい
    て、前記色フィルタに減色混合法で表すシアン（Cy）、
    マゼンタ（Mg）、黄色（Ye）、および緑色（G）のいず
    れかを複数個ずつ用いて、前記受光素子のずらし配置に
    対応して隣接する受光素子とを前記ピッチの半分の距離
    のずれ関係にし、前記４色を用いて完全市松パターンの
    一部が互いに重なる部分重複市松パターンまたは前記４
    色のうちの緑(G) に白色(W) を用いた部分重複市松パタ
    ーンが形成されていることを特徴とする固体撮像装置。
  6. 【請求項６】 請求項１または２に記載の装置におい
    て、前記色フィルタに減色混合法で表すシアン（Cy）、
    黄色（Ye）、マゼンタ（Mg）、および緑色（G）を用い
    て、前記受光素子のずらし配置に対応して隣接する受光
    素子とを前記ピッチの半分の距離のずれ関係にし、前記
    ４色のうち３色を組み合わせてそれぞれ縦方向または横
    方向に配することを特徴とする固体撮像装置。
  7. 【請求項７】 請求項１または２に記載の装置におい
    て、前記色フィルタに減色混合法で表すシアン（Cy）、
    黄色（Ye）、および白色（W ）を用いて、前記受光素子
    のずらし配置に対応して隣接する受光素子とを前記ピッ
    チの半分の距離のずれ関係にし、前記３色がそれぞれ縦
    方向または横方向に配することを特徴とする固体撮像装
    置。
  8. 【請求項８】 請求項１または２に記載の装置におい
    て、前記色フィルタに減色混合法で表すシアン（Cy）、
    マゼンタ（Mg）、黄色（Ye）、および三原色のR, G, B
    のいずれかを複数個ずつ用いて、前記受光素子のずらし
    配置に対応して隣接する受光素子とを前記ピッチの半分
    の距離のずれ関係にし、シアン黄色完全市松パターンの
    中心にG を配するとともに、該シアン黄色完全市松パタ
    ーンを囲むG を正方格子状に配し、さらに該G 正方格子
    上の中間位置にマゼンタを配した４色完全市松パターン
    または前記４色のうちの緑色(G) に白色(W) を用いた４
    色完全市松パターンを含むことを特徴とする固体撮像装
    置。
  9. 【請求項９】 請求項１ないし８のいずれか一項に記載
    の装置において、前記撮像手段は、前記色フィルタの配
    置に応じて前記受光素子により得られた信号電荷を、２
    ラインずつの読出しまたは３ラインの読み出す際の読出
    し開始ラインを１ラインずつシフトさせながら読み出す
    ３ライン読出しを行うことを特徴とする固体撮像装置。
  10. 【請求項１０】 請求項１または９に記載の装置におい
    て、前記信号処理手段は、前記撮像手段の実在する受光
    素子から２ラインずつ得られる画素データを用いて前記
    仮想受光素子の位置における画素データを算出するとと
    もに、該算出した画素データを用いて前記仮想受光素子
    の位置での輝度データを算出する補間手段と、 該補間手段からの画素データが含む帯域をさらに広帯域
    化する広帯域化手段とを含むことを特徴とする固体撮像
    装置。
  11. 【請求項１１】 請求項10に記載の装置において、前記
    補間手段は、前記仮想受光素子の位置に対する補間を、
    該仮想受光素子に隣接する２つまたは３つの実在する受
    光素子からの補色を含む画素データを用いて、少なくと
    も１回減算する第１の補間手段と、 該第１の補間手段により算出された仮想受光素子での原
    色の画素データを組み合わせて該仮想受光素子の位置に
    おける輝度データを算出する第２の補間手段とを含むこ
    とを特徴とする固体撮像装置。
  12. 【請求項１２】 請求項11に記載の装置において、第１
    の補間手段は、前記仮想受光素子に対して隣接する実在
    の受光素子から前記色フィルタの色がシアン（Cy）、マ
    ゼンタ（Mg）、黄色（Ye）、白色（W ）、および緑色
    （G ）の画素データのうち、２つまたは３つの画素デー
    タがつくるパターンの組合せにより得られる場合、前記
    画素データ、三原色R, G, B を、それぞれ、R=W-Cy, B=
    W-Ye, G=Ye+Cy-W の組合せ、R=Ye-G, B=Cy-G, G=G の組
    合せ、R=Ye-G, B=Cy-G, G=G の組合せの一つに基づいて
    前記仮想受光素子の前記画素データを補間演算する色補
    間機能ブロックとを含むことを特徴とする固体撮像装
    置。
  13. 【請求項１３】 請求項11に記載の装置において、第２
    の補間手段は、前記仮想受光素子に対して隣接する実在
    の受光素子から前記色フィルタの色がシアン（Cy）、マ
    ゼンタ（Mg）、黄色（Ye）、白色（W ）、および緑色
    （G ）のいずれかの画素データを３つまたは４つ用いた
    パターンの組合せで得られる場合、前記仮想受光素子の
    輝度データY を、それぞれ、Y=Ye+Cy+W の組合せ、Y=Ye
    +Cy+G の組合せ、Y=Mg+Ye+Cy+Gの組合せの一つに基づい
    て補間演算する補間生成機能ブロックを含むことを特徴
    とする固体撮像装置。
  14. 【請求項１４】 請求項11または13に記載の装置におい
    て、前記補間手段は、前記実在する受光素子を輝度デー
    タ生成対象とした際に、該対象の受光素子の位置におけ
    る前記輝度データを、該対象の受光素子に隣接した周囲
    の画素データに基づいて算出する第３の補間手段を含む
    ことを特徴とする固体撮像装置。
  15. 【請求項１５】 請求項10に記載の装置において、前記
    広帯域化手段は、前記補間手段から供給される輝度デー
    タを用いて前記実在する受光素子または前記仮想受光素
    子のいずれかの位置における輝度データの補間を行う輝
    度補間手段と、 該輝度補間手段および前記補間手段からそれぞれ供給さ
    れる画素データを用いて前記画素データが含む帯域をよ
    り広域化するとともに、三原色R, G, B の各色に応じた
    プレーンデータを生成するプレーン補間手段と、 該プレーン補間手段により作成されたプレーンデータを
    用いて輝度データ、色差データを生成するマトリクス手
    段と、 該マトリクス手段からの出力のうち、前記輝度データに
    対して輪郭強調処理を施すアパーチャ調整手段とを含む
    ことを特徴とする固体撮像装置。
  16. 【請求項１６】 請求項15に記載の装置において、前記
    輝度補間手段は、供給される輝度データにローパスフィ
    ルタ処理を施す手段を用いることを特徴とする固体撮像
    装置。
  17. 【請求項１７】 請求項11に記載の装置において、第２
    の補間手段は、作成する対象の輝度データY を画素デー
    タG と作成する対象の輝度データを該対象の輝度データ
    の周囲に位置する画素データR, Bを用いた演算による算
    出あるいは水平方向および垂直方向の色境界の判断によ
    る適応処理を考慮して算出する適応補間手段を含むこと
    を特徴とする固体撮像装置。
  18. 【請求項１８】 請求項14に記載の装置において、第３
    の補間手段は、前記W 正方格子CyYe市松パターンの場
    合、作成するシアンまたは黄色の受光素子を対象として
    輝度データW を算出する際に、該対象とする位置の一方
    の色と異なる他方の市松パターンの色に対する画素デー
    タを平均した値と前記一方の色の画素データを加算する
    輝度算出機能ブロックを含むことを特徴とする固体撮像
    装置。
  19. 【請求項１９】 請求項14に記載の装置において、第３
    の補間手段は、作成する対象の輝度データW を、水平方
    向および垂直方向の色境界の判断による適応処理を考慮
    した相関の大きい方向の画素データの平均値を加算する
    補色適応補間手段を含むことを特徴とする固体撮像装
    置。
  20. 【請求項２０】 請求項１または９に記載の装置におい
    て、前記信号処理手段は、前記撮像手段の実在する受光
    素子から３ラインずつ得られる画素データを用いて前記
    仮想受光素子の位置における画素データを算出するとと
    もに、該算出した画素データを用いて前記仮想受光素子
    および前記実在する受光素子の位置での画素データに関
    する輝度データおよび色差データを帯域に応じて算出す
    る帯域別データ生成手段と、 該帯域別データ生成手段からの画素データが含む信号成
    分をさらに高域化する高域化処理手段とを含むことを特
    徴とする固体撮像装置。
  21. 【請求項２１】 請求項10に記載の装置において、前記
    広帯域化手段は、前記補間手段からの仮想受光素子に対
    して得られた画素データを基に正確な色再現重視、なら
    びに水平方向および／または垂直方向の解像度の重視と
    重視する項目に応じて演算処理が施される演算処理手段
    と、 該演算処理手段から出力される色再現が考慮された成分
    信号と解像度を重視した成分信号が擬似周波数的に加算
    される擬似加算手段と、 該演算処理手段で前記水平方向および前記垂直方向の解
    像度が重視された各信号に共通した周波数帯が含まれて
    いる場合、前記共通した周波数帯の重複を防止する重複
    防止手段と、 前記演算処理手段の色再現を重視した成分信号に振幅制
    御を施す信号調整手段と、 該信号調整手段および前記重複防止手段からの成分信号
    を基に三原色R, G, Bを生成する信号変換手段とを含む
    ことを特徴とする固体撮像装置。
  22. 【請求項２２】 請求項20に記載の装置において、前記
    高域化処理手段は、前記帯域別データ生成手段からの仮
    想受光素子に対して得られた画素データを基に正確な色
    再現重視、ならびに前記水平方向および／または前記垂
    直方向の解像度の重視と重視する項目に応じて演算処理
    が施される項目対応演算手段と、 該項目対応演算手段から出力される前記色再現が考慮さ
    れた成分信号と前記解像度を重視した成分信号が擬似周
    波数的に加算される擬似加算手段と、 該項目対応演算処理手段で前記水平方向および前記垂直
    方向の解像度が重視された各信号に共通した周波数帯が
    含まれている場合、前記共通した周波数帯の重複を防止
    する重複防止手段と、 該重複防止手段からの解像度を重視した成分信号と前記
    項目対応演算手段の色再現を重視した成分信号に、それ
    ぞれ輪郭強調と信号の振幅制御を施す信号調整手段と、 該信号調整手段からの成分信号を基に三原色R, G, B を
    生成する信号変換手段とを含むことを特徴とする固体撮
    像装置。
  23. 【請求項２３】 請求項21または22に記載の装置におい
    て、前記擬似加算手段は、前記演算処理手段から供給さ
    れる解像度が重視される周波数帯までの第１の成分信号
    を一端側に減算入力させ他端側に第１の成分信号の周波
    数帯よりも低域の色再現を考慮した第２の成分信号を加
    算入力させる第１の加算手段と、 該第１の加算手段の出力と第１の成分信号にそれぞれ生
    じる折り返し歪みを防ぐ処理を施すフィルタリング手段
    と、 該フィルタリング手段からの各出力が加算入力される第
    ２の加算手段とを含むことを特徴とする固体撮像装置。
  24. 【請求項２４】 請求項21または22に記載の装置におい
    て、前記重複防止手段は、前記擬似加算手段から出力さ
    れる信号のうち、一方の信号の共通した周波数帯に対し
    て帯域制限を施すフィルタ手段と、 該フィルタ手段からの出力と前記共通した周波数帯を含
    む他方の信号とを加算する加算処理手段とを含むことを
    特徴とする固体撮像装置。
  25. 【請求項２５】 請求項15に記載の装置において、前記
    アパーチャ調整手段は、前記仮想受光素子における色G
    だけから相関検出補間を行って解像度を重視した成分信
    号を輪郭強調する信号として生成させる強調データ生成
    手段と、 該強調データ生成手段の出力に水平方向および垂直方向
    の解像度が重視され、共通した周波数帯が含まれている
    場合、前記共通した周波数帯の重複を防止する重複防止
    手段とを含むことを特徴とする固体撮像装置。
  26. 【請求項２６】 請求項９ないし25のいずれか一項に記
    載の装置において、前記撮像手段と前記入射光を結像さ
    せる結像光学系との間に、前記入射光を少なくとも、２
    つに分光し、各撮像手段の撮像面に被写界像を投影させ
    る分光光学系を備え、 前記撮像面を形成する受光素子を行方向と列方向で２次
    元配列されるとともに、前記撮像面に投影された同一の
    被写界像を空間的に重ね合わせた際に一方の２次元配列
    された受光素子と他方の２次元配列された受光素子の対
    応する幾何学的な撮像面形状の中心が行方向および列方
    向に半ピッチずつずれた画素ずらし配置の関係に配設
    し、 前記色フィルタは、前記受光素子に対応して該受光素子
    の前面に配置され、空間的に重ね合わせた際に該受光素
    子の空隙位置に原色の画素をもたらす補色の色色配列が
    用いられていることを特徴とする固体撮像装置。
  27. 【請求項２７】 請求項26に記載の装置において、前記
    受光部が２つの場合、前記画素ずらし配置の色フィルタ
    を組み合わせて色W が正方格子状に配され、色シアン、
    黄色が完全市松に配されたW 正方格子CyYe完全市松パタ
    ーン、色G が正方格子状に配されるG 正方格子CyYe完全
    市松パターン、前記部分重複市松パターン、縦ストライ
    プ、横ストライプまたは前記４色完全市松パターンを形
    成することを特徴とする固体撮像装置。
  28. 【請求項２８】 請求項26に記載の装置において、前記
    受光部が３つの場合、前記画素ずらし配置パターンの第
    １の色フィルタと、前記画素ずらし配置から画素ピッチ
    分ずらした配置パターンで、かつ第１の色フィルタの色
    と同色の第２の色フィルタと、該第２の色フィルタの配
    置パターンで、かつ第２の色フィルタの色と異なる色の
    第３の色フィルタとを備え、 第２の色フィルタと第３の色フィルタを組み合わせて固
    着させることを特徴とする固体撮像装置。
  29. 【請求項２９】 請求項26に記載の装置において、前記
    受光部が３つの場合、前記画素ずらし配置の互いに異な
    る３つの色フィルタの一の色フィルタに対して残りの２
    つの色フィルタを、ともに前記画素ピッチ分だけずらし
    て重複した空間配置の色フィルタを形成することを特徴
    とする固体撮像装置。
  30. 【請求項３０】 入射光を異なる分光感度特性を含む複
    数の色フィルタを介して受光素子に送るように形成した
    遮光部材に開けた開口部の直下に配した受光素子が２次
    元配列されているとき、開口形状が正方格子あるいは多
    角形に形成された開口部を一列毎に垂直方向にあるいは
    一行毎に水平方向にずらされた開口部、あるいは前記正
    方格子を45°回転させた開口形状あるいは多角形の開口
    形状を含む開口部を介して前記受光素子で受光し、該受
    光素子を画素として扱い、受光によって得られた２次元
    の画素を基に画像信号にし、該画像信号に信号処理を施
    して広帯域な画像信号にする信号処理方法において、該
    方法は、 前記色フィルタの組合せパターンに応じて前記受光素子
    の２ラインずつ、３ラインずつまたは読出しを１ライン
    シフトさせながら３ラインずつ供給される信号をディジ
    タルデータに変換するディジタル変換工程と、 該ディジタル変換工程後の前記画素データを記憶するデ
    ータ記憶工程とを含み、 さらに該方法は、 前記データ記憶工程で記憶された画素データを前記ディ
    ジタル変換工程のライン読出しと同じに読み出し、かつ
    読み出した画素データに対して前記受光素子のずらし配
    置に伴う受光素子の空領域を仮想受光素子とし、隣接す
    る受光素子からの補色の画素データを基に、前記仮想受
    光素子の位置における三原色R, G, B のいずれかの色の
    画素データを補間生成する仮想画素補間工程と、 該仮想画素補間工程で生成した画素データを用いて実在
    の受光素子の位置における三原色R, G, B のいずれかの
    色の画素データを補間生成するとともに、これらの補間
    により得られた画素データを用いて前記実在する受光素
    子および前記仮想受光素子の位置の画素データを広帯域
    化する広帯域化工程を含むことを特徴とする信号処理方
    法。
  31. 【請求項３１】 請求項30に記載の方法において、前記
    仮想画素補間工程は、前記データ記憶工程から画素デー
    タが２ライン読出しで供給される際に、前記仮想受光素
    子の位置における画素データを、該仮想受光素子に隣接
    する２つまたは３つの受光素子から得られる補色を含む
    画素データを用いて、少なくとも１回の減算を行って該
    仮想受光素子の画素データを補間生成する第１の補間生
    成工程と、 該第１の補間生成工程により算出した仮想受光素子での
    原色の画素データを組み合わせて該仮想受光素子の位置
    における輝度データを算出する第２の補間生成工程とを
    含むことを特徴とする信号処理方法。
  32. 【請求項３２】 請求項31に記載の方法において、第１
    の補間生成工程は、前記仮想受光素子に対して隣接する
    受光素子から得られるシアン（Cy）、黄色（Ye）、およ
    び白色（W ）の画素データのうち、２つまたは３つの画
    素データがつくるパターンの組合せで得る場合、前記仮
    想受光素子の三原色R, G, B を、それぞれ、R=W-Cy, B=
    W-Ye, G=Ye+Cy-W に基づいて補間演算を行うことを特徴
    とする信号処理方法。
  33. 【請求項３３】 請求項31に記載の方法において、第２
    の補間生成工程は、前記仮想受光素子に対して隣接する
    受光素子から得られるシアン（Cy）、黄色（Ye）、およ
    び白色（W ）の画素データすべてを加算して輝度データ
    を補間生成することを特徴とする信号処理方法。
  34. 【請求項３４】 請求項31に記載の方法において、第２
    の補間生成工程は、第１の補間生成工程により前記仮想
    受光素子の位置にG 正方格子と該G 正方格子に対して前
    記ピッチの半分の距離だけずらしたRB完全市松を合わせ
    たG 正方格子RB完全市松パターンを生成するとともに、
    得られたパターンの画素データG の周囲から得られるR
    の画素データとB の画素データから輝度データを作成す
    る際に、前記画素データR と前記画素データB のいずれ
    か一方の画素データを前記輝度データの作成対象にする
    場合、該作成対象の画素データを半分にした作成対象の
    半値データと、該作成対象の周囲に最も近傍、かつ等距
    離に位置する他方の画素データを加算し、該加算結果を
    加算した画素データの個数を倍した値で割った周囲画素
    データとから実際に用意された受光素子の位置における
    輝度データを算出することを特徴とする信号処理方法。
  35. 【請求項３５】 請求項31に記載の方法において、前記
    仮想画素補間工程は、前記W 正方格子CyYe完全市松パタ
    ーンの色フィルタを用いた際に、第１の補間生成工程で
    前記仮想受光素子の位置における色の画素データを生成
    させ、 前記実在する受光素子の位置に前記色フィルタのシアン
    または前記黄色が用いられる際に、シアンまたは黄色の
    一方の色の前記受光素子の位置を前記輝度データ生成対
    象とし、該対象の受光素子に隣接した他方の色の４つの
    画素データに基づいて算出し、該算出した値と前記対象
    の画素データとを加算するとともに、得られる画素デー
    タを用いて水平方向および／または垂直方向に正確な色
    再現重視、ならびに解像度の重視と各項目に応じた画素
    データの成分信号をそれぞれ生成する第３の補間生成工
    程を含み、 前記輝度データは、前記仮想受光素子または前記受光素
    子のいずれかで算出することを特徴とする信号処理方
    法。
  36. 【請求項３６】 請求項31に記載の方法において、前記
    仮想画素補間工程は、前記W 正方格子CyYe完全市松パタ
    ーンの色フィルタを用いた際に、第１の補間生成工程で
    前記仮想受光素子の位置における色の画素データを生成
    させ、 前記実在する受光素子の位置に前記色フィルタのシアン
    または前記黄色が用いられる際に、シアンまたは黄色の
    一方の色の前記受光素子の位置を前記輝度データ生成対
    象とし、該対象の受光素子に隣接した他方の色の４つの
    画素データに基づいて水平方向／垂直方向の第１の相関
    値を算出して比較を行い、所定の値以上の第１の相関値
    の方向に位置する２つの受光素子の平均値の算出または
    水平および垂直ともに第１の所定の値より小さい第１の
    相関値では前記４つの画素データの平均値の算出を行
    い、該算出した値と前記対象の画素データとを加算する
    とともに、得られる画素データを用いて水平方向および
    ／または垂直方向に正確な色再現重視、ならびに解像度
    の重視と各項目に応じた画素データの成分信号をそれぞ
    れ生成する第４の補間生成工程を含み、 前記輝度データは、前記仮想受光素子または前記受光素
    子のいずれかで算出することを特徴とする信号処理方
    法。
  37. 【請求項３７】 請求項36に記載の方法において、第４
    の補間生成工程は、シアンまたは黄色の一方の色の前記
    受光素子の位置を前記輝度データ生成対象とし、該対象
    の受光素子に隣接した他方の色の４つの画素データに基
    づいて水平方向／垂直方向の第１の相関値を算出して比
    較を行い、第１の所定の値以上の第１の相関値の方向に
    位置する２つの受光素子の平均値の算出、 前記水平方向および垂直方向の第１の相関値ともに第１
    の所定の値より小さいとき該対象の受光素子に隣接した
    ４つの色W の画素データを用い、水平方向に位置する画
    素データを差分した絶対値の加算と垂直方向に位置する
    画素データを差分した絶対値の加算とを水平方向および
    垂直方向の第２の相関値とし、該算出した各方向の第２
    の相関値の比較を行い、第２の所定の値以上となる第２
    の相関値の方向に位置する２つの受光素子の平均値の算
    出、または前記水平方向および垂直方法の第２の相関値
    ともに第２の所定の値より小さいとき前記４つ色W の画
    素データの平均値の算出を行い、 該算出した値と前記対象の画素データとを加算するとと
    もに、得られる画素データを用いて水平方向および／ま
    たは垂直方向に正確な色再現重視、ならびに解像度の重
    視と各項目に応じた画素データの成分信号をそれぞれ生
    成することを特徴とする信号処理方法。
  38. 【請求項３８】 請求項30に記載の方法において、前記
    仮想画素補間工程は、前記色フィルタの配置が前記４色
    完全市松パターンを用い、前記データ記憶工程から画素
    データが３ラインずつまたは読出しを１ラインシフトさ
    せながら３ラインずつ読み出した際に、前記４色の受光
    素子が囲む仮想受光素子の色R, G, Bを補間生成する第
    ５の補間生成工程と、 該第５の補間生成工程により得られた画素データを用い
    て前記受光素子の画素データを補間生成する第６の補間
    生成工程と、 前記４色のうち、色のシアンと黄色とに挟まれる仮想受
    光素子の位置における輝度データを、水平方向と垂直方
    向にそれぞれ配される前記色のシアンと黄色の２つの画
    素データを加算して算出する低域輝度算出工程と、 前記４色のうち、緑色の位置の受光素子の画素データG
    を高域輝度データとし、該高域輝度データを、前記画素
    データG の２倍と色マゼンタの位置の受光素子からの画
    素データとを加算して生成する高域輝度算出工程とを含
    むことを特徴とする信号処理方法。
  39. 【請求項３９】 請求項30に記載の方法において、前記
    広帯域化工程は、前記仮想画素補間工程から供給される
    輝度データを用いて前記受光素子の位置における輝度デ
    ータの補間を行う輝度補間工程と、 該輝度補間工程および前記仮想画素補間工程からそれぞ
    れ供給される画素データを用いて画素データが含む帯域
    をより広域化するとともに、三原色R, G, B の各色に応
    じたプレーンデータを生成するプレーン補間工程と、 該プレーン補間工程により作成されたプレーンデータを
    用いて輝度データ、色差データを生成するマトリクス工
    程と、 該マトリクス工程からの出力のうち、前記輝度データに
    対して輪郭強調処理を施すアパーチャ調整工程とを含む
    ことを特徴とする信号処理方法。
  40. 【請求項４０】 請求項39に記載の方法において、前記
    輝度補間工程は、前記仮想画素補間工程により得られた
    輝度データに基づいて前記受光素子における輝度データ
    を水平・垂直方向あるいは垂直・水平方向の順に作成す
    るとともに、前記受光素子に対応する位置の画素データ
    を前記水平方向に関して補間する際に、補間する画素デ
    ータに対応する乗算係数を乗算する第０段の水平工程を
    行い、そして該補間する画素データの左右両側に隣接す
    るデータを加算し、該加算結果に乗算係数を乗算する第
    １段の水平工程と、各段で第１段の工程と同様に該補間
    する画素データから水平方向に等距離に位置する画素デ
    ータに対応する乗算係数を乗算する水平工程をｎ段繰り
    返し、前記０段の水平工程、第１段の水平工程以降に繰
    り返された乗算結果すべてを加算して補間画素データを
    生成する水平補間工程と、 該水平補間工程により得られた画素データを用いて対象
    とする位置の画素データを生成する際に、垂直方向に位
    置する画素データに対応する乗算係数を乗算し、得られ
    た乗算結果をすべて加算して垂直方向のローパス処理を
    行う垂直処理工程とを含むことを特徴とする信号処理方
    法。
  41. 【請求項４１】 請求項31に記載の方法において、第２
    の補間生成工程は、前記輝度データの算出処理を行う前
    に、水平方向および垂直方向の第１相関値をそれぞれ算
    出し、第１の所定の値と各算出結果をそれぞれ比較し、 該比較した結果が水平方向に相関があると判断した際
    に、前記輝度データの算出を水平方向の画素データを用
    いて加算し、該加算結果を加算した画素データの個数を
    倍した値で割って周囲画素データとする水平輝度算出工
    程と、 該比較した結果が垂直方向に相関があると判断した際
    に、前記輝度データの算出を垂直方向の画素データを用
    いて加算し、該加算結果を加算した画素データの個数を
    倍した値で割って周囲画素データとする垂直輝度算出工
    程と、 該比較した結果が前記水平方向の相関値および前記垂直
    方向の相関値が前記所定の値より小さいとき、前記周囲
    画素データを該作成対象の周囲に最も近傍、かつ等距離
    に位置する他方の画素データを加算し、該加算結果を加
    算した画素データの個数を倍した値で割って算出する平
    均輝度算出工程とを含み、 前記作成対象の半値データと、前記水平輝度算出工程、
    前記垂直輝度算出工程、および前記平均輝度算出工程の
    いずれか一つから得られる前記周囲画素データとから輝
    度データのパターンを作成することを特徴とする信号処
    理方法。
  42. 【請求項４２】 請求項41に記載の方法において、第２
    の補間生成工程は、前記輝度データの算出処理を行う前
    に、前記水平方向および前記垂直方向の第１相関値をそ
    れぞれ算出し、第１の所定の値と各算出結果をそれぞれ
    比較し、該比較結果に応じて前記水平輝度算出工程ある
    いは前記垂直輝度算出工程を行うとともに、前記画素デ
    ータR あるいは前記画素データB のうち、一方の画素デ
    ータを作成対象の輝度データとした際に、該作成対象の
    輝度データを介して水平方向に位置する他方の画素デー
    タと該作成対象の輝度データを用いてそれぞれ得られた
    相関値を加算し、水平方向および垂直方向の第２相関値
    をそれぞれ算出し、第２の所定の値と各算出結果をそれ
    ぞれ比較し、 該比較した結果が水平方向に相関があるとの判断に応じ
    て行う前記水平輝度算出工程と、 該比較した結果が垂直方向に相関があるとの判断に応じ
    て行う前記垂直輝度算出工程と、 該比較した結果がいずれの相関とも異なる際に行う前記
    平均輝度算出工程とを含み、 前記作成対象の画素データの半値と、前記水平輝度算出
    工程、前記垂直輝度算出工程、および前記平均輝度算出
    工程のいずれか一つから得られる前記周囲画素データと
    から輝度データのパターンを作成することを特徴とする
    信号処理方法。
  43. 【請求項４３】 請求項42に記載の方法において、第２
    の補間生成工程には、前記画素データG の対角位置の画
    素データを加算し、該加算結果の差の絶対値により得ら
    れた値が第３の所定の値以上の場合、前記周囲画素デー
    タの算出を前記平均輝度算出工程で行うことを含むこと
    を特徴とする信号処理方法。
  44. 【請求項４４】 請求項31に記載の方法において、第２
    の補間生成工程は、前記輝度データの算出処理を行う前
    に、輝度データを算出する画素データに対して２方向に
    対角位置に位置する同色の画素データの差からそれぞれ
    右斜め方向および左斜め方向の第１相関値を算出し、第
    ４の所定の値と各算出結果をそれぞれ比較し、 該比較した結果が右斜め方向に相関があると判断した際
    に、前記右斜め方向の第１相関値の算出に用いた画素デ
    ータを加算し、該加算結果を加算した画素データの個数
    を倍した値で割って周囲画素データとする右斜め輝度算
    出工程と、 該比較した結果が左斜め方向に相関があると判断した際
    に、前記左斜め方向の第１相関値の算出に用いた画素デ
    ータを加算し、該加算結果を加算した画素データの個数
    を倍した値で割って周囲画素データとする左斜め輝度算
    出工程と、 該比較した結果が前記右斜め方向の第１相関値および前
    記左斜め方向の第１相関値が第４の所定の値より小さい
    とき、前記相関値の算出に用いた同色の画素データすべ
    てを加算し、該加算結果を加算した画素データの個数を
    倍した値で割って算出する平均輝度算出工程とを含み、 前記作成対象の画素データの半値と、前記右斜め輝度算
    出工程、前記左斜め輝度算出工程、および前記平均輝度
    算出工程のいずれか一つから得られる前記周囲画素デー
    タとの加算から輝度データのパターンを作成することを
    特徴とする信号処理方法。
  45. 【請求項４５】 請求項44に記載の方法において、第２
    の補間生成工程は、前記輝度データの算出処理を行う前
    に、第４の所定の値と右斜め方向および左斜め方向の第
    １相関値の算出結果をそれぞれ比較し、前記作成対象の
    画素データの半値と、前記右斜め輝度算出工程および前
    記左斜め輝度算出工程のいずれか一方の算出したデータ
    とを加算する場合と、 さらに、この場合に加えて、 輝度データを算出する画素データに対して２方向に対角
    位置に位置する異色の画素データの差からそれぞれ右斜
    め方向および左斜め方向の第２相関値を算出し、新たに
    設定する第５の所定の値と右斜め方向および左斜め方向
    の第２相関値の算出結果をそれぞれ比較し、 該比較した結果が右斜め方向に相関があると判断した際
    に、前記右斜め方向の第２相関値の算出に用いた異色の
    画素データで演算し、該演算結果を演算に用いた画素デ
    ータの個数を倍した値で割って周囲画素データとする右
    斜め輝度演算工程と、 該比較した結果が左斜め方向に相関があると判断した際
    に、前記左斜め方向の第２相関値の算出に用いた異色の
    画素データで演算し、該演算結果を演算に用いた画素デ
    ータの個数を倍した値で割って周囲画素データとする左
    斜め輝度演算工程と、 該比較した結果が前記右斜め方向の第２相関値および前
    記左斜め方向の第２相関値が第５の所定の値より小さい
    とき、第２相関値の算出に用いた異色の画素データで演
    算し、該演算結果を演算に用いた画素データの個数を倍
    した値で割って算出する平均輝度演算工程とを含み、 前記作成対象の画素データの半値と、前記右斜め輝度演
    算工程、前記左斜め輝度演算工程、および前記平均輝度
    演算工程のいずれか一つから得られる前記周囲画素デー
    タとを加算する場合とから輝度データのパターンを作成
    することを特徴とする信号処理方法。
  46. 【請求項４６】 請求項44または45に記載の方法におい
    て、前記右斜め方向および左斜め方向の第１相関値なら
    びに第２相関値の算出は、供給される各画素位置を算出
    の前に45°回転させた位置に回転移動させた後に水平方
    向および垂直方向の第１相関値ならびに第２相関値とし
    て算出し、所定の値との比較をそれぞれ行って対応する
    輝度データの算出を行い、 該算出の後に、得られた輝度データを回転移動前の位置
    に戻すことを特徴とする信号処理方法。
  47. 【請求項４７】 請求項42に記載の方法において、前記
    水平方向および垂直方向の第２相関値は、それぞれ前記
    輝度データ作成対象画素を挟んで水平方向に配される一
    方の異色の画素データと該作成対象画素の輝度データと
    の差の絶対値および他方の異色の画素データと該作成対
    象画素の輝度データとの差の絶対値の加算値ならびに前
    記輝度データ作成対象画素を挟んで垂直方向に配される
    一方の異色の画素データとの差の絶対値および他方の異
    色の画素データと該作成対象画素の輝度データとの差の
    絶対値の加算値で表すことを特徴とする信号処理方法。
  48. 【請求項４８】 請求項45に記載の方法において、前記
    右斜め方向および左斜め方向の第２相関値は、それぞれ
    前記輝度データ作成対象画素を挟んで水平方向に配され
    る異色の画素データ同士の差の絶対値および前記輝度デ
    ータ作成対象画素を挟んで垂直方向に配される異色の画
    素データ同士の差の絶対値で表すことを特徴とする信号
    処理方法。
  49. 【請求項４９】 請求項42または45に記載の方法におい
    て、第２相関値は、第１相関値の算出に用いた画素デー
    タよりも作成対象画素に近い位置の画素データを算出に
    用いることを特徴とする信号処理方法。
  50. 【請求項５０】 請求項39に記載の方法において、前記
    プレーン補間工程は、第１の補間生成工程により前記G
    正方格子と該G 正方格子に対して前記ピッチの半分の距
    離だけずらしたRB完全市松パターンにおける前記仮想受
    光素子に対応して得られた各色の画素データと、第２の
    補間生成工程により作成された輝度データを用い、 前記画素データのG のプレーン補間には、補間対象画素
    に対して水平方向および／または垂直方向に隣接して存
    在する実際に得られた画素データG の平均と前記補間対
    象画素に対して水平方向および／または垂直方向に隣接
    している輝度データの加算平均との差に前記補間対象画
    素の位置に対応する輝度データを加算して得られる工程
    と、 前記画素データのR のプレーン補間には、補間対象画素
    に対して斜め方向に隣接して存在する実際に得られた画
    素データR の平均と前記補間対象画素に対して前記斜め
    方向と同方向に隣接している輝度データの加算平均との
    差に前記補間対象画素の位置に対応する輝度データを加
    算して得られる第１のR 工程と、 前記補間対象画素の残る色R に対する画素データR を該
    第１のR 工程により得られた、等距離に位置する画素デ
    ータの加算平均と該等距離に位置する輝度データの加算
    平均との差に前記補間対象画素の残る色R に対する輝度
    データを加算して得られる第２のR 工程と、 さらに補間対象画素の残る色R に対する画素データR を
    最近傍に位置する第１、第２の工程および実際に得られ
    た画素データR の加算平均と該加算平均に用いた画素に
    対応する輝度データの加算平均との差に前記補間対象画
    素の位置に対応する輝度データを加算して得られる第３
    のR 工程とを含み、 さらに該方法は、 前記画素データのB のプレーン補間には、補間対象画素
    に対して斜め方向に隣接して存在する実際に得られた画
    素データB の加算平均と前記補間対象画素に対して前記
    斜め方向と同方向に隣接している輝度データの加算平均
    との差に前記補間対象画素の位置に対応する輝度データ
    を加算して得られる第１のB 工程と、 前記補間対象画素の残る色B に対する画素データB を該
    第１のB 工程により得られた、等距離に位置する画素デ
    ータの加算平均と該等距離に位置する輝度データの加算
    平均との差に前記補間対象画素の残る色B に対する輝度
    データを加算して得られる第２のB 工程と、 さらに補間対象画素の残る色B に対する画素データB を
    最近傍に位置する第１、第２の工程および実際に得られ
    た画素データB の加算平均と該加算平均に用いた画素に
    対応する輝度データの加算平均との差に前記補間対象画
    素の位置に対応する輝度データを加算して得られる第３
    のB 工程とを含むことを特徴とする信号処理方法。
  51. 【請求項５１】 請求項30に記載の方法において、前記
    広帯域化工程は、前記仮想画素補間工程から供給される
    画素データおよび輝度データを用いて前記画素データお
    よび輝度データの受光素子の位置におけるデータ欠如を
    補間する欠如データ補間工程と、 該欠如データ補間工程および前記仮想画素補間工程から
    それぞれ供給される前記画素データおよび前記輝度デー
    タを用いて、水平方向および／または垂直方向に正確な
    色再現重視、ならびに解像度の重視と各項目に応じた成
    分信号をそれぞれ生成する項目対応データ生成工程と、 該項目対応データ生成工程により生成した輝度データ、
    色差データを用いて三原色R, G, B を生成する三原色マ
    トリクス工程とを含むことを特徴とする信号処理方法。
  52. 【請求項５２】 請求項51に記載の方法において、前記
    項目対応データ生成工程は、前記受光素子のずらし配置
    に伴う受光素子からの画素データを基に水平方向および
    ／または垂直方向に正確な色再現を重視して演算処理を
    施す色再現重視工程と、 前記画素データを基に水平方向および／または垂直方向
    の解像度を重視して演算処理を施す解像度重視工程とを
    含むことを特徴とする信号処理方法。
  53. 【請求項５３】 請求項52に記載の方法において、前記
    項目対応データ生成工程は、色再現が考慮された成分信
    号と解像度を重視した成分信号を擬似周波数的に加算す
    る擬似加算処理工程と、 該画素データ生成工程で水平方向および垂直方向の両解
    像度を重視する際に共通する周波数帯の重複を防止する
    帯域重複防止工程とを含むことを特徴とする信号処理方
    法。
  54. 【請求項５４】 請求項53に記載の方法において、前記
    擬似加算処理工程は、前記画素データ生成工程で生成さ
    れた解像度が重視される周波数帯までの第１の成分信号
    から第１の成分信号の周波数帯よりも低域の色再現を考
    慮した第２の成分信号を減算する減算工程と、 該減算工程からの出力と第１の成分信号に対してそれぞ
    れ折り返し歪みを防ぐ処理を施す歪み防止工程と、 該歪み防止工程を経た各出力を加算する第２の加算工程
    とを含むことを特徴とする信号処理方法。
  55. 【請求項５５】 請求項53に記載の方法において、前記
    帯域重複防止工程は、水平方向および垂直方向の成分信
    号内のいずれか一方の成分信号の共通する周波数帯に対
    して帯域制限を施す帯域制限工程と、 該帯域制限工程で帯域制限された出力と前記共通した周
    波数帯を含む他方向の成分信号とを加算する加算処理工
    程とを含むことを特徴とする信号処理方法。
  56. 【請求項５６】 請求項31ないし40のいずれか一項に記
    載の方法において、第２の補間生成工程は、前記光学系
    により前記被写界像を少なくとも、前記受光素子が２次
    元配列された受光部で形成される２つの撮像面にそれぞ
    れ投影させ、 行方向と列方向で２次元配列に配置した受光素子が形成
    する撮像面の配設を一方の２次元配列された受光素子と
    他方の２次元配列された受光素子において対応する幾何
    学的な撮像面形状の中心が行方向および列方向に半ピッ
    チずつずれた関係にし、該受光素子に対応して該受光素
    子の前面に用意する補色または補色および色G に色分解
    するフィルタの色配列を介して該２つの撮像面に投影さ
    れた同一の被写界像を空間的に重ね合わせる工程により
    得られた画素データを用いることを特徴とする信号処理
    方法。
JP18717899A 1999-07-01 1999-07-01 固体撮像装置および信号処理方法 Expired - Fee Related JP4077120B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP18717899A JP4077120B2 (ja) 1999-07-01 1999-07-01 固体撮像装置および信号処理方法
US09/606,005 US6847397B1 (en) 1999-07-01 2000-06-29 Solid-state image sensor having pixels shifted and complementary-color filter and signal processing method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18717899A JP4077120B2 (ja) 1999-07-01 1999-07-01 固体撮像装置および信号処理方法

Publications (3)

Publication Number Publication Date
JP2001016597A true JP2001016597A (ja) 2001-01-19
JP2001016597A5 JP2001016597A5 (ja) 2005-06-23
JP4077120B2 JP4077120B2 (ja) 2008-04-16

Family

ID=16201481

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18717899A Expired - Fee Related JP4077120B2 (ja) 1999-07-01 1999-07-01 固体撮像装置および信号処理方法

Country Status (2)

Country Link
US (1) US6847397B1 (ja)
JP (1) JP4077120B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002085035A1 (fr) * 2001-04-11 2002-10-24 Nikon Corporation Dispositif d'imagerie a semiconducteur
WO2003101119A1 (fr) * 2002-05-24 2003-12-04 Nikon Corporation Procede de traitement d'images, programme de traitement d'images et processeur d'images
EP1377072A1 (en) * 2001-03-05 2004-01-02 Nikon Corporation Image processing device and image processing program
JP2006352466A (ja) * 2005-06-15 2006-12-28 Fujitsu Ltd 撮像装置
US7421091B2 (en) 2003-05-20 2008-09-02 Nissan Motor Co., Ltd. Image-capturing apparatus
JP2009100463A (ja) * 2007-09-28 2009-05-07 Fujifilm Corp 固体撮像素子及び撮像装置
JP2009524988A (ja) * 2006-01-27 2009-07-02 イーストマン コダック カンパニー 光感度が改善されたイメージ・センサー
JP2010512049A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー カラー画素およびパンクロマティック画素を有する画像の処理
JP2012070456A (ja) * 2012-01-10 2012-04-05 Sony Corp 画像処理装置および画像処理方法、撮像装置および撮像方法、プログラム、並びに、記録媒体
US8711452B2 (en) 2005-07-28 2014-04-29 Omnivision Technologies, Inc. Processing color and panchromatic pixels

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4195169B2 (ja) * 2000-03-14 2008-12-10 富士フイルム株式会社 固体撮像装置および信号処理方法
JP2003009166A (ja) * 2001-06-21 2003-01-10 Fuji Film Microdevices Co Ltd 撮像装置およびその駆動方法
EP1430281A1 (en) * 2001-09-11 2004-06-23 LumiLeds Lighting U.S., LLC Color photosensor
JP4135360B2 (ja) * 2001-12-25 2008-08-20 ソニー株式会社 固体撮像装置
US7688362B2 (en) * 2004-03-05 2010-03-30 Florida Atlantic University Single sensor processing to obtain high resolution color component signals
CN100521743C (zh) * 2004-11-30 2009-07-29 松下电器产业株式会社 图像处理方法、图像处理装置
CA2606895A1 (en) * 2005-05-13 2006-11-16 Olympus Medical Systems Corp. Biological observation apparatus
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US7978240B2 (en) * 2005-10-03 2011-07-12 Konica Minolta Photo Imaging, Inc. Enhancing image quality imaging unit and image sensor
JP4449936B2 (ja) * 2006-03-31 2010-04-14 ソニー株式会社 撮像装置、カメラシステムおよびその駆動方法
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
JP4548390B2 (ja) * 2006-06-16 2010-09-22 ソニー株式会社 撮像装置及び信号処理方法
JP2008078922A (ja) * 2006-09-20 2008-04-03 Toshiba Corp 固体撮像装置
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
JP4930109B2 (ja) * 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
KR101475464B1 (ko) 2008-05-09 2014-12-22 삼성전자 주식회사 적층형 이미지 센서
JP5640370B2 (ja) * 2009-12-18 2014-12-17 ソニー株式会社 画像処理装置，画像処理方法及び撮像装置
US8345132B2 (en) 2010-07-23 2013-01-01 Omnivision Technologies, Inc. Image sensor with dual element color filter array and three channel color output
US8830395B2 (en) * 2012-12-19 2014-09-09 Marvell World Trade Ltd. Systems and methods for adaptive scaling of digital images
US9692992B2 (en) * 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9667933B2 (en) * 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
KR20150120124A (ko) * 2014-04-17 2015-10-27 삼성전자주식회사 다이내믹 비전 센서 및 이를 포함하는 모션 인식 장치
US11889207B2 (en) * 2019-06-10 2024-01-30 Sony Semiconductor Solutions Corporation Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
US11570424B2 (en) * 2019-06-24 2023-01-31 Infineon Technologies Ag Time-of-flight image sensor resolution enhancement and increased data robustness using a binning module
CN115866423A (zh) * 2021-09-22 2023-03-28 华为技术有限公司 一种图像传感器、摄像头模组、电子设备及图像处理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5831688A (ja) 1981-08-19 1983-02-24 Hitachi Ltd 固体カラ−撮像装置
JPS5972283A (ja) 1982-10-19 1984-04-24 Nippon Kogaku Kk <Nikon> 電子スチルカメラの映像信号処理装置
US5347371A (en) * 1990-11-29 1994-09-13 Hitachi, Ltd. Video camera with extraction unit for extracting specific portion of video signal
US5347599A (en) * 1991-06-14 1994-09-13 Matsushita Electric Industrial Co., Ltd. Adaptive interpolation method and apparatus using correlation detection
US5448300A (en) * 1992-06-16 1995-09-05 Kabushiki Kaisha Toshiba Image signal processing apparatus for processing multiplex image signal formats
JPH06335006A (ja) * 1993-05-19 1994-12-02 Matsushita Electric Ind Co Ltd 固体撮像装置
JP3498249B2 (ja) 1994-07-11 2004-02-16 株式会社指月電機製作所 コンデンサ巻芯及びこれを用いたコンデンサ
JPH08340455A (ja) 1995-06-14 1996-12-24 Olympus Optical Co Ltd 画像信号処理装置
JP3519913B2 (ja) * 1997-06-10 2004-04-19 三洋電機株式会社 ディジタルスチルカメラ
US6563538B1 (en) * 1997-09-26 2003-05-13 Nikon Corporation Interpolation device, process and recording medium on which interpolation processing program is recorded
JP4212134B2 (ja) * 1997-12-25 2009-01-21 三洋電機株式会社 画像信号処理装置
US6404918B1 (en) * 1999-04-30 2002-06-11 Hewlett-Packard Company Image demosaicing method utilizing directional smoothing

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1377072A1 (en) * 2001-03-05 2004-01-02 Nikon Corporation Image processing device and image processing program
EP1377072A4 (en) * 2001-03-05 2006-09-13 Nikon Corp PROGRAM AND DEVICE FOR PROCESSING IMAGES
EP2056607A1 (en) * 2001-03-05 2009-05-06 Nikon Corporation Image processing apparatus and image processing program
WO2002085035A1 (fr) * 2001-04-11 2002-10-24 Nikon Corporation Dispositif d'imagerie a semiconducteur
WO2003101119A1 (fr) * 2002-05-24 2003-12-04 Nikon Corporation Procede de traitement d'images, programme de traitement d'images et processeur d'images
US7421091B2 (en) 2003-05-20 2008-09-02 Nissan Motor Co., Ltd. Image-capturing apparatus
JP2006352466A (ja) * 2005-06-15 2006-12-28 Fujitsu Ltd 撮像装置
US8711452B2 (en) 2005-07-28 2014-04-29 Omnivision Technologies, Inc. Processing color and panchromatic pixels
JP2009524988A (ja) * 2006-01-27 2009-07-02 イーストマン コダック カンパニー 光感度が改善されたイメージ・センサー
JP2010512049A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー カラー画素およびパンクロマティック画素を有する画像の処理
JP2009100463A (ja) * 2007-09-28 2009-05-07 Fujifilm Corp 固体撮像素子及び撮像装置
JP2012070456A (ja) * 2012-01-10 2012-04-05 Sony Corp 画像処理装置および画像処理方法、撮像装置および撮像方法、プログラム、並びに、記録媒体

Also Published As

Publication number Publication date
US6847397B1 (en) 2005-01-25
JP4077120B2 (ja) 2008-04-16

Similar Documents

Publication Publication Date Title
JP4077120B2 (ja) 固体撮像装置および信号処理方法
JP4195169B2 (ja) 固体撮像装置および信号処理方法
US7893976B2 (en) Light sensitivity in image sensors
JP3735867B2 (ja) 輝度信号生成装置
JP4372955B2 (ja) 固体撮像装置および信号処理方法
US6897425B2 (en) Method of processing an image signal with the result from decision on a correlation corrected
JP2004304706A (ja) 固体撮像装置およびその補間処理方法
JPH10336686A (ja) 撮像装置
JP4294810B2 (ja) 固体撮像装置および信号読出し方法
JP4607265B2 (ja) 固体撮像装置および信号処理方法
JP2001054127A (ja) 固体撮像装置および画素欠陥補償方法
US20060044428A1 (en) Image pickup device and signal processing method
JP2001036809A (ja) 固体撮像装置および画像処理方法
JP4934183B2 (ja) 画像信号処理方法
JP4243412B2 (ja) 固体撮像装置および信号処理方法
JPH06339146A (ja) テレビジョンカメラ
JP2004172859A (ja) 撮像装置および撮像方法
JP3905342B2 (ja) 固体撮像装置
JP4309505B2 (ja) 撮像素子及び撮像装置
JP4133179B2 (ja) 画像信号処理装置
JP2002209100A (ja) 画像処理装置および画像処理方法
JP4309506B2 (ja) 撮像素子及び撮像装置
JP2006262382A (ja) 画像処理装置
JP3613071B2 (ja) 撮像装置
JP4278893B2 (ja) 固体撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040929

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040929

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080131

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110208

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130208

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees