JP4372955B2 - 固体撮像装置および信号処理方法 - Google Patents
固体撮像装置および信号処理方法 Download PDFInfo
- Publication number
- JP4372955B2 JP4372955B2 JP2000101226A JP2000101226A JP4372955B2 JP 4372955 B2 JP4372955 B2 JP 4372955B2 JP 2000101226 A JP2000101226 A JP 2000101226A JP 2000101226 A JP2000101226 A JP 2000101226A JP 4372955 B2 JP4372955 B2 JP 4372955B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- color filter
- filter segment
- pixel
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 64
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000012545 processing Methods 0.000 claims description 124
- 238000000034 method Methods 0.000 claims description 59
- 238000001514 detection method Methods 0.000 claims description 45
- 230000000875 corresponding effect Effects 0.000 claims description 40
- 230000003595 spectral effect Effects 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 37
- 239000003086 colorant Substances 0.000 claims description 35
- 230000000295 complement effect Effects 0.000 claims description 26
- 238000000926 separation method Methods 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 230000002596 correlated effect Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims 1
- 238000012546 transfer Methods 0.000 description 20
- 230000006835 compression Effects 0.000 description 18
- 238000007906 compression Methods 0.000 description 18
- 230000014509 gene expression Effects 0.000 description 16
- 230000006837 decompression Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 11
- 230000035945 sensitivity Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000012805 post-processing Methods 0.000 description 9
- 238000012935 Averaging Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 102100036464 Activated RNA polymerase II transcriptional coactivator p15 Human genes 0.000 description 4
- 101000713904 Homo sapiens Activated RNA polymerase II transcriptional coactivator p15 Proteins 0.000 description 4
- 229910004444 SUB1 Inorganic materials 0.000 description 4
- 229910004438 SUB2 Inorganic materials 0.000 description 4
- 101100311330 Schizosaccharomyces pombe (strain 972 / ATCC 24843) uap56 gene Proteins 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 101150018444 sub2 gene Proteins 0.000 description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 101100096719 Arabidopsis thaliana SSL2 gene Proteins 0.000 description 2
- 101100366560 Panax ginseng SS10 gene Proteins 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101100366707 Arabidopsis thaliana SSL11 gene Proteins 0.000 description 1
- 101100366562 Panax ginseng SS12 gene Proteins 0.000 description 1
- 101000662518 Solanum tuberosum Sucrose synthase Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14645—Colour imagers
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Color Television Image Signal Generators (AREA)
- Solid State Image Pick-Up Elements (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、固体撮像装置および信号処理方法に関し、特に、この固体撮像装置をディジタルカメラ、画像入力装置、画像処理装置等に適用して好適なものである。また、固体撮像素子は、ディジタルカメラ、画像入力装置、画像処理装置等の画像入力部に適用して好適なものである。さらに、色フィルタの各色フィルタセグメントの配置を考慮しながら行う信号処理、画像処理等に用いて好適なものである。
【０００２】
【従来の技術】
光電変換する受光素子（または画素）を２次元に、かつある受光素子に隣接する受光素子を水平および垂直方向の画素ピッチの半分ずらした位置に配する、いわゆるハニカム状配置の受光部を用いたインターレース型の固体撮像装置が提案されている。画素配列は、奇数行と偶数行が行方向に半分ずれ、奇数列と偶数列が列方向に半分ずれている。また、画素の形状は四角形、六角形、八角形等の多角形であり、周囲の垂直転送路がこの画素を迂回するように蛇行形成されている。受光素子で得られた信号電荷は、たとえば４相駆動により垂直方向に転送される。水平転送路は、垂直転送路から供給される信号電荷を、たとえば、２相駆動で水平転送させている。
【０００３】
固体撮像素子には、カラー表示させるために色フィルタセグメントを所定の配置パターンに配した色フィルタが一体的に受光素子の位置に対応して配設されている。たとえば、三原色RGB を用いたベイヤ配列を45°傾けた位置関係に各色フィルタセグメントが配されている。
【０００４】
このような固体撮像素子は、直接三原色の色信号が出力信号として得られるため、色信号のS/N が良好で、色再現性に優れているという利点がある。しかし、原色カラーフィルタは入射する白色光に対しておよそ1/3 の波長成分を透過するのみであり、入射光の利用効率が非常に悪い。そのため、感度や解像度が低下するという欠点がある。
【０００５】
【発明が解決しようとする課題】
ところで、上述した解像度低下の改善策として、行方向および列方向に画素データの相関を利用して輝度データを補間する方法を用いている。また、もう一つの改善策として入射光の利用効率を高めるため一般的によく知られている方法として補色の色フィルタセグメントを用いる方法がある。補色の色フィルタセグメントの入射光利用効率は、原色の色フィルタセグメントに比べてほぼ倍である。
【０００６】
ところが、このように改善策として、補色の色フィルタセグメントを用いて輝度データの補間を行った場合、相関を利用し補間して算出した高周波成分を含む輝度データ（以下、高周波輝度データYHという）は、被写体に色変化がないとしても三原色RGB で表すと、算出する位置によって含む色成分が異なって表される。すなわち、相関の存在する方向に、結果的に縞状雑音が発生する。この発生を抑圧するため、高周波輝度データYHに対して相関のある方向にローパスフィルタ処理を施す。解像度を高めながら、抑圧処理を施すことにより解像度の向上が相殺されることになる。
【０００７】
本発明はこのような従来技術の欠点を解消し、感度を高く、かつ解像度の向上効果を維持できる固体撮像装置および信号処理方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は上述の課題を解決するために、入射光を遮光する遮光部材の開口部に対応した位置で該入射光を色分解し、この色分解した入射光を光電変換して撮像し、この撮像により得られた信号に信号処理を施して広帯域な信号にする固体撮像装置において、この装置は、開口部からの入射光を異なる分光特性の複数の色に色分解する色フィルタセグメントのうちに、少なくとも分光特性が補色系の色フィルタセグメントを含む色分解手段、この色分解手段から補色系の色を含む色フィルタセグメントを通った入射光を光電変換する受光素子とこの受光素子に隣接した受光素子とが互いに垂直方向および／または水平方向にずらされて２次元配置された受光部、およびこの受光部の受光素子で光電変換されて蓄積された信号電荷を所定の順序で順次読み出し、外部の出力信号として出力する読出し手段を含む固体撮像素子と、この固体撮像素子から供給される信号をディジタル変換して画素データにするディジタル変換手段と、受光素子の実在する位置から得られる画素を実在画素とし、受光素子の中間の位置の画素を仮想画素とし、このディジタル変換した画素データを用いて水平および／または垂直方向の相関検出を行い、この画素データに対して色フィルタセグメントの色に応じた複数の所定の定数をそれぞれ乗算して補正した画素データを生成し、得られた相関検出結果に基づいてこの補正した画素データから受光素子の位置および仮想画素の領域での高域成分を含む高周波輝度データならびにディジタル変換した画素データから三原色の原色データをそれぞれ求めるとともに、これらの各種の画素データから輝度および色差に関するデータを生成する信号処理手段とを含み、色分解手段は、第１の色フィルタセグメントおよび第２の色フィルタセグメントの第１の組、第３の色フィルタセグメントおよび第４の色フィルタセグメントの第２の組の各組が、それぞれの同一行内に配され、第１の組に隣接する第２の組の色フィルタセグメントが第１の組の色フィルタセグメントと互いに画素ピッチの半分ずれた位置関係にあって、第１の組の色フィルタセグメントの分光特性に、それぞれ第１の定数と第２の定数を乗算した積の第１の和が、第２の組の色フィルタセグメントの分光特性に、第３の定数と第４の定数を乗算した積の第２の和とほぼ等しく、かつ得られた第１および第２の和が輝度を示す分光特性に近い関係になる色フィルタ配置を有することを特徴とする。
【０００９】
本発明の固体撮像装置は、固体撮像素子から読み出された画素データを信号処理手段での信号処理において、水平方向または垂直方向に相関がある実在画素または仮想画素における高周波輝度データを相関がある方向の補正した画素データから生成することにより解像度の向上を図る。さらに、第１の和と第２の和はほぼ同じ分光特性になる色フィルタ配置にしていることから垂直方向または水平方向に隣接する高周波輝度データに変動がなく、再生画面上で縞状の雑音が現れない。この結果、縞状雑音防止用のローパスフィルタが不要となり、解像度劣化が避けられる。また、色分解手段に補色フィルタを含むため原色フィルタ配列の固体撮像素子に比較して入射光の利用効率が上がり、感度がおよそ２倍に向上する。
【００１０】
また、本発明は上述の課題を解決するために、入射光を遮光する遮光部材の開口部に対応した位置でこの入射光を色分解し、この色分解した入射光を光電変換する固体撮像素子において、この素子は、開口部からの入射光を異なる分光特性の複数の色に色分解する色フィルタセグメントうちに、少なくとも分光特性が補色系の色フィルタセグメントを含む色分解手段、この色分解手段から補色系の色を含む色フィルタセグメントを通った入射光を光電変換する受光素子とこの受光素子に隣接した受光素子とが互いに垂直方向および／または水平方向にずらされて２次元配置された受光部、およびこの受光部の受光素子に光電変換されて蓄積された信号電荷を所定の順序で順次読み出し、外部の出力信号として出力する読出し手段を含み、色分解手段は、第１の色フィルタセグメントおよび第２の色フィルタセグメントの第１の組、第３の色フィルタセグメントおよび第４の色フィルタセグメントの第２の組の各組が、それぞれの同一行内に配され、第１の組に隣接する第２の組の色フィルタセグメントが第１の組の色フィルタセグメントと互いに画素ピッチの半分ずれた位置関係にあって、第１の組の色フィルタセグメントの分光特性に、それぞれ第１の定数と第２の定数を乗算した積の第１の和が、第２の組の色フィルタセグメントの分光特性に、第３の定数と第４の定数を乗算した積の第２の和とほぼ等しく、かつ得られた第１および第２の和が輝度を示す分光特性に近い関係になる色フィルタ配置を有することを特徴とする。
【００１１】
本発明の固体撮像素子は、それぞれ得られる第１の和と第２の和がほぼ同じになる位置関係に色フィルタセグメントが配された色分解手段で色分解した入射光を受光部で光電変換により得られた信号電荷を読出し手段を介して読み出して、後段における信号処理において色フィルタセグメントの色に応じた複数の所定の定数をそれぞれ乗算して補正を行って水平方向または垂直方向の相関のある方向の補正した値を用いて高域成分を含む高周波輝度データを生成することにより縞状雑音のない高周波輝度データにする。これにより最適な場合、縞状雑音防止用のローパスを不要にし、解像度の向上を維持できる。
【００１２】
さらに、本発明は上述の課題を解決するために、入射光を遮光する遮光部材の開口部に対応し、かつ第１の色フィルタセグメントおよび第２の色フィルタセグメントの第１の組、第３の色フィルタセグメントおよび第４の色フィルタセグメントの第２の組の各組が、それぞれの同一行内に配され、第１の組に隣接する第２の組の色フィルタセグメントが第１の組の色フィルタセグメントと互いに画素ピッチの半分ずれた位置関係に配された固体撮像素子を用いて、この固体撮像素子に入射する光を色分解する第１の工程と、この色分解した入射光を各色フィルタセグメント直下に配した受光素子で信号電荷に光電変換する第２の工程と、読み出す信号電荷をアナログ信号として読み出し、このアナログ信号にディジタル信号処理を施す前のアナログ処理を施す第３の工程と、このアナログ信号にディジタル処理を施してディジタル信号に変換する第４の工程と、得られたディジタル信号を画素データとしてあらかじめ用意した複数回読み出せるメモリ手段に格納させる第５の工程と、メモリ手段から読み出した画素データを用いて水平および／または垂直方向の相関検出を行う第６の工程と、画素データのそれぞれと配置した色フィルタセグメントの位置に応じた複数の所定の定数とを乗算して補正した画素データを生成するとともに、この相関検出結果に応じた方向の考慮された演算処理をこの補正した画素データで行って高域成分を含む高周波輝度データを生成する第７の工程と、メモリ手段から読み出した画素データを用いて三原色の原色データを生成する第８の工程と、高周波輝度データおよび三原色の各原色データを用いて輝度データおよび色差データの生成を行う第９の工程とを含み、第７の工程は、第１の色フィルタセグメントに対応して得られる信号に第１の定数を乗算し、第２の色フィルタセグメントに対応して得られる信号に第２の定数を乗算し、それぞれ得られる積の和を第１の和とし、第３の色フィルタセグメントに対応して得られる信号に第３の定数を乗算し、第４の色フィルタセグメントに対応して得られる信号に第４の定数を乗算し、それぞれ得られる積の和を第２の和とし、第１および第２の定数ならびに第３および第４の定数は、それぞれ第１の和と第２の和とがほぼ同程度の範囲内の値になる定数をそれぞれ用いることを特徴とする。
【００１３】
本発明の信号処理方法は、入射光を配置した第１ないし第４の色フィルタセグメントで色分解させて、受光素子から読み出して得られた信号にアナログ処理、ディジタル変換処理を施し、得られた画素データを用いて相関検出を行うとともに、相関検出の結果に応じた高域成分を含む高周波輝度データの生成にディジタル変換処理により得られる画素データに位置対応の第１から第４の定数をそれぞれ乗算して補正した画素データを用いて生成することにより、相関に依存しない高周波輝度データの変動が極めて少なく、これにともなって縞状雑音が発生しないので、最良の場合、ローパスフィルタ処理を行わず、解像度を高く維持できる。
【００１４】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の実施例を詳細に説明する。
【００１５】
本発明の固体撮像装置は、固体撮像素子から読み出された画素データを信号処理手段での信号処理において、水平方向または垂直方向に相関がある実在画素または仮想画素における高周波輝度データを相関がある方向の補正した画素データを用いて生成して解像度の向上を図り、第１の和と第２の和はほぼ同じ分光特性になる色フィルタ配置にしていることから垂直方向または水平方向に隣接する高周波輝度データに変動がなく、再生画面上で縞状の雑音が現れないので、縞状雑音防止用のローパスフィルタが不要となり、解像度劣化が避けられ、色分解手段に補色フィルタを含むため原色フィルタ配列の固体撮像素子に比較して入射光の利用効率が上がり、感度がおよそ２倍に向上することに特徴がある。
【００１６】
本発明を適用した実施例のディジタルスチルカメラ10の構成を図１に示す。また、本発明と直接関係のない部分について図示および説明を省略する。ここで、信号の参照符号はその現れる接続線の参照番号で表す。
【００１７】
図１のディジタルスチルカメラ10には、光学レンズ系12、操作部14、システム制御部18、タイミング信号発生部20、ドライバ部22、メカニカルシャッタ24、固体撮像素子26、アナログ処理部28、A/D 変換部30、信号処理部32、圧縮／伸張部34、記録再生部36、およびモニタ38が備えられている。これら各部を順次説明する。光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系12には、図示しないが、これら光学レンズの配置する位置を調節して画面の画角を操作部14からの操作信号14a に応じて調節するズーム機構や被写体とカメラ10との距離に応じてピント調節する、AF（Automatic Focus ：自動焦点）調節機構が含まれている。操作信号14a は、システムバス16を介してシステム制御部18に供給される。光学レンズ系12には、システム制御部18からの制御信号18a が信号線16a を介して供給される。
【００１８】
操作部14には、図示しないシャッタスイッチやたとえばモニタ画面に表示される項目を選択するカーソル選択機能等が備えられている。操作部14で選択された操作は操作信号14a によりシステム制御部18に報知される。
【００１９】
システム制御部18は、たとえば CPU（Central Processing Unit ：中央演算処理装置）を有する。システム制御部18には、ディジタルスチルカメラ10の動作手順が書き込まれた ROM（Read Only Memory：読み出し専用メモリ）がある。システム制御部18は、たとえば、ユーザの操作に伴って操作部14から供給される情報14a とこの ROMの情報を用いて各部の動作を制御する制御信号18a を生成する。システム制御部18は、生成した制御信号18a をシステムバス16を介してタイミング信号発生部20、光学レンズ系12、メカニカルシャッタ24、信号処理部32、圧縮／伸張部34、記録再生部36およびモニタ38にも供給する。
【００２０】
タイミング信号発生部20は、システムクロック20a を生成する発振器（図示せず）が含まれている。このシステムクロック20a は図示しないがシステム制御部18、信号処理部32等のシステムクロックを必要とするほとんどすべてのブロックに供給されている。
【００２１】
また、タイミング信号発生部20は、制御信号18a に基づいて各部を動作させるタイミング信号20b を生成する回路を含む。タイミング信号発生部20は、生成したタイミング信号20b を図１に示すように各部に出力するとともに、ドライバ部22にも供給する。ドライバ部22は、所望の駆動パルス22a を固体撮像素子26に供給する。
【００２２】
メカニカルシャッタ24は、操作部14のシャッタスイッチに応じてシステム制御部18から制御信号18a が信号線16a を介して供給されることにより制御される。固体撮像素子26は色フィルタ26a が一体的に設けられた単板カラーCCD (Charge Coupled Device）センサである。これは、光学レンズ系12で結像された光学像が受光部26b の各受光素子に到達した光量に応じた出力信号27を出力する。この固体撮像素子26については後段でさらに詳述する。撮像素子には、CCD （Charge Coupled Device:電荷結合素子）や後段で示すMOS （Metal Oxide Semiconductor:金属酸化型半導体）タイプの固体撮像デバイスが適用される。固体撮像素子26では、供給される駆動信号22a に応じて光電変換によって得られた信号電荷を所定のタイミングとして、たとえば、垂直ブランキング期間にフィールドシフトにより垂直転送路に読み出され、この垂直転送路をラインシフトした信号電荷が水平転送路に供給され、この水平転送路を経た信号電荷が図示しない出力回路による電流／電圧変換によってアナログ電圧信号27にされ、アナログ処理部28に出力される。固体撮像素子26は、CCD タイプでは信号電荷の読出しモードに応じて画素混合した間引き読出しや全画素読出しを用いる。これらの信号読出し方式についてはさらに後段で詳述する。
【００２３】
アナログ処理部28は、ノイズ成分を除去してアナログ出力信号29をA/D 変換部30に送る。A/D 変換部30は、供給されるアナログ信号29の信号レベルを所定の量子化レベルにより量子化してディジタル信号31に変換するA/D 変換器を有する。A/D 変換部30は、タイミング信号発生部20から供給される変換クロック等のタイミング信号20b により変換したディジタル信号31を信号処理部32に出力する。
【００２４】
信号処理部32には、フレームメモリ部32a 、補間処理部32b および輝度・色差信号処理部32c が含まれる。さらに、フレームメモリ部32a には、図２に示すようにフレームメモリ40および前処理部42が含まれている。画像データ31がフレームメモリ40に供給され、フレームメモリ40に記憶される。フレームメモリ40は、読み出す領域をずらしながら繰り返して画素データを読み出すことから、非破壊型のメモリを用いると有利である。また、フレームメモリ40には、システム制御部18からの制御信号18a に含まれる書込み／読出しイネーブル信号、クロック信号等の制御に関わる信号をまとめた制御信号180 が供給されている。
【００２５】
フレームメモリ部32a は、記憶した画像データを所定の順序で画像データ44としてそのまま出力してもよい。また、必要に応じて前処理部42で処理した結果を画像データ44として出力してもよい。前処理部42の処理として、たとえば、各色フィルタに対応した画像データのレベルを後段の信号処理に適したレベルに合わせるため各色フィルタごとにゲイン調整する。また、消費電力や回路規模を小さくするためガンマ補正を施して信号処理のビット数を低減すること等も行われる。
【００２６】
補間処理部32b は、本実施例では図３に示すように、供給される受光素子から得られる補色を含む画素データを用いて受光素子の実在する実在画素および実在画素の中間に位置する仮想画素において高域成分を含む高周波輝度データYHおよび三原色データを補間生成する機能を有する。補間処理部32b には、図３に示すように、相関検出部50、YH生成部52、およびRGB 生成部54が含まれている。相関検出部50には、相関の有無を検出するとともに、相関がある場合、さらに相関方向が水平および垂直方向のいずれにあるかを検出する機能がある。相関検出部50は、後段で詳述する手順に従って相関検出を行い、この結果を相関検出信号56をYH生成部52に出力する。
【００２７】
YH生成部52には、図４に示すように、無相関YH生成部60、水平YH生成部62、垂直YH生成部64、YH選択スイッチ66、およびYH後処理部68がある。無相関YH生成部60、水平YH生成部62および垂直YH生成部64は、それぞれ、供給される画素データ44を用いて実在画素または仮想画素の高周波輝度データYHの生成が行われる。本実施例では、相関がない場合、水平方向に相関がある場合、垂直方向に相関がある場合に応じて仮想画素の高周波輝度データYHを生成している。生成した高周波輝度データYHは、それぞれYH選択スイッチ66の端子a, b, c にそれぞれ供給される。
【００２８】
YH選択スイッチ66には、相関検出部60からの相関検出信号56が供給されている。YH選択スイッチ66は、信号56により端子a, b, c のいずれか一つの端子を選択する。この選択により、相関検出信号56に対応した高周波輝度データYHが選択される。YH選択スイッチ66を介して選択された高周波輝度データYHがYH後処理部68に供給される。
【００２９】
YH後処理部68には、YH選択スイッチ66により選択された高周波輝度データYHを合成するとともに、たとえばローパスフィルタ処理やハイパスフィルタを用いたエッジ強調処理等を行うことにより高画質を実現させる高周波輝度データYHを生成する機能がある。YH後処理部68は生成した高周波輝度データYH (70）を輝度・色差信号処理部36c の輝度データ生成部80に出力する。
【００３０】
そして、図３に戻って、RGB 生成部54は、補色を含む画素データから仮想画素および実在画素における三原色データRGB を求めるとともに、低周波成分を含む低周波輝度データYL (72）も生成する機能を有する。さらに、RGB 生成部54は、ホワイトバランスやガンマ補正も行う。具体的な構成を図示しないが、仮想画素および実在画素における三原色の画素データ、すなわちR データ74、G データ76、B データ78および低周波輝度データYL (72）を生成し、輝度・色差信号処理部36c の色差データ生成部82に出力する。本実施例では、まず仮想画素の位置における三原色を実画素の画素データから生成し、得られた仮想画素の位置の画素データを用いて実画素の位置における三原色の画素データを生成する。
【００３１】
輝度・色差信号処理部36c には、輝度データ生成部80および色差データ生成部82が含まれている。輝度データ生成部80は、それぞれ、供給される高周波輝度データYHおよび低周波輝度データYLを用いて擬似的な周波数加算を行って、新たに広帯域な輝度データY を生成する機能を有する（Yh・Ylow 法）。輝度データ生成部80は、Yh・Ylow 法により低周波輝度データYLから高周波輝度データYHを減算した信号にローパスフィルタ処理を経て図5(A)に示す信号(YL −YH)lowを生成する。輝度データ生成部80は、信号(YL −YH)lowと図5(B)に示す高周波輝度データYHとを加算して図5(C)の信号(YL −YH)low＋YHを生成する。輝度データ生成部80は、このように広帯域化された信号を輝度データY として圧縮／伸張部34に出力する。
【００３２】
なお、図示していないが、YH生成部52は、高周波輝度データYH (70）を色差データ生成部82に供給してもよい。
【００３３】
色差データ生成部82は、２つの色差データ（RY), (BY）を生成する機能を有する。このとき、輝度データY として供給されているYLを用いる。また、前述したようにYHが供給されているとき、この輝度データを用いてもよい。色差データ生成部82は、生成した色差データCr, Cbを圧縮／伸張部34に出力する。
【００３４】
図１に戻って圧縮／伸張部34は、輝度・色差信号処理部36c から供給された１フレーム分の輝度データと色差データを一時的に記憶するフレームメモリと、たとえば、直交変換を用いたJPEG（Joint Photographic Experts Group）規格での圧縮を施す回路と、この圧縮した画像を再び元のデータに伸張する回路とを有する。ここで、フレームメモリは、信号処理部32のフレームメモリ32a と兼用してもよい。圧縮／伸張部34は、システム制御部18の制御により記録時には圧縮したデータをシステムバス16を介して記録再生部36に供給する。圧縮／伸張部34は、図３のRGB 生成部54から供給されるデータをシステム制御部18の制御によりスルーさせてシステムバス16に供給したり、または輝度・色差信号処理部82からの信号をシステムバス16を介してモニタ38に供給することもできる。圧縮／伸張部34が伸張処理を行う場合、逆に記録再生部36から読み出したデータをシステムバス16を介して圧縮／伸張部34に取り込んで処理する。ここで処理されたデータはフレームメモリに記憶された後、システム制御部18の制御により圧縮／伸張部34は、所要の順序でフレームメモリのデータを読み出し、モニタ38に供給して表示させる。
【００３５】
記録再生部36は、記録媒体に記録する記録処理部と、記録媒体から記録した画像データを読み出す再生処理部とを含む（ともに図示せず）。記録媒体には、たとえば、いわゆる、スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部とともに、この画像データを書き込むヘッドがある。モニタ38は、システム制御部18の制御に応じてシステムバス16を介して供給される輝度データおよび色差データまたは三原色RGB のデータを画面の大きさを考慮するとともに、タイミング調整して表示する機能を有する。
【００３６】
これまでの説明は、静止画の撮像時の処理について述べたが、シャッタスイッチが押される前に、撮像した動画をモニタ38に表示する動作を行う場合もある。この場合の動画表示の処理は、図１の処理をそのまま行い、圧縮／伸張部34の圧縮処理を行わずにモニタ38で動画表示してよい。しかし、百万画素を越える固体撮像素子を用いている場合、処理時間が長くなり、コマ落とし動画となるため、動画画質として問題となる。
【００３７】
そこで、受光素子配列の一部の信号電荷を読み出す、いわゆる間引き動作で固体撮像素子を動作させて、図１に図示していないがA/D 変換されたディジタル画素データを動画用の処理部で静止画と独立に処理して、モニタ表示してもよい。
【００３８】
次にディジタルカメラ10の動作手順を説明する前に、固体撮像素子26について説明する。固体撮像素子26は、図６に示すように、たとえばインターレース型で同一行、または同一列の画素間隔、すなわち画素ピッチをPPとすると、ある一つの受光素子90に対して互いに隣接した受光素子90が、水平および垂直方向に画素ずらしした位置に配されている。隣接する受光素子90は、受光素子90と異なる行または異なる列に配されるとともに、画素のずれが画素ピッチPPの半分になっている。本実施例の受光素子90はアパーチャ形状を菱形に限らず、四角形や六角形や八角形等の多角形であればよい。また、受光素子90を覆う色フィルタセグメントは、たとえば四角形や六角形や八角形等の多角形に形成されている。
【００３９】
垂直CCD レジスタ92は、破線で示すように受光素子90の形状に応じて受光素子90を囲むように形成されている複数の転送電極94から成っている。矢印96で示す部分の各受光素子90と垂直CCD レジスタ92との間には、図示しないトランスファゲートが転送電極94と一体で形成されている。トランスファゲートは、ゲート「閉」の状態で受光素子90が入射光を光電変換して得た信号電荷を受光素子90内に蓄積させ、所定のタイミングおよび所定の期間にゲート「開」の状態にすることによって蓄積した信号電荷を垂直CCD レジスタ92に読み出す機能を有している。
【００４０】
固体撮像素子26には、電極端子98〜104 が配設されている。このうち、電極端子98〜104 には、それぞれ、垂直駆動信号φV1〜φV4が供給されている。また、電極端子106, 108には、それぞれ、水平駆動信号φH1, φH2が供給されている。電極端子98〜104 は、それぞれ、トランスファゲートのオン／オフおよび信号電荷の垂直転送を行うため、４つの転送電極94ごとに結線している。このことからも明らかなように、垂直転送は４相駆動で行われる。垂直転送された信号電荷は水平CCD レジスタ110 に供給される。
【００４１】
水平CCD レジスタ110 では、電極端子106, 108を介して供給される水平駆動信号φH1, φH2により２相駆動が行われる。
【００４２】
簡単に駆動を説明する。受光素子90が２次元に配設されているうち、最下段に位置するラインを第１ラインとし、上段に向かって１段ずつ歩進してラインを表す。各電極からの信号線は水平に配線されている。第１フィールドの垂直ブランキング期間に電極端子98, 100 をＬレベルにし、かつ電極端子102, 104をＨレベルにした後、このＨレベルより高いトランスファゲートパルスVRを電極端子102 に印加する。この印加により、第１、第２、第５および第６ラインの受光素子90から信号電荷が垂直CCD レジスタ92に読み出される。読み出した信号電荷は、垂直ブランキング期間の終了後、水平ブランキング期間に垂直転送により順次水平CCD レジスタ110 に向かって移送される。
【００４３】
さらに有効信号期間中に最初、第１および第２ラインの信号電荷は水平CCD レジスタ110 から供給される水平駆動信号（φH1, φH2）の２相駆動により出力部112 を介して水平転送し、出力される。これにより第１および第２ラインの信号電荷が画素信号として交互に出力される。その後、第５および第６ラインの信号電荷も出力される。
【００４４】
第２フィールドの垂直ブランキング期間に電極端子98, 100 をＨレベルにし、かつ電極端子102, 104をＬレベルにした後、このＨレベルより高いトランスファゲートパルスVRを電極端子98に印加する。この印加により、第３、第４、第７および第８ラインの受光素子90から信号電荷が垂直CCD レジスタ92に読み出される。読み出された信号電荷は、垂直転送、水平転送を順次受けて出力部112 を介して出力される。読み出される順序は第３および第４ラインが交互に読み出され、その後、第７および第８ラインが読み出される。このようにして固体撮像素子26はインターライン走査を行って出力信号27を出力している。
【００４５】
１フレームの画像を得る際に連続２フィールドの画像をディジタル変換してフレームメモリに蓄積する。また、フィールドごとに露光時刻が１フィールド分ずれることを防ぐため、メカニカルシャッタ24を利用するとよい。すなわち、メカニカルシャッタ24は、たとえば、第１フィールドのブランキング期間から次の第２フィールドのブランキング期間まで閉じて受光素子90に対して遮光する。これにより、同一時刻に露光した画像が得られる。さらに、第１フィールドのブランキング期間以降、メカニカルシャッタ24を閉じておくと、出力信号27に対するスミアを抑制することができる。
【００４６】
また、固体撮像素子26は、解像度の点に着目してみると、一般的に用いられる正方格子状の場合に比べて、ハニカム形状の場合の配置では、画素ピッチPPをそれぞれN(μm)の正方格子状に配置した受光素子がそれぞれ45°回転させた場合の配置にある。ハニカム形状の配置、すなわち画素の半ピッチずれを有する配置では、正方格子状の配置における水平／垂直方向の隣接画素間距離｜PP｜= N(μm)を基準に検討すると、隣接画素間距離がN*(2)-1/2 と隣接画素間距離｜PP｜＝N より短くなる。したがって、ハニカム形状の配置は、正方格子状の配置よりも画素が稠密に配置されるので、原理的に水平・垂直方向の解像度を(2)1/2倍に向上させることができる。また、ハニカム形状の配置から出力形態に見合う正方格子状の配置に展開する場合、仮想画素は、隣接する実在する画素に基づいて信号処理部32で補間処理が行われる。この補間処理を行いながらまだ得られていない色および輝度の画素等を補間展開すると、解像度は、単に正方格子状に受光素子90を配置したときより高くできる。
【００４７】
本実施例では前述したように色フィルタ26a に補色の色フィルタセグメントを用いている。この色フィルタ26a を用いる特徴について簡単に説明する。現在、解像度を高めるため画素数を増やすことにより個々の受光素子の受光面積が狭くなってきている。これにより、受光素子の感度低下が生じ、得られる画像がノイズを含んだ画質になってしまう。チップサイズの小型化を図っても撮像の感度特性を保つために入射光を有効に用いることが検討される。入射光の有効利用の一要素は、色分解の効率を高めることにある。色分解は色フィルタにより行われる。色再現性の良好なフィルタとして三原色RGB の色フィルタセグメントが用いられているが、感度が低いという欠点がある。これに対して、三原色RGB の色フィルタセグメントを用いた場合に比べて補色の色フィルタセグメントは、およそ２倍の光を透過することが知られている（図７を参照）。図７の太い破線120 はシアン(Cy)、細い破線122 は黄色(Ye)、一点鎖線124 は緑（G)、実線126 はマゼンタ(Mg)である。原色の緑（G)に比べて、補色の色フィルタセグメント(Cy), (Ye), (Mg)は、相対感度がそれぞれ同程度でありながら、透過する波長域がほぼ２倍程度と広い。これにより、補色系の色フィルタはほぼ原色の光利用効率の倍程度と高いことが理解できる。
【００４８】
そこで、これまでに正方格子画素配列の固体撮像素子で用いられてきている色フィルタセグメントの配置パターンで撮像した場合を考える（図８を参照）。ここで、色は文字記号で表し、この記号の添字は位置を表す行列表示である。また、実線は受光素子の配設を示し、これを実在画素と呼ぶ。一方、破線は受光素子を持たず、周囲の受光素子の画素データを用いた補間処理によって得られる画素で、仮想画素と呼ぶ。
【００４９】
次に高周波輝度データYHを得る処理について説明する。高周波輝度データYHは最終的に得られる輝度データY とことなり、この輝度データに対して途中段階の輝度信号である。高周波輝度データYHは、無相関では近似的に周囲の４つの画素データの和に相当している。受光素子からの寄与をすべての画素でほぼ等しいものにするため、色G に対応する受光素子90から得られる信号には２倍にする係数を付ける。
【００５０】
たとえば、図８に示す配置パターンの場合、仮想画素(2,1) の高周波輝度データYH21は、式(1)
【００５１】
【数１】
YH21＝(2G20 ＋Cy22＋Mg11＋Ye31 )/2 ・・・(1)
となる。
【００５２】
また、垂直（または列）方向に相関がある場合、垂直方向に位置する２つの画素データの和で求める。仮想画素(2,1) および(1,2）の高周波輝度データYH21, YH12は、ともに垂直相関がある場合、それぞれ、式(2a)および式(2b)
【００５３】
【数２】
YH21＝Mg11＋Ye31 ・・・(2a)
YH12＝2G11＋Cy22 ・・・(2b)
となる。補色を原色成分を用いて表すと、各色はそれぞれ近似的に、式(3a)〜式(3c)
【００５４】
【数３】
Cy＝G ＋B ・・・(3a)
Ye＝R ＋G ・・・(3b)
Mg＝R ＋B ・・・(3c)
の関係にある。ここで、被写体の色の変化が小さい、すなわち三原色RGB の個々の成分変化が小さいと仮定して、高周波輝度データYHを原色成分に着目して表現すると、式(4a)、式(4b)および式(4c)は、
【００５５】
【数４】
YH21＝(2G20 ＋Cy22＋Mg11＋Ye31 )/2
＝(2G ＋G ＋B ＋R ＋B ＋R ＋G)/2
＝2G＋R ＋B ・・・(4a)
YH21＝Mg11＋Ye31
＝R ＋B ＋R ＋G
＝G ＋2R＋B ・・・(4b)
YH12＝2G02＋Cy22
＝2G＋G ＋B
＝3G＋B ・・・(4c)
となる。
【００５６】
ところで、垂直相関があり、ほぼ同じような位置にありながら、式(4b)と式(4c)の値は異なっている。また、無相関と垂直相関に応じた高周波輝度データYHの算出においても異なっている。これは、垂直相関に対応して求めた仮想画素の位置における高周波輝度データYHにより列方向に縞状の雑音が発生することを意味する。このような縞状雑音は画質低下を引き起こす要素であるから、この縞状雑音を除去するために垂直方向にLPF 処理が施される。
【００５７】
この結果、相関に応じた高周波輝度データYHを生成しても垂直方向のLPF 処理により解像度向上の効果が相殺されてしまう。この場合と同様に、水平方向の相関処理を行う場合でもこの効果の相殺が見られる。
【００５８】
このような縞状雑音の発生を防止するように、本実施例のディジタルカメラ10の固体撮像素子26には、補色の色フィルタセグメントの配置パターンおよびこれら色フィルタセグメントの分光特性を考慮した色フィルタ26a が配設されている（図9(A)、図9(B)の配置パターンおよび図10の分光特性をそれぞれ参照）。
【００５９】
色フィルタ配列は、たとえば、図9(A)に示すように、第１の色フィルタセグメントの色を緑(G) 、第２の色フィルタセグメントの色をマゼンタ(Mg)、第３の色フィルタセグメントの色を黄色(Ye)、および第４の色フィルタセグメントの色をシアン(Cy)とし、さらに隣接する各色１個の色フィルタセグメントから成る配列を基本単位として水平方向または垂直方向に対して45度の角度の方向に併進的に、かつ２次元的に敷き詰めたものである。より具体的に説明すると、色フィルタセグメントを正方格子状に配した場合、各正方格子の対角に位置する色フィルタセグメントの色を同色にするパターンである。すなわち色G と色Mgを正方格子状に配したパターンとこのパターンの中心に黄色Yeを配しもう一つの色をシアンCyにした西方格子状のパターンとを組み合わせている。また、第３と第４の色フィルタセグメントを入れ換えたパターンでもよい（図9(B)を参照）。
【００６０】
色フィルタセグメント(G) および(Mg)を第１の組とし、各色フィルタセグメントの分光特性に応じて実際に得られる信号に、それぞれ２と１の定数を乗算する。また、色フィルタセグメント（Ye) および（Cy) を第２の組に対しても、ともに１の定数を乗算する。この結果、第１の組の演算結果と第２の組の演算結果は、原色成分に着目して表すと、式(5a)および式(5b)
【００６１】
【数５】
2G＋Mg＝2G＋R ＋B ・・・(5a)
Ye＋Cy＝R ＋G ＋G ＋B
＝2G＋R ＋B ・・・(5b)
となる。すなわち式(5a)と式(5b)は、等号関係にある。この関係を分光曲線で表すと、図10のようになる。分光特性曲線130 は式(5a)、分光特性曲線132 は式(5b)を示している。
【００６２】
なお、分光特性曲線は厳密に規定していないが、パターン縞状の雑音を発生させない範囲として、色フィルタセグメントに用いる分光特性と、各定数をそれぞれ乗算した和、すなわち式(5a)の結果が式(5b)の結果が、たとえば、ほぼ±10％の範囲内であれば発生する雑音を回避することができる。
【００６３】
補間処理部36b のYH生成部52では、無相関、水平相関および垂直相関に応じた高周波輝度データYHの生成が行われる。図11の配列において、前述した無相関および垂直相関における仮想画素(2,1) と(1,2) での高周波輝度データYHは、それぞれ、式(6a)、 式(6b)、および式(6c)
【００６４】
【数６】
YH21＝(2G20 ＋Cy22＋Mg11＋Ye31 )/2
＝(2G ＋G ＋B ＋R ＋B ＋R ＋G)/2
＝2G＋R ＋B ・・・(6a)
YH21＝Mg11＋2G31
＝R ＋B ＋2G
＝2G＋R ＋B ・・・(6b)
YH12＝Ye02＋Cy22
＝R ＋G ＋G ＋B
＝2G＋R ＋B ・・・(6c)
となる。高周波輝度データYHを生成する際、原色成分の関係に着目すると、無相関および垂直相関に関わりなく、高周波輝度データYHは同じ色バランスで生成されることがわかる。これにより、画像には色バランスのずれによって生じていた縞状の雑音が抑えられることになる。また、高周波輝度データYHは、無相関で生成した場合に比較して、相関を利用して生成した場合の方が高い解像度に寄与する。
【００６５】
水平相関についても検討する。仮想画素(2,1) および(1,2）の高周波輝度データYH21, YH12は、ともに水平相関がある場合、それぞれ、式(7a)および式(7b)
【００６６】
【数７】
YH21＝Ye20＋Cy22
＝R ＋G ＋G ＋B
＝2G＋R ＋B ・・・(7a)
YH12＝Mg11＋2G13
＝R ＋B ＋2G（＝2G＋R ＋B ） ・・・(7b)
となる。これにより、水平相関がある場合でも色バランスを保つことができるので、縞状の雑音の発生を防止することができる。
【００６７】
次に仮想画素の位置における高周波輝度データYHを用いてYH生成部52で実在する受光素子90の位置における高周波輝度データYHを生成する。画素(1,1) 、(2,2) における無相関、垂直相関および水平相関の場合の高周波輝度データYH11, YH22は、式(8a)〜式(8e)
【００６８】
【数８】
YH11＝(YH10 ＋YH01＋YH21＋YH12 )/4
＝4(2G＋R ＋B )/4
＝2G＋R ＋B ・・・(8a)
YH11＝YH01＋YH21/2
＝2(2G＋R ＋B )/2
＝2G＋R ＋B ・・・(8b)
YH22＝YH12＋YH32
＝2(2G＋R ＋B )/2
＝2G＋R ＋B ・・・(8c)
YH11＝YH10＋YH12/2
＝2(2G＋R ＋B )/2
＝2G＋R ＋B ・・・(8d)
YH22＝YH21＋YH23
＝2(2G＋R ＋B )/2
＝2G＋R ＋B ・・・(8e)
となる。補間に用いる高周波輝度データYH自体が前述したように相関の有無に関わらず所定の色バランスで得られていることから、高周波輝度データYHの補間処理を行っても色バランスに変動がないことは明らかである。
【００６９】
これにより、大きく画質を劣化させるほどの縞状の雑音の発生は避けることができる。たとえば、これらの雑音が全く見えない場合または若干生じる場合において雑音除去するためのLPF 処理を完全になくしたり、最小限のLPF 処理で済ませることが可能になる。したがって、画像の解像度がLPF 処理によって相殺されることを避けることができる。すなわち、解像度向上の効果を維持することができる。
【００７０】
次に相関検出について説明する。相関検出は、同色の画素データを用いて行う。図11から明らかなように、色フィルタセグメントの配置パターンは各色ともに、菱形状の４つの頂点に画素が対応している。相関の有無は、相関演算の結果が所定の判定値JV, JHより大きいとき相関があるものとする。たとえば、実在画素Cy(2,2) における黄色に対する相関検出を行う場合、図11の画素データYe02, Ye20, Ye42, Ye24を用いる。垂直相関および水平相関は、それぞれの式
【００７１】
【数９】
｜Ye20−Ye24｜−｜Ye02−Ye42｜＞JV ・・・(9a)
｜Ye02−Ye42｜−｜Ye20−Ye24｜＞JH ・・・(9b)
が真のとき、相関があるものとする。比較した画素データ間で変化の少ない方が似ていることを意味するからである。式(9a)および式(9b)がともに偽のとき、無相関と判定する。
【００７２】
また、仮想画素に対する相関検出は、相関検出の対象となっている仮想画素の周囲の４つの画素データを用いて行う。たとえば、仮想画素(4,3) における相関検出は、４つの画素データMg33, G53, Ye42, Cy44 の個々が有する相関検出結果を用いる。相関検出結果が４つの画素データのうち、３つ以上に垂直相関の結果があった場合、仮想画素(4,3) には垂直相関があるものと判定する。水平相関の判定条件も４つの画素データのうち、３つ以上に水平相関の結果があった場合、仮想画素(4,3) には水平相関があるものと判定する。これらの条件に入らない条件は無相関と判定する。
【００７３】
なお、相関の有無の判定条件は同じ相関結果を３つ以上に設定したが、条件を緩めて２つ以上としてもよい。
【００７４】
次に補色の画素および仮想画素に対する三原色データの生成について説明する。三原色データの生成は、図３のRGB 生成部54で行う。この生成の原理をふたたび図11を用いて説明する。たとえば、仮想画素(2,1) での三原色データR21, G21, B21 は、式(10a) 〜式(10d)
【００７５】
【数１０】
R21 ＝(Mg11 ＋Ye20−Cy22)/2
＝（R ＋B ＋R ＋G −G −B ）/2
＝2R/2
＝R ・・・(10a)
G21 ＝(G31＋Cy22＋Ye20−Mg11)/3
＝（G ＋G ＋B ＋R ＋G −R −B ）/3
＝3G/3
＝G ・・・(10b)
G21 ＝(2G31 ＋Cy22＋Ye20−Mg11)/4
＝（2G＋G ＋B ＋R ＋G −R −B ）/4
＝4G/4
＝G ・・・(10c)
B21 ＝(Mg11 ＋Cy22−Ye20)/2
＝（R ＋B ＋G ＋B −R −G ）/2
＝2B/2
＝B ・・・(10d)
となる。このように三原色データは、周囲にある画素データの四則演算により求めることができる。
【００７６】
また、実在画素における三原色データは、周辺からの４仮想画素の三原色データの平均値として算出する。
【００７７】
このようにして求めた仮想画素および実在画素の三原色データは、偽色信号が含まれる場合があり、これを避けるためにローパスフィルタ操作を三原色データに対して行うことが有効である。
【００７８】
以上述べた高周波輝度データYHを得る処理、相関検出処理、および三原色データを得る処理は、図9(B)の色フィルタ配列でも同様に行うことができる。
【００７９】
次にディジタルカメラ10の動作手順を簡単に説明する（メインルーチン：図12を参照）。電源投入後に、各種の初期設定を行った後、撮影モードかどうかモード判定を行う（ステップS10 ）。撮影モードと判定された場合（YES ）、ステップS12 に進む。また、撮影モード以外のモードと判定された場合（NO）、図示しないが他のモードの処理ルーチンに移行する。
【００８０】
撮影モードと判定された際に、ステップS12 では電源オフになっているかどうか判断する。電源がオフの場合（YES ）、ディジタルカメラ10の動作を終了する。また、電源がオンの場合（NO）、動画表示処理を行う（ステップS14 ）。
【００８１】
この後、ユーザがシャッタボタンを全押し状態にする操作が行われたかどうか判断する（ステップS16 ）。この操作が行われた場合（YES ）、この指示を受けてシステム制御部18は、固体撮像素子26で静止画撮像処理を行う（ステップS18 ）。この操作が行われなかった場合（NO）、ステップS10 に戻る。
【００８２】
この静止画撮像処理は、色フィルタ26a により色分解された入射光を受光素子90で光電変換して信号電荷に変換し読み出した信号をディジタル変換しフレームメモリ32a に格納するまでの処理である。固体撮像素子26は、得られた信号電荷を信号27としてアナログ処理部28に供給される。補色を含む色フィルタ26a を用いていることにより、入射光の利用効率を三原色の色フィルタの場合に比べて向上させることができる。
【００８３】
アナログ処理部28では、供給される信号27のゲイン調整を行い、A/D 変換部30に出力される。A/D 変換部30では、供給されるアナログ信号29をディジタル信号31に変換している。このディジタル信号31は画素データとして信号処理部32に供給される。信号処理部32では、供給された画素データ31をフレームメモリ部32a に入力する。フレームメモリ部32a は、システム制御部18の制御により、信号処理を施す領域内の画素データ44を補間処理部32b に読み出し、出力する。
【００８４】
補間処理部32b での各種の信号の補間処理は、後段でさらに説明する、色信号処理（サブルーチンSUB1）に沿って行う。色信号処理は、補間処理および輝度・色差信号処理を行う。補間処理は、たとえば、画素データ同士の相関性を考慮（して相関検出）して実在画素および仮想画素における高周波輝度データYH、低周波輝度データYLおよび三原色データの生成を行う。この生成手順については後段で詳述する。この生成によって、フレーム１画面分に対する５種類のデータが生成される。これらのデータを輝度・色差信号処理部32c に供給する。輝度・色差信号処理部32c では、輝度データY および色差データCr, Cbを生成する。このとき、得られる３つの信号には画像データの解像度の向上が図られる。信号処理部36b は、得られた各成分のデータを圧縮／伸張部34に供給する。
【００８５】
圧縮／伸張部34では、供給される各成分のデータに対して圧縮処理を施す（ステップS20 ）。圧縮処理の例としては、JPEG規格に対応して各成分のデータ量を低減させる処理を行っている。
【００８６】
圧縮／伸張部34で、圧縮処理の施されたデータ35がシステムバス16を介して記録再生部36に送られる。記録再生部36では、ストレージ機能を利用してデータ35を記録する（ステップS22 ）。この記録終了後、ステップS10 に戻る。
【００８７】
さらに、補間処理の動作手順について説明する（サブルーチンSUB1：図13を参照）。フレームメモリ部32a から相関検出対象の画素データの色と同色の４つの画素データを所定の領域として読み出して、この際、相関検出対象の画素データのアドレスも読み出しておく。このアドレスは、固体撮像素子26またはフレームメモリ40のアドレスでかまわない。まず、供給された所定の領域の画素データ44を用いて、実在画素を用いて相関検出を行う（サブステップSS10）。相関検出は、たとえば、式(9a)および式(9b)により行われる。
【００８８】
相関検出対象の位置に対して相関検出した結果に応じた相関対応処理により実在画素および仮想画素の高周波輝度データYHをそれぞれ生成する（サブルーチンSUB2：図14を参照）。仮想画素の高周波輝度データYHは、仮想画素の周りを囲む２つまたは４つの画素データから生成する。また、補間処理において三原色データは実在画画素および仮想画素を用いて生成する（サブステップSS12：図15を参照）。続いて、これらの高周波輝度データYHおよび三原色データから輝度・色差信号を生成する（サブステップSS14：図15を参照）。これらの処理が１フレーム分すべてに対して終了したかどうかの判断を行う（サブステップSS16）。まだ１フレームの高周波輝度データYHおよび三原色データの生成が１フレーム分終了していない場合（NO) 、最初のサブステップSS10まで戻って処理を繰り返す。また、１フレーム分すべて処理が終了した場合（YES ）、リターンに移行してサブルーチンSUB1を終了する。
【００８９】
次に本実施例における高周波輝度データYHの生成手順について説明する（サブルーチンSUB2：図14を参照）。フレームメモリ部32a は、システム制御部18の制御により順次生成の対象の画素データに対して周囲の所定の領域の画素データを出力する。供給される画素データのうち、たとえば、式(6a)のように周囲の４つの画素データを用い、これらの加算平均によって無相関対応処理を行う（サブステップSS202 ）。
【００９０】
次に供給される画素データのうち、たとえば、式(6b)や式(6b)のように周囲の２つの画素データを用い、これらの加算平均によって垂直相関対応処理を行う（サブステップSS202 ）。また、同様に、供給される画素データのうち、たとえば、式(7a)や式(7b)のように周囲の２つの画素データを用い、これらの加算平均によって水平相関対応処理を行う（サブステップSS204 ）。
【００９１】
一方、相関検出部50は、相関検出の結果に応じて処理結果の選択を行う選択信号として相関検出信号56を出力する。供給される相関検出信号56に応じてYH選択スイッチ66が切り換えられる。これらサブステップSS200 〜SS204 までの手順は、各補間対象の画素がどのような相関か検出した際の判断処理に対応している。YH選択スイッチ66の切換えは、垂直相関、水平相関、および無相関の結果を選ぶことである。
【００９２】
たとえば、検出した相関が垂直相関かどうか判断する（サブステップSS206 ）。相関が垂直相関と判断された場合（YES ）、サブステップSS208 に進む。また、相関が垂直相関と判断されなかった場合（NO）、サブステップSS210 に進む。サブステップSS208 では、垂直相関に対応する処理した結果を選択して高周波輝度データYHが得られる。
【００９３】
サブステップSS210 では、相関検出信号56が水平相関を示すかどうか判断する。相関が水平相関と判断された場合（YES ）、サブステップSS212 に進む。また、相関が垂直相関および水平相関でもないと判断された場合（NO）、サブステップSS214 に進む。サブステップSS212 では、水平相関に対応して処理した結果の高周波輝度データYHが得られる。サブステップSS214 では、垂直および水平方向に相関がなかった、すなわち無相関と判断してこの無相関に対応して処理した結果の高周波輝度データYHが得られる。
【００９４】
サブステップSS208, SS212, SS214 の処理後、サブステップSS216 に移行して高周波輝度YH後処理を行う。高周波輝度YH後処理とは、高周波輝度データを合成するとともに、ローパスフィルタ処理やハイパスフィルタを用いたエッジ強調処理等を行う。この後リターンに移行してサブルーチンSUB2を終了する。
【００９５】
ところで、個々の処理で得られた対象の画素の相関結果を対象の画素のアドレスに対応付けて格納するようにしておくとよい。そして、図示していないが、たとえば補間処理の一方法として実在画素の高周波輝度データYHを求める際に仮想画素の高周波輝度データYHを用いる。実在画素の周囲の仮想画素にはすでにどのような相関により得られたかその結果が既知である。
【００９６】
相関結果のうち、同じ結果が３つ以上検出されていた場合、その結果である水平または垂直方向の相関があるものと判断する。これ以外の場合、無相関と判断して無相関対応の処理により高周波輝度データYHを生成する。このように高周波輝度データYHの生成には相関の多数決に応じた処理も用いてもよい。
【００９７】
具体的に、たとえば、水平または垂直相関のある場合、対象の画素を挟んで相関のある方向の２つの画素データを用いて加算平均により高周波輝度データYHを生成する。また、無相関の場合、周囲の４つの画素データを用いて高周波輝度データYHを生成する。
【００９８】
次に実在画素および仮想画素における三原色データを算出する手順を簡単に説明する。前述したように、たとえば、仮想画素(2,1) での三原色データR21, G21, B21 を生成する場合を例に説明する。仮想画素(2,1) の原色データR21 は、式(10a) により算出する。周囲には、４つの異なる色フィルタセグメントを介して得られた実在画素がある。原色成分に着目すると、式(11)
【００９９】
【数１１】
R ＝（Mg＋Ye−Cy）/2 ・・・(11)
により得られる。算出に用いる実在画素の位置関係は、算出の対象の仮想画素を水平方向に見た場合、図11に示すように色G を用いないことから、サンプリングを蛇行させて行うとよい。
【０１００】
次に仮想画素(2,1) の原色データG21 は、式(10b) または式(10c) のいずれかにより算出する。この処理では、仮想画素(2,1) の周囲の異なる４色の実在画素をすべて用いる。本実施例では、色G に対して定数２を乗算しているので、式(10c) を用いることが望ましい。色G の生成式は、原色成分に着目すると、式(12)
【０１０１】
【数１２】
G ＝（2G＋Cy＋Ye−Mg）/4 ・・・(12)
である。
【０１０２】
次に仮想画素(2,1) の原色データB21 は、式(10d) により算出する。この処理では、仮想画素(2,1) の周囲の異なる３色の実在画素を用いる。色G の生成式は、原色成分に着目すると、式(13)
【０１０３】
【数１３】
B ＝（Mg＋Cy−Ye）/2 ・・・(13)
である。この場合も色R の場合と同様にサンプリングする画素データは、蛇行させて行うとよい。
【０１０４】
次に、実在画素における三原色データを生成する。色R の原色データは、周辺の仮想画素に対して求めた４つまたは２つの同色データの加算平均により算出する。
【０１０５】
同様に、色G, Bの原色データも、周辺の仮想画素に対してそれぞれ求めた４つまたは２つの同色データの加算平均により算出する。
【０１０６】
なお、処理の手順は、上述した手順に限定されるものでなく、高周波輝度データYH、三原色データの生成は、仮想画素および実在画素における画素データの生成のいずれかに対して１フレーム分のデータ生成を行い、その後に未処理の領域または位置に対する補間処理を行う方が効率的である。
【０１０７】
このように動作させることにより、解像度の向上の効果がそのまま保たれた画像を提供することができる。
【０１０８】
次に本実施例のディジタルカメラ10の変形例について説明する（図16を参照）。前述した実施例と異なっている点は、相関検出部50から出力される相関検出信号56がRGB 生成部54にも供給されている。RGB 生成部54は、相関検出の結果に対応して三原色データを生成する。
【０１０９】
RGB 生成部54には、無相関、水平および垂直相関に応じた三原色データを生成する無相関RGB 生成部140 、水平相関RGB 生成部142 、垂直相関RGB 生成部144 、RGB 相関選択部146 、およびYL後処理部148 が含まれている。
【０１１０】
無相関RGB 生成部140 、水平相関RGB 生成部142 、および垂直相関RGB 生成部144 には、それぞれ、フレームメモリ40から読み出した画素データ44が供給されている。画素データ44を用いて、あらかじめ相関の有無および相関がある場合の相関の方向に応じて三原色データを生成する機能を有している。無相関RGB 生成部140 、水平相関RGB 生成部142 、および垂直相関RGB 生成部144 は、図示していないが第１段としていずれも仮想画素に対する三原色データを生成している。そして、この算出した画素データを用いてこれらの各部において第２段として実在画素における三原色データを補間生成する。
【０１１１】
無相関RGB 生成部140 は、補間処理を行う対象の受光素子90の周囲にある４つの仮想画素を各色ごとに加算平均して生成する。水平相関RGB 生成部142 は、補間処理を行う対象の受光素子90を挟んで水平方向にある２つの仮想画素を各色ごとに加算平均して生成する。また、垂直相関RGB 生成部144 も補間処理を行う対象の受光素子90を挟んで垂直方向にある２つの仮想画素を各色ごとに加算平均して生成する。また、無相関RGB 生成部140 、水平相関RGB 生成部142 、および垂直相関RGB 生成部144 は、低周波輝度データYLも供給される三原色データを用いて、たとえば、式(14)
【０１１２】
【数１４】
YL＝0.3*R ＋0.59*G＋0.11*B ・・・(14)
に代入して算出する。このように相関に応じた三原色データを用いて画像の色に関するデータを生成することにより、解像度を向上させることができる。
【０１１３】
相関選択部146 は、供給される相関検出信号56を選択信号として無相関RGB 生成部140 、水平相関RGB 生成部142 、および垂直相関RGB 生成部144 からの出力を選択する。相関選択部146 において配設された端子a, b, c は、無相関RGB 生成部140 、水平相関RGB 生成部142 、および垂直相関RGB 生成部144 の出力側とそれぞれ接続されている。相関選択部146 は、仮想画素とともに、実在画素に対して相関に応じた三原色データをYL後処理部148 に送る。このようにあらかじめ相関結果を想定して画素データを生成しておくので、信号処理の時間短縮も図ることができる。
【０１１４】
YL後処理部148 は、供給される実在画素および仮想画素のすべての各種データに対してゲイン調整やローパスフィルタ処理等を施して低周波輝度データYL (150)および三原色データ152 〜156 低周波輝度データYLを出力する。
【０１１５】
最後に、本実施例ではディジタルカメラ10の固体撮像素子26にCCD エリアセンサタイプのインターレース走査による固体撮像素子を用いて説明したが、このような固体撮像素子に限定されるものでなく、一つの受光素子に隣接する受光素子の画素ずらしの大きさが同一行または同一列の受光素子間隔の半分で、水平および垂直方向にずれている、いわゆるハニカム対応の配置であれば、プログレッシブ走査のCCD エリアセンサでも、４フィールドインターレース走査のCCD エリアセンサでもよいことは明らかである。
【０１１６】
さらに、図17に示すMOS タイプの固体撮像素子を適用しても前述した実施例と同様に解像度を損なうことなくディジタルカメラ10が画像を提供できる。この点を除いて、撮像素子の構成は、ほぼ従来の構成と同じである。この際、色フィルタは、図9(A), 図9(B)に示した色フィルタセグメントの配置を用いることは言うまでもない。
【０１１７】
MOS タイプの固体撮像素子26を簡単に説明すると、受光素子160 は、前述したCCD タイプで説明したいわゆるハニカム対応に２次元配置されている。受光素子160 に隣接して垂直方向に信号線162 が形成されている。受光素子160 と信号線162 との間には、図示しないがMOS スイッチが配設形成されている。
【０１１８】
垂直走査回路164 は、たとえば、MOS スイッチにオン／オフの信号を供給して受光素子160 での信号の蓄積および読出し（すなわち、選択）を行わせる。読み出した信号は、アナログ部166 に供給される。水平走査回路168 は、アナログ部166 に供給された信号を水平方向に出力させる走査信号をアナログ部166 に供給する。また、走査制御部170 は、垂直走査回路164 および水平走査回路168 に走査開始のタイミング等のタイミング信号を供給して、動作を制御している。これらの制御により、固体撮像素子26は、入射効率の高い入射光を受光し、得られたアナログ信号27を所望のタイミングで出力させることができる。
【０１１９】
以上のように構成することにより、入射光の利用効率を高めるために、補色を含む色フィルタセグメントを用いて受光素子にて信号電荷を生成し、信号処理において得られた実在画素および仮想画素に対する高周波輝度データYHを相関検出に応じて生成しても、高周波輝度データの変動がほとんどなく生成することができる。これにより、縞状の雑音が発生しないから、これまで縞状の雑音の除去に用いてきたLPF 処理を最小限または不要にすることができる。したがって、得られる信号に対して解像度を劣化させる要因がなくなるので、相関を利用し、広帯域化した解像度の向上させた画像がそのまま得られることになる。これにより、これまでよりも感度がよく、かつ解像度の高いカラー画像が得られる。
【０１２０】
固体撮像素子も、各色フィルタセグメントの分光特性と対応する定数の乗算結果の和の２つがほぼ同じになる関係の色フィルタを用いることで光の利用効率だけでなく、これらの画素データを用いて信号処理を後段で行わせても解像度の向上にも寄与できる信号を生成することができる。
【０１２１】
さらに、信号処理方法は、上述した色フィルタセグメントの関係が成り立つとき、高周波輝度データYHの算出に際して、供給される画素データの各色に対応する所定の定数を乗算して画素データを補正し、ディジタル変換した生の画素データを用いた相関検出の結果に応じた信号処理を補正した画素データにより算出して画像を生成すると、解像度の高いカラー画像が得られる。
【０１２２】
【発明の効果】
このように本発明の固体撮像装置によれば、固体撮像素子から読み出された画素データを信号処理手段での信号処理において、水平方向または垂直方向に相関がある実在画素または仮想画素における高周波輝度データを相関がある方向の補正した画素データから生成することにより解像度の向上を図る。さらに、第１の和と第２の和はほぼ同じ分光特性になる色フィルタ配置にしていることから垂直方向または水平方向に隣接する高周波輝度データに変動がなく、再生画面上で縞状の雑音が現れない。この結果、縞状雑音防止用のローパスフィルタが不要となり、解像度劣化が避けられる。また、色分解手段に補色フィルタを含むため原色フィルタ配列の固体撮像素子に比較して入射光の利用効率が上がり、感度がおよそ２倍に向上する。これにより、解像度の高い画像を得ることができる。
【０１２３】
また、本発明の固体撮像素子によれば、それぞれ得られる第１の和と第２の和がほぼ同じになる位置関係に色フィルタセグメントが配された色分解手段で色分解した入射光を受光部で光電変換により得られた信号電荷を読出し手段を介して読み出して、後段における信号処理において色フィルタセグメントの色に応じた複数の所定の定数をそれぞれ乗算して補正を行って水平方向または垂直方向の相関のある方向の補正した値を用いて高域成分を含む高周波輝度データを生成することにより縞状雑音のない高周波輝度データにする。これにより最適な場合、縞状雑音防止用のローパスを不要にする。したがって、最終的な画像に生じていた縞状の雑音の発生を防止でき、後段での信号処理による解像度の劣化を生じさせるおそれのない信号を出力することができる。
【０１２４】
さらに、本発明の信号処理方法によれば、入射光を配置した第１ないし第４の色フィルタセグメントで色分解させて、受光素子から読み出して得られた信号にアナログ処理、ディジタル変換処理を施し、得られた画素データを用いて相関検出を行うとともに、相関検出の結果に応じた高域成分を含む高周波輝度データの生成にディジタル変換処理により得られる画素データに位置対応の第１から第４の定数をそれぞれ乗算して補正した画素データを用いて生成することにより、相関に依存しない高周波輝度データの変動が極めて少なく、これにともなって縞状雑音が発生しないので、最良の場合、ローパスフィルタ処理を行わずに済ませることができ、解像度を高く維持できる。
【図面の簡単な説明】
【図１】本発明の固体撮像装置を適用したディジタルカメラの概略的な構成を示すブロック図である。
【図２】図１の信号処理部のフレームメモリ部の概略的な構成を示すブロック図である。
【図３】図１の信号処理部の補間処理部および輝度・色差信号処理部の概略的な構成を示すブロック図である。
【図４】図３のYH生成部の概略的な構成を示すブロック図である。
【図５】図３の輝度・色差信号処理部の輝度データ生成部の広帯域化機能を説明する周波数アロケーションの関係を示す図である。
【図６】図１の固体撮像素子を入射光側から見た各部の位置関係および構成を示す概略的な構成を示す模式図である。
【図７】図６の受光素子の位置に対応して配設される各色フィルタセグメントを相対感度で示す分光特性チャートである。
【図８】従来の補色を含む色フィルタセグメントの配置パターンを説明する模式図である。
【図９】図１の固体撮像素子に用いる色フィルタの図9(A)の配置パターンと図9(B)の配置パターンを説明する模式図である。
【図１０】図９の色フィルタにおいて２倍の緑とマゼンタとを合わせた分光特性および黄色とシアンとを合わせた分光特性を相対感度で表したチャートである。
【図１１】図9(A)の配置パターンに行列表示を付して個々の位置も規定して表した模式図である。
【図１２】図１のディジタルカメラの動作手順を説明するメインフローチャートである。
【図１３】図12の補間処理（サブルーチンSUB1）の動作手順を説明するフローチャートである。
【図１４】図13の高周波輝度データYHの生成（サブルーチンSUB2）の手順を説明するフローチャートである。
【図１５】図３の補間処理部において相関検出の結果に応じてRGB 生成部を動作させる概略的な構成のブロック図である。
【図１６】図15のRGB 生成部に関する概略的な構成を示すブロック図である。
【図１７】図１の固体撮像素子を画素ずらしをともなうMOS 型固体撮像素子の概略的な構成を示す模式図である。
【符号の説明】
10 ディジタルカメラ
16 システムバス
18 システム制御部
26 固体撮像素子
28 アナログ処理部
30 A/D 変換部
32 信号処理部
32a フレームメモリ部
32b 補間処理部
32c 輝度・色差信号処理部
40 フレームメモリ
50 相関検出部
【発明の属する技術分野】
本発明は、固体撮像装置および信号処理方法に関し、特に、この固体撮像装置をディジタルカメラ、画像入力装置、画像処理装置等に適用して好適なものである。また、固体撮像素子は、ディジタルカメラ、画像入力装置、画像処理装置等の画像入力部に適用して好適なものである。さらに、色フィルタの各色フィルタセグメントの配置を考慮しながら行う信号処理、画像処理等に用いて好適なものである。
【０００２】
【従来の技術】
光電変換する受光素子（または画素）を２次元に、かつある受光素子に隣接する受光素子を水平および垂直方向の画素ピッチの半分ずらした位置に配する、いわゆるハニカム状配置の受光部を用いたインターレース型の固体撮像装置が提案されている。画素配列は、奇数行と偶数行が行方向に半分ずれ、奇数列と偶数列が列方向に半分ずれている。また、画素の形状は四角形、六角形、八角形等の多角形であり、周囲の垂直転送路がこの画素を迂回するように蛇行形成されている。受光素子で得られた信号電荷は、たとえば４相駆動により垂直方向に転送される。水平転送路は、垂直転送路から供給される信号電荷を、たとえば、２相駆動で水平転送させている。
【０００３】
固体撮像素子には、カラー表示させるために色フィルタセグメントを所定の配置パターンに配した色フィルタが一体的に受光素子の位置に対応して配設されている。たとえば、三原色RGB を用いたベイヤ配列を45°傾けた位置関係に各色フィルタセグメントが配されている。
【０００４】
このような固体撮像素子は、直接三原色の色信号が出力信号として得られるため、色信号のS/N が良好で、色再現性に優れているという利点がある。しかし、原色カラーフィルタは入射する白色光に対しておよそ1/3 の波長成分を透過するのみであり、入射光の利用効率が非常に悪い。そのため、感度や解像度が低下するという欠点がある。
【０００５】
【発明が解決しようとする課題】
ところで、上述した解像度低下の改善策として、行方向および列方向に画素データの相関を利用して輝度データを補間する方法を用いている。また、もう一つの改善策として入射光の利用効率を高めるため一般的によく知られている方法として補色の色フィルタセグメントを用いる方法がある。補色の色フィルタセグメントの入射光利用効率は、原色の色フィルタセグメントに比べてほぼ倍である。
【０００６】
ところが、このように改善策として、補色の色フィルタセグメントを用いて輝度データの補間を行った場合、相関を利用し補間して算出した高周波成分を含む輝度データ（以下、高周波輝度データYHという）は、被写体に色変化がないとしても三原色RGB で表すと、算出する位置によって含む色成分が異なって表される。すなわち、相関の存在する方向に、結果的に縞状雑音が発生する。この発生を抑圧するため、高周波輝度データYHに対して相関のある方向にローパスフィルタ処理を施す。解像度を高めながら、抑圧処理を施すことにより解像度の向上が相殺されることになる。
【０００７】
本発明はこのような従来技術の欠点を解消し、感度を高く、かつ解像度の向上効果を維持できる固体撮像装置および信号処理方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は上述の課題を解決するために、入射光を遮光する遮光部材の開口部に対応した位置で該入射光を色分解し、この色分解した入射光を光電変換して撮像し、この撮像により得られた信号に信号処理を施して広帯域な信号にする固体撮像装置において、この装置は、開口部からの入射光を異なる分光特性の複数の色に色分解する色フィルタセグメントのうちに、少なくとも分光特性が補色系の色フィルタセグメントを含む色分解手段、この色分解手段から補色系の色を含む色フィルタセグメントを通った入射光を光電変換する受光素子とこの受光素子に隣接した受光素子とが互いに垂直方向および／または水平方向にずらされて２次元配置された受光部、およびこの受光部の受光素子で光電変換されて蓄積された信号電荷を所定の順序で順次読み出し、外部の出力信号として出力する読出し手段を含む固体撮像素子と、この固体撮像素子から供給される信号をディジタル変換して画素データにするディジタル変換手段と、受光素子の実在する位置から得られる画素を実在画素とし、受光素子の中間の位置の画素を仮想画素とし、このディジタル変換した画素データを用いて水平および／または垂直方向の相関検出を行い、この画素データに対して色フィルタセグメントの色に応じた複数の所定の定数をそれぞれ乗算して補正した画素データを生成し、得られた相関検出結果に基づいてこの補正した画素データから受光素子の位置および仮想画素の領域での高域成分を含む高周波輝度データならびにディジタル変換した画素データから三原色の原色データをそれぞれ求めるとともに、これらの各種の画素データから輝度および色差に関するデータを生成する信号処理手段とを含み、色分解手段は、第１の色フィルタセグメントおよび第２の色フィルタセグメントの第１の組、第３の色フィルタセグメントおよび第４の色フィルタセグメントの第２の組の各組が、それぞれの同一行内に配され、第１の組に隣接する第２の組の色フィルタセグメントが第１の組の色フィルタセグメントと互いに画素ピッチの半分ずれた位置関係にあって、第１の組の色フィルタセグメントの分光特性に、それぞれ第１の定数と第２の定数を乗算した積の第１の和が、第２の組の色フィルタセグメントの分光特性に、第３の定数と第４の定数を乗算した積の第２の和とほぼ等しく、かつ得られた第１および第２の和が輝度を示す分光特性に近い関係になる色フィルタ配置を有することを特徴とする。
【０００９】
本発明の固体撮像装置は、固体撮像素子から読み出された画素データを信号処理手段での信号処理において、水平方向または垂直方向に相関がある実在画素または仮想画素における高周波輝度データを相関がある方向の補正した画素データから生成することにより解像度の向上を図る。さらに、第１の和と第２の和はほぼ同じ分光特性になる色フィルタ配置にしていることから垂直方向または水平方向に隣接する高周波輝度データに変動がなく、再生画面上で縞状の雑音が現れない。この結果、縞状雑音防止用のローパスフィルタが不要となり、解像度劣化が避けられる。また、色分解手段に補色フィルタを含むため原色フィルタ配列の固体撮像素子に比較して入射光の利用効率が上がり、感度がおよそ２倍に向上する。
【００１０】
また、本発明は上述の課題を解決するために、入射光を遮光する遮光部材の開口部に対応した位置でこの入射光を色分解し、この色分解した入射光を光電変換する固体撮像素子において、この素子は、開口部からの入射光を異なる分光特性の複数の色に色分解する色フィルタセグメントうちに、少なくとも分光特性が補色系の色フィルタセグメントを含む色分解手段、この色分解手段から補色系の色を含む色フィルタセグメントを通った入射光を光電変換する受光素子とこの受光素子に隣接した受光素子とが互いに垂直方向および／または水平方向にずらされて２次元配置された受光部、およびこの受光部の受光素子に光電変換されて蓄積された信号電荷を所定の順序で順次読み出し、外部の出力信号として出力する読出し手段を含み、色分解手段は、第１の色フィルタセグメントおよび第２の色フィルタセグメントの第１の組、第３の色フィルタセグメントおよび第４の色フィルタセグメントの第２の組の各組が、それぞれの同一行内に配され、第１の組に隣接する第２の組の色フィルタセグメントが第１の組の色フィルタセグメントと互いに画素ピッチの半分ずれた位置関係にあって、第１の組の色フィルタセグメントの分光特性に、それぞれ第１の定数と第２の定数を乗算した積の第１の和が、第２の組の色フィルタセグメントの分光特性に、第３の定数と第４の定数を乗算した積の第２の和とほぼ等しく、かつ得られた第１および第２の和が輝度を示す分光特性に近い関係になる色フィルタ配置を有することを特徴とする。
【００１１】
本発明の固体撮像素子は、それぞれ得られる第１の和と第２の和がほぼ同じになる位置関係に色フィルタセグメントが配された色分解手段で色分解した入射光を受光部で光電変換により得られた信号電荷を読出し手段を介して読み出して、後段における信号処理において色フィルタセグメントの色に応じた複数の所定の定数をそれぞれ乗算して補正を行って水平方向または垂直方向の相関のある方向の補正した値を用いて高域成分を含む高周波輝度データを生成することにより縞状雑音のない高周波輝度データにする。これにより最適な場合、縞状雑音防止用のローパスを不要にし、解像度の向上を維持できる。
【００１２】
さらに、本発明は上述の課題を解決するために、入射光を遮光する遮光部材の開口部に対応し、かつ第１の色フィルタセグメントおよび第２の色フィルタセグメントの第１の組、第３の色フィルタセグメントおよび第４の色フィルタセグメントの第２の組の各組が、それぞれの同一行内に配され、第１の組に隣接する第２の組の色フィルタセグメントが第１の組の色フィルタセグメントと互いに画素ピッチの半分ずれた位置関係に配された固体撮像素子を用いて、この固体撮像素子に入射する光を色分解する第１の工程と、この色分解した入射光を各色フィルタセグメント直下に配した受光素子で信号電荷に光電変換する第２の工程と、読み出す信号電荷をアナログ信号として読み出し、このアナログ信号にディジタル信号処理を施す前のアナログ処理を施す第３の工程と、このアナログ信号にディジタル処理を施してディジタル信号に変換する第４の工程と、得られたディジタル信号を画素データとしてあらかじめ用意した複数回読み出せるメモリ手段に格納させる第５の工程と、メモリ手段から読み出した画素データを用いて水平および／または垂直方向の相関検出を行う第６の工程と、画素データのそれぞれと配置した色フィルタセグメントの位置に応じた複数の所定の定数とを乗算して補正した画素データを生成するとともに、この相関検出結果に応じた方向の考慮された演算処理をこの補正した画素データで行って高域成分を含む高周波輝度データを生成する第７の工程と、メモリ手段から読み出した画素データを用いて三原色の原色データを生成する第８の工程と、高周波輝度データおよび三原色の各原色データを用いて輝度データおよび色差データの生成を行う第９の工程とを含み、第７の工程は、第１の色フィルタセグメントに対応して得られる信号に第１の定数を乗算し、第２の色フィルタセグメントに対応して得られる信号に第２の定数を乗算し、それぞれ得られる積の和を第１の和とし、第３の色フィルタセグメントに対応して得られる信号に第３の定数を乗算し、第４の色フィルタセグメントに対応して得られる信号に第４の定数を乗算し、それぞれ得られる積の和を第２の和とし、第１および第２の定数ならびに第３および第４の定数は、それぞれ第１の和と第２の和とがほぼ同程度の範囲内の値になる定数をそれぞれ用いることを特徴とする。
【００１３】
本発明の信号処理方法は、入射光を配置した第１ないし第４の色フィルタセグメントで色分解させて、受光素子から読み出して得られた信号にアナログ処理、ディジタル変換処理を施し、得られた画素データを用いて相関検出を行うとともに、相関検出の結果に応じた高域成分を含む高周波輝度データの生成にディジタル変換処理により得られる画素データに位置対応の第１から第４の定数をそれぞれ乗算して補正した画素データを用いて生成することにより、相関に依存しない高周波輝度データの変動が極めて少なく、これにともなって縞状雑音が発生しないので、最良の場合、ローパスフィルタ処理を行わず、解像度を高く維持できる。
【００１４】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の実施例を詳細に説明する。
【００１５】
本発明の固体撮像装置は、固体撮像素子から読み出された画素データを信号処理手段での信号処理において、水平方向または垂直方向に相関がある実在画素または仮想画素における高周波輝度データを相関がある方向の補正した画素データを用いて生成して解像度の向上を図り、第１の和と第２の和はほぼ同じ分光特性になる色フィルタ配置にしていることから垂直方向または水平方向に隣接する高周波輝度データに変動がなく、再生画面上で縞状の雑音が現れないので、縞状雑音防止用のローパスフィルタが不要となり、解像度劣化が避けられ、色分解手段に補色フィルタを含むため原色フィルタ配列の固体撮像素子に比較して入射光の利用効率が上がり、感度がおよそ２倍に向上することに特徴がある。
【００１６】
本発明を適用した実施例のディジタルスチルカメラ10の構成を図１に示す。また、本発明と直接関係のない部分について図示および説明を省略する。ここで、信号の参照符号はその現れる接続線の参照番号で表す。
【００１７】
図１のディジタルスチルカメラ10には、光学レンズ系12、操作部14、システム制御部18、タイミング信号発生部20、ドライバ部22、メカニカルシャッタ24、固体撮像素子26、アナログ処理部28、A/D 変換部30、信号処理部32、圧縮／伸張部34、記録再生部36、およびモニタ38が備えられている。これら各部を順次説明する。光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系12には、図示しないが、これら光学レンズの配置する位置を調節して画面の画角を操作部14からの操作信号14a に応じて調節するズーム機構や被写体とカメラ10との距離に応じてピント調節する、AF（Automatic Focus ：自動焦点）調節機構が含まれている。操作信号14a は、システムバス16を介してシステム制御部18に供給される。光学レンズ系12には、システム制御部18からの制御信号18a が信号線16a を介して供給される。
【００１８】
操作部14には、図示しないシャッタスイッチやたとえばモニタ画面に表示される項目を選択するカーソル選択機能等が備えられている。操作部14で選択された操作は操作信号14a によりシステム制御部18に報知される。
【００１９】
システム制御部18は、たとえば CPU（Central Processing Unit ：中央演算処理装置）を有する。システム制御部18には、ディジタルスチルカメラ10の動作手順が書き込まれた ROM（Read Only Memory：読み出し専用メモリ）がある。システム制御部18は、たとえば、ユーザの操作に伴って操作部14から供給される情報14a とこの ROMの情報を用いて各部の動作を制御する制御信号18a を生成する。システム制御部18は、生成した制御信号18a をシステムバス16を介してタイミング信号発生部20、光学レンズ系12、メカニカルシャッタ24、信号処理部32、圧縮／伸張部34、記録再生部36およびモニタ38にも供給する。
【００２０】
タイミング信号発生部20は、システムクロック20a を生成する発振器（図示せず）が含まれている。このシステムクロック20a は図示しないがシステム制御部18、信号処理部32等のシステムクロックを必要とするほとんどすべてのブロックに供給されている。
【００２１】
また、タイミング信号発生部20は、制御信号18a に基づいて各部を動作させるタイミング信号20b を生成する回路を含む。タイミング信号発生部20は、生成したタイミング信号20b を図１に示すように各部に出力するとともに、ドライバ部22にも供給する。ドライバ部22は、所望の駆動パルス22a を固体撮像素子26に供給する。
【００２２】
メカニカルシャッタ24は、操作部14のシャッタスイッチに応じてシステム制御部18から制御信号18a が信号線16a を介して供給されることにより制御される。固体撮像素子26は色フィルタ26a が一体的に設けられた単板カラーCCD (Charge Coupled Device）センサである。これは、光学レンズ系12で結像された光学像が受光部26b の各受光素子に到達した光量に応じた出力信号27を出力する。この固体撮像素子26については後段でさらに詳述する。撮像素子には、CCD （Charge Coupled Device:電荷結合素子）や後段で示すMOS （Metal Oxide Semiconductor:金属酸化型半導体）タイプの固体撮像デバイスが適用される。固体撮像素子26では、供給される駆動信号22a に応じて光電変換によって得られた信号電荷を所定のタイミングとして、たとえば、垂直ブランキング期間にフィールドシフトにより垂直転送路に読み出され、この垂直転送路をラインシフトした信号電荷が水平転送路に供給され、この水平転送路を経た信号電荷が図示しない出力回路による電流／電圧変換によってアナログ電圧信号27にされ、アナログ処理部28に出力される。固体撮像素子26は、CCD タイプでは信号電荷の読出しモードに応じて画素混合した間引き読出しや全画素読出しを用いる。これらの信号読出し方式についてはさらに後段で詳述する。
【００２３】
アナログ処理部28は、ノイズ成分を除去してアナログ出力信号29をA/D 変換部30に送る。A/D 変換部30は、供給されるアナログ信号29の信号レベルを所定の量子化レベルにより量子化してディジタル信号31に変換するA/D 変換器を有する。A/D 変換部30は、タイミング信号発生部20から供給される変換クロック等のタイミング信号20b により変換したディジタル信号31を信号処理部32に出力する。
【００２４】
信号処理部32には、フレームメモリ部32a 、補間処理部32b および輝度・色差信号処理部32c が含まれる。さらに、フレームメモリ部32a には、図２に示すようにフレームメモリ40および前処理部42が含まれている。画像データ31がフレームメモリ40に供給され、フレームメモリ40に記憶される。フレームメモリ40は、読み出す領域をずらしながら繰り返して画素データを読み出すことから、非破壊型のメモリを用いると有利である。また、フレームメモリ40には、システム制御部18からの制御信号18a に含まれる書込み／読出しイネーブル信号、クロック信号等の制御に関わる信号をまとめた制御信号180 が供給されている。
【００２５】
フレームメモリ部32a は、記憶した画像データを所定の順序で画像データ44としてそのまま出力してもよい。また、必要に応じて前処理部42で処理した結果を画像データ44として出力してもよい。前処理部42の処理として、たとえば、各色フィルタに対応した画像データのレベルを後段の信号処理に適したレベルに合わせるため各色フィルタごとにゲイン調整する。また、消費電力や回路規模を小さくするためガンマ補正を施して信号処理のビット数を低減すること等も行われる。
【００２６】
補間処理部32b は、本実施例では図３に示すように、供給される受光素子から得られる補色を含む画素データを用いて受光素子の実在する実在画素および実在画素の中間に位置する仮想画素において高域成分を含む高周波輝度データYHおよび三原色データを補間生成する機能を有する。補間処理部32b には、図３に示すように、相関検出部50、YH生成部52、およびRGB 生成部54が含まれている。相関検出部50には、相関の有無を検出するとともに、相関がある場合、さらに相関方向が水平および垂直方向のいずれにあるかを検出する機能がある。相関検出部50は、後段で詳述する手順に従って相関検出を行い、この結果を相関検出信号56をYH生成部52に出力する。
【００２７】
YH生成部52には、図４に示すように、無相関YH生成部60、水平YH生成部62、垂直YH生成部64、YH選択スイッチ66、およびYH後処理部68がある。無相関YH生成部60、水平YH生成部62および垂直YH生成部64は、それぞれ、供給される画素データ44を用いて実在画素または仮想画素の高周波輝度データYHの生成が行われる。本実施例では、相関がない場合、水平方向に相関がある場合、垂直方向に相関がある場合に応じて仮想画素の高周波輝度データYHを生成している。生成した高周波輝度データYHは、それぞれYH選択スイッチ66の端子a, b, c にそれぞれ供給される。
【００２８】
YH選択スイッチ66には、相関検出部60からの相関検出信号56が供給されている。YH選択スイッチ66は、信号56により端子a, b, c のいずれか一つの端子を選択する。この選択により、相関検出信号56に対応した高周波輝度データYHが選択される。YH選択スイッチ66を介して選択された高周波輝度データYHがYH後処理部68に供給される。
【００２９】
YH後処理部68には、YH選択スイッチ66により選択された高周波輝度データYHを合成するとともに、たとえばローパスフィルタ処理やハイパスフィルタを用いたエッジ強調処理等を行うことにより高画質を実現させる高周波輝度データYHを生成する機能がある。YH後処理部68は生成した高周波輝度データYH (70）を輝度・色差信号処理部36c の輝度データ生成部80に出力する。
【００３０】
そして、図３に戻って、RGB 生成部54は、補色を含む画素データから仮想画素および実在画素における三原色データRGB を求めるとともに、低周波成分を含む低周波輝度データYL (72）も生成する機能を有する。さらに、RGB 生成部54は、ホワイトバランスやガンマ補正も行う。具体的な構成を図示しないが、仮想画素および実在画素における三原色の画素データ、すなわちR データ74、G データ76、B データ78および低周波輝度データYL (72）を生成し、輝度・色差信号処理部36c の色差データ生成部82に出力する。本実施例では、まず仮想画素の位置における三原色を実画素の画素データから生成し、得られた仮想画素の位置の画素データを用いて実画素の位置における三原色の画素データを生成する。
【００３１】
輝度・色差信号処理部36c には、輝度データ生成部80および色差データ生成部82が含まれている。輝度データ生成部80は、それぞれ、供給される高周波輝度データYHおよび低周波輝度データYLを用いて擬似的な周波数加算を行って、新たに広帯域な輝度データY を生成する機能を有する（Yh・Ylow 法）。輝度データ生成部80は、Yh・Ylow 法により低周波輝度データYLから高周波輝度データYHを減算した信号にローパスフィルタ処理を経て図5(A)に示す信号(YL −YH)lowを生成する。輝度データ生成部80は、信号(YL −YH)lowと図5(B)に示す高周波輝度データYHとを加算して図5(C)の信号(YL −YH)low＋YHを生成する。輝度データ生成部80は、このように広帯域化された信号を輝度データY として圧縮／伸張部34に出力する。
【００３２】
なお、図示していないが、YH生成部52は、高周波輝度データYH (70）を色差データ生成部82に供給してもよい。
【００３３】
色差データ生成部82は、２つの色差データ（RY), (BY）を生成する機能を有する。このとき、輝度データY として供給されているYLを用いる。また、前述したようにYHが供給されているとき、この輝度データを用いてもよい。色差データ生成部82は、生成した色差データCr, Cbを圧縮／伸張部34に出力する。
【００３４】
図１に戻って圧縮／伸張部34は、輝度・色差信号処理部36c から供給された１フレーム分の輝度データと色差データを一時的に記憶するフレームメモリと、たとえば、直交変換を用いたJPEG（Joint Photographic Experts Group）規格での圧縮を施す回路と、この圧縮した画像を再び元のデータに伸張する回路とを有する。ここで、フレームメモリは、信号処理部32のフレームメモリ32a と兼用してもよい。圧縮／伸張部34は、システム制御部18の制御により記録時には圧縮したデータをシステムバス16を介して記録再生部36に供給する。圧縮／伸張部34は、図３のRGB 生成部54から供給されるデータをシステム制御部18の制御によりスルーさせてシステムバス16に供給したり、または輝度・色差信号処理部82からの信号をシステムバス16を介してモニタ38に供給することもできる。圧縮／伸張部34が伸張処理を行う場合、逆に記録再生部36から読み出したデータをシステムバス16を介して圧縮／伸張部34に取り込んで処理する。ここで処理されたデータはフレームメモリに記憶された後、システム制御部18の制御により圧縮／伸張部34は、所要の順序でフレームメモリのデータを読み出し、モニタ38に供給して表示させる。
【００３５】
記録再生部36は、記録媒体に記録する記録処理部と、記録媒体から記録した画像データを読み出す再生処理部とを含む（ともに図示せず）。記録媒体には、たとえば、いわゆる、スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部とともに、この画像データを書き込むヘッドがある。モニタ38は、システム制御部18の制御に応じてシステムバス16を介して供給される輝度データおよび色差データまたは三原色RGB のデータを画面の大きさを考慮するとともに、タイミング調整して表示する機能を有する。
【００３６】
これまでの説明は、静止画の撮像時の処理について述べたが、シャッタスイッチが押される前に、撮像した動画をモニタ38に表示する動作を行う場合もある。この場合の動画表示の処理は、図１の処理をそのまま行い、圧縮／伸張部34の圧縮処理を行わずにモニタ38で動画表示してよい。しかし、百万画素を越える固体撮像素子を用いている場合、処理時間が長くなり、コマ落とし動画となるため、動画画質として問題となる。
【００３７】
そこで、受光素子配列の一部の信号電荷を読み出す、いわゆる間引き動作で固体撮像素子を動作させて、図１に図示していないがA/D 変換されたディジタル画素データを動画用の処理部で静止画と独立に処理して、モニタ表示してもよい。
【００３８】
次にディジタルカメラ10の動作手順を説明する前に、固体撮像素子26について説明する。固体撮像素子26は、図６に示すように、たとえばインターレース型で同一行、または同一列の画素間隔、すなわち画素ピッチをPPとすると、ある一つの受光素子90に対して互いに隣接した受光素子90が、水平および垂直方向に画素ずらしした位置に配されている。隣接する受光素子90は、受光素子90と異なる行または異なる列に配されるとともに、画素のずれが画素ピッチPPの半分になっている。本実施例の受光素子90はアパーチャ形状を菱形に限らず、四角形や六角形や八角形等の多角形であればよい。また、受光素子90を覆う色フィルタセグメントは、たとえば四角形や六角形や八角形等の多角形に形成されている。
【００３９】
垂直CCD レジスタ92は、破線で示すように受光素子90の形状に応じて受光素子90を囲むように形成されている複数の転送電極94から成っている。矢印96で示す部分の各受光素子90と垂直CCD レジスタ92との間には、図示しないトランスファゲートが転送電極94と一体で形成されている。トランスファゲートは、ゲート「閉」の状態で受光素子90が入射光を光電変換して得た信号電荷を受光素子90内に蓄積させ、所定のタイミングおよび所定の期間にゲート「開」の状態にすることによって蓄積した信号電荷を垂直CCD レジスタ92に読み出す機能を有している。
【００４０】
固体撮像素子26には、電極端子98〜104 が配設されている。このうち、電極端子98〜104 には、それぞれ、垂直駆動信号φV1〜φV4が供給されている。また、電極端子106, 108には、それぞれ、水平駆動信号φH1, φH2が供給されている。電極端子98〜104 は、それぞれ、トランスファゲートのオン／オフおよび信号電荷の垂直転送を行うため、４つの転送電極94ごとに結線している。このことからも明らかなように、垂直転送は４相駆動で行われる。垂直転送された信号電荷は水平CCD レジスタ110 に供給される。
【００４１】
水平CCD レジスタ110 では、電極端子106, 108を介して供給される水平駆動信号φH1, φH2により２相駆動が行われる。
【００４２】
簡単に駆動を説明する。受光素子90が２次元に配設されているうち、最下段に位置するラインを第１ラインとし、上段に向かって１段ずつ歩進してラインを表す。各電極からの信号線は水平に配線されている。第１フィールドの垂直ブランキング期間に電極端子98, 100 をＬレベルにし、かつ電極端子102, 104をＨレベルにした後、このＨレベルより高いトランスファゲートパルスVRを電極端子102 に印加する。この印加により、第１、第２、第５および第６ラインの受光素子90から信号電荷が垂直CCD レジスタ92に読み出される。読み出した信号電荷は、垂直ブランキング期間の終了後、水平ブランキング期間に垂直転送により順次水平CCD レジスタ110 に向かって移送される。
【００４３】
さらに有効信号期間中に最初、第１および第２ラインの信号電荷は水平CCD レジスタ110 から供給される水平駆動信号（φH1, φH2）の２相駆動により出力部112 を介して水平転送し、出力される。これにより第１および第２ラインの信号電荷が画素信号として交互に出力される。その後、第５および第６ラインの信号電荷も出力される。
【００４４】
第２フィールドの垂直ブランキング期間に電極端子98, 100 をＨレベルにし、かつ電極端子102, 104をＬレベルにした後、このＨレベルより高いトランスファゲートパルスVRを電極端子98に印加する。この印加により、第３、第４、第７および第８ラインの受光素子90から信号電荷が垂直CCD レジスタ92に読み出される。読み出された信号電荷は、垂直転送、水平転送を順次受けて出力部112 を介して出力される。読み出される順序は第３および第４ラインが交互に読み出され、その後、第７および第８ラインが読み出される。このようにして固体撮像素子26はインターライン走査を行って出力信号27を出力している。
【００４５】
１フレームの画像を得る際に連続２フィールドの画像をディジタル変換してフレームメモリに蓄積する。また、フィールドごとに露光時刻が１フィールド分ずれることを防ぐため、メカニカルシャッタ24を利用するとよい。すなわち、メカニカルシャッタ24は、たとえば、第１フィールドのブランキング期間から次の第２フィールドのブランキング期間まで閉じて受光素子90に対して遮光する。これにより、同一時刻に露光した画像が得られる。さらに、第１フィールドのブランキング期間以降、メカニカルシャッタ24を閉じておくと、出力信号27に対するスミアを抑制することができる。
【００４６】
また、固体撮像素子26は、解像度の点に着目してみると、一般的に用いられる正方格子状の場合に比べて、ハニカム形状の場合の配置では、画素ピッチPPをそれぞれN(μm)の正方格子状に配置した受光素子がそれぞれ45°回転させた場合の配置にある。ハニカム形状の配置、すなわち画素の半ピッチずれを有する配置では、正方格子状の配置における水平／垂直方向の隣接画素間距離｜PP｜= N(μm)を基準に検討すると、隣接画素間距離がN*(2)-1/2 と隣接画素間距離｜PP｜＝N より短くなる。したがって、ハニカム形状の配置は、正方格子状の配置よりも画素が稠密に配置されるので、原理的に水平・垂直方向の解像度を(2)1/2倍に向上させることができる。また、ハニカム形状の配置から出力形態に見合う正方格子状の配置に展開する場合、仮想画素は、隣接する実在する画素に基づいて信号処理部32で補間処理が行われる。この補間処理を行いながらまだ得られていない色および輝度の画素等を補間展開すると、解像度は、単に正方格子状に受光素子90を配置したときより高くできる。
【００４７】
本実施例では前述したように色フィルタ26a に補色の色フィルタセグメントを用いている。この色フィルタ26a を用いる特徴について簡単に説明する。現在、解像度を高めるため画素数を増やすことにより個々の受光素子の受光面積が狭くなってきている。これにより、受光素子の感度低下が生じ、得られる画像がノイズを含んだ画質になってしまう。チップサイズの小型化を図っても撮像の感度特性を保つために入射光を有効に用いることが検討される。入射光の有効利用の一要素は、色分解の効率を高めることにある。色分解は色フィルタにより行われる。色再現性の良好なフィルタとして三原色RGB の色フィルタセグメントが用いられているが、感度が低いという欠点がある。これに対して、三原色RGB の色フィルタセグメントを用いた場合に比べて補色の色フィルタセグメントは、およそ２倍の光を透過することが知られている（図７を参照）。図７の太い破線120 はシアン(Cy)、細い破線122 は黄色(Ye)、一点鎖線124 は緑（G)、実線126 はマゼンタ(Mg)である。原色の緑（G)に比べて、補色の色フィルタセグメント(Cy), (Ye), (Mg)は、相対感度がそれぞれ同程度でありながら、透過する波長域がほぼ２倍程度と広い。これにより、補色系の色フィルタはほぼ原色の光利用効率の倍程度と高いことが理解できる。
【００４８】
そこで、これまでに正方格子画素配列の固体撮像素子で用いられてきている色フィルタセグメントの配置パターンで撮像した場合を考える（図８を参照）。ここで、色は文字記号で表し、この記号の添字は位置を表す行列表示である。また、実線は受光素子の配設を示し、これを実在画素と呼ぶ。一方、破線は受光素子を持たず、周囲の受光素子の画素データを用いた補間処理によって得られる画素で、仮想画素と呼ぶ。
【００４９】
次に高周波輝度データYHを得る処理について説明する。高周波輝度データYHは最終的に得られる輝度データY とことなり、この輝度データに対して途中段階の輝度信号である。高周波輝度データYHは、無相関では近似的に周囲の４つの画素データの和に相当している。受光素子からの寄与をすべての画素でほぼ等しいものにするため、色G に対応する受光素子90から得られる信号には２倍にする係数を付ける。
【００５０】
たとえば、図８に示す配置パターンの場合、仮想画素(2,1) の高周波輝度データYH21は、式(1)
【００５１】
【数１】
YH21＝(2G20 ＋Cy22＋Mg11＋Ye31 )/2 ・・・(1)
となる。
【００５２】
また、垂直（または列）方向に相関がある場合、垂直方向に位置する２つの画素データの和で求める。仮想画素(2,1) および(1,2）の高周波輝度データYH21, YH12は、ともに垂直相関がある場合、それぞれ、式(2a)および式(2b)
【００５３】
【数２】
YH21＝Mg11＋Ye31 ・・・(2a)
YH12＝2G11＋Cy22 ・・・(2b)
となる。補色を原色成分を用いて表すと、各色はそれぞれ近似的に、式(3a)〜式(3c)
【００５４】
【数３】
Cy＝G ＋B ・・・(3a)
Ye＝R ＋G ・・・(3b)
Mg＝R ＋B ・・・(3c)
の関係にある。ここで、被写体の色の変化が小さい、すなわち三原色RGB の個々の成分変化が小さいと仮定して、高周波輝度データYHを原色成分に着目して表現すると、式(4a)、式(4b)および式(4c)は、
【００５５】
【数４】
YH21＝(2G20 ＋Cy22＋Mg11＋Ye31 )/2
＝(2G ＋G ＋B ＋R ＋B ＋R ＋G)/2
＝2G＋R ＋B ・・・(4a)
YH21＝Mg11＋Ye31
＝R ＋B ＋R ＋G
＝G ＋2R＋B ・・・(4b)
YH12＝2G02＋Cy22
＝2G＋G ＋B
＝3G＋B ・・・(4c)
となる。
【００５６】
ところで、垂直相関があり、ほぼ同じような位置にありながら、式(4b)と式(4c)の値は異なっている。また、無相関と垂直相関に応じた高周波輝度データYHの算出においても異なっている。これは、垂直相関に対応して求めた仮想画素の位置における高周波輝度データYHにより列方向に縞状の雑音が発生することを意味する。このような縞状雑音は画質低下を引き起こす要素であるから、この縞状雑音を除去するために垂直方向にLPF 処理が施される。
【００５７】
この結果、相関に応じた高周波輝度データYHを生成しても垂直方向のLPF 処理により解像度向上の効果が相殺されてしまう。この場合と同様に、水平方向の相関処理を行う場合でもこの効果の相殺が見られる。
【００５８】
このような縞状雑音の発生を防止するように、本実施例のディジタルカメラ10の固体撮像素子26には、補色の色フィルタセグメントの配置パターンおよびこれら色フィルタセグメントの分光特性を考慮した色フィルタ26a が配設されている（図9(A)、図9(B)の配置パターンおよび図10の分光特性をそれぞれ参照）。
【００５９】
色フィルタ配列は、たとえば、図9(A)に示すように、第１の色フィルタセグメントの色を緑(G) 、第２の色フィルタセグメントの色をマゼンタ(Mg)、第３の色フィルタセグメントの色を黄色(Ye)、および第４の色フィルタセグメントの色をシアン(Cy)とし、さらに隣接する各色１個の色フィルタセグメントから成る配列を基本単位として水平方向または垂直方向に対して45度の角度の方向に併進的に、かつ２次元的に敷き詰めたものである。より具体的に説明すると、色フィルタセグメントを正方格子状に配した場合、各正方格子の対角に位置する色フィルタセグメントの色を同色にするパターンである。すなわち色G と色Mgを正方格子状に配したパターンとこのパターンの中心に黄色Yeを配しもう一つの色をシアンCyにした西方格子状のパターンとを組み合わせている。また、第３と第４の色フィルタセグメントを入れ換えたパターンでもよい（図9(B)を参照）。
【００６０】
色フィルタセグメント(G) および(Mg)を第１の組とし、各色フィルタセグメントの分光特性に応じて実際に得られる信号に、それぞれ２と１の定数を乗算する。また、色フィルタセグメント（Ye) および（Cy) を第２の組に対しても、ともに１の定数を乗算する。この結果、第１の組の演算結果と第２の組の演算結果は、原色成分に着目して表すと、式(5a)および式(5b)
【００６１】
【数５】
2G＋Mg＝2G＋R ＋B ・・・(5a)
Ye＋Cy＝R ＋G ＋G ＋B
＝2G＋R ＋B ・・・(5b)
となる。すなわち式(5a)と式(5b)は、等号関係にある。この関係を分光曲線で表すと、図10のようになる。分光特性曲線130 は式(5a)、分光特性曲線132 は式(5b)を示している。
【００６２】
なお、分光特性曲線は厳密に規定していないが、パターン縞状の雑音を発生させない範囲として、色フィルタセグメントに用いる分光特性と、各定数をそれぞれ乗算した和、すなわち式(5a)の結果が式(5b)の結果が、たとえば、ほぼ±10％の範囲内であれば発生する雑音を回避することができる。
【００６３】
補間処理部36b のYH生成部52では、無相関、水平相関および垂直相関に応じた高周波輝度データYHの生成が行われる。図11の配列において、前述した無相関および垂直相関における仮想画素(2,1) と(1,2) での高周波輝度データYHは、それぞれ、式(6a)、 式(6b)、および式(6c)
【００６４】
【数６】
YH21＝(2G20 ＋Cy22＋Mg11＋Ye31 )/2
＝(2G ＋G ＋B ＋R ＋B ＋R ＋G)/2
＝2G＋R ＋B ・・・(6a)
YH21＝Mg11＋2G31
＝R ＋B ＋2G
＝2G＋R ＋B ・・・(6b)
YH12＝Ye02＋Cy22
＝R ＋G ＋G ＋B
＝2G＋R ＋B ・・・(6c)
となる。高周波輝度データYHを生成する際、原色成分の関係に着目すると、無相関および垂直相関に関わりなく、高周波輝度データYHは同じ色バランスで生成されることがわかる。これにより、画像には色バランスのずれによって生じていた縞状の雑音が抑えられることになる。また、高周波輝度データYHは、無相関で生成した場合に比較して、相関を利用して生成した場合の方が高い解像度に寄与する。
【００６５】
水平相関についても検討する。仮想画素(2,1) および(1,2）の高周波輝度データYH21, YH12は、ともに水平相関がある場合、それぞれ、式(7a)および式(7b)
【００６６】
【数７】
YH21＝Ye20＋Cy22
＝R ＋G ＋G ＋B
＝2G＋R ＋B ・・・(7a)
YH12＝Mg11＋2G13
＝R ＋B ＋2G（＝2G＋R ＋B ） ・・・(7b)
となる。これにより、水平相関がある場合でも色バランスを保つことができるので、縞状の雑音の発生を防止することができる。
【００６７】
次に仮想画素の位置における高周波輝度データYHを用いてYH生成部52で実在する受光素子90の位置における高周波輝度データYHを生成する。画素(1,1) 、(2,2) における無相関、垂直相関および水平相関の場合の高周波輝度データYH11, YH22は、式(8a)〜式(8e)
【００６８】
【数８】
YH11＝(YH10 ＋YH01＋YH21＋YH12 )/4
＝4(2G＋R ＋B )/4
＝2G＋R ＋B ・・・(8a)
YH11＝YH01＋YH21/2
＝2(2G＋R ＋B )/2
＝2G＋R ＋B ・・・(8b)
YH22＝YH12＋YH32
＝2(2G＋R ＋B )/2
＝2G＋R ＋B ・・・(8c)
YH11＝YH10＋YH12/2
＝2(2G＋R ＋B )/2
＝2G＋R ＋B ・・・(8d)
YH22＝YH21＋YH23
＝2(2G＋R ＋B )/2
＝2G＋R ＋B ・・・(8e)
となる。補間に用いる高周波輝度データYH自体が前述したように相関の有無に関わらず所定の色バランスで得られていることから、高周波輝度データYHの補間処理を行っても色バランスに変動がないことは明らかである。
【００６９】
これにより、大きく画質を劣化させるほどの縞状の雑音の発生は避けることができる。たとえば、これらの雑音が全く見えない場合または若干生じる場合において雑音除去するためのLPF 処理を完全になくしたり、最小限のLPF 処理で済ませることが可能になる。したがって、画像の解像度がLPF 処理によって相殺されることを避けることができる。すなわち、解像度向上の効果を維持することができる。
【００７０】
次に相関検出について説明する。相関検出は、同色の画素データを用いて行う。図11から明らかなように、色フィルタセグメントの配置パターンは各色ともに、菱形状の４つの頂点に画素が対応している。相関の有無は、相関演算の結果が所定の判定値JV, JHより大きいとき相関があるものとする。たとえば、実在画素Cy(2,2) における黄色に対する相関検出を行う場合、図11の画素データYe02, Ye20, Ye42, Ye24を用いる。垂直相関および水平相関は、それぞれの式
【００７１】
【数９】
｜Ye20−Ye24｜−｜Ye02−Ye42｜＞JV ・・・(9a)
｜Ye02−Ye42｜−｜Ye20−Ye24｜＞JH ・・・(9b)
が真のとき、相関があるものとする。比較した画素データ間で変化の少ない方が似ていることを意味するからである。式(9a)および式(9b)がともに偽のとき、無相関と判定する。
【００７２】
また、仮想画素に対する相関検出は、相関検出の対象となっている仮想画素の周囲の４つの画素データを用いて行う。たとえば、仮想画素(4,3) における相関検出は、４つの画素データMg33, G53, Ye42, Cy44 の個々が有する相関検出結果を用いる。相関検出結果が４つの画素データのうち、３つ以上に垂直相関の結果があった場合、仮想画素(4,3) には垂直相関があるものと判定する。水平相関の判定条件も４つの画素データのうち、３つ以上に水平相関の結果があった場合、仮想画素(4,3) には水平相関があるものと判定する。これらの条件に入らない条件は無相関と判定する。
【００７３】
なお、相関の有無の判定条件は同じ相関結果を３つ以上に設定したが、条件を緩めて２つ以上としてもよい。
【００７４】
次に補色の画素および仮想画素に対する三原色データの生成について説明する。三原色データの生成は、図３のRGB 生成部54で行う。この生成の原理をふたたび図11を用いて説明する。たとえば、仮想画素(2,1) での三原色データR21, G21, B21 は、式(10a) 〜式(10d)
【００７５】
【数１０】
R21 ＝(Mg11 ＋Ye20−Cy22)/2
＝（R ＋B ＋R ＋G −G −B ）/2
＝2R/2
＝R ・・・(10a)
G21 ＝(G31＋Cy22＋Ye20−Mg11)/3
＝（G ＋G ＋B ＋R ＋G −R −B ）/3
＝3G/3
＝G ・・・(10b)
G21 ＝(2G31 ＋Cy22＋Ye20−Mg11)/4
＝（2G＋G ＋B ＋R ＋G −R −B ）/4
＝4G/4
＝G ・・・(10c)
B21 ＝(Mg11 ＋Cy22−Ye20)/2
＝（R ＋B ＋G ＋B −R −G ）/2
＝2B/2
＝B ・・・(10d)
となる。このように三原色データは、周囲にある画素データの四則演算により求めることができる。
【００７６】
また、実在画素における三原色データは、周辺からの４仮想画素の三原色データの平均値として算出する。
【００７７】
このようにして求めた仮想画素および実在画素の三原色データは、偽色信号が含まれる場合があり、これを避けるためにローパスフィルタ操作を三原色データに対して行うことが有効である。
【００７８】
以上述べた高周波輝度データYHを得る処理、相関検出処理、および三原色データを得る処理は、図9(B)の色フィルタ配列でも同様に行うことができる。
【００７９】
次にディジタルカメラ10の動作手順を簡単に説明する（メインルーチン：図12を参照）。電源投入後に、各種の初期設定を行った後、撮影モードかどうかモード判定を行う（ステップS10 ）。撮影モードと判定された場合（YES ）、ステップS12 に進む。また、撮影モード以外のモードと判定された場合（NO）、図示しないが他のモードの処理ルーチンに移行する。
【００８０】
撮影モードと判定された際に、ステップS12 では電源オフになっているかどうか判断する。電源がオフの場合（YES ）、ディジタルカメラ10の動作を終了する。また、電源がオンの場合（NO）、動画表示処理を行う（ステップS14 ）。
【００８１】
この後、ユーザがシャッタボタンを全押し状態にする操作が行われたかどうか判断する（ステップS16 ）。この操作が行われた場合（YES ）、この指示を受けてシステム制御部18は、固体撮像素子26で静止画撮像処理を行う（ステップS18 ）。この操作が行われなかった場合（NO）、ステップS10 に戻る。
【００８２】
この静止画撮像処理は、色フィルタ26a により色分解された入射光を受光素子90で光電変換して信号電荷に変換し読み出した信号をディジタル変換しフレームメモリ32a に格納するまでの処理である。固体撮像素子26は、得られた信号電荷を信号27としてアナログ処理部28に供給される。補色を含む色フィルタ26a を用いていることにより、入射光の利用効率を三原色の色フィルタの場合に比べて向上させることができる。
【００８３】
アナログ処理部28では、供給される信号27のゲイン調整を行い、A/D 変換部30に出力される。A/D 変換部30では、供給されるアナログ信号29をディジタル信号31に変換している。このディジタル信号31は画素データとして信号処理部32に供給される。信号処理部32では、供給された画素データ31をフレームメモリ部32a に入力する。フレームメモリ部32a は、システム制御部18の制御により、信号処理を施す領域内の画素データ44を補間処理部32b に読み出し、出力する。
【００８４】
補間処理部32b での各種の信号の補間処理は、後段でさらに説明する、色信号処理（サブルーチンSUB1）に沿って行う。色信号処理は、補間処理および輝度・色差信号処理を行う。補間処理は、たとえば、画素データ同士の相関性を考慮（して相関検出）して実在画素および仮想画素における高周波輝度データYH、低周波輝度データYLおよび三原色データの生成を行う。この生成手順については後段で詳述する。この生成によって、フレーム１画面分に対する５種類のデータが生成される。これらのデータを輝度・色差信号処理部32c に供給する。輝度・色差信号処理部32c では、輝度データY および色差データCr, Cbを生成する。このとき、得られる３つの信号には画像データの解像度の向上が図られる。信号処理部36b は、得られた各成分のデータを圧縮／伸張部34に供給する。
【００８５】
圧縮／伸張部34では、供給される各成分のデータに対して圧縮処理を施す（ステップS20 ）。圧縮処理の例としては、JPEG規格に対応して各成分のデータ量を低減させる処理を行っている。
【００８６】
圧縮／伸張部34で、圧縮処理の施されたデータ35がシステムバス16を介して記録再生部36に送られる。記録再生部36では、ストレージ機能を利用してデータ35を記録する（ステップS22 ）。この記録終了後、ステップS10 に戻る。
【００８７】
さらに、補間処理の動作手順について説明する（サブルーチンSUB1：図13を参照）。フレームメモリ部32a から相関検出対象の画素データの色と同色の４つの画素データを所定の領域として読み出して、この際、相関検出対象の画素データのアドレスも読み出しておく。このアドレスは、固体撮像素子26またはフレームメモリ40のアドレスでかまわない。まず、供給された所定の領域の画素データ44を用いて、実在画素を用いて相関検出を行う（サブステップSS10）。相関検出は、たとえば、式(9a)および式(9b)により行われる。
【００８８】
相関検出対象の位置に対して相関検出した結果に応じた相関対応処理により実在画素および仮想画素の高周波輝度データYHをそれぞれ生成する（サブルーチンSUB2：図14を参照）。仮想画素の高周波輝度データYHは、仮想画素の周りを囲む２つまたは４つの画素データから生成する。また、補間処理において三原色データは実在画画素および仮想画素を用いて生成する（サブステップSS12：図15を参照）。続いて、これらの高周波輝度データYHおよび三原色データから輝度・色差信号を生成する（サブステップSS14：図15を参照）。これらの処理が１フレーム分すべてに対して終了したかどうかの判断を行う（サブステップSS16）。まだ１フレームの高周波輝度データYHおよび三原色データの生成が１フレーム分終了していない場合（NO) 、最初のサブステップSS10まで戻って処理を繰り返す。また、１フレーム分すべて処理が終了した場合（YES ）、リターンに移行してサブルーチンSUB1を終了する。
【００８９】
次に本実施例における高周波輝度データYHの生成手順について説明する（サブルーチンSUB2：図14を参照）。フレームメモリ部32a は、システム制御部18の制御により順次生成の対象の画素データに対して周囲の所定の領域の画素データを出力する。供給される画素データのうち、たとえば、式(6a)のように周囲の４つの画素データを用い、これらの加算平均によって無相関対応処理を行う（サブステップSS202 ）。
【００９０】
次に供給される画素データのうち、たとえば、式(6b)や式(6b)のように周囲の２つの画素データを用い、これらの加算平均によって垂直相関対応処理を行う（サブステップSS202 ）。また、同様に、供給される画素データのうち、たとえば、式(7a)や式(7b)のように周囲の２つの画素データを用い、これらの加算平均によって水平相関対応処理を行う（サブステップSS204 ）。
【００９１】
一方、相関検出部50は、相関検出の結果に応じて処理結果の選択を行う選択信号として相関検出信号56を出力する。供給される相関検出信号56に応じてYH選択スイッチ66が切り換えられる。これらサブステップSS200 〜SS204 までの手順は、各補間対象の画素がどのような相関か検出した際の判断処理に対応している。YH選択スイッチ66の切換えは、垂直相関、水平相関、および無相関の結果を選ぶことである。
【００９２】
たとえば、検出した相関が垂直相関かどうか判断する（サブステップSS206 ）。相関が垂直相関と判断された場合（YES ）、サブステップSS208 に進む。また、相関が垂直相関と判断されなかった場合（NO）、サブステップSS210 に進む。サブステップSS208 では、垂直相関に対応する処理した結果を選択して高周波輝度データYHが得られる。
【００９３】
サブステップSS210 では、相関検出信号56が水平相関を示すかどうか判断する。相関が水平相関と判断された場合（YES ）、サブステップSS212 に進む。また、相関が垂直相関および水平相関でもないと判断された場合（NO）、サブステップSS214 に進む。サブステップSS212 では、水平相関に対応して処理した結果の高周波輝度データYHが得られる。サブステップSS214 では、垂直および水平方向に相関がなかった、すなわち無相関と判断してこの無相関に対応して処理した結果の高周波輝度データYHが得られる。
【００９４】
サブステップSS208, SS212, SS214 の処理後、サブステップSS216 に移行して高周波輝度YH後処理を行う。高周波輝度YH後処理とは、高周波輝度データを合成するとともに、ローパスフィルタ処理やハイパスフィルタを用いたエッジ強調処理等を行う。この後リターンに移行してサブルーチンSUB2を終了する。
【００９５】
ところで、個々の処理で得られた対象の画素の相関結果を対象の画素のアドレスに対応付けて格納するようにしておくとよい。そして、図示していないが、たとえば補間処理の一方法として実在画素の高周波輝度データYHを求める際に仮想画素の高周波輝度データYHを用いる。実在画素の周囲の仮想画素にはすでにどのような相関により得られたかその結果が既知である。
【００９６】
相関結果のうち、同じ結果が３つ以上検出されていた場合、その結果である水平または垂直方向の相関があるものと判断する。これ以外の場合、無相関と判断して無相関対応の処理により高周波輝度データYHを生成する。このように高周波輝度データYHの生成には相関の多数決に応じた処理も用いてもよい。
【００９７】
具体的に、たとえば、水平または垂直相関のある場合、対象の画素を挟んで相関のある方向の２つの画素データを用いて加算平均により高周波輝度データYHを生成する。また、無相関の場合、周囲の４つの画素データを用いて高周波輝度データYHを生成する。
【００９８】
次に実在画素および仮想画素における三原色データを算出する手順を簡単に説明する。前述したように、たとえば、仮想画素(2,1) での三原色データR21, G21, B21 を生成する場合を例に説明する。仮想画素(2,1) の原色データR21 は、式(10a) により算出する。周囲には、４つの異なる色フィルタセグメントを介して得られた実在画素がある。原色成分に着目すると、式(11)
【００９９】
【数１１】
R ＝（Mg＋Ye−Cy）/2 ・・・(11)
により得られる。算出に用いる実在画素の位置関係は、算出の対象の仮想画素を水平方向に見た場合、図11に示すように色G を用いないことから、サンプリングを蛇行させて行うとよい。
【０１００】
次に仮想画素(2,1) の原色データG21 は、式(10b) または式(10c) のいずれかにより算出する。この処理では、仮想画素(2,1) の周囲の異なる４色の実在画素をすべて用いる。本実施例では、色G に対して定数２を乗算しているので、式(10c) を用いることが望ましい。色G の生成式は、原色成分に着目すると、式(12)
【０１０１】
【数１２】
G ＝（2G＋Cy＋Ye−Mg）/4 ・・・(12)
である。
【０１０２】
次に仮想画素(2,1) の原色データB21 は、式(10d) により算出する。この処理では、仮想画素(2,1) の周囲の異なる３色の実在画素を用いる。色G の生成式は、原色成分に着目すると、式(13)
【０１０３】
【数１３】
B ＝（Mg＋Cy−Ye）/2 ・・・(13)
である。この場合も色R の場合と同様にサンプリングする画素データは、蛇行させて行うとよい。
【０１０４】
次に、実在画素における三原色データを生成する。色R の原色データは、周辺の仮想画素に対して求めた４つまたは２つの同色データの加算平均により算出する。
【０１０５】
同様に、色G, Bの原色データも、周辺の仮想画素に対してそれぞれ求めた４つまたは２つの同色データの加算平均により算出する。
【０１０６】
なお、処理の手順は、上述した手順に限定されるものでなく、高周波輝度データYH、三原色データの生成は、仮想画素および実在画素における画素データの生成のいずれかに対して１フレーム分のデータ生成を行い、その後に未処理の領域または位置に対する補間処理を行う方が効率的である。
【０１０７】
このように動作させることにより、解像度の向上の効果がそのまま保たれた画像を提供することができる。
【０１０８】
次に本実施例のディジタルカメラ10の変形例について説明する（図16を参照）。前述した実施例と異なっている点は、相関検出部50から出力される相関検出信号56がRGB 生成部54にも供給されている。RGB 生成部54は、相関検出の結果に対応して三原色データを生成する。
【０１０９】
RGB 生成部54には、無相関、水平および垂直相関に応じた三原色データを生成する無相関RGB 生成部140 、水平相関RGB 生成部142 、垂直相関RGB 生成部144 、RGB 相関選択部146 、およびYL後処理部148 が含まれている。
【０１１０】
無相関RGB 生成部140 、水平相関RGB 生成部142 、および垂直相関RGB 生成部144 には、それぞれ、フレームメモリ40から読み出した画素データ44が供給されている。画素データ44を用いて、あらかじめ相関の有無および相関がある場合の相関の方向に応じて三原色データを生成する機能を有している。無相関RGB 生成部140 、水平相関RGB 生成部142 、および垂直相関RGB 生成部144 は、図示していないが第１段としていずれも仮想画素に対する三原色データを生成している。そして、この算出した画素データを用いてこれらの各部において第２段として実在画素における三原色データを補間生成する。
【０１１１】
無相関RGB 生成部140 は、補間処理を行う対象の受光素子90の周囲にある４つの仮想画素を各色ごとに加算平均して生成する。水平相関RGB 生成部142 は、補間処理を行う対象の受光素子90を挟んで水平方向にある２つの仮想画素を各色ごとに加算平均して生成する。また、垂直相関RGB 生成部144 も補間処理を行う対象の受光素子90を挟んで垂直方向にある２つの仮想画素を各色ごとに加算平均して生成する。また、無相関RGB 生成部140 、水平相関RGB 生成部142 、および垂直相関RGB 生成部144 は、低周波輝度データYLも供給される三原色データを用いて、たとえば、式(14)
【０１１２】
【数１４】
YL＝0.3*R ＋0.59*G＋0.11*B ・・・(14)
に代入して算出する。このように相関に応じた三原色データを用いて画像の色に関するデータを生成することにより、解像度を向上させることができる。
【０１１３】
相関選択部146 は、供給される相関検出信号56を選択信号として無相関RGB 生成部140 、水平相関RGB 生成部142 、および垂直相関RGB 生成部144 からの出力を選択する。相関選択部146 において配設された端子a, b, c は、無相関RGB 生成部140 、水平相関RGB 生成部142 、および垂直相関RGB 生成部144 の出力側とそれぞれ接続されている。相関選択部146 は、仮想画素とともに、実在画素に対して相関に応じた三原色データをYL後処理部148 に送る。このようにあらかじめ相関結果を想定して画素データを生成しておくので、信号処理の時間短縮も図ることができる。
【０１１４】
YL後処理部148 は、供給される実在画素および仮想画素のすべての各種データに対してゲイン調整やローパスフィルタ処理等を施して低周波輝度データYL (150)および三原色データ152 〜156 低周波輝度データYLを出力する。
【０１１５】
最後に、本実施例ではディジタルカメラ10の固体撮像素子26にCCD エリアセンサタイプのインターレース走査による固体撮像素子を用いて説明したが、このような固体撮像素子に限定されるものでなく、一つの受光素子に隣接する受光素子の画素ずらしの大きさが同一行または同一列の受光素子間隔の半分で、水平および垂直方向にずれている、いわゆるハニカム対応の配置であれば、プログレッシブ走査のCCD エリアセンサでも、４フィールドインターレース走査のCCD エリアセンサでもよいことは明らかである。
【０１１６】
さらに、図17に示すMOS タイプの固体撮像素子を適用しても前述した実施例と同様に解像度を損なうことなくディジタルカメラ10が画像を提供できる。この点を除いて、撮像素子の構成は、ほぼ従来の構成と同じである。この際、色フィルタは、図9(A), 図9(B)に示した色フィルタセグメントの配置を用いることは言うまでもない。
【０１１７】
MOS タイプの固体撮像素子26を簡単に説明すると、受光素子160 は、前述したCCD タイプで説明したいわゆるハニカム対応に２次元配置されている。受光素子160 に隣接して垂直方向に信号線162 が形成されている。受光素子160 と信号線162 との間には、図示しないがMOS スイッチが配設形成されている。
【０１１８】
垂直走査回路164 は、たとえば、MOS スイッチにオン／オフの信号を供給して受光素子160 での信号の蓄積および読出し（すなわち、選択）を行わせる。読み出した信号は、アナログ部166 に供給される。水平走査回路168 は、アナログ部166 に供給された信号を水平方向に出力させる走査信号をアナログ部166 に供給する。また、走査制御部170 は、垂直走査回路164 および水平走査回路168 に走査開始のタイミング等のタイミング信号を供給して、動作を制御している。これらの制御により、固体撮像素子26は、入射効率の高い入射光を受光し、得られたアナログ信号27を所望のタイミングで出力させることができる。
【０１１９】
以上のように構成することにより、入射光の利用効率を高めるために、補色を含む色フィルタセグメントを用いて受光素子にて信号電荷を生成し、信号処理において得られた実在画素および仮想画素に対する高周波輝度データYHを相関検出に応じて生成しても、高周波輝度データの変動がほとんどなく生成することができる。これにより、縞状の雑音が発生しないから、これまで縞状の雑音の除去に用いてきたLPF 処理を最小限または不要にすることができる。したがって、得られる信号に対して解像度を劣化させる要因がなくなるので、相関を利用し、広帯域化した解像度の向上させた画像がそのまま得られることになる。これにより、これまでよりも感度がよく、かつ解像度の高いカラー画像が得られる。
【０１２０】
固体撮像素子も、各色フィルタセグメントの分光特性と対応する定数の乗算結果の和の２つがほぼ同じになる関係の色フィルタを用いることで光の利用効率だけでなく、これらの画素データを用いて信号処理を後段で行わせても解像度の向上にも寄与できる信号を生成することができる。
【０１２１】
さらに、信号処理方法は、上述した色フィルタセグメントの関係が成り立つとき、高周波輝度データYHの算出に際して、供給される画素データの各色に対応する所定の定数を乗算して画素データを補正し、ディジタル変換した生の画素データを用いた相関検出の結果に応じた信号処理を補正した画素データにより算出して画像を生成すると、解像度の高いカラー画像が得られる。
【０１２２】
【発明の効果】
このように本発明の固体撮像装置によれば、固体撮像素子から読み出された画素データを信号処理手段での信号処理において、水平方向または垂直方向に相関がある実在画素または仮想画素における高周波輝度データを相関がある方向の補正した画素データから生成することにより解像度の向上を図る。さらに、第１の和と第２の和はほぼ同じ分光特性になる色フィルタ配置にしていることから垂直方向または水平方向に隣接する高周波輝度データに変動がなく、再生画面上で縞状の雑音が現れない。この結果、縞状雑音防止用のローパスフィルタが不要となり、解像度劣化が避けられる。また、色分解手段に補色フィルタを含むため原色フィルタ配列の固体撮像素子に比較して入射光の利用効率が上がり、感度がおよそ２倍に向上する。これにより、解像度の高い画像を得ることができる。
【０１２３】
また、本発明の固体撮像素子によれば、それぞれ得られる第１の和と第２の和がほぼ同じになる位置関係に色フィルタセグメントが配された色分解手段で色分解した入射光を受光部で光電変換により得られた信号電荷を読出し手段を介して読み出して、後段における信号処理において色フィルタセグメントの色に応じた複数の所定の定数をそれぞれ乗算して補正を行って水平方向または垂直方向の相関のある方向の補正した値を用いて高域成分を含む高周波輝度データを生成することにより縞状雑音のない高周波輝度データにする。これにより最適な場合、縞状雑音防止用のローパスを不要にする。したがって、最終的な画像に生じていた縞状の雑音の発生を防止でき、後段での信号処理による解像度の劣化を生じさせるおそれのない信号を出力することができる。
【０１２４】
さらに、本発明の信号処理方法によれば、入射光を配置した第１ないし第４の色フィルタセグメントで色分解させて、受光素子から読み出して得られた信号にアナログ処理、ディジタル変換処理を施し、得られた画素データを用いて相関検出を行うとともに、相関検出の結果に応じた高域成分を含む高周波輝度データの生成にディジタル変換処理により得られる画素データに位置対応の第１から第４の定数をそれぞれ乗算して補正した画素データを用いて生成することにより、相関に依存しない高周波輝度データの変動が極めて少なく、これにともなって縞状雑音が発生しないので、最良の場合、ローパスフィルタ処理を行わずに済ませることができ、解像度を高く維持できる。
【図面の簡単な説明】
【図１】本発明の固体撮像装置を適用したディジタルカメラの概略的な構成を示すブロック図である。
【図２】図１の信号処理部のフレームメモリ部の概略的な構成を示すブロック図である。
【図３】図１の信号処理部の補間処理部および輝度・色差信号処理部の概略的な構成を示すブロック図である。
【図４】図３のYH生成部の概略的な構成を示すブロック図である。
【図５】図３の輝度・色差信号処理部の輝度データ生成部の広帯域化機能を説明する周波数アロケーションの関係を示す図である。
【図６】図１の固体撮像素子を入射光側から見た各部の位置関係および構成を示す概略的な構成を示す模式図である。
【図７】図６の受光素子の位置に対応して配設される各色フィルタセグメントを相対感度で示す分光特性チャートである。
【図８】従来の補色を含む色フィルタセグメントの配置パターンを説明する模式図である。
【図９】図１の固体撮像素子に用いる色フィルタの図9(A)の配置パターンと図9(B)の配置パターンを説明する模式図である。
【図１０】図９の色フィルタにおいて２倍の緑とマゼンタとを合わせた分光特性および黄色とシアンとを合わせた分光特性を相対感度で表したチャートである。
【図１１】図9(A)の配置パターンに行列表示を付して個々の位置も規定して表した模式図である。
【図１２】図１のディジタルカメラの動作手順を説明するメインフローチャートである。
【図１３】図12の補間処理（サブルーチンSUB1）の動作手順を説明するフローチャートである。
【図１４】図13の高周波輝度データYHの生成（サブルーチンSUB2）の手順を説明するフローチャートである。
【図１５】図３の補間処理部において相関検出の結果に応じてRGB 生成部を動作させる概略的な構成のブロック図である。
【図１６】図15のRGB 生成部に関する概略的な構成を示すブロック図である。
【図１７】図１の固体撮像素子を画素ずらしをともなうMOS 型固体撮像素子の概略的な構成を示す模式図である。
【符号の説明】
10 ディジタルカメラ
16 システムバス
18 システム制御部
26 固体撮像素子
28 アナログ処理部
30 A/D 変換部
32 信号処理部
32a フレームメモリ部
32b 補間処理部
32c 輝度・色差信号処理部
40 フレームメモリ
50 相関検出部
Claims (18)
- 入射光を遮光する遮光部材の開口部に対応した位置で該入射光を色分解し、該色分解した入射光を光電変換して撮像し、該撮像により得られた信号に信号処理を施して広帯域な信号にする固体撮像装置において、該装置は、
前記開口部からの入射光を異なる分光特性の複数の色に色分解する色フィルタセグメントのうちに、少なくとも分光特性が補色系の色フィルタセグメントを含む色分解手段、
該色分解手段から補色系の色を含む前記色フィルタセグメントを通った入射光を光電変換する受光素子と該受光素子に隣接した受光素子とが互いに垂直方向および／または水平方向にずらされて２次元配置された受光部、および
該受光部の前記受光素子で光電変換されて蓄積された信号電荷を所定の順序で順次読み出し、外部の出力信号として出力する読出し手段を含む固体撮像素子と、
該固体撮像素子から供給される信号をディジタル変換して画素データにするディジタル変換手段と、
前記受光素子の実在する位置から得られる画素を実在画素とし、前記受光素子の中間の位置の画素を仮想画素とし、前記ディジタル変換された画素データに対して前記色フィルタセグメントの色に応じた複数の所定の定数をそれぞれ乗算して補正した画素データを生成し、該補正した画素データを用いて水平および／または垂直方向の相関検出を行い、得られた相関検出結果に基づいて該補正した画素データから前記受光素子の位置および前記仮想画素の領域での高域成分を含む高周波輝度データならびにディジタル変換した画素データから三原色の原色データをそれぞれ求めるとともに、これらの各種の画素データから輝度および色差に関するデータを生成する信号処理手段とを含み、
前記色分解手段は、第１の色フィルタセグメントおよび第２の色フィルタセグメントの第１の組、第３の色フィルタセグメントおよび第４の色フィルタセグメントの第２の組の各組が、それぞれの同一行内に配され、第１の組に隣接する第２の組の色フィルタセグメントが第１の組の色フィルタセグメントと互いに画素ピッチの半分ずれた位置関係にあって、
第１の組の色フィルタセグメントの分光特性に、それぞれ第１の定数と第２の定数を乗算した積の第１の和が、第２の組の色フィルタセグメントの分光特性に、第３の定数と第４の定数を乗算した積の第２の和とほぼ等しく、かつ得られた第１および第２の和が輝度を示す分光特性に近い関係になるように色フィルタセグメントが選択されて配置されることを特徴とする固体撮像装置。 - 請求項１に記載の装置において、前記固体撮像素子は、白色光を入射させた際に第１の組の前記色フィルタセグメントおよび前記受光素子の分光特性に応じて得られる信号にそれぞれ第１の定数と第２の定数を乗算した積の和を第１の和、第２の組の前記色フィルタセグメントおよび前記受光素子の分光特性に応じて得られる信号にそれぞれ第３の定数と第４の定数を乗算した積の和を第２の和にした場合、第１の和が、第２の和のほぼ±10％の範囲内で得られることを特徴とする固体撮像装置。
- 請求項１または２に記載の装置において、前記色分解手段は、第１の色フィルタセグメントの色を緑、第２の色フィルタセグメントの色をマゼンタ、第３の色フィルタセグメントの色を黄色、および第４の色フィルタセグメントの色をシアンとし、
前記色フィルタセグメントのそれぞれの配置は、前記色フィルタセグメントを正方格子状に配した色フィルタセグメントの一方の色を緑にして対角に位置する前記色フィルタセグメントの色を同色にし、他方の色をマゼンタにして対角の位置を該色と同色にし、これらの正方格子状に配した色フィルタセグメントの中心または中間の位置から成る別な正方格子状に配した色フィルタセグメントの一方の色を黄色にして対角に位置する前記色フィルタの色を同色にし、他方の色をシアンにして対角の位置を該色と同色にすることを特徴とする固体撮像装置。 - 請求項１または２に記載の装置において、前記色分解手段は、第１の色フィルタセグメントの色を緑、第２の色フィルタセグメントの色をマゼンタ、第３の色フィルタセグメントの色をシアン、および第４の色フィルタセグメントの色を黄色とし、
前記色フィルタセグメントのそれぞれの配置は、前記色フィルタセグメントを正方格子状に配した色フィルタセグメントの一方の色を緑にして対角に位置する前記色フィルタセグメントの色を同色にし、他方の色をマゼンタにして対角の位置を該色と同色にし、これらの正方格子状に配した色フィルタセグメントの中心または中間の位置から成る別な正方格子状に配した色フィルタセグメントの一方の色をシアンにして対角に位置する前記色フィルタの色を同色にし、他方の色を黄色にして対角の位置を該色と同色にすることを特徴とする固体撮像装置。 - 請求項２ないし４のいずれかに記載の装置において、第１の定数は、２、第２から第４の定数は、１とすることを特徴とする固体撮像装置。
- 請求項１ないし５のいずれかに記載の装置において、前記固体撮像素子は、電荷結合デバイス、およびMOS 型トランジスタの画素選択手段のいずれか一方であることを特徴とする固体撮像装置。
- 入射光を遮光する遮光部材の開口部に対応した位置で該入射光を色分解し、該色分解した入射光を光電変換する固体撮像素子において、該素子は、
前記開口部からの入射光を異なる分光特性の複数の色に色分解する色フィルタセグメントうちに、少なくとも分光特性が補色系の色フィルタセグメントを含む色分解手段、
該色分解手段から補色系の色を含む前記色フィルタセグメントを通った入射光を光電変換する受光素子と該受光素子に隣接した受光素子とが互いに垂直方向および／または水平方向にずらされて２次元配置された受光部、および
該受光部の前記受光素子に光電変換されて蓄積された信号電荷を所定の順序で順次読み出し、外部の出力信号として出力する読出し手段を含み、
前記色分解手段は、第１の色フィルタセグメントおよび第２の色フィルタセグメントの第１の組、第３の色フィルタセグメントおよび第４の色フィルタセグメントの第２の組の各組が、それぞれの同一行内に配され、第１の組に隣接する第２の組の色フィルタセグメントが第１の組の色フィルタセグメントと互いに画素ピッチの半分ずれた位置関係にあって、
第１の組の色フィルタセグメントの分光特性に、それぞれ第１の定数と第２の定数を乗算した積の第１の和が、第２の組の色フィルタセグメントの分光特性に、第３の定数と第４の定数を乗算した積の第２の和とほぼ等しく、かつ得られた第１および第２の和が輝度を示す分光特性に近い関係になるよう色フィルタセグメントが選択されて配置されることを特徴とする固体撮像素子。 - 請求項７に記載の素子において、前記色分解手段は、白色光を入射させた際に第１の組の前記色フィルタセグメントおよび前記受光素子の分光特性に応じて得られる信号にそれぞれ第１の定数と第２の定数を乗算した積の和を第１の和、第２の組の前記色フィルタセグメントおよび前記受光素子の分光特性に応じて得られる信号にそれぞれ第３の定数と第４の定数を乗算した積の和を第２の和にした場合、第１の和が、第２の和のほぼ±10％の範囲内で得られることを特徴とする固体撮像素子。
- 請求項７または８に記載の素子において、前記色分解手段は、第１の色フィルタセグメントの色を緑、第２の色フィルタセグメントの色をマゼンタ、第３の色フィルタセグメントの色を黄色、および第４の色フィルタセグメントの色をシアンとし、
前記色フィルタセグメントのそれぞれの配置は、前記色フィルタセグメントを正方格子状に配した色フィルタセグメントの一方の色を緑にして対角に位置する前記色フィルタセグメントの色を同色にし、他方の色をマゼンタにして対角の位置を該色と同色にし、これらの正方格子状に配した色フィルタセグメントの中心または中間の位置から成る別な正方格子状に配した色フィルタセグメントの一方の色を黄色にして対角に位置する前記色フィルタの色を同色にし、他方の色をシアンにして対角の位置を該色と同色にすることを特徴とする固体撮像素子。 - 請求項７または８に記載の素子において、前記色分解手段は、第１の色フィルタセグメントの色を緑、第２の色フィルタセグメントの色をマゼンタ、第３の色フィルタセグメントの色をシアン、および第４の色フィルタセグメントの色を黄色とし、
前記色フィルタセグメントのそれぞれの配置は、前記色フィルタセグメントを正方格子状に配した色フィルタセグメントの一方の色を緑にして対角に位置する前記色フィルタセグメントの色を同色にし、他方の色をマゼンタにして対角の位置を該色と同色にし、これらの正方格子状に配した色フィルタセグメントの中心または中間の位置から成る別な正方格子状に配した色フィルタセグメントの一方の色をシアンにして対角に位置する前記色フィルタの色を同色にし、他方の色を黄色にして対角の位置を該色と同色にすることを特徴とする固体撮像素子。 - 請求項８ないし10のいずれかに記載の素子において、第１の定数は、２、第２から第４の定数は、１とすることを特徴とする固体撮像素子。
- 請求項７ないし11のいずれかに記載の素子において、該撮像素子は、電荷結合デバイス、およびMOS 型トランジスタの画素選択手段のいずれか一方であることを特徴とする固体撮像素子。
- 入射光を遮光する遮光部材の開口部に対応し、かつ第１の色フィルタセグメントおよび第２の色フィルタセグメントの第１の組、第３の色フィルタセグメントおよび第４の色フィルタセグメントの第２の組の各組が、それぞれの同一行内に配され、第１の組に隣接する第２の組の色フィルタセグメントが第１の組の色フィルタセグメントと互いに画素ピッチの半分ずれた位置関係に配された固体撮像素子を用いて、該固体撮像素子に入射する光を色分解する第１の工程と、
該色分解した入射光を各色フィルタセグメント直下に配した受光素子で信号電荷に光電変換する第２の工程と、
読み出す信号電荷をアナログ信号として読み出し、該アナログ信号にディジタル信号処理を施す前のアナログ処理を施す第３の工程と、
該アナログ信号に前記ディジタル処理を施してディジタル信号に変換する第４の工程と、
得られたディジタル信号を画素データとしてあらかじめ用意した複数回読み出せるメモリ手段に格納させる第５の工程と、
前記画素データのそれぞれと配置した色フィルタセグメントの位置に応じた複数の所定の定数とを乗算して補正した画素データを生成するとともに、該相関検出結果に応じた方向の考慮された演算処理を該補正した画素データで行って高域成分を含む高周波輝度データを生成する第６の工程と、
前記メモリ手段から読み出した画素データを用いて水平および／または垂直方向の相関検出を行う第７の工程と、
前記メモリ手段から読み出した画素データを用いて三原色の各原色データを生成する第８の工程と、
前記高周波輝度データおよび前記三原色の各原色データを用いて輝度データおよび色差データの生成を行う第９の工程とを含み、
第６の工程は、
第１の色フィルタセグメントに対応して得られる信号に第１の定数を乗算し、第２の色フィルタセグメントに対応して得られる信号に第２の定数を乗算し、それぞれ得られる積の和を第１の和とし、
第３の色フィルタセグメントに対応して得られる信号に第３の定数を乗算し、第４の色フィルタセグメントに対応して得られる信号に第４の定数を乗算し、それぞれ得られる積の和を第２の和とし、
第１および第２の定数ならびに第３および第４の定数は、それぞれ第１の和と第２の和とがほぼ同程度の範囲内の値になる定数をそれぞれ用いることを特徴とする信号処理方法。 - 請求項13に記載の方法において、第１の和は、第２の和とほぼ±10％の範囲内の値にする第１ないし第４の定数を、それぞれ用いることを特徴とする信号処理方法。
- 請求項13または14に記載の方法において、第１の工程は、第１の色フィルタセグメントを緑色、第２の色フィルタセグメントをマゼンタ、第３の色フィルタセグメントを黄色、および第４の色フィルタセグメントをシアンとし、
前記色フィルタセグメントのそれぞれの配置は、前記色フィルタセグメントを正方格子状に配した色フィルタセグメントの一方の色を緑にして対角に位置する前記色フィルタセグメントの色を同色にし、他方の色をマゼンタにして対角の位置を該色と同色にし、これらの正方格子状に配した色フィルタセグメントの中心または中間の位置から成る別な正方格子状に配した色フィルタセグメントの一方の色を黄色にして対角に位置する前記色フィルタの色を同色にし、他方の色をシアンにして対角の位置を該色と同色にすることを特徴とする信号処理方法。 - 請求項13または14に記載の方法において、第１の工程は、第１の色フィルタセグメントを緑色、第２の色フィルタセグメントをマゼンタ、第３の色フィルタセグメントをシアン、および第４の色フィルタセグメントを黄色とし、
前記色フィルタセグメントのそれぞれの配置は、前記色フィルタセグメントを正方格子状に配した色フィルタセグメントの一方の色を緑にして対角に位置する前記色フィルタセグメントの色を同色にし、他方の色をマゼンタにして対角の位置を該色と同色にし、これらの正方格子状に配した色フィルタセグメントの中心または中間の位置から成る別な正方格子状に配した色フィルタセグメントの一方の色をシアンにして対角に位置する前記色フィルタの色を同色にし、他方の色を黄色にして対角の位置を該色と同色にすることを特徴とする信号処理方法。 - 請求項13または14に記載の方法において、第１の定数は、２、第２から第４の定数は、１に設定することを特徴とする固体撮像素子。
- 請求項13または14に記載の方法において、第７の工程は、前記固体撮像素子における実在する受光素子の位置の画素を実在画素とし、前記受光素子の中間の位置の画素を仮想画素とし、前記実在画素または前記仮想画素における高域成分を含む高周波輝度データを水平方向または垂直方向に相関がある場合に相関のある方向の補正した画素データを用いて行い、これ以外の場合には生成対象位置の周囲を囲む位置の補正した画素データの総和から生成することを特徴とする信号処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000101226A JP4372955B2 (ja) | 2000-03-31 | 2000-03-31 | 固体撮像装置および信号処理方法 |
| US09/820,792 US6469290B1 (en) | 2000-03-31 | 2001-03-30 | Solid-state image pickup apparatus in compliance with the arrangement of complementary color filter segments and a signal processing method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000101226A JP4372955B2 (ja) | 2000-03-31 | 2000-03-31 | 固体撮像装置および信号処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001285885A JP2001285885A (ja) | 2001-10-12 |
| JP4372955B2 true JP4372955B2 (ja) | 2009-11-25 |
Family
ID=18615312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000101226A Expired - Fee Related JP4372955B2 (ja) | 2000-03-31 | 2000-03-31 | 固体撮像装置および信号処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6469290B1 (ja) |
| JP (1) | JP4372955B2 (ja) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3241028B2 (ja) * | 1999-12-22 | 2001-12-25 | 日本電気株式会社 | 画像撮像装置及びその画像撮像方法 |
| JP2001203969A (ja) * | 2000-01-21 | 2001-07-27 | Fuji Photo Film Co Ltd | 撮像装置およびその動作制御方法 |
| JP4503823B2 (ja) * | 2000-12-22 | 2010-07-14 | 富士フイルム株式会社 | 画像信号処理方法 |
| DE60235526D1 (de) * | 2001-01-25 | 2010-04-15 | Nikon Corp | Bildverarbeitungsverfahren, bildverarbeitungsprogramm und bildprozessor |
| JP2003009166A (ja) * | 2001-06-21 | 2003-01-10 | Fuji Film Microdevices Co Ltd | 撮像装置およびその駆動方法 |
| AU2002349455A1 (en) * | 2001-12-05 | 2003-06-17 | Hamamatsu Photonics K.K. | Light detection device, imaging device and distant image acquisition device |
| JP3879543B2 (ja) * | 2002-03-08 | 2007-02-14 | ソニー株式会社 | 画像処理装置 |
| JP4125927B2 (ja) * | 2002-08-16 | 2008-07-30 | 富士フイルム株式会社 | 固体撮像装置および固体撮像素子 |
| JP4310093B2 (ja) * | 2002-10-09 | 2009-08-05 | キヤノン株式会社 | 固体撮像素子の製造方法 |
| US20040114047A1 (en) * | 2002-12-13 | 2004-06-17 | Vora Poorvi L. | Method for transforming an offset sensor array |
| JP2004336469A (ja) * | 2003-05-08 | 2004-11-25 | Fuji Film Microdevices Co Ltd | 固体撮像素子、撮像装置、及び画像処理方法 |
| JP3960965B2 (ja) * | 2003-12-08 | 2007-08-15 | オリンパス株式会社 | 画像補間装置及び画像補間方法 |
| JP4633413B2 (ja) * | 2004-09-01 | 2011-02-16 | 富士フイルム株式会社 | 撮像装置及び信号処理方法 |
| JP4428195B2 (ja) * | 2004-10-22 | 2010-03-10 | 株式会社日立製作所 | 撮像装置、補完信号生成方法及びプログラム |
| JP4306603B2 (ja) * | 2004-12-20 | 2009-08-05 | ソニー株式会社 | 固体撮像装置および固体撮像装置の駆動方法 |
| US20070152139A1 (en) * | 2005-12-30 | 2007-07-05 | Moores Mark D | Techniques to control illumination for image sensors |
| JP4241754B2 (ja) * | 2006-04-14 | 2009-03-18 | ソニー株式会社 | 撮像装置 |
| JP5159526B2 (ja) * | 2008-09-01 | 2013-03-06 | キヤノン株式会社 | 眼底カメラ |
| US8233734B2 (en) * | 2008-09-22 | 2012-07-31 | Microsoft Corporation | Image upsampling with training images |
| US7948534B2 (en) | 2008-10-22 | 2011-05-24 | Eastman Kodak Company | Charge-coupled device image sensor with vertical binning of same-color pixels |
| US8164669B2 (en) * | 2008-12-19 | 2012-04-24 | Truesense Imaging, Inc. | Charge-coupled device image sensor with efficient binning of same-color pixels |
| CN103548335A (zh) * | 2011-03-31 | 2014-01-29 | 富士胶片株式会社 | 固态成像元件、其驱动方法和成像装置 |
| JP2013046850A (ja) * | 2012-12-04 | 2013-03-07 | Canon Inc | 眼底カメラ |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5831688A (ja) | 1981-08-19 | 1983-02-24 | Hitachi Ltd | 固体カラ−撮像装置 |
| JPS5970091A (ja) * | 1982-10-13 | 1984-04-20 | Nippon Kogaku Kk <Nikon> | 電子スチルカメラ |
| JP2775512B2 (ja) | 1990-04-24 | 1998-07-16 | ニッタ・ムアー株式会社 | 管継手 |
| JPH04284087A (ja) * | 1991-03-13 | 1992-10-08 | Canon Inc | 電子スチルカメラ |
| US5862425A (en) * | 1995-01-26 | 1999-01-19 | Asahi Kogaku Kogyo Kabushiki Kaisha | Electronic color still video camera having electro-developing recording medium |
| JPH08340455A (ja) | 1995-06-14 | 1996-12-24 | Olympus Optical Co Ltd | 画像信号処理装置 |
| EP0766480A3 (en) * | 1995-09-28 | 2000-03-01 | Kabushiki Kaisha Toshiba | Solid state color image pickup apparatus |
| JPH1056604A (ja) * | 1996-08-07 | 1998-02-24 | Olympus Optical Co Ltd | プリンタ内蔵型電子カメラおよび被記録体 |
-
2000
- 2000-03-31 JP JP2000101226A patent/JP4372955B2/ja not_active Expired - Fee Related
-
2001
- 2001-03-30 US US09/820,792 patent/US6469290B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6469290B1 (en) | 2002-10-22 |
| JP2001285885A (ja) | 2001-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4372955B2 (ja) | 固体撮像装置および信号処理方法 | |
| JP4195169B2 (ja) | 固体撮像装置および信号処理方法 | |
| US6847397B1 (en) | Solid-state image sensor having pixels shifted and complementary-color filter and signal processing method therefor | |
| JP4019417B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP5872408B2 (ja) | カラー撮像装置及び画像処理方法 | |
| US8270774B2 (en) | Image processing device for performing interpolation | |
| JP3946492B2 (ja) | 低解像度イメージの生成方法 | |
| JP4503823B2 (ja) | 画像信号処理方法 | |
| US6133953A (en) | Color camera having a single imaging element and capable of restricting unwanted false color signal | |
| JP2009504012A (ja) | カラー画素とパンクロ画素の処理 | |
| US8320714B2 (en) | Image processing apparatus, computer-readable recording medium for recording image processing program, and image processing method | |
| US8233733B2 (en) | Image processing device | |
| JP4912979B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4317117B2 (ja) | 固体撮像装置および撮像方法 | |
| JP4043197B2 (ja) | 単板式カラーカメラの色分離回路 | |
| JP4077161B2 (ja) | 撮像装置、輝度補正方法、およびその方法をコンピュータで実行するためのプログラム | |
| JP3965555B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
| JP3967500B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JP3905342B2 (ja) | 固体撮像装置 | |
| JP4934183B2 (ja) | 画像信号処理方法 | |
| WO2013100097A1 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
| US6593964B1 (en) | Image pickup apparatus with non-debased hue and luminance when reading all pixels and color generation performed by single lines when reading skipped lines | |
| JP4133179B2 (ja) | 画像信号処理装置 | |
| JP4278893B2 (ja) | 固体撮像装置 | |
| JP4309506B2 (ja) | 撮像素子及び撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20060621 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061020 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061129 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090302 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090811 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090903 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130911 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |