JP2001285885A - 固体撮像装置および信号処理方法 - Google Patents

固体撮像装置および信号処理方法

Info

Publication number
JP2001285885A
JP2001285885A JP2000101226A JP2000101226A JP2001285885A JP 2001285885 A JP2001285885 A JP 2001285885A JP 2000101226 A JP2000101226 A JP 2000101226A JP 2000101226 A JP2000101226 A JP 2000101226A JP 2001285885 A JP2001285885 A JP 2001285885A
Authority
JP
Japan
Prior art keywords
color
color filter
signal
filter segments
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000101226A
Other languages
English (en)
Other versions
JP4372955B2 (ja
Inventor
Nobuo Suzuki
信雄 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Fujifilm Microdevices Co Ltd
Original Assignee
Fujifilm Microdevices Co Ltd
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Microdevices Co Ltd, Fuji Photo Film Co Ltd filed Critical Fujifilm Microdevices Co Ltd
Priority to JP2000101226A priority Critical patent/JP4372955B2/ja
Priority to US09/820,792 priority patent/US6469290B1/en
Publication of JP2001285885A publication Critical patent/JP2001285885A/ja
Application granted granted Critical
Publication of JP4372955B2 publication Critical patent/JP4372955B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

(57)【要約】 【課題】 感度が高く、かつ解像度の向上効果を維持で
きる固体撮像装置および信号処理方法の提供。 【解決手段】 ディジタルカメラ10は、固体撮像素子26
の色フィルタ26a の配置を色G および色Mgをそれぞれ正
方格子の対向した対角位置に形成し、この正方格子の中
心または中間位置から成る正方格子の対向した対角位置
に色Yeと色Cyをそれぞれ配して形成した配置パターンに
し、光電変換して得られた信号を読み出し、A/D 変換部
30を介して画素データにし、信号処理部32のフレームメ
モリ部32a に入力しこの各画素データを読み出して補間
処理部32b で相関検出し、この結果に基づき色フィルタ
セグメントの色に応じた複数の所定の定数をそれぞれ乗
算して補正した画素データから実在画素および仮想画素
における高周波輝度データYHおよび三原色データを生成
し、この生成した各種のデータから輝度・色差信号処理
部32c を介して相関の方向に応じて変動しない画像を生
成している。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、固体撮像装置およ
び信号処理方法に関し、特に、この固体撮像装置をディ
ジタルカメラ、画像入力装置、画像処理装置等に適用し
て好適なものである。また、固体撮像素子は、ディジタ
ルカメラ、画像入力装置、画像処理装置等の画像入力部
に適用して好適なものである。さらに、色フィルタの各
色フィルタセグメントの配置を考慮しながら行う信号処
理、画像処理等に用いて好適なものである。
【０００２】
【従来の技術】光電変換する受光素子（または画素）を
２次元に、かつある受光素子に隣接する受光素子を水平
および垂直方向の画素ピッチの半分ずらした位置に配す
る、いわゆるハニカム状配置の受光部を用いたインター
レース型の固体撮像装置が提案されている。画素配列
は、奇数行と偶数行が行方向に半分ずれ、奇数列と偶数
列が列方向に半分ずれている。また、画素の形状は四角
形、六角形、八角形等の多角形であり、周囲の垂直転送
路がこの画素を迂回するように蛇行形成されている。受
光素子で得られた信号電荷は、たとえば４相駆動により
垂直方向に転送される。水平転送路は、垂直転送路から
供給される信号電荷を、たとえば、２相駆動で水平転送
させている。
【０００３】固体撮像素子には、カラー表示させるため
に色フィルタセグメントを所定の配置パターンに配した
色フィルタが一体的に受光素子の位置に対応して配設さ
れている。たとえば、三原色RGB を用いたベイヤ配列を
45°傾けた位置関係に各色フィルタセグメントが配され
ている。
【０００４】このような固体撮像素子は、直接三原色の
色信号が出力信号として得られるため、色信号のS/N が
良好で、色再現性に優れているという利点がある。しか
し、原色カラーフィルタは入射する白色光に対しておよ
そ1/3 の波長成分を透過するのみであり、入射光の利用
効率が非常に悪い。そのため、感度や解像度が低下する
という欠点がある。
【０００５】
【発明が解決しようとする課題】ところで、上述した解
像度低下の改善策として、行方向および列方向に画素デ
ータの相関を利用して輝度データを補間する方法を用い
ている。また、もう一つの改善策として入射光の利用効
率を高めるため一般的によく知られている方法として補
色の色フィルタセグメントを用いる方法がある。補色の
色フィルタセグメントの入射光利用効率は、原色の色フ
ィルタセグメントに比べてほぼ倍である。
【０００６】ところが、このように改善策として、補色
の色フィルタセグメントを用いて輝度データの補間を行
った場合、相関を利用し補間して算出した高周波成分を
含む輝度データ（以下、高周波輝度データYHという）
は、被写体に色変化がないとしても三原色RGB で表す
と、算出する位置によって含む色成分が異なって表され
る。すなわち、相関の存在する方向に、結果的に縞状雑
音が発生する。この発生を抑圧するため、高周波輝度デ
ータYHに対して相関のある方向にローパスフィルタ処理
を施す。解像度を高めながら、抑圧処理を施すことによ
り解像度の向上が相殺されることになる。
【０００７】本発明はこのような従来技術の欠点を解消
し、感度を高く、かつ解像度の向上効果を維持できる固
体撮像装置および信号処理方法を提供することを目的と
する。
【０００８】
【課題を解決するための手段】本発明は上述の課題を解
決するために、入射光を遮光する遮光部材の開口部に対
応した位置で該入射光を色分解し、この色分解した入射
光を光電変換して撮像し、この撮像により得られた信号
に信号処理を施して広帯域な信号にする固体撮像装置に
おいて、この装置は、開口部からの入射光を異なる分光
特性の複数の色に色分解する色フィルタセグメントのう
ちに、少なくとも分光特性が補色系の色フィルタセグメ
ントを含む色分解手段、この色分解手段から補色系の色
を含む色フィルタセグメントを通った入射光を光電変換
する受光素子とこの受光素子に隣接した受光素子とが互
いに垂直方向および／または水平方向にずらされて２次
元配置された受光部、およびこの受光部の受光素子で光
電変換されて蓄積された信号電荷を所定の順序で順次読
み出し、外部の出力信号として出力する読出し手段を含
む固体撮像素子と、この固体撮像素子から供給される信
号をディジタル変換して画素データにするディジタル変
換手段と、受光素子の実在する位置から得られる画素を
実在画素とし、受光素子の中間の位置の画素を仮想画素
とし、このディジタル変換した画素データを用いて水平
および／または垂直方向の相関検出を行い、この画素デ
ータに対して色フィルタセグメントの色に応じた複数の
所定の定数をそれぞれ乗算して補正した画素データを生
成し、得られた相関検出結果に基づいてこの補正した画
素データから受光素子の位置および仮想画素の領域での
高域成分を含む高周波輝度データならびにディジタル変
換した画素データから三原色の原色データをそれぞれ求
めるとともに、これらの各種の画素データから輝度およ
び色差に関するデータを生成する信号処理手段とを含
み、色分解手段は、第１の色フィルタセグメントおよび
第２の色フィルタセグメントの第１の組、第３の色フィ
ルタセグメントおよび第４の色フィルタセグメントの第
２の組の各組が、それぞれの同一行内に配され、第１の
組に隣接する第２の組の色フィルタセグメントが第１の
組の色フィルタセグメントと互いに画素ピッチの半分ず
れた位置関係にあって、第１の組の色フィルタセグメン
トの分光特性に、それぞれ第１の定数と第２の定数を乗
算した積の第１の和が、第２の組の色フィルタセグメン
トの分光特性に、第３の定数と第４の定数を乗算した積
の第２の和とほぼ等しく、かつ得られた第１および第２
の和が輝度を示す分光特性に近い関係になる色フィルタ
配置を有することを特徴とする。
【０００９】本発明の固体撮像装置は、固体撮像素子か
ら読み出された画素データを信号処理手段での信号処理
において、水平方向または垂直方向に相関がある実在画
素または仮想画素における高周波輝度データを相関があ
る方向の補正した画素データから生成することにより解
像度の向上を図る。さらに、第１の和と第２の和はほぼ
同じ分光特性になる色フィルタ配置にしていることから
垂直方向または水平方向に隣接する高周波輝度データに
変動がなく、再生画面上で縞状の雑音が現れない。この
結果、縞状雑音防止用のローパスフィルタが不要とな
り、解像度劣化が避けられる。また、色分解手段に補色
フィルタを含むため原色フィルタ配列の固体撮像素子に
比較して入射光の利用効率が上がり、感度がおよそ２倍
に向上する。
【００１０】また、本発明は上述の課題を解決するため
に、入射光を遮光する遮光部材の開口部に対応した位置
でこの入射光を色分解し、この色分解した入射光を光電
変換する固体撮像素子において、この素子は、開口部か
らの入射光を異なる分光特性の複数の色に色分解する色
フィルタセグメントうちに、少なくとも分光特性が補色
系の色フィルタセグメントを含む色分解手段、この色分
解手段から補色系の色を含む色フィルタセグメントを通
った入射光を光電変換する受光素子とこの受光素子に隣
接した受光素子とが互いに垂直方向および／または水平
方向にずらされて２次元配置された受光部、およびこの
受光部の受光素子に光電変換されて蓄積された信号電荷
を所定の順序で順次読み出し、外部の出力信号として出
力する読出し手段を含み、色分解手段は、第１の色フィ
ルタセグメントおよび第２の色フィルタセグメントの第
１の組、第３の色フィルタセグメントおよび第４の色フ
ィルタセグメントの第２の組の各組が、それぞれの同一
行内に配され、第１の組に隣接する第２の組の色フィル
タセグメントが第１の組の色フィルタセグメントと互い
に画素ピッチの半分ずれた位置関係にあって、第１の組
の色フィルタセグメントの分光特性に、それぞれ第１の
定数と第２の定数を乗算した積の第１の和が、第２の組
の色フィルタセグメントの分光特性に、第３の定数と第
４の定数を乗算した積の第２の和とほぼ等しく、かつ得
られた第１および第２の和が輝度を示す分光特性に近い
関係になる色フィルタ配置を有することを特徴とする。
【００１１】本発明の固体撮像素子は、それぞれ得られ
る第１の和と第２の和がほぼ同じになる位置関係に色フ
ィルタセグメントが配された色分解手段で色分解した入
射光を受光部で光電変換により得られた信号電荷を読出
し手段を介して読み出して、後段における信号処理にお
いて色フィルタセグメントの色に応じた複数の所定の定
数をそれぞれ乗算して補正を行って水平方向または垂直
方向の相関のある方向の補正した値を用いて高域成分を
含む高周波輝度データを生成することにより縞状雑音の
ない高周波輝度データにする。これにより最適な場合、
縞状雑音防止用のローパスを不要にし、解像度の向上を
維持できる。
【００１２】さらに、本発明は上述の課題を解決するた
めに、入射光を遮光する遮光部材の開口部に対応し、か
つ第１の色フィルタセグメントおよび第２の色フィルタ
セグメントの第１の組、第３の色フィルタセグメントお
よび第４の色フィルタセグメントの第２の組の各組が、
それぞれの同一行内に配され、第１の組に隣接する第２
の組の色フィルタセグメントが第１の組の色フィルタセ
グメントと互いに画素ピッチの半分ずれた位置関係に配
された固体撮像素子を用いて、この固体撮像素子に入射
する光を色分解する第１の工程と、この色分解した入射
光を各色フィルタセグメント直下に配した受光素子で信
号電荷に光電変換する第２の工程と、読み出す信号電荷
をアナログ信号として読み出し、このアナログ信号にデ
ィジタル信号処理を施す前のアナログ処理を施す第３の
工程と、このアナログ信号にディジタル処理を施してデ
ィジタル信号に変換する第４の工程と、得られたディジ
タル信号を画素データとしてあらかじめ用意した複数回
読み出せるメモリ手段に格納させる第５の工程と、メモ
リ手段から読み出した画素データを用いて水平および／
または垂直方向の相関検出を行う第６の工程と、画素デ
ータのそれぞれと配置した色フィルタセグメントの位置
に応じた複数の所定の定数とを乗算して補正した画素デ
ータを生成するとともに、この相関検出結果に応じた方
向の考慮された演算処理をこの補正した画素データで行
って高域成分を含む高周波輝度データを生成する第７の
工程と、メモリ手段から読み出した画素データを用いて
三原色の原色データを生成する第８の工程と、高周波輝
度データおよび三原色の各原色データを用いて輝度デー
タおよび色差データの生成を行う第９の工程とを含み、
第７の工程は、第１の色フィルタセグメントに対応して
得られる信号に第１の定数を乗算し、第２の色フィルタ
セグメントに対応して得られる信号に第２の定数を乗算
し、それぞれ得られる積の和を第１の和とし、第３の色
フィルタセグメントに対応して得られる信号に第３の定
数を乗算し、第４の色フィルタセグメントに対応して得
られる信号に第４の定数を乗算し、それぞれ得られる積
の和を第２の和とし、第１および第２の定数ならびに第
３および第４の定数は、それぞれ第１の和と第２の和と
がほぼ同程度の範囲内の値になる定数をそれぞれ用いる
ことを特徴とする。
【００１３】本発明の信号処理方法は、入射光を配置し
た第１ないし第４の色フィルタセグメントで色分解させ
て、受光素子から読み出して得られた信号にアナログ処
理、ディジタル変換処理を施し、得られた画素データを
用いて相関検出を行うとともに、相関検出の結果に応じ
た高域成分を含む高周波輝度データの生成にディジタル
変換処理により得られる画素データに位置対応の第１か
ら第４の定数をそれぞれ乗算して補正した画素データを
用いて生成することにより、相関に依存しない高周波輝
度データの変動が極めて少なく、これにともなって縞状
雑音が発生しないので、最良の場合、ローパスフィルタ
処理を行わず、解像度を高く維持できる。
【００１４】
【発明の実施の形態】次に添付図面を参照して本発明に
よる固体撮像装置の実施例を詳細に説明する。
【００１５】本発明の固体撮像装置は、固体撮像素子か
ら読み出された画素データを信号処理手段での信号処理
において、水平方向または垂直方向に相関がある実在画
素または仮想画素における高周波輝度データを相関があ
る方向の補正した画素データを用いて生成して解像度の
向上を図り、第１の和と第２の和はほぼ同じ分光特性に
なる色フィルタ配置にしていることから垂直方向または
水平方向に隣接する高周波輝度データに変動がなく、再
生画面上で縞状の雑音が現れないので、縞状雑音防止用
のローパスフィルタが不要となり、解像度劣化が避けら
れ、色分解手段に補色フィルタを含むため原色フィルタ
配列の固体撮像素子に比較して入射光の利用効率が上が
り、感度がおよそ２倍に向上することに特徴がある。
【００１６】本発明を適用した実施例のディジタルスチ
ルカメラ10の構成を図１に示す。また、本発明と直接関
係のない部分について図示および説明を省略する。ここ
で、信号の参照符号はその現れる接続線の参照番号で表
す。
【００１７】図１のディジタルスチルカメラ10には、光
学レンズ系12、操作部14、システム制御部18、タイミン
グ信号発生部20、ドライバ部22、メカニカルシャッタ2
4、固体撮像素子26、アナログ処理部28、A/D 変換部3
0、信号処理部32、圧縮／伸張部34、記録再生部36、お
よびモニタ38が備えられている。これら各部を順次説明
する。光学レンズ系12は、たとえば、複数枚の光学レン
ズを組み合わせて構成されている。光学レンズ系12に
は、図示しないが、これら光学レンズの配置する位置を
調節して画面の画角を操作部14からの操作信号14a に応
じて調節するズーム機構や被写体とカメラ10との距離に
応じてピント調節する、AF（Automatic Focus：自動焦
点）調節機構が含まれている。操作信号14a は、システ
ムバス16を介してシステム制御部18に供給される。光学
レンズ系12には、システム制御部18からの制御信号18a
が信号線16a を介して供給される。
【００１８】操作部14には、図示しないシャッタスイッ
チやたとえばモニタ画面に表示される項目を選択するカ
ーソル選択機能等が備えられている。操作部14で選択さ
れた操作は操作信号14a によりシステム制御部18に報知
される。
【００１９】システム制御部18は、たとえば CPU（Cent
ral Processing Unit ：中央演算処理装置）を有する。
システム制御部18には、ディジタルスチルカメラ10の動
作手順が書き込まれた ROM（Read Only Memory：読み出
し専用メモリ）がある。システム制御部18は、たとえ
ば、ユーザの操作に伴って操作部14から供給される情報
14a とこの ROMの情報を用いて各部の動作を制御する制
御信号18a を生成する。システム制御部18は、生成した
制御信号18a をシステムバス16を介してタイミング信号
発生部20、光学レンズ系12、メカニカルシャッタ24、信
号処理部32、圧縮／伸張部34、記録再生部36およびモニ
タ38にも供給する。
【００２０】タイミング信号発生部20は、システムクロ
ック20a を生成する発振器（図示せず）が含まれてい
る。このシステムクロック20a は図示しないがシステム
制御部18、信号処理部32等のシステムクロックを必要と
するほとんどすべてのブロックに供給されている。
【００２１】また、タイミング信号発生部20は、制御信
号18a に基づいて各部を動作させるタイミング信号20b
を生成する回路を含む。タイミング信号発生部20は、生
成したタイミング信号20b を図１に示すように各部に出
力するとともに、ドライバ部22にも供給する。ドライバ
部22は、所望の駆動パルス22a を固体撮像素子26に供給
する。
【００２２】メカニカルシャッタ24は、操作部14のシャ
ッタスイッチに応じてシステム制御部18から制御信号18
a が信号線16a を介して供給されることにより制御され
る。固体撮像素子26は色フィルタ26a が一体的に設けら
れた単板カラーCCD (ChargeCoupled Device）センサで
ある。これは、光学レンズ系12で結像された光学像が受
光部26b の各受光素子に到達した光量に応じた出力信号
27を出力する。この固体撮像素子26については後段でさ
らに詳述する。撮像素子には、CCD （Charge Coupled D
evice:電荷結合素子）や後段で示すMOS （Metal Oxide
Semiconductor:金属酸化型半導体）タイプの固体撮像デ
バイスが適用される。固体撮像素子26では、供給される
駆動信号22a に応じて光電変換によって得られた信号電
荷を所定のタイミングとして、たとえば、垂直ブランキ
ング期間にフィールドシフトにより垂直転送路に読み出
され、この垂直転送路をラインシフトした信号電荷が水
平転送路に供給され、この水平転送路を経た信号電荷が
図示しない出力回路による電流／電圧変換によってアナ
ログ電圧信号27にされ、アナログ処理部28に出力され
る。固体撮像素子26は、CCD タイプでは信号電荷の読出
しモードに応じて画素混合した間引き読出しや全画素読
出しを用いる。これらの信号読出し方式についてはさら
に後段で詳述する。
【００２３】アナログ処理部28は、ノイズ成分を除去し
てアナログ出力信号29をA/D 変換部30に送る。A/D 変換
部30は、供給されるアナログ信号29の信号レベルを所定
の量子化レベルにより量子化してディジタル信号31に変
換するA/D 変換器を有する。A/D 変換部30は、タイミン
グ信号発生部20から供給される変換クロック等のタイミ
ング信号20b により変換したディジタル信号31を信号処
理部32に出力する。
【００２４】信号処理部32には、フレームメモリ部32a
、補間処理部32b および輝度・色差信号処理部32c が
含まれる。さらに、フレームメモリ部32a には、図２に
示すようにフレームメモリ40および前処理部42が含まれ
ている。画像データ31がフレームメモリ40に供給され、
フレームメモリ40に記憶される。フレームメモリ40は、
読み出す領域をずらしながら繰り返して画素データを読
み出すことから、非破壊型のメモリを用いると有利であ
る。また、フレームメモリ40には、システム制御部18か
らの制御信号18a に含まれる書込み／読出しイネーブル
信号、クロック信号等の制御に関わる信号をまとめた制
御信号180 が供給されている。
【００２５】フレームメモリ部32a は、記憶した画像デ
ータを所定の順序で画像データ44としてそのまま出力し
てもよい。また、必要に応じて前処理部42で処理した結
果を画像データ44として出力してもよい。前処理部42の
処理として、たとえば、各色フィルタに対応した画像デ
ータのレベルを後段の信号処理に適したレベルに合わせ
るため各色フィルタごとにゲイン調整する。また、消費
電力や回路規模を小さくするためガンマ補正を施して信
号処理のビット数を低減すること等も行われる。
【００２６】補間処理部32b は、本実施例では図３に示
すように、供給される受光素子から得られる補色を含む
画素データを用いて受光素子の実在する実在画素および
実在画素の中間に位置する仮想画素において高域成分を
含む高周波輝度データYHおよび三原色データを補間生成
する機能を有する。補間処理部32b には、図３に示すよ
うに、相関検出部50、YH生成部52、およびRGB 生成部54
が含まれている。相関検出部50には、相関の有無を検出
するとともに、相関がある場合、さらに相関方向が水平
および垂直方向のいずれにあるかを検出する機能があ
る。相関検出部50は、後段で詳述する手順に従って相関
検出を行い、この結果を相関検出信号56をYH生成部52に
出力する。
【００２７】YH生成部52には、図４に示すように、無相
関YH生成部60、水平YH生成部62、垂直YH生成部64、YH選
択スイッチ66、およびYH後処理部68がある。無相関YH生
成部60、水平YH生成部62および垂直YH生成部64は、それ
ぞれ、供給される画素データ44を用いて実在画素または
仮想画素の高周波輝度データYHの生成が行われる。本実
施例では、相関がない場合、水平方向に相関がある場
合、垂直方向に相関がある場合に応じて仮想画素の高周
波輝度データYHを生成している。生成した高周波輝度デ
ータYHは、それぞれYH選択スイッチ66の端子a, b, c に
それぞれ供給される。
【００２８】YH選択スイッチ66には、相関検出部60から
の相関検出信号56が供給されている。YH選択スイッチ66
は、信号56により端子a, b, c のいずれか一つの端子を
選択する。この選択により、相関検出信号56に対応した
高周波輝度データYHが選択される。YH選択スイッチ66を
介して選択された高周波輝度データYHがYH後処理部68に
供給される。
【００２９】YH後処理部68には、YH選択スイッチ66によ
り選択された高周波輝度データYHを合成するとともに、
たとえばローパスフィルタ処理やハイパスフィルタを用
いたエッジ強調処理等を行うことにより高画質を実現さ
せる高周波輝度データYHを生成する機能がある。YH後処
理部68は生成した高周波輝度データYH (70）を輝度・色
差信号処理部36c の輝度データ生成部80に出力する。
【００３０】そして、図３に戻って、RGB 生成部54は、
補色を含む画素データから仮想画素および実在画素にお
ける三原色データRGB を求めるとともに、低周波成分を
含む低周波輝度データYL (72）も生成する機能を有す
る。さらに、RGB 生成部54は、ホワイトバランスやガン
マ補正も行う。具体的な構成を図示しないが、仮想画素
および実在画素における三原色の画素データ、すなわち
R データ74、G データ76、B データ78および低周波輝度
データYL (72）を生成し、輝度・色差信号処理部36c の
色差データ生成部82に出力する。本実施例では、まず仮
想画素の位置における三原色を実画素の画素データから
生成し、得られた仮想画素の位置の画素データを用いて
実画素の位置における三原色の画素データを生成する。
【００３１】輝度・色差信号処理部36c には、輝度デー
タ生成部80および色差データ生成部82が含まれている。
輝度データ生成部80は、それぞれ、供給される高周波輝
度データYHおよび低周波輝度データYLを用いて擬似的な
周波数加算を行って、新たに広帯域な輝度データY を生
成する機能を有する（Yh・Ylow 法）。輝度データ生成部
80は、Yh・Ylow 法により低周波輝度データYLから高周波
輝度データYHを減算した信号にローパスフィルタ処理を
経て図5(A)に示す信号(YL −YH)lowを生成する。輝度デ
ータ生成部80は、信号(YL −YH)lowと図5(B)に示す高周
波輝度データYHとを加算して図5(C)の信号(YL −YH)low
＋YHを生成する。輝度データ生成部80は、このように広
帯域化された信号を輝度データY として圧縮／伸張部34
に出力する。
【００３２】なお、図示していないが、YH生成部52は、
高周波輝度データYH (70）を色差データ生成部82に供給
してもよい。
【００３３】色差データ生成部82は、２つの色差データ
（RY), (BY）を生成する機能を有する。このとき、輝度
データY として供給されているYLを用いる。また、前述
したようにYHが供給されているとき、この輝度データを
用いてもよい。色差データ生成部82は、生成した色差デ
ータCr, Cbを圧縮／伸張部34に出力する。
【００３４】図１に戻って圧縮／伸張部34は、輝度・色
差信号処理部36c から供給された１フレーム分の輝度デ
ータと色差データを一時的に記憶するフレームメモリ
と、たとえば、直交変換を用いたJPEG（Joint Photogra
phic Experts Group）規格での圧縮を施す回路と、この
圧縮した画像を再び元のデータに伸張する回路とを有す
る。ここで、フレームメモリは、信号処理部32のフレー
ムメモリ32a と兼用してもよい。圧縮／伸張部34は、シ
ステム制御部18の制御により記録時には圧縮したデータ
をシステムバス16を介して記録再生部36に供給する。圧
縮／伸張部34は、図３のRGB 生成部54から供給されるデ
ータをシステム制御部18の制御によりスルーさせてシス
テムバス16に供給したり、または輝度・色差信号処理部
82からの信号をシステムバス16を介してモニタ38に供給
することもできる。圧縮／伸張部34が伸張処理を行う場
合、逆に記録再生部36から読み出したデータをシステム
バス16を介して圧縮／伸張部34に取り込んで処理する。
ここで処理されたデータはフレームメモリに記憶された
後、システム制御部18の制御により圧縮／伸張部34は、
所要の順序でフレームメモリのデータを読み出し、モニ
タ38に供給して表示させる。
【００３５】記録再生部36は、記録媒体に記録する記録
処理部と、記録媒体から記録した画像データを読み出す
再生処理部とを含む（ともに図示せず）。記録媒体に
は、たとえば、いわゆる、スマートメディアのような半
導体メモリや磁気ディスク、光ディスク等がある。磁気
ディスク、光ディスクを用いる場合、画像データを変調
する変調部とともに、この画像データを書き込むヘッド
がある。モニタ38は、システム制御部18の制御に応じて
システムバス16を介して供給される輝度データおよび色
差データまたは三原色RGB のデータを画面の大きさを考
慮するとともに、タイミング調整して表示する機能を有
する。
【００３６】これまでの説明は、静止画の撮像時の処理
について述べたが、シャッタスイッチが押される前に、
撮像した動画をモニタ38に表示する動作を行う場合もあ
る。この場合の動画表示の処理は、図１の処理をそのま
ま行い、圧縮／伸張部34の圧縮処理を行わずにモニタ38
で動画表示してよい。しかし、百万画素を越える固体撮
像素子を用いている場合、処理時間が長くなり、コマ落
とし動画となるため、動画画質として問題となる。
【００３７】そこで、受光素子配列の一部の信号電荷を
読み出す、いわゆる間引き動作で固体撮像素子を動作さ
せて、図１に図示していないがA/D 変換されたディジタ
ル画素データを動画用の処理部で静止画と独立に処理し
て、モニタ表示してもよい。
【００３８】次にディジタルカメラ10の動作手順を説明
する前に、固体撮像素子26について説明する。固体撮像
素子26は、図６に示すように、たとえばインターレース
型で同一行、または同一列の画素間隔、すなわち画素ピ
ッチをPPとすると、ある一つの受光素子90に対して互い
に隣接した受光素子90が、水平および垂直方向に画素ず
らしした位置に配されている。隣接する受光素子90は、
受光素子90と異なる行または異なる列に配されるととも
に、画素のずれが画素ピッチPPの半分になっている。本
実施例の受光素子90はアパーチャ形状を菱形に限らず、
四角形や六角形や八角形等の多角形であればよい。ま
た、受光素子90を覆う色フィルタセグメントは、たとえ
ば四角形や六角形や八角形等の多角形に形成されてい
る。
【００３９】垂直CCD レジスタ92は、破線で示すように
受光素子90の形状に応じて受光素子90を囲むように形成
されている複数の転送電極94から成っている。矢印96で
示す部分の各受光素子90と垂直CCD レジスタ92との間に
は、図示しないトランスファゲートが転送電極94と一体
で形成されている。トランスファゲートは、ゲート
「閉」の状態で受光素子90が入射光を光電変換して得た
信号電荷を受光素子90内に蓄積させ、所定のタイミング
および所定の期間にゲート「開」の状態にすることによ
って蓄積した信号電荷を垂直CCD レジスタ92に読み出す
機能を有している。
【００４０】固体撮像素子26には、電極端子98〜104 が
配設されている。このうち、電極端子98〜104 には、そ
れぞれ、垂直駆動信号φV1〜φV4が供給されている。ま
た、電極端子106, 108には、それぞれ、水平駆動信号φ
H1, φH2が供給されている。電極端子98〜104 は、それ
ぞれ、トランスファゲートのオン／オフおよび信号電荷
の垂直転送を行うため、４つの転送電極94ごとに結線し
ている。このことからも明らかなように、垂直転送は４
相駆動で行われる。垂直転送された信号電荷は水平CCD
レジスタ110 に供給される。
【００４１】水平CCD レジスタ110 では、電極端子106,
108を介して供給される水平駆動信号φH1, φH2により
２相駆動が行われる。
【００４２】簡単に駆動を説明する。受光素子90が２次
元に配設されているうち、最下段に位置するラインを第
１ラインとし、上段に向かって１段ずつ歩進してライン
を表す。各電極からの信号線は水平に配線されている。
第１フィールドの垂直ブランキング期間に電極端子98,
100 をＬレベルにし、かつ電極端子102, 104をＨレベル
にした後、このＨレベルより高いトランスファゲートパ
ルスVRを電極端子102に印加する。この印加により、第
１、第２、第５および第６ラインの受光素子90から信号
電荷が垂直CCD レジスタ92に読み出される。読み出した
信号電荷は、垂直ブランキング期間の終了後、水平ブラ
ンキング期間に垂直転送により順次水平CCD レジスタ11
0 に向かって移送される。
【００４３】さらに有効信号期間中に最初、第１および
第２ラインの信号電荷は水平CCD レジスタ110 から供給
される水平駆動信号（φH1, φH2）の２相駆動により出
力部112 を介して水平転送し、出力される。これにより
第１および第２ラインの信号電荷が画素信号として交互
に出力される。その後、第５および第６ラインの信号電
荷も出力される。
【００４４】第２フィールドの垂直ブランキング期間に
電極端子98, 100 をＨレベルにし、かつ電極端子102, 1
04をＬレベルにした後、このＨレベルより高いトランス
ファゲートパルスVRを電極端子98に印加する。この印加
により、第３、第４、第７および第８ラインの受光素子
90から信号電荷が垂直CCD レジスタ92に読み出される。
読み出された信号電荷は、垂直転送、水平転送を順次受
けて出力部112 を介して出力される。読み出される順序
は第３および第４ラインが交互に読み出され、その後、
第７および第８ラインが読み出される。このようにして
固体撮像素子26はインターライン走査を行って出力信号
27を出力している。
【００４５】１フレームの画像を得る際に連続２フィー
ルドの画像をディジタル変換してフレームメモリに蓄積
する。また、フィールドごとに露光時刻が１フィールド
分ずれることを防ぐため、メカニカルシャッタ24を利用
するとよい。すなわち、メカニカルシャッタ24は、たと
えば、第１フィールドのブランキング期間から次の第２
フィールドのブランキング期間まで閉じて受光素子90に
対して遮光する。これにより、同一時刻に露光した画像
が得られる。さらに、第１フィールドのブランキング期
間以降、メカニカルシャッタ24を閉じておくと、出力信
号27に対するスミアを抑制することができる。
【００４６】また、固体撮像素子26は、解像度の点に着
目してみると、一般的に用いられる正方格子状の場合に
比べて、ハニカム形状の場合の配置では、画素ピッチPP
をそれぞれN(μm)の正方格子状に配置した受光素子がそ
れぞれ45°回転させた場合の配置にある。ハニカム形状
の配置、すなわち画素の半ピッチずれを有する配置で
は、正方格子状の配置における水平／垂直方向の隣接画
素間距離｜PP｜= N(μm)を基準に検討すると、隣接画素
間距離がN*(2)-1/2 と隣接画素間距離｜PP｜＝Nより短
くなる。したがって、ハニカム形状の配置は、正方格子
状の配置よりも画素が稠密に配置されるので、原理的に
水平・垂直方向の解像度を(2)1/2倍に向上させることが
できる。また、ハニカム形状の配置から出力形態に見合
う正方格子状の配置に展開する場合、仮想画素は、隣接
する実在する画素に基づいて信号処理部32で補間処理が
行われる。この補間処理を行いながらまだ得られていな
い色および輝度の画素等を補間展開すると、解像度は、
単に正方格子状に受光素子90を配置したときより高くで
きる。
【００４７】本実施例では前述したように色フィルタ26
a に補色の色フィルタセグメントを用いている。この色
フィルタ26a を用いる特徴について簡単に説明する。現
在、解像度を高めるため画素数を増やすことにより個々
の受光素子の受光面積が狭くなってきている。これによ
り、受光素子の感度低下が生じ、得られる画像がノイズ
を含んだ画質になってしまう。チップサイズの小型化を
図っても撮像の感度特性を保つために入射光を有効に用
いることが検討される。入射光の有効利用の一要素は、
色分解の効率を高めることにある。色分解は色フィルタ
により行われる。色再現性の良好なフィルタとして三原
色RGB の色フィルタセグメントが用いられているが、感
度が低いという欠点がある。これに対して、三原色RGB
の色フィルタセグメントを用いた場合に比べて補色の色
フィルタセグメントは、およそ２倍の光を透過すること
が知られている（図７を参照）。図７の太い破線120 は
シアン(Cy)、細い破線122 は黄色(Ye)、一点鎖線124 は
緑（G)、実線126 はマゼンタ(Mg)である。原色の緑（G)
に比べて、補色の色フィルタセグメント(Cy), (Ye), (M
g)は、相対感度がそれぞれ同程度でありながら、透過す
る波長域がほぼ２倍程度と広い。これにより、補色系の
色フィルタはほぼ原色の光利用効率の倍程度と高いこと
が理解できる。
【００４８】そこで、これまでに正方格子画素配列の固
体撮像素子で用いられてきている色フィルタセグメント
の配置パターンで撮像した場合を考える（図８を参
照）。ここで、色は文字記号で表し、この記号の添字は
位置を表す行列表示である。また、実線は受光素子の配
設を示し、これを実在画素と呼ぶ。一方、破線は受光素
子を持たず、周囲の受光素子の画素データを用いた補間
処理によって得られる画素で、仮想画素と呼ぶ。
【００４９】次に高周波輝度データYHを得る処理につい
て説明する。高周波輝度データYHは最終的に得られる輝
度データY とことなり、この輝度データに対して途中段
階の輝度信号である。高周波輝度データYHは、無相関で
は近似的に周囲の４つの画素データの和に相当してい
る。受光素子からの寄与をすべての画素でほぼ等しいも
のにするため、色G に対応する受光素子90から得られる
信号には２倍にする係数を付ける。
【００５０】たとえば、図８に示す配置パターンの場
合、仮想画素(2,1) の高周波輝度データYH21は、式(1)
【００５１】
【数１】 YH21＝(2G20 ＋Cy22＋Mg11＋Ye31 )/2 ・・・(1) となる。
【００５２】また、垂直（または列）方向に相関がある
場合、垂直方向に位置する２つの画素データの和で求め
る。仮想画素(2,1) および(1,2）の高周波輝度データY
H21,YH12は、ともに垂直相関がある場合、それぞれ、式
(2a)および式(2b)
【００５３】
【数２】 YH21＝Mg11＋Ye31 ・・・(2a) YH12＝2G11＋Cy22 ・・・(2b) となる。補色を原色成分を用いて表すと、各色はそれぞ
れ近似的に、式(3a)〜式(3c)
【００５４】
【数３】 Cy＝G ＋B ・・・(3a) Ye＝R ＋G ・・・(3b) Mg＝R ＋B ・・・(3c) の関係にある。ここで、被写体の色の変化が小さい、す
なわち三原色RGB の個々の成分変化が小さいと仮定し
て、高周波輝度データYHを原色成分に着目して表現する
と、式(4a)、式(4b)および式(4c)は、
【００５５】
【数４】 YH21＝(2G20 ＋Cy22＋Mg11＋Ye31 )/2 ＝(2G ＋G ＋B ＋R ＋B ＋R ＋G)/2 ＝2G＋R ＋B ・・・(4a) YH21＝Mg11＋Ye31 ＝R ＋B ＋R ＋G ＝G ＋2R＋B ・・・(4b) YH12＝2G02＋Cy22 ＝2G＋G ＋B ＝3G＋B ・・・(4c) となる。
【００５６】ところで、垂直相関があり、ほぼ同じよう
な位置にありながら、式(4b)と式(4c)の値は異なってい
る。また、無相関と垂直相関に応じた高周波輝度データ
YHの算出においても異なっている。これは、垂直相関に
対応して求めた仮想画素の位置における高周波輝度デー
タYHにより列方向に縞状の雑音が発生することを意味す
る。このような縞状雑音は画質低下を引き起こす要素で
あるから、この縞状雑音を除去するために垂直方向にLP
F 処理が施される。
【００５７】この結果、相関に応じた高周波輝度データ
YHを生成しても垂直方向のLPF 処理により解像度向上の
効果が相殺されてしまう。この場合と同様に、水平方向
の相関処理を行う場合でもこの効果の相殺が見られる。
【００５８】このような縞状雑音の発生を防止するよう
に、本実施例のディジタルカメラ10の固体撮像素子26に
は、補色の色フィルタセグメントの配置パターンおよび
これら色フィルタセグメントの分光特性を考慮した色フ
ィルタ26a が配設されている（図9(A)、図9(B)の配置パ
ターンおよび図10の分光特性をそれぞれ参照）。
【００５９】色フィルタ配列は、たとえば、図9(A)に示
すように、第１の色フィルタセグメントの色を緑(G) 、
第２の色フィルタセグメントの色をマゼンタ(Mg)、第３
の色フィルタセグメントの色を黄色(Ye)、および第４の
色フィルタセグメントの色をシアン(Cy)とし、さらに隣
接する各色１個の色フィルタセグメントから成る配列を
基本単位として水平方向または垂直方向に対して45度の
角度の方向に併進的に、かつ２次元的に敷き詰めたもの
である。より具体的に説明すると、色フィルタセグメン
トを正方格子状に配した場合、各正方格子の対角に位置
する色フィルタセグメントの色を同色にするパターンで
ある。すなわち色G と色Mgを正方格子状に配したパター
ンとこのパターンの中心に黄色Yeを配しもう一つの色を
シアンCyにした西方格子状のパターンとを組み合わせて
いる。また、第３と第４の色フィルタセグメントを入れ
換えたパターンでもよい（図9(B)を参照）。
【００６０】色フィルタセグメント(G) および(Mg)を第
１の組とし、各色フィルタセグメントの分光特性に応じ
て実際に得られる信号に、それぞれ２と１の定数を乗算
する。また、色フィルタセグメント（Ye) および（Cy)
を第２の組に対しても、ともに１の定数を乗算する。こ
の結果、第１の組の演算結果と第２の組の演算結果は、
原色成分に着目して表すと、式(5a)および式(5b)
【００６１】
【数５】 2G＋Mg＝2G＋R ＋B ・・・(5a) Ye＋Cy＝R ＋G ＋G ＋B ＝2G＋R ＋B ・・・(5b) となる。すなわち式(5a)と式(5b)は、等号関係にある。
この関係を分光曲線で表すと、図10のようになる。分光
特性曲線130 は式(5a)、分光特性曲線132 は式(5b)を示
している。
【００６２】なお、分光特性曲線は厳密に規定していな
いが、パターン縞状の雑音を発生させない範囲として、
色フィルタセグメントに用いる分光特性と、各定数をそ
れぞれ乗算した和、すなわち式(5a)の結果が式(5b)の結
果が、たとえば、ほぼ±10％の範囲内であれば発生する
雑音を回避することができる。
【００６３】補間処理部36b のYH生成部52では、無相
関、水平相関および垂直相関に応じた高周波輝度データ
YHの生成が行われる。図11の配列において、前述した無
相関および垂直相関における仮想画素(2,1) と(1,2) で
の高周波輝度データYHは、それぞれ、式(6a)、 式(6b)、
および式(6c)
【００６４】
【数６】 YH21＝(2G20 ＋Cy22＋Mg11＋Ye31 )/2 ＝(2G ＋G ＋B ＋R ＋B ＋R ＋G)/2 ＝2G＋R ＋B ・・・(6a) YH21＝Mg11＋2G31 ＝R ＋B ＋2G ＝2G＋R ＋B ・・・(6b) YH12＝Ye02＋Cy22 ＝R ＋G ＋G ＋B ＝2G＋R ＋B ・・・(6c) となる。高周波輝度データYHを生成する際、原色成分の
関係に着目すると、無相関および垂直相関に関わりな
く、高周波輝度データYHは同じ色バランスで生成される
ことがわかる。これにより、画像には色バランスのずれ
によって生じていた縞状の雑音が抑えられることにな
る。また、高周波輝度データYHは、無相関で生成した場
合に比較して、相関を利用して生成した場合の方が高い
解像度に寄与する。
【００６５】水平相関についても検討する。仮想画素
(2,1) および(1,2）の高周波輝度データYH21, YH12は、
ともに水平相関がある場合、それぞれ、式(7a)および式
(7b)
【００６６】
【数７】 YH21＝Ye20＋Cy22 ＝R ＋G ＋G ＋B ＝2G＋R ＋B ・・・(7a) YH12＝Mg11＋2G13 ＝R ＋B ＋2G（＝2G＋R ＋B ） ・・・(7b) となる。これにより、水平相関がある場合でも色バラン
スを保つことができるので、縞状の雑音の発生を防止す
ることができる。
【００６７】次に仮想画素の位置における高周波輝度デ
ータYHを用いてYH生成部52で実在する受光素子90の位置
における高周波輝度データYHを生成する。画素(1,1) 、
(2,2) における無相関、垂直相関および水平相関の場合
の高周波輝度データYH11, YH22は、式(8a)〜式(8e)
【００６８】
【数８】 YH11＝(YH10 ＋YH01＋YH21＋YH12 )/4 ＝4(2G＋R ＋B )/4 ＝2G＋R ＋B ・・・(8a) YH11＝YH01＋YH21/2 ＝2(2G＋R ＋B )/2 ＝2G＋R ＋B ・・・(8b) YH22＝YH12＋YH32 ＝2(2G＋R ＋B )/2 ＝2G＋R ＋B ・・・(8c) YH11＝YH10＋YH12/2 ＝2(2G＋R ＋B )/2 ＝2G＋R ＋B ・・・(8d) YH22＝YH21＋YH23 ＝2(2G＋R ＋B )/2 ＝2G＋R ＋B ・・・(8e) となる。補間に用いる高周波輝度データYH自体が前述し
たように相関の有無に関わらず所定の色バランスで得ら
れていることから、高周波輝度データYHの補間処理を行
っても色バランスに変動がないことは明らかである。
【００６９】これにより、大きく画質を劣化させるほど
の縞状の雑音の発生は避けることができる。たとえば、
これらの雑音が全く見えない場合または若干生じる場合
において雑音除去するためのLPF 処理を完全になくした
り、最小限のLPF 処理で済ませることが可能になる。し
たがって、画像の解像度がLPF 処理によって相殺される
ことを避けることができる。すなわち、解像度向上の効
果を維持することができる。
【００７０】次に相関検出について説明する。相関検出
は、同色の画素データを用いて行う。図11から明らかな
ように、色フィルタセグメントの配置パターンは各色と
もに、菱形状の４つの頂点に画素が対応している。相関
の有無は、相関演算の結果が所定の判定値JV, JHより大
きいとき相関があるものとする。たとえば、実在画素Cy
(2,2) における黄色に対する相関検出を行う場合、図11
の画素データYe02, Ye20, Ye42, Ye24を用いる。垂直相
関および水平相関は、それぞれの式
【００７１】
【数９】 ｜Ye20−Ye24｜−｜Ye02−Ye42｜＞JV ・・・(9a) ｜Ye02−Ye42｜−｜Ye20−Ye24｜＞JH ・・・(9b) が真のとき、相関があるものとする。比較した画素デー
タ間で変化の少ない方が似ていることを意味するからで
ある。式(9a)および式(9b)がともに偽のとき、無相関と
判定する。
【００７２】また、仮想画素に対する相関検出は、相関
検出の対象となっている仮想画素の周囲の４つの画素デ
ータを用いて行う。たとえば、仮想画素(4,3) における
相関検出は、４つの画素データMg33, G53, Ye42, Cy44
の個々が有する相関検出結果を用いる。相関検出結果が
４つの画素データのうち、３つ以上に垂直相関の結果が
あった場合、仮想画素(4,3) には垂直相関があるものと
判定する。水平相関の判定条件も４つの画素データのう
ち、３つ以上に水平相関の結果があった場合、仮想画素
(4,3) には水平相関があるものと判定する。これらの条
件に入らない条件は無相関と判定する。
【００７３】なお、相関の有無の判定条件は同じ相関結
果を３つ以上に設定したが、条件を緩めて２つ以上とし
てもよい。
【００７４】次に補色の画素および仮想画素に対する三
原色データの生成について説明する。三原色データの生
成は、図３のRGB 生成部54で行う。この生成の原理をふ
たたび図11を用いて説明する。たとえば、仮想画素(2,
1) での三原色データR21, G21, B21 は、式(10a) 〜式
(10d)
【００７５】
【数１０】 R21 ＝(Mg11 ＋Ye20−Cy22)/2 ＝（R ＋B ＋R ＋G −G −B ）/2 ＝2R/2 ＝R ・・・(10a) G21 ＝(G31＋Cy22＋Ye20−Mg11)/3 ＝（G ＋G ＋B ＋R ＋G −R −B ）/3 ＝3G/3 ＝G ・・・(10b) G21 ＝(2G31 ＋Cy22＋Ye20−Mg11)/4 ＝（2G＋G ＋B ＋R ＋G −R −B ）/4 ＝4G/4 ＝G ・・・(10c) B21 ＝(Mg11 ＋Cy22−Ye20)/2 ＝（R ＋B ＋G ＋B −R −G ）/2 ＝2B/2 ＝B ・・・(10d) となる。このように三原色データは、周囲にある画素デ
ータの四則演算により求めることができる。
【００７６】また、実在画素における三原色データは、
周辺からの４仮想画素の三原色データの平均値として算
出する。
【００７７】このようにして求めた仮想画素および実在
画素の三原色データは、偽色信号が含まれる場合があ
り、これを避けるためにローパスフィルタ操作を三原色
データに対して行うことが有効である。
【００７８】以上述べた高周波輝度データYHを得る処
理、相関検出処理、および三原色データを得る処理は、
図9(B)の色フィルタ配列でも同様に行うことができる。
【００７９】次にディジタルカメラ10の動作手順を簡単
に説明する（メインルーチン：図12を参照）。電源投入
後に、各種の初期設定を行った後、撮影モードかどうか
モード判定を行う（ステップS10 ）。撮影モードと判定
された場合（YES ）、ステップS12 に進む。また、撮影
モード以外のモードと判定された場合（NO）、図示しな
いが他のモードの処理ルーチンに移行する。
【００８０】撮影モードと判定された際に、ステップS1
2 では電源オフになっているかどうか判断する。電源が
オフの場合（YES ）、ディジタルカメラ10の動作を終了
する。また、電源がオンの場合（NO）、動画表示処理を
行う（ステップS14 ）。
【００８１】この後、ユーザがシャッタボタンを全押し
状態にする操作が行われたかどうか判断する（ステップ
S16 ）。この操作が行われた場合（YES ）、この指示を
受けてシステム制御部18は、固体撮像素子26で静止画撮
像処理を行う（ステップS18）。この操作が行われなか
った場合（NO）、ステップS10 に戻る。
【００８２】この静止画撮像処理は、色フィルタ26a に
より色分解された入射光を受光素子90で光電変換して信
号電荷に変換し読み出した信号をディジタル変換しフレ
ームメモリ32a に格納するまでの処理である。固体撮像
素子26は、得られた信号電荷を信号27としてアナログ処
理部28に供給される。補色を含む色フィルタ26a を用い
ていることにより、入射光の利用効率を三原色の色フィ
ルタの場合に比べて向上させることができる。
【００８３】アナログ処理部28では、供給される信号27
のゲイン調整を行い、A/D 変換部30に出力される。A/D
変換部30では、供給されるアナログ信号29をディジタル
信号31に変換している。このディジタル信号31は画素デ
ータとして信号処理部32に供給される。信号処理部32で
は、供給された画素データ31をフレームメモリ部32aに
入力する。フレームメモリ部32a は、システム制御部18
の制御により、信号処理を施す領域内の画素データ44を
補間処理部32b に読み出し、出力する。
【００８４】補間処理部32b での各種の信号の補間処理
は、後段でさらに説明する、色信号処理（サブルーチン
SUB1）に沿って行う。色信号処理は、補間処理および輝
度・色差信号処理を行う。補間処理は、たとえば、画素
データ同士の相関性を考慮（して相関検出）して実在画
素および仮想画素における高周波輝度データYH、低周波
輝度データYLおよび三原色データの生成を行う。この生
成手順については後段で詳述する。この生成によって、
フレーム１画面分に対する５種類のデータが生成され
る。これらのデータを輝度・色差信号処理部32c に供給
する。輝度・色差信号処理部32c では、輝度データY お
よび色差データCr, Cbを生成する。このとき、得られる
３つの信号には画像データの解像度の向上が図られる。
信号処理部36b は、得られた各成分のデータを圧縮／伸
張部34に供給する。
【００８５】圧縮／伸張部34では、供給される各成分の
データに対して圧縮処理を施す（ステップS20 ）。圧縮
処理の例としては、JPEG規格に対応して各成分のデータ
量を低減させる処理を行っている。
【００８６】圧縮／伸張部34で、圧縮処理の施されたデ
ータ35がシステムバス16を介して記録再生部36に送られ
る。記録再生部36では、ストレージ機能を利用してデー
タ35を記録する（ステップS22 ）。この記録終了後、ス
テップS10 に戻る。
【００８７】さらに、補間処理の動作手順について説明
する（サブルーチンSUB1：図13を参照）。フレームメモ
リ部32a から相関検出対象の画素データの色と同色の４
つの画素データを所定の領域として読み出して、この
際、相関検出対象の画素データのアドレスも読み出して
おく。このアドレスは、固体撮像素子26またはフレーム
メモリ40のアドレスでかまわない。まず、供給された所
定の領域の画素データ44を用いて、実在画素を用いて相
関検出を行う（サブステップSS10）。相関検出は、たと
えば、式(9a)および式(9b)により行われる。
【００８８】相関検出対象の位置に対して相関検出した
結果に応じた相関対応処理により実在画素および仮想画
素の高周波輝度データYHをそれぞれ生成する（サブルー
チンSUB2：図14を参照）。仮想画素の高周波輝度データ
YHは、仮想画素の周りを囲む２つまたは４つの画素デー
タから生成する。また、補間処理において三原色データ
は実在画画素および仮想画素を用いて生成する（サブス
テップSS12：図15を参照）。続いて、これらの高周波輝
度データYHおよび三原色データから輝度・色差信号を生
成する（サブステップSS14：図15を参照）。これらの処
理が１フレーム分すべてに対して終了したかどうかの判
断を行う（サブステップSS16）。まだ１フレームの高周
波輝度データYHおよび三原色データの生成が１フレーム
分終了していない場合（NO) 、最初のサブステップSS10
まで戻って処理を繰り返す。また、１フレーム分すべて
処理が終了した場合（YES ）、リターンに移行してサブ
ルーチンSUB1を終了する。
【００８９】次に本実施例における高周波輝度データYH
の生成手順について説明する（サブルーチンSUB2：図14
を参照）。フレームメモリ部32a は、システム制御部18
の制御により順次生成の対象の画素データに対して周囲
の所定の領域の画素データを出力する。供給される画素
データのうち、たとえば、式(6a)のように周囲の４つの
画素データを用い、これらの加算平均によって無相関対
応処理を行う（サブステップSS202 ）。
【００９０】次に供給される画素データのうち、たとえ
ば、式(6b)や式(6b)のように周囲の２つの画素データを
用い、これらの加算平均によって垂直相関対応処理を行
う（サブステップSS202 ）。また、同様に、供給される
画素データのうち、たとえば、式(7a)や式(7b)のように
周囲の２つの画素データを用い、これらの加算平均によ
って水平相関対応処理を行う（サブステップSS204 ）。
【００９１】一方、相関検出部50は、相関検出の結果に
応じて処理結果の選択を行う選択信号として相関検出信
号56を出力する。供給される相関検出信号56に応じてYH
選択スイッチ66が切り換えられる。これらサブステップ
SS200 〜SS204 までの手順は、各補間対象の画素がどの
ような相関か検出した際の判断処理に対応している。YH
選択スイッチ66の切換えは、垂直相関、水平相関、およ
び無相関の結果を選ぶことである。
【００９２】たとえば、検出した相関が垂直相関かどう
か判断する（サブステップSS206 ）。相関が垂直相関と
判断された場合（YES ）、サブステップSS208 に進む。
また、相関が垂直相関と判断されなかった場合（NO）、
サブステップSS210 に進む。サブステップSS208 では、
垂直相関に対応する処理した結果を選択して高周波輝度
データYHが得られる。
【００９３】サブステップSS210 では、相関検出信号56
が水平相関を示すかどうか判断する。相関が水平相関と
判断された場合（YES ）、サブステップSS212 に進む。
また、相関が垂直相関および水平相関でもないと判断さ
れた場合（NO）、サブステップSS214 に進む。サブステ
ップSS212 では、水平相関に対応して処理した結果の高
周波輝度データYHが得られる。サブステップSS214 で
は、垂直および水平方向に相関がなかった、すなわち無
相関と判断してこの無相関に対応して処理した結果の高
周波輝度データYHが得られる。
【００９４】サブステップSS208, SS212, SS214 の処理
後、サブステップSS216 に移行して高周波輝度YH後処理
を行う。高周波輝度YH後処理とは、高周波輝度データを
合成するとともに、ローパスフィルタ処理やハイパスフ
ィルタを用いたエッジ強調処理等を行う。この後リター
ンに移行してサブルーチンSUB2を終了する。
【００９５】ところで、個々の処理で得られた対象の画
素の相関結果を対象の画素のアドレスに対応付けて格納
するようにしておくとよい。そして、図示していない
が、たとえば補間処理の一方法として実在画素の高周波
輝度データYHを求める際に仮想画素の高周波輝度データ
YHを用いる。実在画素の周囲の仮想画素にはすでにどの
ような相関により得られたかその結果が既知である。
【００９６】相関結果のうち、同じ結果が３つ以上検出
されていた場合、その結果である水平または垂直方向の
相関があるものと判断する。これ以外の場合、無相関と
判断して無相関対応の処理により高周波輝度データYHを
生成する。このように高周波輝度データYHの生成には相
関の多数決に応じた処理も用いてもよい。
【００９７】具体的に、たとえば、水平または垂直相関
のある場合、対象の画素を挟んで相関のある方向の２つ
の画素データを用いて加算平均により高周波輝度データ
YHを生成する。また、無相関の場合、周囲の４つの画素
データを用いて高周波輝度データYHを生成する。
【００９８】次に実在画素および仮想画素における三原
色データを算出する手順を簡単に説明する。前述したよ
うに、たとえば、仮想画素(2,1) での三原色データR21,
G21, B21 を生成する場合を例に説明する。仮想画素
(2,1) の原色データR21 は、式(10a) により算出する。
周囲には、４つの異なる色フィルタセグメントを介して
得られた実在画素がある。原色成分に着目すると、式(1
1)
【００９９】
【数１１】 R ＝（Mg＋Ye−Cy）/2 ・・・(11) により得られる。算出に用いる実在画素の位置関係は、
算出の対象の仮想画素を水平方向に見た場合、図11に示
すように色G を用いないことから、サンプリングを蛇行
させて行うとよい。
【０１００】次に仮想画素(2,1) の原色データG21 は、
式(10b) または式(10c) のいずれかにより算出する。こ
の処理では、仮想画素(2,1) の周囲の異なる４色の実在
画素をすべて用いる。本実施例では、色G に対して定数
２を乗算しているので、式(10c) を用いることが望まし
い。色G の生成式は、原色成分に着目すると、式(12)
【０１０１】
【数１２】 G ＝（2G＋Cy＋Ye−Mg）/4 ・・・(12) である。
【０１０２】次に仮想画素(2,1) の原色データB21 は、
式(10d) により算出する。この処理では、仮想画素(2,
1) の周囲の異なる３色の実在画素を用いる。色G の生
成式は、原色成分に着目すると、式(13)
【０１０３】
【数１３】 B ＝（Mg＋Cy−Ye）/2 ・・・(13) である。この場合も色R の場合と同様にサンプリングす
る画素データは、蛇行させて行うとよい。
【０１０４】次に、実在画素における三原色データを生
成する。色R の原色データは、周辺の仮想画素に対して
求めた４つまたは２つの同色データの加算平均により算
出する。
【０１０５】同様に、色G, Bの原色データも、周辺の仮
想画素に対してそれぞれ求めた４つまたは２つの同色デ
ータの加算平均により算出する。
【０１０６】なお、処理の手順は、上述した手順に限定
されるものでなく、高周波輝度データYH、三原色データ
の生成は、仮想画素および実在画素における画素データ
の生成のいずれかに対して１フレーム分のデータ生成を
行い、その後に未処理の領域または位置に対する補間処
理を行う方が効率的である。
【０１０７】このように動作させることにより、解像度
の向上の効果がそのまま保たれた画像を提供することが
できる。
【０１０８】次に本実施例のディジタルカメラ10の変形
例について説明する（図16を参照）。前述した実施例と
異なっている点は、相関検出部50から出力される相関検
出信号56がRGB 生成部54にも供給されている。RGB 生成
部54は、相関検出の結果に対応して三原色データを生成
する。
【０１０９】RGB 生成部54には、無相関、水平および垂
直相関に応じた三原色データを生成する無相関RGB 生成
部140 、水平相関RGB 生成部142 、垂直相関RGB 生成部
144、RGB 相関選択部146 、およびYL後処理部148 が含
まれている。
【０１１０】無相関RGB 生成部140 、水平相関RGB 生成
部142 、および垂直相関RGB 生成部144 には、それぞ
れ、フレームメモリ40から読み出した画素データ44が供
給されている。画素データ44を用いて、あらかじめ相関
の有無および相関がある場合の相関の方向に応じて三原
色データを生成する機能を有している。無相関RGB 生成
部140 、水平相関RGB 生成部142 、および垂直相関RGB
生成部144 は、図示していないが第１段としていずれも
仮想画素に対する三原色データを生成している。そし
て、この算出した画素データを用いてこれらの各部にお
いて第２段として実在画素における三原色データを補間
生成する。
【０１１１】無相関RGB 生成部140 は、補間処理を行う
対象の受光素子90の周囲にある４つの仮想画素を各色ご
とに加算平均して生成する。水平相関RGB 生成部142
は、補間処理を行う対象の受光素子90を挟んで水平方向
にある２つの仮想画素を各色ごとに加算平均して生成す
る。また、垂直相関RGB 生成部144 も補間処理を行う対
象の受光素子90を挟んで垂直方向にある２つの仮想画素
を各色ごとに加算平均して生成する。また、無相関RGB
生成部140 、水平相関RGB 生成部142 、および垂直相関
RGB 生成部144 は、低周波輝度データYLも供給される三
原色データを用いて、たとえば、式(14)
【０１１２】
【数１４】 YL＝0.3*R ＋0.59*G＋0.11*B ・・・(14) に代入して算出する。このように相関に応じた三原色デ
ータを用いて画像の色に関するデータを生成することに
より、解像度を向上させることができる。
【０１１３】相関選択部146 は、供給される相関検出信
号56を選択信号として無相関RGB 生成部140 、水平相関
RGB 生成部142 、および垂直相関RGB 生成部144 からの
出力を選択する。相関選択部146 において配設された端
子a, b, c は、無相関RGB 生成部140 、水平相関RGB 生
成部142 、および垂直相関RGB 生成部144 の出力側とそ
れぞれ接続されている。相関選択部146 は、仮想画素と
ともに、実在画素に対して相関に応じた三原色データを
YL後処理部148 に送る。このようにあらかじめ相関結果
を想定して画素データを生成しておくので、信号処理の
時間短縮も図ることができる。
【０１１４】YL後処理部148 は、供給される実在画素お
よび仮想画素のすべての各種データに対してゲイン調整
やローパスフィルタ処理等を施して低周波輝度データYL
(150)および三原色データ152 〜156 低周波輝度データ
YLを出力する。
【０１１５】最後に、本実施例ではディジタルカメラ10
の固体撮像素子26にCCD エリアセンサタイプのインター
レース走査による固体撮像素子を用いて説明したが、こ
のような固体撮像素子に限定されるものでなく、一つの
受光素子に隣接する受光素子の画素ずらしの大きさが同
一行または同一列の受光素子間隔の半分で、水平および
垂直方向にずれている、いわゆるハニカム対応の配置で
あれば、プログレッシブ走査のCCD エリアセンサでも、
４フィールドインターレース走査のCCD エリアセンサで
もよいことは明らかである。
【０１１６】さらに、図17に示すMOS タイプの固体撮像
素子を適用しても前述した実施例と同様に解像度を損な
うことなくディジタルカメラ10が画像を提供できる。こ
の点を除いて、撮像素子の構成は、ほぼ従来の構成と同
じである。この際、色フィルタは、図9(A), 図9(B)に示
した色フィルタセグメントの配置を用いることは言うま
でもない。
【０１１７】MOS タイプの固体撮像素子26を簡単に説明
すると、受光素子160 は、前述したCCD タイプで説明し
たいわゆるハニカム対応に２次元配置されている。受光
素子160 に隣接して垂直方向に信号線162 が形成されて
いる。受光素子160 と信号線162 との間には、図示しな
いがMOS スイッチが配設形成されている。
【０１１８】垂直走査回路164 は、たとえば、MOS スイ
ッチにオン／オフの信号を供給して受光素子160 での信
号の蓄積および読出し（すなわち、選択）を行わせる。
読み出した信号は、アナログ部166 に供給される。水平
走査回路168 は、アナログ部166 に供給された信号を水
平方向に出力させる走査信号をアナログ部166 に供給す
る。また、走査制御部170 は、垂直走査回路164 および
水平走査回路168 に走査開始のタイミング等のタイミン
グ信号を供給して、動作を制御している。これらの制御
により、固体撮像素子26は、入射効率の高い入射光を受
光し、得られたアナログ信号27を所望のタイミングで出
力させることができる。
【０１１９】以上のように構成することにより、入射光
の利用効率を高めるために、補色を含む色フィルタセグ
メントを用いて受光素子にて信号電荷を生成し、信号処
理において得られた実在画素および仮想画素に対する高
周波輝度データYHを相関検出に応じて生成しても、高周
波輝度データの変動がほとんどなく生成することができ
る。これにより、縞状の雑音が発生しないから、これま
で縞状の雑音の除去に用いてきたLPF 処理を最小限また
は不要にすることができる。したがって、得られる信号
に対して解像度を劣化させる要因がなくなるので、相関
を利用し、広帯域化した解像度の向上させた画像がその
まま得られることになる。これにより、これまでよりも
感度がよく、かつ解像度の高いカラー画像が得られる。
【０１２０】固体撮像素子も、各色フィルタセグメント
の分光特性と対応する定数の乗算結果の和の２つがほぼ
同じになる関係の色フィルタを用いることで光の利用効
率だけでなく、これらの画素データを用いて信号処理を
後段で行わせても解像度の向上にも寄与できる信号を生
成することができる。
【０１２１】さらに、信号処理方法は、上述した色フィ
ルタセグメントの関係が成り立つとき、高周波輝度デー
タYHの算出に際して、供給される画素データの各色に対
応する所定の定数を乗算して画素データを補正し、ディ
ジタル変換した生の画素データを用いた相関検出の結果
に応じた信号処理を補正した画素データにより算出して
画像を生成すると、解像度の高いカラー画像が得られ
る。
【０１２２】
【発明の効果】このように本発明の固体撮像装置によれ
ば、固体撮像素子から読み出された画素データを信号処
理手段での信号処理において、水平方向または垂直方向
に相関がある実在画素または仮想画素における高周波輝
度データを相関がある方向の補正した画素データから生
成することにより解像度の向上を図る。さらに、第１の
和と第２の和はほぼ同じ分光特性になる色フィルタ配置
にしていることから垂直方向または水平方向に隣接する
高周波輝度データに変動がなく、再生画面上で縞状の雑
音が現れない。この結果、縞状雑音防止用のローパスフ
ィルタが不要となり、解像度劣化が避けられる。また、
色分解手段に補色フィルタを含むため原色フィルタ配列
の固体撮像素子に比較して入射光の利用効率が上がり、
感度がおよそ２倍に向上する。これにより、解像度の高
い画像を得ることができる。
【０１２３】また、本発明の固体撮像素子によれば、そ
れぞれ得られる第１の和と第２の和がほぼ同じになる位
置関係に色フィルタセグメントが配された色分解手段で
色分解した入射光を受光部で光電変換により得られた信
号電荷を読出し手段を介して読み出して、後段における
信号処理において色フィルタセグメントの色に応じた複
数の所定の定数をそれぞれ乗算して補正を行って水平方
向または垂直方向の相関のある方向の補正した値を用い
て高域成分を含む高周波輝度データを生成することによ
り縞状雑音のない高周波輝度データにする。これにより
最適な場合、縞状雑音防止用のローパスを不要にする。
したがって、最終的な画像に生じていた縞状の雑音の発
生を防止でき、後段での信号処理による解像度の劣化を
生じさせるおそれのない信号を出力することができる。
【０１２４】さらに、本発明の信号処理方法によれば、
入射光を配置した第１ないし第４の色フィルタセグメン
トで色分解させて、受光素子から読み出して得られた信
号にアナログ処理、ディジタル変換処理を施し、得られ
た画素データを用いて相関検出を行うとともに、相関検
出の結果に応じた高域成分を含む高周波輝度データの生
成にディジタル変換処理により得られる画素データに位
置対応の第１から第４の定数をそれぞれ乗算して補正し
た画素データを用いて生成することにより、相関に依存
しない高周波輝度データの変動が極めて少なく、これに
ともなって縞状雑音が発生しないので、最良の場合、ロ
ーパスフィルタ処理を行わずに済ませることができ、解
像度を高く維持できる。
【図面の簡単な説明】
【図１】本発明の固体撮像装置を適用したディジタルカ
メラの概略的な構成を示すブロック図である。
【図２】図１の信号処理部のフレームメモリ部の概略的
な構成を示すブロック図である。
【図３】図１の信号処理部の補間処理部および輝度・色
差信号処理部の概略的な構成を示すブロック図である。
【図４】図３のYH生成部の概略的な構成を示すブロック
図である。
【図５】図３の輝度・色差信号処理部の輝度データ生成
部の広帯域化機能を説明する周波数アロケーションの関
係を示す図である。
【図６】図１の固体撮像素子を入射光側から見た各部の
位置関係および構成を示す概略的な構成を示す模式図で
ある。
【図７】図６の受光素子の位置に対応して配設される各
色フィルタセグメントを相対感度で示す分光特性チャー
トである。
【図８】従来の補色を含む色フィルタセグメントの配置
パターンを説明する模式図である。
【図９】図１の固体撮像素子に用いる色フィルタの図9
(A)の配置パターンと図9(B)の配置パターンを説明する
模式図である。
【図１０】図９の色フィルタにおいて２倍の緑とマゼン
タとを合わせた分光特性および黄色とシアンとを合わせ
た分光特性を相対感度で表したチャートである。
【図１１】図9(A)の配置パターンに行列表示を付して個
々の位置も規定して表した模式図である。
【図１２】図１のディジタルカメラの動作手順を説明す
るメインフローチャートである。
【図１３】図12の補間処理（サブルーチンSUB1）の動作
手順を説明するフローチャートである。
【図１４】図13の高周波輝度データYHの生成（サブルー
チンSUB2）の手順を説明するフローチャートである。
【図１５】図３の補間処理部において相関検出の結果に
応じてRGB 生成部を動作させる概略的な構成のブロック
図である。
【図１６】図15のRGB 生成部に関する概略的な構成を示
すブロック図である。
【図１７】図１の固体撮像素子を画素ずらしをともなう
MOS 型固体撮像素子の概略的な構成を示す模式図であ
る。
【符号の説明】
10 ディジタルカメラ 16 システムバス 18 システム制御部 26 固体撮像素子 28 アナログ処理部 30 A/D 変換部 32 信号処理部 32a フレームメモリ部 32b 補間処理部 32c 輝度・色差信号処理部 40 フレームメモリ 50 相関検出部
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 4M118 AA01 AA05 AA06 AB01 BA13 BA30 CA20 DA18 DB08 DD08 FA07 FA45 GC09 GC14 GC20 5C065 AA03 BB30 BB48 CC01 CC08 CC09 DD02 EE03 EE07 EE12 FF02 GG13 GG27 GG30 GG32

Claims (18)

    【特許請求の範囲】
  1. 【請求項１】 入射光を遮光する遮光部材の開口部に対
    応した位置で該入射光を色分解し、該色分解した入射光
    を光電変換して撮像し、該撮像により得られた信号に信
    号処理を施して広帯域な信号にする固体撮像装置におい
    て、該装置は、 前記開口部からの入射光を異なる分光特性の複数の色に
    色分解する色フィルタセグメントのうちに、少なくとも
    分光特性が補色系の色フィルタセグメントを含む色分解
    手段、 該色分解手段から補色系の色を含む前記色フィルタセグ
    メントを通った入射光を光電変換する受光素子と該受光
    素子に隣接した受光素子とが互いに垂直方向および／ま
    たは水平方向にずらされて２次元配置された受光部、お
    よび該受光部の前記受光素子で光電変換されて蓄積され
    た信号電荷を所定の順序で順次読み出し、外部の出力信
    号として出力する読出し手段を含む固体撮像素子と、 該固体撮像素子から供給される信号をディジタル変換し
    て画素データにするディジタル変換手段と、 前記受光素子の実在する位置から得られる画素を実在画
    素とし、前記受光素子の中間の位置の画素を仮想画素と
    し、該ディジタル変換した画素データを用いて水平およ
    び／または垂直方向の相関検出を行い、該画素データに
    対して前記色フィルタセグメントの色に応じた複数の所
    定の定数をそれぞれ乗算して補正した画素データを生成
    し、得られた相関検出結果に基づいて該補正した画素デ
    ータから前記受光素子の位置および前記仮想画素の領域
    での高域成分を含む高周波輝度データならびにディジタ
    ル変換した画素データから三原色の原色データをそれぞ
    れ求めるとともに、これらの各種の画素データから輝度
    および色差に関するデータを生成する信号処理手段とを
    含み、 前記色分解手段は、第１の色フィルタセグメントおよび
    第２の色フィルタセグメントの第１の組、第３の色フィ
    ルタセグメントおよび第４の色フィルタセグメントの第
    ２の組の各組が、それぞれの同一行内に配され、第１の
    組に隣接する第２の組の色フィルタセグメントが第１の
    組の色フィルタセグメントと互いに画素ピッチの半分ず
    れた位置関係にあって、 第１の組の色フィルタセグメントの分光特性に、それぞ
    れ第１の定数と第２の定数を乗算した積の第１の和が、
    第２の組の色フィルタセグメントの分光特性に、第３の
    定数と第４の定数を乗算した積の第２の和とほぼ等し
    く、かつ得られた第１および第２の和が輝度を示す分光
    特性に近い関係になる色フィルタ配置を有することを特
    徴とする固体撮像装置。
  2. 【請求項２】 請求項１に記載の装置において、前記固
    体撮像素子は、白色光を入射させた際に第１の組の前記
    色フィルタセグメントおよび前記受光素子の分光特性に
    応じて得られる信号にそれぞれ第１の定数と第２の定数
    を乗算した積の和を第１の和、第２の組の前記色フィル
    タセグメントおよび前記受光素子の分光特性に応じて得
    られる信号にそれぞれ第３の定数と第４の定数を乗算し
    た積の和を第２の和にした場合、第１の和が、第２の和
    のほぼ±10％の範囲内で得られることを特徴とする固体
    撮像装置。
  3. 【請求項３】 請求項１または２に記載の装置におい
    て、前記色分解手段は、第１の色フィルタセグメントの
    色を緑、第２の色フィルタセグメントの色をマゼンタ、
    第３の色フィルタセグメントの色を黄色、および第４の
    色フィルタセグメントの色をシアンとし、 前記色フィルタセグメントのそれぞれの配置は、前記色
    フィルタセグメントを正方格子状に配した色フィルタセ
    グメントの一方の色を緑にして対角に位置する前記色フ
    ィルタセグメントの色を同色にし、他方の色をマゼンタ
    にして対角の位置を該色と同色にし、これらの正方格子
    状に配した色フィルタセグメントの中心または中間の位
    置から成る別な正方格子状に配した色フィルタセグメン
    トの一方の色を黄色にして対角に位置する前記色フィル
    タの色を同色にし、他方の色をシアンにして対角の位置
    を該色と同色にすることを特徴とする固体撮像装置。
  4. 【請求項４】 請求項１または２に記載の装置におい
    て、前記色分解手段は、第１の色フィルタセグメントの
    色を緑、第２の色フィルタセグメントの色をマゼンタ、
    第３の色フィルタセグメントの色をシアン、および第４
    の色フィルタセグメントの色を黄色とし、 前記色フィルタセグメントのそれぞれの配置は、前記色
    フィルタセグメントを正方格子状に配した色フィルタセ
    グメントの一方の色を緑にして対角に位置する前記色フ
    ィルタセグメントの色を同色にし、他方の色をマゼンタ
    にして対角の位置を該色と同色にし、これらの正方格子
    状に配した色フィルタセグメントの中心または中間の位
    置から成る別な正方格子状に配した色フィルタセグメン
    トの一方の色をシアンにして対角に位置する前記色フィ
    ルタの色を同色にし、他方の色を黄色にして対角の位置
    を該色と同色にすることを特徴とする固体撮像装置。
  5. 【請求項５】 請求項２ないし４のいずれかに記載の装
    置において、第１の定数は、２、第２から第４の定数
    は、１とすることを特徴とする固体撮像装置。
  6. 【請求項６】 請求項１ないし５のいずれかに記載の装
    置において、前記固体撮像素子は、電荷結合デバイス、
    およびMOS 型トランジスタの画素選択手段のいずれか一
    方であることを特徴とする固体撮像装置。
  7. 【請求項７】 入射光を遮光する遮光部材の開口部に対
    応した位置で該入射光を色分解し、該色分解した入射光
    を光電変換する固体撮像素子において、該素子は、 前記開口部からの入射光を異なる分光特性の複数の色に
    色分解する色フィルタセグメントうちに、少なくとも分
    光特性が補色系の色フィルタセグメントを含む色分解手
    段、 該色分解手段から補色系の色を含む前記色フィルタセグ
    メントを通った入射光を光電変換する受光素子と該受光
    素子に隣接した受光素子とが互いに垂直方向および／ま
    たは水平方向にずらされて２次元配置された受光部、お
    よび該受光部の前記受光素子に光電変換されて蓄積され
    た信号電荷を所定の順序で順次読み出し、外部の出力信
    号として出力する読出し手段を含み、 前記色分解手段は、第１の色フィルタセグメントおよび
    第２の色フィルタセグメントの第１の組、第３の色フィ
    ルタセグメントおよび第４の色フィルタセグメントの第
    ２の組の各組が、それぞれの同一行内に配され、第１の
    組に隣接する第２の組の色フィルタセグメントが第１の
    組の色フィルタセグメントと互いに画素ピッチの半分ず
    れた位置関係にあって、 第１の組の色フィルタセグメントの分光特性に、それぞ
    れ第１の定数と第２の定数を乗算した積の第１の和が、
    第２の組の色フィルタセグメントの分光特性に、第３の
    定数と第４の定数を乗算した積の第２の和とほぼ等し
    く、かつ得られた第１および第２の和が輝度を示す分光
    特性に近い関係になる色フィルタ配置を有することを特
    徴とする固体撮像素子。
  8. 【請求項８】 請求項７に記載の素子において、前記色
    分解手段は、白色光を入射させた際に第１の組の前記色
    フィルタセグメントおよび前記受光素子の分光特性に応
    じて得られる信号にそれぞれ第１の定数と第２の定数を
    乗算した積の和を第１の和、第２の組の前記色フィルタ
    セグメントおよび前記受光素子の分光特性に応じて得ら
    れる信号にそれぞれ第３の定数と第４の定数を乗算した
    積の和を第２の和にした場合、第１の和が、第２の和の
    ほぼ±10％の範囲内で得られることを特徴とする固体撮
    像素子。
  9. 【請求項９】 請求項７または８に記載の素子におい
    て、前記色分解手段は、第１の色フィルタセグメントの
    色を緑、第２の色フィルタセグメントの色をマゼンタ、
    第３の色フィルタセグメントの色を黄色、および第４の
    色フィルタセグメントの色をシアンとし、 前記色フィルタセグメントのそれぞれの配置は、前記色
    フィルタセグメントを正方格子状に配した色フィルタセ
    グメントの一方の色を緑にして対角に位置する前記色フ
    ィルタセグメントの色を同色にし、他方の色をマゼンタ
    にして対角の位置を該色と同色にし、これらの正方格子
    状に配した色フィルタセグメントの中心または中間の位
    置から成る別な正方格子状に配した色フィルタセグメン
    トの一方の色を黄色にして対角に位置する前記色フィル
    タの色を同色にし、他方の色をシアンにして対角の位置
    を該色と同色にすることを特徴とする固体撮像素子。
  10. 【請求項１０】 請求項７または８に記載の素子におい
    て、前記色分解手段は、第１の色フィルタセグメントの
    色を緑、第２の色フィルタセグメントの色をマゼンタ、
    第３の色フィルタセグメントの色をシアン、および第４
    の色フィルタセグメントの色を黄色とし、 前記色フィルタセグメントのそれぞれの配置は、前記色
    フィルタセグメントを正方格子状に配した色フィルタセ
    グメントの一方の色を緑にして対角に位置する前記色フ
    ィルタセグメントの色を同色にし、他方の色をマゼンタ
    にして対角の位置を該色と同色にし、これらの正方格子
    状に配した色フィルタセグメントの中心または中間の位
    置から成る別な正方格子状に配した色フィルタセグメン
    トの一方の色をシアンにして対角に位置する前記色フィ
    ルタの色を同色にし、他方の色を黄色にして対角の位置
    を該色と同色にすることを特徴とする固体撮像素子。
  11. 【請求項１１】 請求項８ないし10のいずれかに記載の
    素子において、第１の定数は、２、第２から第４の定数
    は、１とすることを特徴とする固体撮像素子。
  12. 【請求項１２】 請求項７ないし11のいずれかに記載の
    素子において、該撮像素子は、電荷結合デバイス、およ
    びMOS 型トランジスタの画素選択手段のいずれか一方で
    あることを特徴とする固体撮像素子。
  13. 【請求項１３】 入射光を遮光する遮光部材の開口部に
    対応し、かつ第１の色フィルタセグメントおよび第２の
    色フィルタセグメントの第１の組、第３の色フィルタセ
    グメントおよび第４の色フィルタセグメントの第２の組
    の各組が、それぞれの同一行内に配され、第１の組に隣
    接する第２の組の色フィルタセグメントが第１の組の色
    フィルタセグメントと互いに画素ピッチの半分ずれた位
    置関係に配された固体撮像素子を用いて、該固体撮像素
    子に入射する光を色分解する第１の工程と、 該色分解した入射光を各色フィルタセグメント直下に配
    した受光素子で信号電荷に光電変換する第２の工程と、 読み出す信号電荷をアナログ信号として読み出し、該ア
    ナログ信号にディジタル信号処理を施す前のアナログ処
    理を施す第３の工程と、 該アナログ信号に前記ディジタル処理を施してディジタ
    ル信号に変換する第４の工程と、 得られたディジタル信号を画素データとしてあらかじめ
    用意した複数回読み出せるメモリ手段に格納させる第５
    の工程と、 前記メモリ手段から読み出した画素データを用いて水平
    および／または垂直方向の相関検出を行う第６の工程
    と、 前記画素データのそれぞれと配置した色フィルタセグメ
    ントの位置に応じた複数の所定の定数とを乗算して補正
    した画素データを生成するとともに、該相関検出結果に
    応じた方向の考慮された演算処理を該補正した画素デー
    タで行って高域成分を含む高周波輝度データを生成する
    第７の工程と、 前記メモリ手段から読み出した画素データを用いて三原
    色の各原色データを生成する第８の工程と、 前記高周波輝度データおよび前記三原色の各原色データ
    を用いて輝度データおよび色差データの生成を行う第９
    の工程とを含み、 第７の工程は、 第１の色フィルタセグメントに対応して得られる信号に
    第１の定数を乗算し、第２の色フィルタセグメントに対
    応して得られる信号に第２の定数を乗算し、それぞれ得
    られる積の和を第１の和とし、 第３の色フィルタセグメントに対応して得られる信号に
    第３の定数を乗算し、第４の色フィルタセグメントに対
    応して得られる信号に第４の定数を乗算し、それぞれ得
    られる積の和を第２の和とし、 第１および第２の定数ならびに第３および第４の定数
    は、それぞれ第１の和と第２の和とがほぼ同程度の範囲
    内の値になる定数をそれぞれ用いることを特徴とする信
    号処理方法。
  14. 【請求項１４】 請求項13に記載の方法において、第１
    の和は、第２の和とほぼ±10％の範囲内の値にする第１
    ないし第４の定数を、それぞれ用いることを特徴とする
    信号処理方法。
  15. 【請求項１５】 請求項13または14に記載の方法におい
    て、第１の工程は、第１の色フィルタセグメントを緑
    色、第２の色フィルタセグメントをマゼンタ、第３の色
    フィルタセグメントを黄色、および第４の色フィルタセ
    グメントをシアンとし、 前記色フィルタセグメントのそれぞれの配置は、前記色
    フィルタセグメントを正方格子状に配した色フィルタセ
    グメントの一方の色を緑にして対角に位置する前記色フ
    ィルタセグメントの色を同色にし、他方の色をマゼンタ
    にして対角の位置を該色と同色にし、これらの正方格子
    状に配した色フィルタセグメントの中心または中間の位
    置から成る別な正方格子状に配した色フィルタセグメン
    トの一方の色を黄色にして対角に位置する前記色フィル
    タの色を同色にし、他方の色をシアンにして対角の位置
    を該色と同色にすることを特徴とする信号処理方法。
  16. 【請求項１６】 請求項13または14に記載の方法におい
    て、第１の工程は、第１の色フィルタセグメントを緑
    色、第２の色フィルタセグメントをマゼンタ、第３の色
    フィルタセグメントをシアン、および第４の色フィルタ
    セグメントを黄色とし、 前記色フィルタセグメントのそれぞれの配置は、前記色
    フィルタセグメントを正方格子状に配した色フィルタセ
    グメントの一方の色を緑にして対角に位置する前記色フ
    ィルタセグメントの色を同色にし、他方の色をマゼンタ
    にして対角の位置を該色と同色にし、これらの正方格子
    状に配した色フィルタセグメントの中心または中間の位
    置から成る別な正方格子状に配した色フィルタセグメン
    トの一方の色をシアンにして対角に位置する前記色フィ
    ルタの色を同色にし、他方の色を黄色にして対角の位置
    を該色と同色にすることを特徴とする信号処理方法。
  17. 【請求項１７】 請求項13または14に記載の方法におい
    て、第１の定数は、２、第２から第４の定数は、１に設
    定することを特徴とする固体撮像素子。
  18. 【請求項１８】 請求項13または14に記載の方法におい
    て、第７の工程は、前記固体撮像素子における実在する
    受光素子の位置の画素を実在画素とし、前記受光素子の
    中間の位置の画素を仮想画素とし、前記実在画素または
    前記仮想画素における高域成分を含む高周波輝度データ
    を水平方向または垂直方向に相関がある場合に相関のあ
    る方向の補正した画素データを用いて行い、これ以外の
    場合には生成対象位置の周囲を囲む位置の補正した画素
    データの総和から生成することを特徴とする信号処理方
    法。
JP2000101226A 2000-03-31 2000-03-31 固体撮像装置および信号処理方法 Expired - Fee Related JP4372955B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000101226A JP4372955B2 (ja) 2000-03-31 2000-03-31 固体撮像装置および信号処理方法
US09/820,792 US6469290B1 (en) 2000-03-31 2001-03-30 Solid-state image pickup apparatus in compliance with the arrangement of complementary color filter segments and a signal processing method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000101226A JP4372955B2 (ja) 2000-03-31 2000-03-31 固体撮像装置および信号処理方法

Publications (2)

Publication Number Publication Date
JP2001285885A true JP2001285885A (ja) 2001-10-12
JP4372955B2 JP4372955B2 (ja) 2009-11-25

Family

ID=18615312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000101226A Expired - Fee Related JP4372955B2 (ja) 2000-03-31 2000-03-31 固体撮像装置および信号処理方法

Country Status (2)

Country Link
US (1) US6469290B1 (ja)
JP (1) JP4372955B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002060186A1 (fr) * 2001-01-25 2002-08-01 Nikon Corporation Procede de traitement d'image, programme de traitement d'image et processeur d'image
WO2003049190A1 (en) * 2001-12-05 2003-06-12 Hamamatsu Photonics K.K. Light detection device, imaging device and distant image acquisition device
WO2005055590A1 (ja) * 2003-12-08 2005-06-16 Olympus Corporation 画像補間装置及び画像補間方法
JP2006074360A (ja) * 2004-09-01 2006-03-16 Fuji Photo Film Co Ltd 撮像装置及び信号処理方法
JP2010057547A (ja) * 2008-09-01 2010-03-18 Canon Inc 眼底カメラ
JP2013046850A (ja) * 2012-12-04 2013-03-07 Canon Inc 眼底カメラ

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3241028B2 (ja) * 1999-12-22 2001-12-25 日本電気株式会社 画像撮像装置及びその画像撮像方法
JP2001203969A (ja) * 2000-01-21 2001-07-27 Fuji Photo Film Co Ltd 撮像装置およびその動作制御方法
JP4503823B2 (ja) * 2000-12-22 2010-07-14 富士フイルム株式会社 画像信号処理方法
JP2003009166A (ja) * 2001-06-21 2003-01-10 Fuji Film Microdevices Co Ltd 撮像装置およびその駆動方法
JP3879543B2 (ja) * 2002-03-08 2007-02-14 ソニー株式会社 画像処理装置
JP4125927B2 (ja) * 2002-08-16 2008-07-30 富士フイルム株式会社 固体撮像装置および固体撮像素子
JP4310093B2 (ja) * 2002-10-09 2009-08-05 キヤノン株式会社 固体撮像素子の製造方法
US20040114047A1 (en) * 2002-12-13 2004-06-17 Vora Poorvi L. Method for transforming an offset sensor array
JP2004336469A (ja) * 2003-05-08 2004-11-25 Fuji Film Microdevices Co Ltd 固体撮像素子、撮像装置、及び画像処理方法
JP4428195B2 (ja) * 2004-10-22 2010-03-10 株式会社日立製作所 撮像装置、補完信号生成方法及びプログラム
JP4306603B2 (ja) * 2004-12-20 2009-08-05 ソニー株式会社 固体撮像装置および固体撮像装置の駆動方法
US20070152139A1 (en) * 2005-12-30 2007-07-05 Moores Mark D Techniques to control illumination for image sensors
JP4241754B2 (ja) * 2006-04-14 2009-03-18 ソニー株式会社 撮像装置
US8233734B2 (en) * 2008-09-22 2012-07-31 Microsoft Corporation Image upsampling with training images
US7948534B2 (en) 2008-10-22 2011-05-24 Eastman Kodak Company Charge-coupled device image sensor with vertical binning of same-color pixels
US8164669B2 (en) * 2008-12-19 2012-04-24 Truesense Imaging, Inc. Charge-coupled device image sensor with efficient binning of same-color pixels
WO2012132670A1 (ja) * 2011-03-31 2012-10-04 富士フイルム株式会社 固体撮像素子及びその駆動方法並びに撮影装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5831688A (ja) 1981-08-19 1983-02-24 Hitachi Ltd 固体カラ−撮像装置
JPS5970091A (ja) * 1982-10-13 1984-04-20 Nippon Kogaku Kk <Nikon> 電子スチルカメラ
JP2775512B2 (ja) 1990-04-24 1998-07-16 ニッタ・ムアー株式会社 管継手
JPH04284087A (ja) * 1991-03-13 1992-10-08 Canon Inc 電子スチルカメラ
US5862425A (en) * 1995-01-26 1999-01-19 Asahi Kogaku Kogyo Kabushiki Kaisha Electronic color still video camera having electro-developing recording medium
JPH08340455A (ja) 1995-06-14 1996-12-24 Olympus Optical Co Ltd 画像信号処理装置
EP0766480A3 (en) * 1995-09-28 2000-03-01 Kabushiki Kaisha Toshiba Solid state color image pickup apparatus
JPH1056604A (ja) * 1996-08-07 1998-02-24 Olympus Optical Co Ltd プリンタ内蔵型電子カメラおよび被記録体

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002060186A1 (fr) * 2001-01-25 2002-08-01 Nikon Corporation Procede de traitement d'image, programme de traitement d'image et processeur d'image
US7565007B2 (en) 2001-01-25 2009-07-21 Nikon Corporation Image processing method, image processing program, and image processing apparatus
WO2003049190A1 (en) * 2001-12-05 2003-06-12 Hamamatsu Photonics K.K. Light detection device, imaging device and distant image acquisition device
US7193197B2 (en) 2001-12-05 2007-03-20 Hamamatsu Photonics K.K. Light detection device, imaging device and distant image acquisition device
WO2005055590A1 (ja) * 2003-12-08 2005-06-16 Olympus Corporation 画像補間装置及び画像補間方法
JP2006074360A (ja) * 2004-09-01 2006-03-16 Fuji Photo Film Co Ltd 撮像装置及び信号処理方法
JP4633413B2 (ja) * 2004-09-01 2011-02-16 富士フイルム株式会社 撮像装置及び信号処理方法
JP2010057547A (ja) * 2008-09-01 2010-03-18 Canon Inc 眼底カメラ
JP2013046850A (ja) * 2012-12-04 2013-03-07 Canon Inc 眼底カメラ

Also Published As

Publication number Publication date
US6469290B1 (en) 2002-10-22
JP4372955B2 (ja) 2009-11-25

Similar Documents

Publication Publication Date Title
JP4372955B2 (ja) 固体撮像装置および信号処理方法
US6847397B1 (en) Solid-state image sensor having pixels shifted and complementary-color filter and signal processing method therefor
JP4195169B2 (ja) 固体撮像装置および信号処理方法
JP4019417B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
EP2415254B1 (en) Exposing pixel groups in producing digital images
EP0732858B1 (en) Adaptive color plane interpolation in single sensor color electronic camera
US8270774B2 (en) Image processing device for performing interpolation
JP4503823B2 (ja) 画像信号処理方法
US6133953A (en) Color camera having a single imaging element and capable of restricting unwanted false color signal
US8233733B2 (en) Image processing device
JP4294810B2 (ja) 固体撮像装置および信号読出し方法
US20100134661A1 (en) Image processing apparatus, image processing method and program
JP4317117B2 (ja) 固体撮像装置および撮像方法
JP3965555B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP4077161B2 (ja) 撮像装置、輝度補正方法、およびその方法をコンピュータで実行するためのプログラム
JP2000197067A (ja) 固体撮像装置および画像デ―タ作成方法
JP3967500B2 (ja) 固体撮像装置および信号読出し方法
JP5624228B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP3905342B2 (ja) 固体撮像装置
JP4278893B2 (ja) 固体撮像装置
JP4133179B2 (ja) 画像信号処理装置
JP2002209100A (ja) 画像処理装置および画像処理方法
JP3450366B2 (ja) カラー撮像装置
JP2002010273A (ja) 撮像装置
JP2004088260A (ja) デジタルカメラ

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20060621

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061020

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090811

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090903

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130911

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees