JP2001285885A - 固体撮像装置および信号処理方法 - Google Patents
固体撮像装置および信号処理方法Info
- Publication number
- JP2001285885A JP2001285885A JP2000101226A JP2000101226A JP2001285885A JP 2001285885 A JP2001285885 A JP 2001285885A JP 2000101226 A JP2000101226 A JP 2000101226A JP 2000101226 A JP2000101226 A JP 2000101226A JP 2001285885 A JP2001285885 A JP 2001285885A
- Authority
- JP
- Japan
- Prior art keywords
- color
- color filter
- signal
- filter segments
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 137
- 238000000034 method Methods 0.000 claims abstract description 52
- 239000003086 colorant Substances 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000006243 chemical reaction Methods 0.000 claims abstract description 19
- 238000003384 imaging method Methods 0.000 claims description 66
- 238000001514 detection method Methods 0.000 claims description 41
- 230000000875 corresponding effect Effects 0.000 claims description 38
- 230000003595 spectral effect Effects 0.000 claims description 37
- 230000000295 complement effect Effects 0.000 claims description 24
- 238000000926 separation method Methods 0.000 claims description 24
- 230000002596 correlated effect Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims 2
- 230000035945 sensitivity Effects 0.000 abstract description 13
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000012546 transfer Methods 0.000 description 22
- 238000007906 compression Methods 0.000 description 18
- 230000006835 compression Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 230000006837 decompression Effects 0.000 description 9
- 238000012935 Averaging Methods 0.000 description 8
- 229910044991 metal oxide Inorganic materials 0.000 description 8
- 150000004706 metal oxides Chemical class 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 102100036464 Activated RNA polymerase II transcriptional coactivator p15 Human genes 0.000 description 4
- 101000713904 Homo sapiens Activated RNA polymerase II transcriptional coactivator p15 Proteins 0.000 description 4
- 229910004444 SUB1 Inorganic materials 0.000 description 4
- 229910004438 SUB2 Inorganic materials 0.000 description 4
- 101100311330 Schizosaccharomyces pombe (strain 972 / ATCC 24843) uap56 gene Proteins 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 101150018444 sub2 gene Proteins 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000002542 deteriorative effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 101100366707 Arabidopsis thaliana SSL11 gene Proteins 0.000 description 1
- 101150000715 DA18 gene Proteins 0.000 description 1
- 102100029774 Eukaryotic translation initiation factor 1b Human genes 0.000 description 1
- 101001012792 Homo sapiens Eukaryotic translation initiation factor 1b Proteins 0.000 description 1
- 101100366562 Panax ginseng SS12 gene Proteins 0.000 description 1
- 101100219325 Phaseolus vulgaris BA13 gene Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14645—Colour imagers
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Color Television Image Signal Generators (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
きる固体撮像装置および信号処理方法の提供。 【解決手段】 ディジタルカメラ10は、固体撮像素子26
の色フィルタ26a の配置を色G および色Mgをそれぞれ正
方格子の対向した対角位置に形成し、この正方格子の中
心または中間位置から成る正方格子の対向した対角位置
に色Yeと色Cyをそれぞれ配して形成した配置パターンに
し、光電変換して得られた信号を読み出し、A/D 変換部
30を介して画素データにし、信号処理部32のフレームメ
モリ部32a に入力しこの各画素データを読み出して補間
処理部32b で相関検出し、この結果に基づき色フィルタ
セグメントの色に応じた複数の所定の定数をそれぞれ乗
算して補正した画素データから実在画素および仮想画素
における高周波輝度データYHおよび三原色データを生成
し、この生成した各種のデータから輝度・色差信号処理
部32c を介して相関の方向に応じて変動しない画像を生
成している。
Description
び信号処理方法に関し、特に、この固体撮像装置をディ
ジタルカメラ、画像入力装置、画像処理装置等に適用し
て好適なものである。また、固体撮像素子は、ディジタ
ルカメラ、画像入力装置、画像処理装置等の画像入力部
に適用して好適なものである。さらに、色フィルタの各
色フィルタセグメントの配置を考慮しながら行う信号処
理、画像処理等に用いて好適なものである。
2次元に、かつある受光素子に隣接する受光素子を水平
および垂直方向の画素ピッチの半分ずらした位置に配す
る、いわゆるハニカム状配置の受光部を用いたインター
レース型の固体撮像装置が提案されている。画素配列
は、奇数行と偶数行が行方向に半分ずれ、奇数列と偶数
列が列方向に半分ずれている。また、画素の形状は四角
形、六角形、八角形等の多角形であり、周囲の垂直転送
路がこの画素を迂回するように蛇行形成されている。受
光素子で得られた信号電荷は、たとえば4相駆動により
垂直方向に転送される。水平転送路は、垂直転送路から
供給される信号電荷を、たとえば、2相駆動で水平転送
させている。
に色フィルタセグメントを所定の配置パターンに配した
色フィルタが一体的に受光素子の位置に対応して配設さ
れている。たとえば、三原色RGB を用いたベイヤ配列を
45°傾けた位置関係に各色フィルタセグメントが配され
ている。
色信号が出力信号として得られるため、色信号のS/N が
良好で、色再現性に優れているという利点がある。しか
し、原色カラーフィルタは入射する白色光に対しておよ
そ1/3 の波長成分を透過するのみであり、入射光の利用
効率が非常に悪い。そのため、感度や解像度が低下する
という欠点がある。
像度低下の改善策として、行方向および列方向に画素デ
ータの相関を利用して輝度データを補間する方法を用い
ている。また、もう一つの改善策として入射光の利用効
率を高めるため一般的によく知られている方法として補
色の色フィルタセグメントを用いる方法がある。補色の
色フィルタセグメントの入射光利用効率は、原色の色フ
ィルタセグメントに比べてほぼ倍である。
の色フィルタセグメントを用いて輝度データの補間を行
った場合、相関を利用し補間して算出した高周波成分を
含む輝度データ(以下、高周波輝度データYHという)
は、被写体に色変化がないとしても三原色RGB で表す
と、算出する位置によって含む色成分が異なって表され
る。すなわち、相関の存在する方向に、結果的に縞状雑
音が発生する。この発生を抑圧するため、高周波輝度デ
ータYHに対して相関のある方向にローパスフィルタ処理
を施す。解像度を高めながら、抑圧処理を施すことによ
り解像度の向上が相殺されることになる。
し、感度を高く、かつ解像度の向上効果を維持できる固
体撮像装置および信号処理方法を提供することを目的と
する。
決するために、入射光を遮光する遮光部材の開口部に対
応した位置で該入射光を色分解し、この色分解した入射
光を光電変換して撮像し、この撮像により得られた信号
に信号処理を施して広帯域な信号にする固体撮像装置に
おいて、この装置は、開口部からの入射光を異なる分光
特性の複数の色に色分解する色フィルタセグメントのう
ちに、少なくとも分光特性が補色系の色フィルタセグメ
ントを含む色分解手段、この色分解手段から補色系の色
を含む色フィルタセグメントを通った入射光を光電変換
する受光素子とこの受光素子に隣接した受光素子とが互
いに垂直方向および/または水平方向にずらされて2次
元配置された受光部、およびこの受光部の受光素子で光
電変換されて蓄積された信号電荷を所定の順序で順次読
み出し、外部の出力信号として出力する読出し手段を含
む固体撮像素子と、この固体撮像素子から供給される信
号をディジタル変換して画素データにするディジタル変
換手段と、受光素子の実在する位置から得られる画素を
実在画素とし、受光素子の中間の位置の画素を仮想画素
とし、このディジタル変換した画素データを用いて水平
および/または垂直方向の相関検出を行い、この画素デ
ータに対して色フィルタセグメントの色に応じた複数の
所定の定数をそれぞれ乗算して補正した画素データを生
成し、得られた相関検出結果に基づいてこの補正した画
素データから受光素子の位置および仮想画素の領域での
高域成分を含む高周波輝度データならびにディジタル変
換した画素データから三原色の原色データをそれぞれ求
めるとともに、これらの各種の画素データから輝度およ
び色差に関するデータを生成する信号処理手段とを含
み、色分解手段は、第1の色フィルタセグメントおよび
第2の色フィルタセグメントの第1の組、第3の色フィ
ルタセグメントおよび第4の色フィルタセグメントの第
2の組の各組が、それぞれの同一行内に配され、第1の
組に隣接する第2の組の色フィルタセグメントが第1の
組の色フィルタセグメントと互いに画素ピッチの半分ず
れた位置関係にあって、第1の組の色フィルタセグメン
トの分光特性に、それぞれ第1の定数と第2の定数を乗
算した積の第1の和が、第2の組の色フィルタセグメン
トの分光特性に、第3の定数と第4の定数を乗算した積
の第2の和とほぼ等しく、かつ得られた第1および第2
の和が輝度を示す分光特性に近い関係になる色フィルタ
配置を有することを特徴とする。
ら読み出された画素データを信号処理手段での信号処理
において、水平方向または垂直方向に相関がある実在画
素または仮想画素における高周波輝度データを相関があ
る方向の補正した画素データから生成することにより解
像度の向上を図る。さらに、第1の和と第2の和はほぼ
同じ分光特性になる色フィルタ配置にしていることから
垂直方向または水平方向に隣接する高周波輝度データに
変動がなく、再生画面上で縞状の雑音が現れない。この
結果、縞状雑音防止用のローパスフィルタが不要とな
り、解像度劣化が避けられる。また、色分解手段に補色
フィルタを含むため原色フィルタ配列の固体撮像素子に
比較して入射光の利用効率が上がり、感度がおよそ2倍
に向上する。
に、入射光を遮光する遮光部材の開口部に対応した位置
でこの入射光を色分解し、この色分解した入射光を光電
変換する固体撮像素子において、この素子は、開口部か
らの入射光を異なる分光特性の複数の色に色分解する色
フィルタセグメントうちに、少なくとも分光特性が補色
系の色フィルタセグメントを含む色分解手段、この色分
解手段から補色系の色を含む色フィルタセグメントを通
った入射光を光電変換する受光素子とこの受光素子に隣
接した受光素子とが互いに垂直方向および/または水平
方向にずらされて2次元配置された受光部、およびこの
受光部の受光素子に光電変換されて蓄積された信号電荷
を所定の順序で順次読み出し、外部の出力信号として出
力する読出し手段を含み、色分解手段は、第1の色フィ
ルタセグメントおよび第2の色フィルタセグメントの第
1の組、第3の色フィルタセグメントおよび第4の色フ
ィルタセグメントの第2の組の各組が、それぞれの同一
行内に配され、第1の組に隣接する第2の組の色フィル
タセグメントが第1の組の色フィルタセグメントと互い
に画素ピッチの半分ずれた位置関係にあって、第1の組
の色フィルタセグメントの分光特性に、それぞれ第1の
定数と第2の定数を乗算した積の第1の和が、第2の組
の色フィルタセグメントの分光特性に、第3の定数と第
4の定数を乗算した積の第2の和とほぼ等しく、かつ得
られた第1および第2の和が輝度を示す分光特性に近い
関係になる色フィルタ配置を有することを特徴とする。
る第1の和と第2の和がほぼ同じになる位置関係に色フ
ィルタセグメントが配された色分解手段で色分解した入
射光を受光部で光電変換により得られた信号電荷を読出
し手段を介して読み出して、後段における信号処理にお
いて色フィルタセグメントの色に応じた複数の所定の定
数をそれぞれ乗算して補正を行って水平方向または垂直
方向の相関のある方向の補正した値を用いて高域成分を
含む高周波輝度データを生成することにより縞状雑音の
ない高周波輝度データにする。これにより最適な場合、
縞状雑音防止用のローパスを不要にし、解像度の向上を
維持できる。
めに、入射光を遮光する遮光部材の開口部に対応し、か
つ第1の色フィルタセグメントおよび第2の色フィルタ
セグメントの第1の組、第3の色フィルタセグメントお
よび第4の色フィルタセグメントの第2の組の各組が、
それぞれの同一行内に配され、第1の組に隣接する第2
の組の色フィルタセグメントが第1の組の色フィルタセ
グメントと互いに画素ピッチの半分ずれた位置関係に配
された固体撮像素子を用いて、この固体撮像素子に入射
する光を色分解する第1の工程と、この色分解した入射
光を各色フィルタセグメント直下に配した受光素子で信
号電荷に光電変換する第2の工程と、読み出す信号電荷
をアナログ信号として読み出し、このアナログ信号にデ
ィジタル信号処理を施す前のアナログ処理を施す第3の
工程と、このアナログ信号にディジタル処理を施してデ
ィジタル信号に変換する第4の工程と、得られたディジ
タル信号を画素データとしてあらかじめ用意した複数回
読み出せるメモリ手段に格納させる第5の工程と、メモ
リ手段から読み出した画素データを用いて水平および/
または垂直方向の相関検出を行う第6の工程と、画素デ
ータのそれぞれと配置した色フィルタセグメントの位置
に応じた複数の所定の定数とを乗算して補正した画素デ
ータを生成するとともに、この相関検出結果に応じた方
向の考慮された演算処理をこの補正した画素データで行
って高域成分を含む高周波輝度データを生成する第7の
工程と、メモリ手段から読み出した画素データを用いて
三原色の原色データを生成する第8の工程と、高周波輝
度データおよび三原色の各原色データを用いて輝度デー
タおよび色差データの生成を行う第9の工程とを含み、
第7の工程は、第1の色フィルタセグメントに対応して
得られる信号に第1の定数を乗算し、第2の色フィルタ
セグメントに対応して得られる信号に第2の定数を乗算
し、それぞれ得られる積の和を第1の和とし、第3の色
フィルタセグメントに対応して得られる信号に第3の定
数を乗算し、第4の色フィルタセグメントに対応して得
られる信号に第4の定数を乗算し、それぞれ得られる積
の和を第2の和とし、第1および第2の定数ならびに第
3および第4の定数は、それぞれ第1の和と第2の和と
がほぼ同程度の範囲内の値になる定数をそれぞれ用いる
ことを特徴とする。
た第1ないし第4の色フィルタセグメントで色分解させ
て、受光素子から読み出して得られた信号にアナログ処
理、ディジタル変換処理を施し、得られた画素データを
用いて相関検出を行うとともに、相関検出の結果に応じ
た高域成分を含む高周波輝度データの生成にディジタル
変換処理により得られる画素データに位置対応の第1か
ら第4の定数をそれぞれ乗算して補正した画素データを
用いて生成することにより、相関に依存しない高周波輝
度データの変動が極めて少なく、これにともなって縞状
雑音が発生しないので、最良の場合、ローパスフィルタ
処理を行わず、解像度を高く維持できる。
よる固体撮像装置の実施例を詳細に説明する。
ら読み出された画素データを信号処理手段での信号処理
において、水平方向または垂直方向に相関がある実在画
素または仮想画素における高周波輝度データを相関があ
る方向の補正した画素データを用いて生成して解像度の
向上を図り、第1の和と第2の和はほぼ同じ分光特性に
なる色フィルタ配置にしていることから垂直方向または
水平方向に隣接する高周波輝度データに変動がなく、再
生画面上で縞状の雑音が現れないので、縞状雑音防止用
のローパスフィルタが不要となり、解像度劣化が避けら
れ、色分解手段に補色フィルタを含むため原色フィルタ
配列の固体撮像素子に比較して入射光の利用効率が上が
り、感度がおよそ2倍に向上することに特徴がある。
ルカメラ10の構成を図1に示す。また、本発明と直接関
係のない部分について図示および説明を省略する。ここ
で、信号の参照符号はその現れる接続線の参照番号で表
す。
学レンズ系12、操作部14、システム制御部18、タイミン
グ信号発生部20、ドライバ部22、メカニカルシャッタ2
4、固体撮像素子26、アナログ処理部28、A/D 変換部3
0、信号処理部32、圧縮/伸張部34、記録再生部36、お
よびモニタ38が備えられている。これら各部を順次説明
する。光学レンズ系12は、たとえば、複数枚の光学レン
ズを組み合わせて構成されている。光学レンズ系12に
は、図示しないが、これら光学レンズの配置する位置を
調節して画面の画角を操作部14からの操作信号14a に応
じて調節するズーム機構や被写体とカメラ10との距離に
応じてピント調節する、AF(Automatic Focus:自動焦
点)調節機構が含まれている。操作信号14a は、システ
ムバス16を介してシステム制御部18に供給される。光学
レンズ系12には、システム制御部18からの制御信号18a
が信号線16a を介して供給される。
チやたとえばモニタ画面に表示される項目を選択するカ
ーソル選択機能等が備えられている。操作部14で選択さ
れた操作は操作信号14a によりシステム制御部18に報知
される。
ral Processing Unit :中央演算処理装置)を有する。
システム制御部18には、ディジタルスチルカメラ10の動
作手順が書き込まれた ROM(Read Only Memory:読み出
し専用メモリ)がある。システム制御部18は、たとえ
ば、ユーザの操作に伴って操作部14から供給される情報
14a とこの ROMの情報を用いて各部の動作を制御する制
御信号18a を生成する。システム制御部18は、生成した
制御信号18a をシステムバス16を介してタイミング信号
発生部20、光学レンズ系12、メカニカルシャッタ24、信
号処理部32、圧縮/伸張部34、記録再生部36およびモニ
タ38にも供給する。
ック20a を生成する発振器(図示せず)が含まれてい
る。このシステムクロック20a は図示しないがシステム
制御部18、信号処理部32等のシステムクロックを必要と
するほとんどすべてのブロックに供給されている。
号18a に基づいて各部を動作させるタイミング信号20b
を生成する回路を含む。タイミング信号発生部20は、生
成したタイミング信号20b を図1に示すように各部に出
力するとともに、ドライバ部22にも供給する。ドライバ
部22は、所望の駆動パルス22a を固体撮像素子26に供給
する。
ッタスイッチに応じてシステム制御部18から制御信号18
a が信号線16a を介して供給されることにより制御され
る。固体撮像素子26は色フィルタ26a が一体的に設けら
れた単板カラーCCD (ChargeCoupled Device)センサで
ある。これは、光学レンズ系12で結像された光学像が受
光部26b の各受光素子に到達した光量に応じた出力信号
27を出力する。この固体撮像素子26については後段でさ
らに詳述する。撮像素子には、CCD (Charge Coupled D
evice:電荷結合素子)や後段で示すMOS (Metal Oxide
Semiconductor:金属酸化型半導体)タイプの固体撮像デ
バイスが適用される。固体撮像素子26では、供給される
駆動信号22a に応じて光電変換によって得られた信号電
荷を所定のタイミングとして、たとえば、垂直ブランキ
ング期間にフィールドシフトにより垂直転送路に読み出
され、この垂直転送路をラインシフトした信号電荷が水
平転送路に供給され、この水平転送路を経た信号電荷が
図示しない出力回路による電流/電圧変換によってアナ
ログ電圧信号27にされ、アナログ処理部28に出力され
る。固体撮像素子26は、CCD タイプでは信号電荷の読出
しモードに応じて画素混合した間引き読出しや全画素読
出しを用いる。これらの信号読出し方式についてはさら
に後段で詳述する。
てアナログ出力信号29をA/D 変換部30に送る。A/D 変換
部30は、供給されるアナログ信号29の信号レベルを所定
の量子化レベルにより量子化してディジタル信号31に変
換するA/D 変換器を有する。A/D 変換部30は、タイミン
グ信号発生部20から供給される変換クロック等のタイミ
ング信号20b により変換したディジタル信号31を信号処
理部32に出力する。
、補間処理部32b および輝度・色差信号処理部32c が
含まれる。さらに、フレームメモリ部32a には、図2に
示すようにフレームメモリ40および前処理部42が含まれ
ている。画像データ31がフレームメモリ40に供給され、
フレームメモリ40に記憶される。フレームメモリ40は、
読み出す領域をずらしながら繰り返して画素データを読
み出すことから、非破壊型のメモリを用いると有利であ
る。また、フレームメモリ40には、システム制御部18か
らの制御信号18a に含まれる書込み/読出しイネーブル
信号、クロック信号等の制御に関わる信号をまとめた制
御信号180 が供給されている。
ータを所定の順序で画像データ44としてそのまま出力し
てもよい。また、必要に応じて前処理部42で処理した結
果を画像データ44として出力してもよい。前処理部42の
処理として、たとえば、各色フィルタに対応した画像デ
ータのレベルを後段の信号処理に適したレベルに合わせ
るため各色フィルタごとにゲイン調整する。また、消費
電力や回路規模を小さくするためガンマ補正を施して信
号処理のビット数を低減すること等も行われる。
すように、供給される受光素子から得られる補色を含む
画素データを用いて受光素子の実在する実在画素および
実在画素の中間に位置する仮想画素において高域成分を
含む高周波輝度データYHおよび三原色データを補間生成
する機能を有する。補間処理部32b には、図3に示すよ
うに、相関検出部50、YH生成部52、およびRGB 生成部54
が含まれている。相関検出部50には、相関の有無を検出
するとともに、相関がある場合、さらに相関方向が水平
および垂直方向のいずれにあるかを検出する機能があ
る。相関検出部50は、後段で詳述する手順に従って相関
検出を行い、この結果を相関検出信号56をYH生成部52に
出力する。
関YH生成部60、水平YH生成部62、垂直YH生成部64、YH選
択スイッチ66、およびYH後処理部68がある。無相関YH生
成部60、水平YH生成部62および垂直YH生成部64は、それ
ぞれ、供給される画素データ44を用いて実在画素または
仮想画素の高周波輝度データYHの生成が行われる。本実
施例では、相関がない場合、水平方向に相関がある場
合、垂直方向に相関がある場合に応じて仮想画素の高周
波輝度データYHを生成している。生成した高周波輝度デ
ータYHは、それぞれYH選択スイッチ66の端子a, b, c に
それぞれ供給される。
の相関検出信号56が供給されている。YH選択スイッチ66
は、信号56により端子a, b, c のいずれか一つの端子を
選択する。この選択により、相関検出信号56に対応した
高周波輝度データYHが選択される。YH選択スイッチ66を
介して選択された高周波輝度データYHがYH後処理部68に
供給される。
り選択された高周波輝度データYHを合成するとともに、
たとえばローパスフィルタ処理やハイパスフィルタを用
いたエッジ強調処理等を行うことにより高画質を実現さ
せる高周波輝度データYHを生成する機能がある。YH後処
理部68は生成した高周波輝度データYH (70)を輝度・色
差信号処理部36c の輝度データ生成部80に出力する。
補色を含む画素データから仮想画素および実在画素にお
ける三原色データRGB を求めるとともに、低周波成分を
含む低周波輝度データYL (72)も生成する機能を有す
る。さらに、RGB 生成部54は、ホワイトバランスやガン
マ補正も行う。具体的な構成を図示しないが、仮想画素
および実在画素における三原色の画素データ、すなわち
R データ74、G データ76、B データ78および低周波輝度
データYL (72)を生成し、輝度・色差信号処理部36c の
色差データ生成部82に出力する。本実施例では、まず仮
想画素の位置における三原色を実画素の画素データから
生成し、得られた仮想画素の位置の画素データを用いて
実画素の位置における三原色の画素データを生成する。
タ生成部80および色差データ生成部82が含まれている。
輝度データ生成部80は、それぞれ、供給される高周波輝
度データYHおよび低周波輝度データYLを用いて擬似的な
周波数加算を行って、新たに広帯域な輝度データY を生
成する機能を有する(Yh・Ylow 法)。輝度データ生成部
80は、Yh・Ylow 法により低周波輝度データYLから高周波
輝度データYHを減算した信号にローパスフィルタ処理を
経て図5(A)に示す信号(YL −YH)lowを生成する。輝度デ
ータ生成部80は、信号(YL −YH)lowと図5(B)に示す高周
波輝度データYHとを加算して図5(C)の信号(YL −YH)low
+YHを生成する。輝度データ生成部80は、このように広
帯域化された信号を輝度データY として圧縮/伸張部34
に出力する。
高周波輝度データYH (70)を色差データ生成部82に供給
してもよい。
(RY), (BY)を生成する機能を有する。このとき、輝度
データY として供給されているYLを用いる。また、前述
したようにYHが供給されているとき、この輝度データを
用いてもよい。色差データ生成部82は、生成した色差デ
ータCr, Cbを圧縮/伸張部34に出力する。
差信号処理部36c から供給された1フレーム分の輝度デ
ータと色差データを一時的に記憶するフレームメモリ
と、たとえば、直交変換を用いたJPEG(Joint Photogra
phic Experts Group)規格での圧縮を施す回路と、この
圧縮した画像を再び元のデータに伸張する回路とを有す
る。ここで、フレームメモリは、信号処理部32のフレー
ムメモリ32a と兼用してもよい。圧縮/伸張部34は、シ
ステム制御部18の制御により記録時には圧縮したデータ
をシステムバス16を介して記録再生部36に供給する。圧
縮/伸張部34は、図3のRGB 生成部54から供給されるデ
ータをシステム制御部18の制御によりスルーさせてシス
テムバス16に供給したり、または輝度・色差信号処理部
82からの信号をシステムバス16を介してモニタ38に供給
することもできる。圧縮/伸張部34が伸張処理を行う場
合、逆に記録再生部36から読み出したデータをシステム
バス16を介して圧縮/伸張部34に取り込んで処理する。
ここで処理されたデータはフレームメモリに記憶された
後、システム制御部18の制御により圧縮/伸張部34は、
所要の順序でフレームメモリのデータを読み出し、モニ
タ38に供給して表示させる。
処理部と、記録媒体から記録した画像データを読み出す
再生処理部とを含む(ともに図示せず)。記録媒体に
は、たとえば、いわゆる、スマートメディアのような半
導体メモリや磁気ディスク、光ディスク等がある。磁気
ディスク、光ディスクを用いる場合、画像データを変調
する変調部とともに、この画像データを書き込むヘッド
がある。モニタ38は、システム制御部18の制御に応じて
システムバス16を介して供給される輝度データおよび色
差データまたは三原色RGB のデータを画面の大きさを考
慮するとともに、タイミング調整して表示する機能を有
する。
について述べたが、シャッタスイッチが押される前に、
撮像した動画をモニタ38に表示する動作を行う場合もあ
る。この場合の動画表示の処理は、図1の処理をそのま
ま行い、圧縮/伸張部34の圧縮処理を行わずにモニタ38
で動画表示してよい。しかし、百万画素を越える固体撮
像素子を用いている場合、処理時間が長くなり、コマ落
とし動画となるため、動画画質として問題となる。
読み出す、いわゆる間引き動作で固体撮像素子を動作さ
せて、図1に図示していないがA/D 変換されたディジタ
ル画素データを動画用の処理部で静止画と独立に処理し
て、モニタ表示してもよい。
する前に、固体撮像素子26について説明する。固体撮像
素子26は、図6に示すように、たとえばインターレース
型で同一行、または同一列の画素間隔、すなわち画素ピ
ッチをPPとすると、ある一つの受光素子90に対して互い
に隣接した受光素子90が、水平および垂直方向に画素ず
らしした位置に配されている。隣接する受光素子90は、
受光素子90と異なる行または異なる列に配されるととも
に、画素のずれが画素ピッチPPの半分になっている。本
実施例の受光素子90はアパーチャ形状を菱形に限らず、
四角形や六角形や八角形等の多角形であればよい。ま
た、受光素子90を覆う色フィルタセグメントは、たとえ
ば四角形や六角形や八角形等の多角形に形成されてい
る。
受光素子90の形状に応じて受光素子90を囲むように形成
されている複数の転送電極94から成っている。矢印96で
示す部分の各受光素子90と垂直CCD レジスタ92との間に
は、図示しないトランスファゲートが転送電極94と一体
で形成されている。トランスファゲートは、ゲート
「閉」の状態で受光素子90が入射光を光電変換して得た
信号電荷を受光素子90内に蓄積させ、所定のタイミング
および所定の期間にゲート「開」の状態にすることによ
って蓄積した信号電荷を垂直CCD レジスタ92に読み出す
機能を有している。
配設されている。このうち、電極端子98〜104 には、そ
れぞれ、垂直駆動信号φV1〜φV4が供給されている。ま
た、電極端子106, 108には、それぞれ、水平駆動信号φ
H1, φH2が供給されている。電極端子98〜104 は、それ
ぞれ、トランスファゲートのオン/オフおよび信号電荷
の垂直転送を行うため、4つの転送電極94ごとに結線し
ている。このことからも明らかなように、垂直転送は4
相駆動で行われる。垂直転送された信号電荷は水平CCD
レジスタ110 に供給される。
108を介して供給される水平駆動信号φH1, φH2により
2相駆動が行われる。
元に配設されているうち、最下段に位置するラインを第
1ラインとし、上段に向かって1段ずつ歩進してライン
を表す。各電極からの信号線は水平に配線されている。
第1フィールドの垂直ブランキング期間に電極端子98,
100 をLレベルにし、かつ電極端子102, 104をHレベル
にした後、このHレベルより高いトランスファゲートパ
ルスVRを電極端子102に印加する。この印加により、第
1、第2、第5および第6ラインの受光素子90から信号
電荷が垂直CCD レジスタ92に読み出される。読み出した
信号電荷は、垂直ブランキング期間の終了後、水平ブラ
ンキング期間に垂直転送により順次水平CCD レジスタ11
0 に向かって移送される。
第2ラインの信号電荷は水平CCD レジスタ110 から供給
される水平駆動信号(φH1, φH2)の2相駆動により出
力部112 を介して水平転送し、出力される。これにより
第1および第2ラインの信号電荷が画素信号として交互
に出力される。その後、第5および第6ラインの信号電
荷も出力される。
電極端子98, 100 をHレベルにし、かつ電極端子102, 1
04をLレベルにした後、このHレベルより高いトランス
ファゲートパルスVRを電極端子98に印加する。この印加
により、第3、第4、第7および第8ラインの受光素子
90から信号電荷が垂直CCD レジスタ92に読み出される。
読み出された信号電荷は、垂直転送、水平転送を順次受
けて出力部112 を介して出力される。読み出される順序
は第3および第4ラインが交互に読み出され、その後、
第7および第8ラインが読み出される。このようにして
固体撮像素子26はインターライン走査を行って出力信号
27を出力している。
ルドの画像をディジタル変換してフレームメモリに蓄積
する。また、フィールドごとに露光時刻が1フィールド
分ずれることを防ぐため、メカニカルシャッタ24を利用
するとよい。すなわち、メカニカルシャッタ24は、たと
えば、第1フィールドのブランキング期間から次の第2
フィールドのブランキング期間まで閉じて受光素子90に
対して遮光する。これにより、同一時刻に露光した画像
が得られる。さらに、第1フィールドのブランキング期
間以降、メカニカルシャッタ24を閉じておくと、出力信
号27に対するスミアを抑制することができる。
目してみると、一般的に用いられる正方格子状の場合に
比べて、ハニカム形状の場合の配置では、画素ピッチPP
をそれぞれN(μm)の正方格子状に配置した受光素子がそ
れぞれ45°回転させた場合の配置にある。ハニカム形状
の配置、すなわち画素の半ピッチずれを有する配置で
は、正方格子状の配置における水平/垂直方向の隣接画
素間距離|PP|= N(μm)を基準に検討すると、隣接画素
間距離がN*(2)-1/2 と隣接画素間距離|PP|=Nより短
くなる。したがって、ハニカム形状の配置は、正方格子
状の配置よりも画素が稠密に配置されるので、原理的に
水平・垂直方向の解像度を(2)1/2倍に向上させることが
できる。また、ハニカム形状の配置から出力形態に見合
う正方格子状の配置に展開する場合、仮想画素は、隣接
する実在する画素に基づいて信号処理部32で補間処理が
行われる。この補間処理を行いながらまだ得られていな
い色および輝度の画素等を補間展開すると、解像度は、
単に正方格子状に受光素子90を配置したときより高くで
きる。
a に補色の色フィルタセグメントを用いている。この色
フィルタ26a を用いる特徴について簡単に説明する。現
在、解像度を高めるため画素数を増やすことにより個々
の受光素子の受光面積が狭くなってきている。これによ
り、受光素子の感度低下が生じ、得られる画像がノイズ
を含んだ画質になってしまう。チップサイズの小型化を
図っても撮像の感度特性を保つために入射光を有効に用
いることが検討される。入射光の有効利用の一要素は、
色分解の効率を高めることにある。色分解は色フィルタ
により行われる。色再現性の良好なフィルタとして三原
色RGB の色フィルタセグメントが用いられているが、感
度が低いという欠点がある。これに対して、三原色RGB
の色フィルタセグメントを用いた場合に比べて補色の色
フィルタセグメントは、およそ2倍の光を透過すること
が知られている(図7を参照)。図7の太い破線120 は
シアン(Cy)、細い破線122 は黄色(Ye)、一点鎖線124 は
緑(G)、実線126 はマゼンタ(Mg)である。原色の緑(G)
に比べて、補色の色フィルタセグメント(Cy), (Ye), (M
g)は、相対感度がそれぞれ同程度でありながら、透過す
る波長域がほぼ2倍程度と広い。これにより、補色系の
色フィルタはほぼ原色の光利用効率の倍程度と高いこと
が理解できる。
体撮像素子で用いられてきている色フィルタセグメント
の配置パターンで撮像した場合を考える(図8を参
照)。ここで、色は文字記号で表し、この記号の添字は
位置を表す行列表示である。また、実線は受光素子の配
設を示し、これを実在画素と呼ぶ。一方、破線は受光素
子を持たず、周囲の受光素子の画素データを用いた補間
処理によって得られる画素で、仮想画素と呼ぶ。
て説明する。高周波輝度データYHは最終的に得られる輝
度データY とことなり、この輝度データに対して途中段
階の輝度信号である。高周波輝度データYHは、無相関で
は近似的に周囲の4つの画素データの和に相当してい
る。受光素子からの寄与をすべての画素でほぼ等しいも
のにするため、色G に対応する受光素子90から得られる
信号には2倍にする係数を付ける。
合、仮想画素(2,1) の高周波輝度データYH21は、式(1)
場合、垂直方向に位置する2つの画素データの和で求め
る。仮想画素(2,1) および(1,2)の高周波輝度データY
H21,YH12は、ともに垂直相関がある場合、それぞれ、式
(2a)および式(2b)
れ近似的に、式(3a)〜式(3c)
なわち三原色RGB の個々の成分変化が小さいと仮定し
て、高周波輝度データYHを原色成分に着目して表現する
と、式(4a)、式(4b)および式(4c)は、
な位置にありながら、式(4b)と式(4c)の値は異なってい
る。また、無相関と垂直相関に応じた高周波輝度データ
YHの算出においても異なっている。これは、垂直相関に
対応して求めた仮想画素の位置における高周波輝度デー
タYHにより列方向に縞状の雑音が発生することを意味す
る。このような縞状雑音は画質低下を引き起こす要素で
あるから、この縞状雑音を除去するために垂直方向にLP
F 処理が施される。
YHを生成しても垂直方向のLPF 処理により解像度向上の
効果が相殺されてしまう。この場合と同様に、水平方向
の相関処理を行う場合でもこの効果の相殺が見られる。
に、本実施例のディジタルカメラ10の固体撮像素子26に
は、補色の色フィルタセグメントの配置パターンおよび
これら色フィルタセグメントの分光特性を考慮した色フ
ィルタ26a が配設されている(図9(A)、図9(B)の配置パ
ターンおよび図10の分光特性をそれぞれ参照)。
すように、第1の色フィルタセグメントの色を緑(G) 、
第2の色フィルタセグメントの色をマゼンタ(Mg)、第3
の色フィルタセグメントの色を黄色(Ye)、および第4の
色フィルタセグメントの色をシアン(Cy)とし、さらに隣
接する各色1個の色フィルタセグメントから成る配列を
基本単位として水平方向または垂直方向に対して45度の
角度の方向に併進的に、かつ2次元的に敷き詰めたもの
である。より具体的に説明すると、色フィルタセグメン
トを正方格子状に配した場合、各正方格子の対角に位置
する色フィルタセグメントの色を同色にするパターンで
ある。すなわち色G と色Mgを正方格子状に配したパター
ンとこのパターンの中心に黄色Yeを配しもう一つの色を
シアンCyにした西方格子状のパターンとを組み合わせて
いる。また、第3と第4の色フィルタセグメントを入れ
換えたパターンでもよい(図9(B)を参照)。
1の組とし、各色フィルタセグメントの分光特性に応じ
て実際に得られる信号に、それぞれ2と1の定数を乗算
する。また、色フィルタセグメント(Ye) および(Cy)
を第2の組に対しても、ともに1の定数を乗算する。こ
の結果、第1の組の演算結果と第2の組の演算結果は、
原色成分に着目して表すと、式(5a)および式(5b)
この関係を分光曲線で表すと、図10のようになる。分光
特性曲線130 は式(5a)、分光特性曲線132 は式(5b)を示
している。
いが、パターン縞状の雑音を発生させない範囲として、
色フィルタセグメントに用いる分光特性と、各定数をそ
れぞれ乗算した和、すなわち式(5a)の結果が式(5b)の結
果が、たとえば、ほぼ±10%の範囲内であれば発生する
雑音を回避することができる。
関、水平相関および垂直相関に応じた高周波輝度データ
YHの生成が行われる。図11の配列において、前述した無
相関および垂直相関における仮想画素(2,1) と(1,2) で
の高周波輝度データYHは、それぞれ、式(6a)、 式(6b)、
および式(6c)
関係に着目すると、無相関および垂直相関に関わりな
く、高周波輝度データYHは同じ色バランスで生成される
ことがわかる。これにより、画像には色バランスのずれ
によって生じていた縞状の雑音が抑えられることにな
る。また、高周波輝度データYHは、無相関で生成した場
合に比較して、相関を利用して生成した場合の方が高い
解像度に寄与する。
(2,1) および(1,2)の高周波輝度データYH21, YH12は、
ともに水平相関がある場合、それぞれ、式(7a)および式
(7b)
スを保つことができるので、縞状の雑音の発生を防止す
ることができる。
ータYHを用いてYH生成部52で実在する受光素子90の位置
における高周波輝度データYHを生成する。画素(1,1) 、
(2,2) における無相関、垂直相関および水平相関の場合
の高周波輝度データYH11, YH22は、式(8a)〜式(8e)
たように相関の有無に関わらず所定の色バランスで得ら
れていることから、高周波輝度データYHの補間処理を行
っても色バランスに変動がないことは明らかである。
の縞状の雑音の発生は避けることができる。たとえば、
これらの雑音が全く見えない場合または若干生じる場合
において雑音除去するためのLPF 処理を完全になくした
り、最小限のLPF 処理で済ませることが可能になる。し
たがって、画像の解像度がLPF 処理によって相殺される
ことを避けることができる。すなわち、解像度向上の効
果を維持することができる。
は、同色の画素データを用いて行う。図11から明らかな
ように、色フィルタセグメントの配置パターンは各色と
もに、菱形状の4つの頂点に画素が対応している。相関
の有無は、相関演算の結果が所定の判定値JV, JHより大
きいとき相関があるものとする。たとえば、実在画素Cy
(2,2) における黄色に対する相関検出を行う場合、図11
の画素データYe02, Ye20, Ye42, Ye24を用いる。垂直相
関および水平相関は、それぞれの式
タ間で変化の少ない方が似ていることを意味するからで
ある。式(9a)および式(9b)がともに偽のとき、無相関と
判定する。
検出の対象となっている仮想画素の周囲の4つの画素デ
ータを用いて行う。たとえば、仮想画素(4,3) における
相関検出は、4つの画素データMg33, G53, Ye42, Cy44
の個々が有する相関検出結果を用いる。相関検出結果が
4つの画素データのうち、3つ以上に垂直相関の結果が
あった場合、仮想画素(4,3) には垂直相関があるものと
判定する。水平相関の判定条件も4つの画素データのう
ち、3つ以上に水平相関の結果があった場合、仮想画素
(4,3) には水平相関があるものと判定する。これらの条
件に入らない条件は無相関と判定する。
果を3つ以上に設定したが、条件を緩めて2つ以上とし
てもよい。
原色データの生成について説明する。三原色データの生
成は、図3のRGB 生成部54で行う。この生成の原理をふ
たたび図11を用いて説明する。たとえば、仮想画素(2,
1) での三原色データR21, G21, B21 は、式(10a) 〜式
(10d)
ータの四則演算により求めることができる。
周辺からの4仮想画素の三原色データの平均値として算
出する。
画素の三原色データは、偽色信号が含まれる場合があ
り、これを避けるためにローパスフィルタ操作を三原色
データに対して行うことが有効である。
理、相関検出処理、および三原色データを得る処理は、
図9(B)の色フィルタ配列でも同様に行うことができる。
に説明する(メインルーチン:図12を参照)。電源投入
後に、各種の初期設定を行った後、撮影モードかどうか
モード判定を行う(ステップS10 )。撮影モードと判定
された場合(YES )、ステップS12 に進む。また、撮影
モード以外のモードと判定された場合(NO)、図示しな
いが他のモードの処理ルーチンに移行する。
2 では電源オフになっているかどうか判断する。電源が
オフの場合(YES )、ディジタルカメラ10の動作を終了
する。また、電源がオンの場合(NO)、動画表示処理を
行う(ステップS14 )。
状態にする操作が行われたかどうか判断する(ステップ
S16 )。この操作が行われた場合(YES )、この指示を
受けてシステム制御部18は、固体撮像素子26で静止画撮
像処理を行う(ステップS18)。この操作が行われなか
った場合(NO)、ステップS10 に戻る。
より色分解された入射光を受光素子90で光電変換して信
号電荷に変換し読み出した信号をディジタル変換しフレ
ームメモリ32a に格納するまでの処理である。固体撮像
素子26は、得られた信号電荷を信号27としてアナログ処
理部28に供給される。補色を含む色フィルタ26a を用い
ていることにより、入射光の利用効率を三原色の色フィ
ルタの場合に比べて向上させることができる。
のゲイン調整を行い、A/D 変換部30に出力される。A/D
変換部30では、供給されるアナログ信号29をディジタル
信号31に変換している。このディジタル信号31は画素デ
ータとして信号処理部32に供給される。信号処理部32で
は、供給された画素データ31をフレームメモリ部32aに
入力する。フレームメモリ部32a は、システム制御部18
の制御により、信号処理を施す領域内の画素データ44を
補間処理部32b に読み出し、出力する。
は、後段でさらに説明する、色信号処理(サブルーチン
SUB1)に沿って行う。色信号処理は、補間処理および輝
度・色差信号処理を行う。補間処理は、たとえば、画素
データ同士の相関性を考慮(して相関検出)して実在画
素および仮想画素における高周波輝度データYH、低周波
輝度データYLおよび三原色データの生成を行う。この生
成手順については後段で詳述する。この生成によって、
フレーム1画面分に対する5種類のデータが生成され
る。これらのデータを輝度・色差信号処理部32c に供給
する。輝度・色差信号処理部32c では、輝度データY お
よび色差データCr, Cbを生成する。このとき、得られる
3つの信号には画像データの解像度の向上が図られる。
信号処理部36b は、得られた各成分のデータを圧縮/伸
張部34に供給する。
データに対して圧縮処理を施す(ステップS20 )。圧縮
処理の例としては、JPEG規格に対応して各成分のデータ
量を低減させる処理を行っている。
ータ35がシステムバス16を介して記録再生部36に送られ
る。記録再生部36では、ストレージ機能を利用してデー
タ35を記録する(ステップS22 )。この記録終了後、ス
テップS10 に戻る。
する(サブルーチンSUB1:図13を参照)。フレームメモ
リ部32a から相関検出対象の画素データの色と同色の4
つの画素データを所定の領域として読み出して、この
際、相関検出対象の画素データのアドレスも読み出して
おく。このアドレスは、固体撮像素子26またはフレーム
メモリ40のアドレスでかまわない。まず、供給された所
定の領域の画素データ44を用いて、実在画素を用いて相
関検出を行う(サブステップSS10)。相関検出は、たと
えば、式(9a)および式(9b)により行われる。
結果に応じた相関対応処理により実在画素および仮想画
素の高周波輝度データYHをそれぞれ生成する(サブルー
チンSUB2:図14を参照)。仮想画素の高周波輝度データ
YHは、仮想画素の周りを囲む2つまたは4つの画素デー
タから生成する。また、補間処理において三原色データ
は実在画画素および仮想画素を用いて生成する(サブス
テップSS12:図15を参照)。続いて、これらの高周波輝
度データYHおよび三原色データから輝度・色差信号を生
成する(サブステップSS14:図15を参照)。これらの処
理が1フレーム分すべてに対して終了したかどうかの判
断を行う(サブステップSS16)。まだ1フレームの高周
波輝度データYHおよび三原色データの生成が1フレーム
分終了していない場合(NO) 、最初のサブステップSS10
まで戻って処理を繰り返す。また、1フレーム分すべて
処理が終了した場合(YES )、リターンに移行してサブ
ルーチンSUB1を終了する。
の生成手順について説明する(サブルーチンSUB2:図14
を参照)。フレームメモリ部32a は、システム制御部18
の制御により順次生成の対象の画素データに対して周囲
の所定の領域の画素データを出力する。供給される画素
データのうち、たとえば、式(6a)のように周囲の4つの
画素データを用い、これらの加算平均によって無相関対
応処理を行う(サブステップSS202 )。
ば、式(6b)や式(6b)のように周囲の2つの画素データを
用い、これらの加算平均によって垂直相関対応処理を行
う(サブステップSS202 )。また、同様に、供給される
画素データのうち、たとえば、式(7a)や式(7b)のように
周囲の2つの画素データを用い、これらの加算平均によ
って水平相関対応処理を行う(サブステップSS204 )。
応じて処理結果の選択を行う選択信号として相関検出信
号56を出力する。供給される相関検出信号56に応じてYH
選択スイッチ66が切り換えられる。これらサブステップ
SS200 〜SS204 までの手順は、各補間対象の画素がどの
ような相関か検出した際の判断処理に対応している。YH
選択スイッチ66の切換えは、垂直相関、水平相関、およ
び無相関の結果を選ぶことである。
か判断する(サブステップSS206 )。相関が垂直相関と
判断された場合(YES )、サブステップSS208 に進む。
また、相関が垂直相関と判断されなかった場合(NO)、
サブステップSS210 に進む。サブステップSS208 では、
垂直相関に対応する処理した結果を選択して高周波輝度
データYHが得られる。
が水平相関を示すかどうか判断する。相関が水平相関と
判断された場合(YES )、サブステップSS212 に進む。
また、相関が垂直相関および水平相関でもないと判断さ
れた場合(NO)、サブステップSS214 に進む。サブステ
ップSS212 では、水平相関に対応して処理した結果の高
周波輝度データYHが得られる。サブステップSS214 で
は、垂直および水平方向に相関がなかった、すなわち無
相関と判断してこの無相関に対応して処理した結果の高
周波輝度データYHが得られる。
後、サブステップSS216 に移行して高周波輝度YH後処理
を行う。高周波輝度YH後処理とは、高周波輝度データを
合成するとともに、ローパスフィルタ処理やハイパスフ
ィルタを用いたエッジ強調処理等を行う。この後リター
ンに移行してサブルーチンSUB2を終了する。
素の相関結果を対象の画素のアドレスに対応付けて格納
するようにしておくとよい。そして、図示していない
が、たとえば補間処理の一方法として実在画素の高周波
輝度データYHを求める際に仮想画素の高周波輝度データ
YHを用いる。実在画素の周囲の仮想画素にはすでにどの
ような相関により得られたかその結果が既知である。
されていた場合、その結果である水平または垂直方向の
相関があるものと判断する。これ以外の場合、無相関と
判断して無相関対応の処理により高周波輝度データYHを
生成する。このように高周波輝度データYHの生成には相
関の多数決に応じた処理も用いてもよい。
のある場合、対象の画素を挟んで相関のある方向の2つ
の画素データを用いて加算平均により高周波輝度データ
YHを生成する。また、無相関の場合、周囲の4つの画素
データを用いて高周波輝度データYHを生成する。
色データを算出する手順を簡単に説明する。前述したよ
うに、たとえば、仮想画素(2,1) での三原色データR21,
G21, B21 を生成する場合を例に説明する。仮想画素
(2,1) の原色データR21 は、式(10a) により算出する。
周囲には、4つの異なる色フィルタセグメントを介して
得られた実在画素がある。原色成分に着目すると、式(1
1)
算出の対象の仮想画素を水平方向に見た場合、図11に示
すように色G を用いないことから、サンプリングを蛇行
させて行うとよい。
式(10b) または式(10c) のいずれかにより算出する。こ
の処理では、仮想画素(2,1) の周囲の異なる4色の実在
画素をすべて用いる。本実施例では、色G に対して定数
2を乗算しているので、式(10c) を用いることが望まし
い。色G の生成式は、原色成分に着目すると、式(12)
式(10d) により算出する。この処理では、仮想画素(2,
1) の周囲の異なる3色の実在画素を用いる。色G の生
成式は、原色成分に着目すると、式(13)
る画素データは、蛇行させて行うとよい。
成する。色R の原色データは、周辺の仮想画素に対して
求めた4つまたは2つの同色データの加算平均により算
出する。
想画素に対してそれぞれ求めた4つまたは2つの同色デ
ータの加算平均により算出する。
されるものでなく、高周波輝度データYH、三原色データ
の生成は、仮想画素および実在画素における画素データ
の生成のいずれかに対して1フレーム分のデータ生成を
行い、その後に未処理の領域または位置に対する補間処
理を行う方が効率的である。
の向上の効果がそのまま保たれた画像を提供することが
できる。
例について説明する(図16を参照)。前述した実施例と
異なっている点は、相関検出部50から出力される相関検
出信号56がRGB 生成部54にも供給されている。RGB 生成
部54は、相関検出の結果に対応して三原色データを生成
する。
直相関に応じた三原色データを生成する無相関RGB 生成
部140 、水平相関RGB 生成部142 、垂直相関RGB 生成部
144、RGB 相関選択部146 、およびYL後処理部148 が含
まれている。
部142 、および垂直相関RGB 生成部144 には、それぞ
れ、フレームメモリ40から読み出した画素データ44が供
給されている。画素データ44を用いて、あらかじめ相関
の有無および相関がある場合の相関の方向に応じて三原
色データを生成する機能を有している。無相関RGB 生成
部140 、水平相関RGB 生成部142 、および垂直相関RGB
生成部144 は、図示していないが第1段としていずれも
仮想画素に対する三原色データを生成している。そし
て、この算出した画素データを用いてこれらの各部にお
いて第2段として実在画素における三原色データを補間
生成する。
対象の受光素子90の周囲にある4つの仮想画素を各色ご
とに加算平均して生成する。水平相関RGB 生成部142
は、補間処理を行う対象の受光素子90を挟んで水平方向
にある2つの仮想画素を各色ごとに加算平均して生成す
る。また、垂直相関RGB 生成部144 も補間処理を行う対
象の受光素子90を挟んで垂直方向にある2つの仮想画素
を各色ごとに加算平均して生成する。また、無相関RGB
生成部140 、水平相関RGB 生成部142 、および垂直相関
RGB 生成部144 は、低周波輝度データYLも供給される三
原色データを用いて、たとえば、式(14)
ータを用いて画像の色に関するデータを生成することに
より、解像度を向上させることができる。
号56を選択信号として無相関RGB 生成部140 、水平相関
RGB 生成部142 、および垂直相関RGB 生成部144 からの
出力を選択する。相関選択部146 において配設された端
子a, b, c は、無相関RGB 生成部140 、水平相関RGB 生
成部142 、および垂直相関RGB 生成部144 の出力側とそ
れぞれ接続されている。相関選択部146 は、仮想画素と
ともに、実在画素に対して相関に応じた三原色データを
YL後処理部148 に送る。このようにあらかじめ相関結果
を想定して画素データを生成しておくので、信号処理の
時間短縮も図ることができる。
よび仮想画素のすべての各種データに対してゲイン調整
やローパスフィルタ処理等を施して低周波輝度データYL
(150)および三原色データ152 〜156 低周波輝度データ
YLを出力する。
の固体撮像素子26にCCD エリアセンサタイプのインター
レース走査による固体撮像素子を用いて説明したが、こ
のような固体撮像素子に限定されるものでなく、一つの
受光素子に隣接する受光素子の画素ずらしの大きさが同
一行または同一列の受光素子間隔の半分で、水平および
垂直方向にずれている、いわゆるハニカム対応の配置で
あれば、プログレッシブ走査のCCD エリアセンサでも、
4フィールドインターレース走査のCCD エリアセンサで
もよいことは明らかである。
素子を適用しても前述した実施例と同様に解像度を損な
うことなくディジタルカメラ10が画像を提供できる。こ
の点を除いて、撮像素子の構成は、ほぼ従来の構成と同
じである。この際、色フィルタは、図9(A), 図9(B)に示
した色フィルタセグメントの配置を用いることは言うま
でもない。
すると、受光素子160 は、前述したCCD タイプで説明し
たいわゆるハニカム対応に2次元配置されている。受光
素子160 に隣接して垂直方向に信号線162 が形成されて
いる。受光素子160 と信号線162 との間には、図示しな
いがMOS スイッチが配設形成されている。
ッチにオン/オフの信号を供給して受光素子160 での信
号の蓄積および読出し(すなわち、選択)を行わせる。
読み出した信号は、アナログ部166 に供給される。水平
走査回路168 は、アナログ部166 に供給された信号を水
平方向に出力させる走査信号をアナログ部166 に供給す
る。また、走査制御部170 は、垂直走査回路164 および
水平走査回路168 に走査開始のタイミング等のタイミン
グ信号を供給して、動作を制御している。これらの制御
により、固体撮像素子26は、入射効率の高い入射光を受
光し、得られたアナログ信号27を所望のタイミングで出
力させることができる。
の利用効率を高めるために、補色を含む色フィルタセグ
メントを用いて受光素子にて信号電荷を生成し、信号処
理において得られた実在画素および仮想画素に対する高
周波輝度データYHを相関検出に応じて生成しても、高周
波輝度データの変動がほとんどなく生成することができ
る。これにより、縞状の雑音が発生しないから、これま
で縞状の雑音の除去に用いてきたLPF 処理を最小限また
は不要にすることができる。したがって、得られる信号
に対して解像度を劣化させる要因がなくなるので、相関
を利用し、広帯域化した解像度の向上させた画像がその
まま得られることになる。これにより、これまでよりも
感度がよく、かつ解像度の高いカラー画像が得られる。
の分光特性と対応する定数の乗算結果の和の2つがほぼ
同じになる関係の色フィルタを用いることで光の利用効
率だけでなく、これらの画素データを用いて信号処理を
後段で行わせても解像度の向上にも寄与できる信号を生
成することができる。
ルタセグメントの関係が成り立つとき、高周波輝度デー
タYHの算出に際して、供給される画素データの各色に対
応する所定の定数を乗算して画素データを補正し、ディ
ジタル変換した生の画素データを用いた相関検出の結果
に応じた信号処理を補正した画素データにより算出して
画像を生成すると、解像度の高いカラー画像が得られ
る。
ば、固体撮像素子から読み出された画素データを信号処
理手段での信号処理において、水平方向または垂直方向
に相関がある実在画素または仮想画素における高周波輝
度データを相関がある方向の補正した画素データから生
成することにより解像度の向上を図る。さらに、第1の
和と第2の和はほぼ同じ分光特性になる色フィルタ配置
にしていることから垂直方向または水平方向に隣接する
高周波輝度データに変動がなく、再生画面上で縞状の雑
音が現れない。この結果、縞状雑音防止用のローパスフ
ィルタが不要となり、解像度劣化が避けられる。また、
色分解手段に補色フィルタを含むため原色フィルタ配列
の固体撮像素子に比較して入射光の利用効率が上がり、
感度がおよそ2倍に向上する。これにより、解像度の高
い画像を得ることができる。
れぞれ得られる第1の和と第2の和がほぼ同じになる位
置関係に色フィルタセグメントが配された色分解手段で
色分解した入射光を受光部で光電変換により得られた信
号電荷を読出し手段を介して読み出して、後段における
信号処理において色フィルタセグメントの色に応じた複
数の所定の定数をそれぞれ乗算して補正を行って水平方
向または垂直方向の相関のある方向の補正した値を用い
て高域成分を含む高周波輝度データを生成することによ
り縞状雑音のない高周波輝度データにする。これにより
最適な場合、縞状雑音防止用のローパスを不要にする。
したがって、最終的な画像に生じていた縞状の雑音の発
生を防止でき、後段での信号処理による解像度の劣化を
生じさせるおそれのない信号を出力することができる。
入射光を配置した第1ないし第4の色フィルタセグメン
トで色分解させて、受光素子から読み出して得られた信
号にアナログ処理、ディジタル変換処理を施し、得られ
た画素データを用いて相関検出を行うとともに、相関検
出の結果に応じた高域成分を含む高周波輝度データの生
成にディジタル変換処理により得られる画素データに位
置対応の第1から第4の定数をそれぞれ乗算して補正し
た画素データを用いて生成することにより、相関に依存
しない高周波輝度データの変動が極めて少なく、これに
ともなって縞状雑音が発生しないので、最良の場合、ロ
ーパスフィルタ処理を行わずに済ませることができ、解
像度を高く維持できる。
メラの概略的な構成を示すブロック図である。
な構成を示すブロック図である。
差信号処理部の概略的な構成を示すブロック図である。
図である。
部の広帯域化機能を説明する周波数アロケーションの関
係を示す図である。
位置関係および構成を示す概略的な構成を示す模式図で
ある。
色フィルタセグメントを相対感度で示す分光特性チャー
トである。
パターンを説明する模式図である。
(A)の配置パターンと図9(B)の配置パターンを説明する
模式図である。
タとを合わせた分光特性および黄色とシアンとを合わせ
た分光特性を相対感度で表したチャートである。
々の位置も規定して表した模式図である。
るメインフローチャートである。
手順を説明するフローチャートである。
チンSUB2)の手順を説明するフローチャートである。
応じてRGB 生成部を動作させる概略的な構成のブロック
図である。
すブロック図である。
MOS 型固体撮像素子の概略的な構成を示す模式図であ
る。
Claims (18)
- 【請求項1】 入射光を遮光する遮光部材の開口部に対
応した位置で該入射光を色分解し、該色分解した入射光
を光電変換して撮像し、該撮像により得られた信号に信
号処理を施して広帯域な信号にする固体撮像装置におい
て、該装置は、 前記開口部からの入射光を異なる分光特性の複数の色に
色分解する色フィルタセグメントのうちに、少なくとも
分光特性が補色系の色フィルタセグメントを含む色分解
手段、 該色分解手段から補色系の色を含む前記色フィルタセグ
メントを通った入射光を光電変換する受光素子と該受光
素子に隣接した受光素子とが互いに垂直方向および/ま
たは水平方向にずらされて2次元配置された受光部、お
よび該受光部の前記受光素子で光電変換されて蓄積され
た信号電荷を所定の順序で順次読み出し、外部の出力信
号として出力する読出し手段を含む固体撮像素子と、 該固体撮像素子から供給される信号をディジタル変換し
て画素データにするディジタル変換手段と、 前記受光素子の実在する位置から得られる画素を実在画
素とし、前記受光素子の中間の位置の画素を仮想画素と
し、該ディジタル変換した画素データを用いて水平およ
び/または垂直方向の相関検出を行い、該画素データに
対して前記色フィルタセグメントの色に応じた複数の所
定の定数をそれぞれ乗算して補正した画素データを生成
し、得られた相関検出結果に基づいて該補正した画素デ
ータから前記受光素子の位置および前記仮想画素の領域
での高域成分を含む高周波輝度データならびにディジタ
ル変換した画素データから三原色の原色データをそれぞ
れ求めるとともに、これらの各種の画素データから輝度
および色差に関するデータを生成する信号処理手段とを
含み、 前記色分解手段は、第1の色フィルタセグメントおよび
第2の色フィルタセグメントの第1の組、第3の色フィ
ルタセグメントおよび第4の色フィルタセグメントの第
2の組の各組が、それぞれの同一行内に配され、第1の
組に隣接する第2の組の色フィルタセグメントが第1の
組の色フィルタセグメントと互いに画素ピッチの半分ず
れた位置関係にあって、 第1の組の色フィルタセグメントの分光特性に、それぞ
れ第1の定数と第2の定数を乗算した積の第1の和が、
第2の組の色フィルタセグメントの分光特性に、第3の
定数と第4の定数を乗算した積の第2の和とほぼ等し
く、かつ得られた第1および第2の和が輝度を示す分光
特性に近い関係になる色フィルタ配置を有することを特
徴とする固体撮像装置。 - 【請求項2】 請求項1に記載の装置において、前記固
体撮像素子は、白色光を入射させた際に第1の組の前記
色フィルタセグメントおよび前記受光素子の分光特性に
応じて得られる信号にそれぞれ第1の定数と第2の定数
を乗算した積の和を第1の和、第2の組の前記色フィル
タセグメントおよび前記受光素子の分光特性に応じて得
られる信号にそれぞれ第3の定数と第4の定数を乗算し
た積の和を第2の和にした場合、第1の和が、第2の和
のほぼ±10%の範囲内で得られることを特徴とする固体
撮像装置。 - 【請求項3】 請求項1または2に記載の装置におい
て、前記色分解手段は、第1の色フィルタセグメントの
色を緑、第2の色フィルタセグメントの色をマゼンタ、
第3の色フィルタセグメントの色を黄色、および第4の
色フィルタセグメントの色をシアンとし、 前記色フィルタセグメントのそれぞれの配置は、前記色
フィルタセグメントを正方格子状に配した色フィルタセ
グメントの一方の色を緑にして対角に位置する前記色フ
ィルタセグメントの色を同色にし、他方の色をマゼンタ
にして対角の位置を該色と同色にし、これらの正方格子
状に配した色フィルタセグメントの中心または中間の位
置から成る別な正方格子状に配した色フィルタセグメン
トの一方の色を黄色にして対角に位置する前記色フィル
タの色を同色にし、他方の色をシアンにして対角の位置
を該色と同色にすることを特徴とする固体撮像装置。 - 【請求項4】 請求項1または2に記載の装置におい
て、前記色分解手段は、第1の色フィルタセグメントの
色を緑、第2の色フィルタセグメントの色をマゼンタ、
第3の色フィルタセグメントの色をシアン、および第4
の色フィルタセグメントの色を黄色とし、 前記色フィルタセグメントのそれぞれの配置は、前記色
フィルタセグメントを正方格子状に配した色フィルタセ
グメントの一方の色を緑にして対角に位置する前記色フ
ィルタセグメントの色を同色にし、他方の色をマゼンタ
にして対角の位置を該色と同色にし、これらの正方格子
状に配した色フィルタセグメントの中心または中間の位
置から成る別な正方格子状に配した色フィルタセグメン
トの一方の色をシアンにして対角に位置する前記色フィ
ルタの色を同色にし、他方の色を黄色にして対角の位置
を該色と同色にすることを特徴とする固体撮像装置。 - 【請求項5】 請求項2ないし4のいずれかに記載の装
置において、第1の定数は、2、第2から第4の定数
は、1とすることを特徴とする固体撮像装置。 - 【請求項6】 請求項1ないし5のいずれかに記載の装
置において、前記固体撮像素子は、電荷結合デバイス、
およびMOS 型トランジスタの画素選択手段のいずれか一
方であることを特徴とする固体撮像装置。 - 【請求項7】 入射光を遮光する遮光部材の開口部に対
応した位置で該入射光を色分解し、該色分解した入射光
を光電変換する固体撮像素子において、該素子は、 前記開口部からの入射光を異なる分光特性の複数の色に
色分解する色フィルタセグメントうちに、少なくとも分
光特性が補色系の色フィルタセグメントを含む色分解手
段、 該色分解手段から補色系の色を含む前記色フィルタセグ
メントを通った入射光を光電変換する受光素子と該受光
素子に隣接した受光素子とが互いに垂直方向および/ま
たは水平方向にずらされて2次元配置された受光部、お
よび該受光部の前記受光素子に光電変換されて蓄積され
た信号電荷を所定の順序で順次読み出し、外部の出力信
号として出力する読出し手段を含み、 前記色分解手段は、第1の色フィルタセグメントおよび
第2の色フィルタセグメントの第1の組、第3の色フィ
ルタセグメントおよび第4の色フィルタセグメントの第
2の組の各組が、それぞれの同一行内に配され、第1の
組に隣接する第2の組の色フィルタセグメントが第1の
組の色フィルタセグメントと互いに画素ピッチの半分ず
れた位置関係にあって、 第1の組の色フィルタセグメントの分光特性に、それぞ
れ第1の定数と第2の定数を乗算した積の第1の和が、
第2の組の色フィルタセグメントの分光特性に、第3の
定数と第4の定数を乗算した積の第2の和とほぼ等し
く、かつ得られた第1および第2の和が輝度を示す分光
特性に近い関係になる色フィルタ配置を有することを特
徴とする固体撮像素子。 - 【請求項8】 請求項7に記載の素子において、前記色
分解手段は、白色光を入射させた際に第1の組の前記色
フィルタセグメントおよび前記受光素子の分光特性に応
じて得られる信号にそれぞれ第1の定数と第2の定数を
乗算した積の和を第1の和、第2の組の前記色フィルタ
セグメントおよび前記受光素子の分光特性に応じて得ら
れる信号にそれぞれ第3の定数と第4の定数を乗算した
積の和を第2の和にした場合、第1の和が、第2の和の
ほぼ±10%の範囲内で得られることを特徴とする固体撮
像素子。 - 【請求項9】 請求項7または8に記載の素子におい
て、前記色分解手段は、第1の色フィルタセグメントの
色を緑、第2の色フィルタセグメントの色をマゼンタ、
第3の色フィルタセグメントの色を黄色、および第4の
色フィルタセグメントの色をシアンとし、 前記色フィルタセグメントのそれぞれの配置は、前記色
フィルタセグメントを正方格子状に配した色フィルタセ
グメントの一方の色を緑にして対角に位置する前記色フ
ィルタセグメントの色を同色にし、他方の色をマゼンタ
にして対角の位置を該色と同色にし、これらの正方格子
状に配した色フィルタセグメントの中心または中間の位
置から成る別な正方格子状に配した色フィルタセグメン
トの一方の色を黄色にして対角に位置する前記色フィル
タの色を同色にし、他方の色をシアンにして対角の位置
を該色と同色にすることを特徴とする固体撮像素子。 - 【請求項10】 請求項7または8に記載の素子におい
て、前記色分解手段は、第1の色フィルタセグメントの
色を緑、第2の色フィルタセグメントの色をマゼンタ、
第3の色フィルタセグメントの色をシアン、および第4
の色フィルタセグメントの色を黄色とし、 前記色フィルタセグメントのそれぞれの配置は、前記色
フィルタセグメントを正方格子状に配した色フィルタセ
グメントの一方の色を緑にして対角に位置する前記色フ
ィルタセグメントの色を同色にし、他方の色をマゼンタ
にして対角の位置を該色と同色にし、これらの正方格子
状に配した色フィルタセグメントの中心または中間の位
置から成る別な正方格子状に配した色フィルタセグメン
トの一方の色をシアンにして対角に位置する前記色フィ
ルタの色を同色にし、他方の色を黄色にして対角の位置
を該色と同色にすることを特徴とする固体撮像素子。 - 【請求項11】 請求項8ないし10のいずれかに記載の
素子において、第1の定数は、2、第2から第4の定数
は、1とすることを特徴とする固体撮像素子。 - 【請求項12】 請求項7ないし11のいずれかに記載の
素子において、該撮像素子は、電荷結合デバイス、およ
びMOS 型トランジスタの画素選択手段のいずれか一方で
あることを特徴とする固体撮像素子。 - 【請求項13】 入射光を遮光する遮光部材の開口部に
対応し、かつ第1の色フィルタセグメントおよび第2の
色フィルタセグメントの第1の組、第3の色フィルタセ
グメントおよび第4の色フィルタセグメントの第2の組
の各組が、それぞれの同一行内に配され、第1の組に隣
接する第2の組の色フィルタセグメントが第1の組の色
フィルタセグメントと互いに画素ピッチの半分ずれた位
置関係に配された固体撮像素子を用いて、該固体撮像素
子に入射する光を色分解する第1の工程と、 該色分解した入射光を各色フィルタセグメント直下に配
した受光素子で信号電荷に光電変換する第2の工程と、 読み出す信号電荷をアナログ信号として読み出し、該ア
ナログ信号にディジタル信号処理を施す前のアナログ処
理を施す第3の工程と、 該アナログ信号に前記ディジタル処理を施してディジタ
ル信号に変換する第4の工程と、 得られたディジタル信号を画素データとしてあらかじめ
用意した複数回読み出せるメモリ手段に格納させる第5
の工程と、 前記メモリ手段から読み出した画素データを用いて水平
および/または垂直方向の相関検出を行う第6の工程
と、 前記画素データのそれぞれと配置した色フィルタセグメ
ントの位置に応じた複数の所定の定数とを乗算して補正
した画素データを生成するとともに、該相関検出結果に
応じた方向の考慮された演算処理を該補正した画素デー
タで行って高域成分を含む高周波輝度データを生成する
第7の工程と、 前記メモリ手段から読み出した画素データを用いて三原
色の各原色データを生成する第8の工程と、 前記高周波輝度データおよび前記三原色の各原色データ
を用いて輝度データおよび色差データの生成を行う第9
の工程とを含み、 第7の工程は、 第1の色フィルタセグメントに対応して得られる信号に
第1の定数を乗算し、第2の色フィルタセグメントに対
応して得られる信号に第2の定数を乗算し、それぞれ得
られる積の和を第1の和とし、 第3の色フィルタセグメントに対応して得られる信号に
第3の定数を乗算し、第4の色フィルタセグメントに対
応して得られる信号に第4の定数を乗算し、それぞれ得
られる積の和を第2の和とし、 第1および第2の定数ならびに第3および第4の定数
は、それぞれ第1の和と第2の和とがほぼ同程度の範囲
内の値になる定数をそれぞれ用いることを特徴とする信
号処理方法。 - 【請求項14】 請求項13に記載の方法において、第1
の和は、第2の和とほぼ±10%の範囲内の値にする第1
ないし第4の定数を、それぞれ用いることを特徴とする
信号処理方法。 - 【請求項15】 請求項13または14に記載の方法におい
て、第1の工程は、第1の色フィルタセグメントを緑
色、第2の色フィルタセグメントをマゼンタ、第3の色
フィルタセグメントを黄色、および第4の色フィルタセ
グメントをシアンとし、 前記色フィルタセグメントのそれぞれの配置は、前記色
フィルタセグメントを正方格子状に配した色フィルタセ
グメントの一方の色を緑にして対角に位置する前記色フ
ィルタセグメントの色を同色にし、他方の色をマゼンタ
にして対角の位置を該色と同色にし、これらの正方格子
状に配した色フィルタセグメントの中心または中間の位
置から成る別な正方格子状に配した色フィルタセグメン
トの一方の色を黄色にして対角に位置する前記色フィル
タの色を同色にし、他方の色をシアンにして対角の位置
を該色と同色にすることを特徴とする信号処理方法。 - 【請求項16】 請求項13または14に記載の方法におい
て、第1の工程は、第1の色フィルタセグメントを緑
色、第2の色フィルタセグメントをマゼンタ、第3の色
フィルタセグメントをシアン、および第4の色フィルタ
セグメントを黄色とし、 前記色フィルタセグメントのそれぞれの配置は、前記色
フィルタセグメントを正方格子状に配した色フィルタセ
グメントの一方の色を緑にして対角に位置する前記色フ
ィルタセグメントの色を同色にし、他方の色をマゼンタ
にして対角の位置を該色と同色にし、これらの正方格子
状に配した色フィルタセグメントの中心または中間の位
置から成る別な正方格子状に配した色フィルタセグメン
トの一方の色をシアンにして対角に位置する前記色フィ
ルタの色を同色にし、他方の色を黄色にして対角の位置
を該色と同色にすることを特徴とする信号処理方法。 - 【請求項17】 請求項13または14に記載の方法におい
て、第1の定数は、2、第2から第4の定数は、1に設
定することを特徴とする固体撮像素子。 - 【請求項18】 請求項13または14に記載の方法におい
て、第7の工程は、前記固体撮像素子における実在する
受光素子の位置の画素を実在画素とし、前記受光素子の
中間の位置の画素を仮想画素とし、前記実在画素または
前記仮想画素における高域成分を含む高周波輝度データ
を水平方向または垂直方向に相関がある場合に相関のあ
る方向の補正した画素データを用いて行い、これ以外の
場合には生成対象位置の周囲を囲む位置の補正した画素
データの総和から生成することを特徴とする信号処理方
法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000101226A JP4372955B2 (ja) | 2000-03-31 | 2000-03-31 | 固体撮像装置および信号処理方法 |
US09/820,792 US6469290B1 (en) | 2000-03-31 | 2001-03-30 | Solid-state image pickup apparatus in compliance with the arrangement of complementary color filter segments and a signal processing method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000101226A JP4372955B2 (ja) | 2000-03-31 | 2000-03-31 | 固体撮像装置および信号処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001285885A true JP2001285885A (ja) | 2001-10-12 |
JP4372955B2 JP4372955B2 (ja) | 2009-11-25 |
Family
ID=18615312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000101226A Expired - Fee Related JP4372955B2 (ja) | 2000-03-31 | 2000-03-31 | 固体撮像装置および信号処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6469290B1 (ja) |
JP (1) | JP4372955B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002060186A1 (fr) * | 2001-01-25 | 2002-08-01 | Nikon Corporation | Procede de traitement d'image, programme de traitement d'image et processeur d'image |
WO2003049190A1 (en) * | 2001-12-05 | 2003-06-12 | Hamamatsu Photonics K.K. | Light detection device, imaging device and distant image acquisition device |
WO2005055590A1 (ja) * | 2003-12-08 | 2005-06-16 | Olympus Corporation | 画像補間装置及び画像補間方法 |
JP2006074360A (ja) * | 2004-09-01 | 2006-03-16 | Fuji Photo Film Co Ltd | 撮像装置及び信号処理方法 |
JP2010057547A (ja) * | 2008-09-01 | 2010-03-18 | Canon Inc | 眼底カメラ |
JP2013046850A (ja) * | 2012-12-04 | 2013-03-07 | Canon Inc | 眼底カメラ |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3241028B2 (ja) * | 1999-12-22 | 2001-12-25 | 日本電気株式会社 | 画像撮像装置及びその画像撮像方法 |
JP2001203969A (ja) * | 2000-01-21 | 2001-07-27 | Fuji Photo Film Co Ltd | 撮像装置およびその動作制御方法 |
JP4503823B2 (ja) * | 2000-12-22 | 2010-07-14 | 富士フイルム株式会社 | 画像信号処理方法 |
JP2003009166A (ja) * | 2001-06-21 | 2003-01-10 | Fuji Film Microdevices Co Ltd | 撮像装置およびその駆動方法 |
JP3879543B2 (ja) * | 2002-03-08 | 2007-02-14 | ソニー株式会社 | 画像処理装置 |
JP4125927B2 (ja) * | 2002-08-16 | 2008-07-30 | 富士フイルム株式会社 | 固体撮像装置および固体撮像素子 |
JP4310093B2 (ja) * | 2002-10-09 | 2009-08-05 | キヤノン株式会社 | 固体撮像素子の製造方法 |
US20040114047A1 (en) * | 2002-12-13 | 2004-06-17 | Vora Poorvi L. | Method for transforming an offset sensor array |
JP2004336469A (ja) * | 2003-05-08 | 2004-11-25 | Fuji Film Microdevices Co Ltd | 固体撮像素子、撮像装置、及び画像処理方法 |
JP4428195B2 (ja) * | 2004-10-22 | 2010-03-10 | 株式会社日立製作所 | 撮像装置、補完信号生成方法及びプログラム |
JP4306603B2 (ja) * | 2004-12-20 | 2009-08-05 | ソニー株式会社 | 固体撮像装置および固体撮像装置の駆動方法 |
US20070152139A1 (en) * | 2005-12-30 | 2007-07-05 | Moores Mark D | Techniques to control illumination for image sensors |
JP4241754B2 (ja) * | 2006-04-14 | 2009-03-18 | ソニー株式会社 | 撮像装置 |
US8233734B2 (en) * | 2008-09-22 | 2012-07-31 | Microsoft Corporation | Image upsampling with training images |
US7948534B2 (en) | 2008-10-22 | 2011-05-24 | Eastman Kodak Company | Charge-coupled device image sensor with vertical binning of same-color pixels |
US8164669B2 (en) * | 2008-12-19 | 2012-04-24 | Truesense Imaging, Inc. | Charge-coupled device image sensor with efficient binning of same-color pixels |
WO2012132670A1 (ja) * | 2011-03-31 | 2012-10-04 | 富士フイルム株式会社 | 固体撮像素子及びその駆動方法並びに撮影装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5831688A (ja) | 1981-08-19 | 1983-02-24 | Hitachi Ltd | 固体カラ−撮像装置 |
JPS5970091A (ja) * | 1982-10-13 | 1984-04-20 | Nippon Kogaku Kk <Nikon> | 電子スチルカメラ |
JP2775512B2 (ja) | 1990-04-24 | 1998-07-16 | ニッタ・ムアー株式会社 | 管継手 |
JPH04284087A (ja) * | 1991-03-13 | 1992-10-08 | Canon Inc | 電子スチルカメラ |
US5862425A (en) * | 1995-01-26 | 1999-01-19 | Asahi Kogaku Kogyo Kabushiki Kaisha | Electronic color still video camera having electro-developing recording medium |
JPH08340455A (ja) | 1995-06-14 | 1996-12-24 | Olympus Optical Co Ltd | 画像信号処理装置 |
EP0766480A3 (en) * | 1995-09-28 | 2000-03-01 | Kabushiki Kaisha Toshiba | Solid state color image pickup apparatus |
JPH1056604A (ja) * | 1996-08-07 | 1998-02-24 | Olympus Optical Co Ltd | プリンタ内蔵型電子カメラおよび被記録体 |
-
2000
- 2000-03-31 JP JP2000101226A patent/JP4372955B2/ja not_active Expired - Fee Related
-
2001
- 2001-03-30 US US09/820,792 patent/US6469290B1/en not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002060186A1 (fr) * | 2001-01-25 | 2002-08-01 | Nikon Corporation | Procede de traitement d'image, programme de traitement d'image et processeur d'image |
US7565007B2 (en) | 2001-01-25 | 2009-07-21 | Nikon Corporation | Image processing method, image processing program, and image processing apparatus |
WO2003049190A1 (en) * | 2001-12-05 | 2003-06-12 | Hamamatsu Photonics K.K. | Light detection device, imaging device and distant image acquisition device |
US7193197B2 (en) | 2001-12-05 | 2007-03-20 | Hamamatsu Photonics K.K. | Light detection device, imaging device and distant image acquisition device |
WO2005055590A1 (ja) * | 2003-12-08 | 2005-06-16 | Olympus Corporation | 画像補間装置及び画像補間方法 |
JP2006074360A (ja) * | 2004-09-01 | 2006-03-16 | Fuji Photo Film Co Ltd | 撮像装置及び信号処理方法 |
JP4633413B2 (ja) * | 2004-09-01 | 2011-02-16 | 富士フイルム株式会社 | 撮像装置及び信号処理方法 |
JP2010057547A (ja) * | 2008-09-01 | 2010-03-18 | Canon Inc | 眼底カメラ |
JP2013046850A (ja) * | 2012-12-04 | 2013-03-07 | Canon Inc | 眼底カメラ |
Also Published As
Publication number | Publication date |
---|---|
US6469290B1 (en) | 2002-10-22 |
JP4372955B2 (ja) | 2009-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4372955B2 (ja) | 固体撮像装置および信号処理方法 | |
US6847397B1 (en) | Solid-state image sensor having pixels shifted and complementary-color filter and signal processing method therefor | |
JP4195169B2 (ja) | 固体撮像装置および信号処理方法 | |
JP4019417B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
EP2415254B1 (en) | Exposing pixel groups in producing digital images | |
EP0732858B1 (en) | Adaptive color plane interpolation in single sensor color electronic camera | |
US8270774B2 (en) | Image processing device for performing interpolation | |
JP4503823B2 (ja) | 画像信号処理方法 | |
US6133953A (en) | Color camera having a single imaging element and capable of restricting unwanted false color signal | |
US8233733B2 (en) | Image processing device | |
JP4294810B2 (ja) | 固体撮像装置および信号読出し方法 | |
US20100134661A1 (en) | Image processing apparatus, image processing method and program | |
JP4317117B2 (ja) | 固体撮像装置および撮像方法 | |
JP3965555B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
JP4077161B2 (ja) | 撮像装置、輝度補正方法、およびその方法をコンピュータで実行するためのプログラム | |
JP2000197067A (ja) | 固体撮像装置および画像デ―タ作成方法 | |
JP3967500B2 (ja) | 固体撮像装置および信号読出し方法 | |
JP5624228B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JP3905342B2 (ja) | 固体撮像装置 | |
JP4278893B2 (ja) | 固体撮像装置 | |
JP4133179B2 (ja) | 画像信号処理装置 | |
JP2002209100A (ja) | 画像処理装置および画像処理方法 | |
JP3450366B2 (ja) | カラー撮像装置 | |
JP2002010273A (ja) | 撮像装置 | |
JP2004088260A (ja) | デジタルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20060621 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061020 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090302 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090811 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090903 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130911 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |