JP5621059B2 - カラー撮像素子及び撮像装置 - Google Patents
カラー撮像素子及び撮像装置 Download PDFInfo
- Publication number
- JP5621059B2 JP5621059B2 JP2013551785A JP2013551785A JP5621059B2 JP 5621059 B2 JP5621059 B2 JP 5621059B2 JP 2013551785 A JP2013551785 A JP 2013551785A JP 2013551785 A JP2013551785 A JP 2013551785A JP 5621059 B2 JP5621059 B2 JP 5621059B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- pixels
- group
- image
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 84
- 230000035945 sensitivity Effects 0.000 claims description 49
- 239000003086 colorant Substances 0.000 claims description 39
- 238000006243 chemical reaction Methods 0.000 claims description 34
- 230000003287 optical effect Effects 0.000 claims description 32
- 238000002834 transmittance Methods 0.000 claims description 32
- 238000009825 accumulation Methods 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 description 45
- 230000008569 process Effects 0.000 description 30
- 241000579895 Chlorostilbon Species 0.000 description 12
- 239000010976 emerald Substances 0.000 description 12
- 229910052876 emerald Inorganic materials 0.000 description 12
- 230000003595 spectral effect Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 6
- 238000003491 array Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000006837 decompression Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 239000010410 layer Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 229910052814 silicon oxide Inorganic materials 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Description
本発明はカラー撮像素子及び撮像装置に係り、特に色モワレの発生の低減及び高解像度化が可能なカラー撮像素子及び撮像装置に関する。
CCDカラー撮像素子やCMOSカラー撮像素子などのカラー撮像素子を備え、デジタル画像を取得するデジタルカメラ(撮像装置)が普及している。近年、デジタルカメラは、カラー撮像素子の種類に応じて様々な画像データを生成することができる。
例えば、特許文献1から3に記載のデジタルカメラでは、カラー撮像素子の全画素が所定パターンで配列された第1群のRGB画素と、第1群のRGB画素と同一配列パターンを有し、かつ第1群のRGB画素にそれぞれ隣接するように配置された第2群の画素とにより構成されている。具体的には、第2群のRGB画素が第1群のRGB画素に対してそれぞれ水平、垂直方向に1/2画素間隔ずらして配置されている。これにより、第1群又は第2群の一方のRGB画素により構成される通常撮影画像、第1群及び第2群の両方のRGB画素により構成される高解像度画像が得られる。また、第1群及び第2群のRGB画素の信号電荷蓄積時間(電気的な露光時間)を異ならせることにより感度が異なる画像が得られるので、これら感度の異なる2種類の画像に基づきダイナミックレンジ(DR)が拡張(拡大)された広DR画像が得られる。
また、特許文献4から8に記載のデジタルカメラでは、第1群のRGB画素と第2群のRGB画素との面積を異ならせることにより感度が異なる画像が得られるので、広DR画像が得られる。
さらに、第1群の画素と第2群の画素とをそれぞれ異なる方向からの入射光に対して感度が高くなる位相差画素とすることによって、視差のある2視点の視点画像により構成される立体視可能な視差画像が得られる。
このような各種のデジタルカメラには、単板式のカラー撮像素子が設けられることが多い。単板式のカラー撮像素子では、各画素上にそれぞれ単色のカラーフィルタが設けられるので各画素が単色の色情報しか持たない。このため、単板カラー撮像素子の出力画像はRAW画像(モザイク画像)となるので、欠落している色の画素を、周囲の画素から補間する処理(デモザイキング処理)により多チャネル画像を得ている。この場合に問題となるのが、高周波の画像信号の再現特性であり、カラー撮像素子は白黒用の撮像素子と比較して、撮像した画像にエリアシングが発生し易いため、色モワレ(偽色)の発生を抑圧しつつ再現帯域を広げて高解像化するということが重要な課題である。
デモザイキング処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、RGB3色のカラーフィルタからなる撮像素子の場合、RGBからなるモザイク画像から画素毎にRGB全ての色情報を算出する処理である。
単板カラー撮像素子で最も広く用いられているカラーフィルタの色配列である原色系ベイヤー配列は、緑(G)画素を市松状に、赤(R)、青(B)を線順次に配置しているため、G信号は斜め方向で、R、B信号は水平、垂直方向の高周波信号を生成する際の再現精度が問題である。
図35のA部分に示すような白黒の縦縞模様(高周波画像)が、図35のB部分に示すベイヤー配列のカラーフィルタを有するカラー撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図35のC部分からE部分に示すようにRは薄い平坦、Bは濃い平坦、Gは濃淡のモザイク状の色画像となり、本来、白黒画像であるのに対し、RGB間に濃度差(レベル差)は起きないものが、色配列と入力周波数によっては色が付いた状態となってしまう。
同様に、図36のA部分に示すような斜めの白黒の高周波画像が、図36B部分に示すベイヤー配列のカラーフィルタを有する撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図36のC部分からE部分に示すようにRとBは薄い平坦、Gは濃い平坦の色画像となり、仮に黒の値を0、白の値を255とすると、斜めの白黒の高周波画像は、Gのみ255となるため、緑色になってしまう。このようにベイヤー配列では、斜めの高周波画像を正しく再現することができない。
一般に単板式のカラー撮像素子を使用する撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。
このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が着目画素の色を含む3色と着目画素の4辺のいずれかにおいて隣接する配列制限条件を満たす3色ランダム配列としたカラー撮像素子が提案されている(特許文献9)。
また、分光感度が異なる複数のフィルタを有し、そのうち第1のフィルタと第2のフィルタが、画像センサの画素格子の一方の対角方向に第1の所定の周期で交互に配置されているとともに、他方の対角方向に第2の所定の周期で交互に配置されているカラーフィルタ配列の画像センサが提案されている(特許文献10)。
さらに、RGBの3原色のカラー固体撮像素子において、R、G、Bを水平に配置した3画素のセットを垂直方向にジグザグにずらしながら配置することによって、RGBそれぞれの出現確率を均等にし、かつ撮像面上の任意の直線(水平、垂直、斜めの直線)が全ての色を通過するようにした色配列が提案されている(特許文献11)。
さらにまた、RGBの3原色のうちのR,Bを水平方向及び垂直方向にそれぞれ3画素置きに配置し、これらのR,Bの間にGを配置したカラー撮像素子が提案されている(特許文献12)。
特許文献9に記載のカラー撮像素子は、フィルタ配列がランダムとなるため後段でのデモザイキング処理を行う際に、ランダムパターン毎に最適化する必要があり、デモザイキング処理が煩雑になるという問題がある。また、ランダム配列では、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。
また、特許文献10に記載の画像センサは、G画素(輝度画素)が市松状に配置されているため、限界解像度領域(特に斜め方向)での画素再現精度が良くないという問題がある。
特許文献11に記載のカラー固体撮像素子は、任意の直線上に全ての色のフィルタが存在するため、偽色の発生を抑えることができる利点があるが、RGBの画素数の比率が等しいため、高周波再現性がベイヤー配列に比べて低下するという問題がある。なお、ベイヤー配列の場合、輝度信号を得るために最も寄与するGの画素数の比率が、R、Bそれぞれの画素数の2倍になっている。
一方、特許文献12に記載のカラー撮像素子は、R、Bそれぞれの画素数に対するGの画素数の比率がベイヤー配列よりも高いが、水平又は垂直方向にG画素のみのラインが存在するため、水平又は垂直方向に高周波部の偽色に対しては有効でない。
本発明はこのような事情に鑑みてなされたもので、偽色の発生の抑圧及び高解像度化を図ることができるとともに、従来のランダム配列に比べて後段の処理を簡略化することができるカラー撮像素子及び撮像装置を提供することを目的とする。
上記目的を達成するために本発明の一の態様に係る発明は、水平方向及び垂直方向にそれぞれ所定画素間隔でマトリクス状に配列された光電変換素子で構成される第1群の画素と、第1群の画素の各光電変換素子に対して水平方向及び垂直方向にそれぞれ所定画素間隔の半分ずらした位置に配列された光電変換素子で構成される第2群の画素と、第1及び第2画素群上にそれぞれ同一の特定のカラーフィルタ配列で配列されてなるカラーフィルタとを備えるカラー撮像素子であって、カラーフィルタ配列は、1色以上の第1の色に対応する第1のフィルタと輝度信号を得るための寄与率が第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとが配列された基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、第1のフィルタは、カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に1つ以上配置され、第2の色の各色に対応する第2のフィルタは、基本配列パターン内にカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置され、第1のフィルタに対応する第1の色の画素数の比率は、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きい。
本発明の一の態様に係る発明によれば、輝度信号を得るための寄与率の高い第1の色に対応する第1のフィルタを、カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各フィルタライン内に配置するようにしたため、高周波領域でのデモザイキング処理の再現精度を向上させることができる。また、第1の色以外の2色以上の第2の色の各色に対応する第2のフィルタについてもカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に1つ以上配置するようにしたため、色モワレ(偽色)の発生を抑圧して高解像度化を図ることができる。
また、カラーフィルタ配列は、基本配列パターンが水平方向及び垂直方向に繰り返して配置されているため、後段でのデモザイキング処理を行う際に、繰り返しパターンに従って処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
さらに、第1のフィルタに対応する第1の色の画素数と第2のフィルタに対応する2色以上の第2の色の各色の画素数との比率を異ならせ、特に輝度信号を得るための寄与率の高い第1の色の画素数の比率を、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくするようにしたため、エリアシングを抑制することができ高周波再現性もよい。
本発明の他の態様に係るカラー撮像素子において、第1群の画素は、撮影光学系の互いに異なる2つの領域の一方を透過した被写体光を選択的に受光し、第2群の画素は、2つの領域の他方を透過した被写体光を選択的に受光する。これにより、立体視可能な視差画像が得られる。
本発明のさらに他の態様に係るカラー撮像素子において、2つの領域は、撮影光学系の光軸に対して対称な領域であることが好ましい。これにより、立体視可能な視差画像が得られる。
本発明のさらに他の態様に係るカラー撮像素子において、第2群の画素の感度は、第1群の画素の感度よりも低い。これにより、第1群の画素からの出力信号により構成される画像と、第2群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像が得られる。
本発明のさらに他の態様に係るカラー撮像素子において、第2群の画素の面積は、第1群の画素の面積よりも小さくなる。これにより、第1群の画素からの出力信号により構成される画像と、第2群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像が得られる。
本発明のさらに他の態様に係るカラー撮像素子において、第2群の画素上のカラーフィルタの光透過率は、第1群画素上のカラーフィルタの光透過率よりも低くなる。これにより、第1群の画素からの出力信号により構成される画像と、第2群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像が得られる。
第1及び第2のフィルタの上方にはそれぞれマイクロレンズが設けられており、第2群の画素上に位置するマイクロレンズは、第1群の画素上に位置するマイクロレンズよりも小さくなる。これにより、第1群の画素からの出力信号により構成される画像と、第2群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像が得られる。
本発明の一の態様に係る撮像装置において、本発明の一の態様に係るカラー撮像素子と、カラー撮像素子の撮像面に被写体光を結像する撮影光学系と、を備える。これにより、偽色の発生の抑圧及び高解像度化を図ることができるとともに、従来のランダム配列に比べて後段の処理を簡略化することができる。
本発明の他の態様に係る撮像装置において、互いに斜め右上方向又は斜め右下方向に隣接しかつ同色のカラーフィルタの下方に配置されている第1群及び第2群の画素からそれぞれ出力される出力信号を加算して、画像を生成する第1画像生成手段を備える。これにより、低ノイズの高感度画像が得られる。
本発明のさらに他の態様に係る撮像装置において、第1群の画素からの出力信号と第2群の画素からの出力信号に基づき、第1群及び第2群の画素のそれぞれの画素数よりも大きい画素数を有する画像を生成する第2画像生成手段を備える。これにより、高解像度画像が得られる。
本発明のさらに他の態様に係る撮像装置において、第2群の画素の電荷蓄積時間を第1群の画素の電荷蓄積時間よりも短くする電荷蓄積時間調整手段と、第1群の画素からの出力信号により構成される画像と、第2群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像を生成する第3画像生成手段とを備える。これにより、第1群の画素及び第2群の画素の面積を異ならせることなく、ダイナミックレンジが拡張された画像が得られる。
本発明のさらに他の態様に係る撮像装置において、撮影光学系の2つ領域をそれぞれ透過した被写体光を選択的に受光する第1群及び第2群の画素を有する本発明の他の態様に係るカラー撮像素子と、カラー撮像素子の撮像面に被写体光を結像する撮影光学系と、第1群の画素からの出力信号によって構成される第1画像と、第2群の画素からの出力信号によって構成される第2画像とを含む視差画像を生成する第4画像生成手段と、を備えることを特徴とする。これにより、立体視可能な視差画像が得られる。
本発明のさらに他の態様に係る撮像装置において、高感度画素及び低感度画素を有する本発明のさらに他の態様に係るカラー撮像素子と、カラー撮像素子の撮像面に被写体光を結像する撮影光学系と、第1群の画素からの出力信号により構成される画像と、第2群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像を生成する第3画像生成手段と、を備える。
本発明によれば、輝度信号を得るための寄与率の高い第1の色に対応する第1のフィルタを、カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各フィルタライン内に1つ以上配置するとともに、第1のフィルタに対応する第1の色の画素数の比率を、第1の色以外の2色以上の第2のフィルタに対応する第2の色の画素数の比率よりも大きくするようにしたため、高周波領域でのデモザイキング処理の再現精度を向上させ、かつエリアシングを抑制することができる。
また、第1の色以外の2色以上の第2の色の各色に対応する第2のフィルタを、基本配列パターン内においてカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に1つ以上配置するようにしたため、色モワレ(偽色)の発生を抑圧して高解像度化を図ることができる。
さらに、本発明に係るカラーフィルタ配列は、基本配列パターンが水平方向及び垂直方向に繰り返されているため、後段でのデモザイキング処理を行う際に、繰り返しパターンに従って処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
[第1の実施形態のデジタルカメラの全体構成]
図1は本発明に係るカラー撮像素子を備える第1の実施形態のデジタルカメラ(撮像装置)10のブロック図である。デジタルカメラ10のCPU11は、シャッタボタンや各種操作ボタンを含む操作部12からの制御信号に基づき、図示しないメモリから読み出した各種プログラムやデータを逐次実行して、デジタルカメラ10の各部を統括的に制御する。
図1は本発明に係るカラー撮像素子を備える第1の実施形態のデジタルカメラ(撮像装置)10のブロック図である。デジタルカメラ10のCPU11は、シャッタボタンや各種操作ボタンを含む操作部12からの制御信号に基づき、図示しないメモリから読み出した各種プログラムやデータを逐次実行して、デジタルカメラ10の各部を統括的に制御する。
レンズユニット(撮影光学系)13には、ズームレンズ14、フォーカスレンズ15、メカシャッタ16などが組み込まれている。ズームレンズ14及びフォーカスレンズ15は、それぞれズーム機構17、フォーカス機構18により駆動され、光軸O1に沿って前後移動される。
メカシャッタ16は、カラー撮像素子20への被写体光の入射を阻止する閉じ位置と、被写体光の入射を許容する開き位置との間で移動する可動部(図示は省略)を有する。メカシャッタ16は、可動部を各位置に移動させることによって、各レンズ14,15からカラー撮像素子20へと至る光路を開放/遮断する。なお、メカシャッタ16には、カラー撮像素子20に入射する被写体光の光量を制御する絞りが含まれている。メカシャッタ16,ズーム機構17、及びフォーカス機構18は、レンズドライバ21を介してCPU11によって動作制御される。
レンズユニット13の背後にはカラー撮像素子20が配置されている。カラー撮像素子20は、各レンズ14,15からの被写体光を電気的な出力信号に変換して出力する。撮像素子ドライバ23は、CPU11の制御の下でカラー撮像素子20の駆動を制御する。
画像処理回路22は、カラー撮像素子20から入力される出力信号に対して階調変換、ホワイトバランス補正、γ補正処理などの各種処理を施して画像データを生成する。以下、通常の撮影モード時(以下、通常撮影モードという)に画像処理回路22が生成する画像データを通常撮影画像データという。
圧縮伸長処理回路29は、画像処理回路22で処理された各画像データに対して圧縮処理を施す。また、圧縮伸長処理回路29は、メディアI/F30を介してメモリカード31から得られた圧縮画像データに対して伸長処理を施す。メディアI/F30は、メモリカード31に対する各画像データの記録及び読み出しなどを行う。表示部32は、液晶ディスプレイなどが用いられ、スルー画像や再生画像などを表示する。
なお、図示は省略するが、デジタルカメラ10にはオートフォーカス用のAF検出回路やAE検出回路などが設けられている。CPU11は、AF検出回路の検出結果に基づき、レンズドライバ21を介してフォーカス機構18を駆動することでAF処理を実行する。また、CPU11は、AE検出回路の検出結果に基づき、レンズドライバ21を介してメカシャッタ16を駆動することでAE処理を実行する。
[カラー撮像素子の第1の実施形態]
図2及び図3は本発明に係る単板式のカラー撮像素子の第1の実施形態を示す図であり、図2はカラー撮像素子20に設けられている画素の画素配列に関して示し、図3はカラーフィルタのカラーフィルタ配列に関して示している。なお、カラー撮像素子20は、CCD(Charge Coupled Device)カラー撮像素子、CMOS(Complementary Metal Oxide Semiconductor)カラー撮像素子などの各種類の撮像素子であってもよい。
図2及び図3は本発明に係る単板式のカラー撮像素子の第1の実施形態を示す図であり、図2はカラー撮像素子20に設けられている画素の画素配列に関して示し、図3はカラーフィルタのカラーフィルタ配列に関して示している。なお、カラー撮像素子20は、CCD(Charge Coupled Device)カラー撮像素子、CMOS(Complementary Metal Oxide Semiconductor)カラー撮像素子などの各種類の撮像素子であってもよい。
図2に示すように、カラー撮像素子20は、水平方向及び垂直方向に配列(二次元配列)された光電変換素子PDを有する複数の画素33と、各画素の受光面の上方に配置された、図3に示すカラーフィルタ配列のカラーフィルタとから構成されている。各画素の上方には、RGBの3原色のカラーフィルタ(以下、Rフィルタ、Gフィルタ、Bフィルタという)34R,34G,34Bのうちのいずれかが配置される。以下、Rフィルタ34Rが配置された画素を「R画素」、Gフィルタ34Gが配置された画素を「G画素」、Bフィルタ34Bが配置された画素を「B画素」という。ここで、「上方」とは、カラー撮像素子20の撮像面に対して被写体光が入射してくる側の方向を指す。
<カラーフィルタ配列の特徴>
第1の実施形態のカラー撮像素子20のカラーフィルタ配列は、下記の特徴(1)、(2)、(3)、(4)、(5)、及び(6)を有している。
第1の実施形態のカラー撮像素子20のカラーフィルタ配列は、下記の特徴(1)、(2)、(3)、(4)、(5)、及び(6)を有している。
〔特徴(1)〕
図3に示すカラーフィルタ配列は、6×6画素に対応する正方配列パターンからなる基本配列パターンP(図中の太枠で示したパターン)を含み、この基本配列パターンPが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のRフィルタ34R、Gフィルタ34G、Bフィルタ34Bが周期性をもって配列されている。
図3に示すカラーフィルタ配列は、6×6画素に対応する正方配列パターンからなる基本配列パターンP(図中の太枠で示したパターン)を含み、この基本配列パターンPが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のRフィルタ34R、Gフィルタ34G、Bフィルタ34Bが周期性をもって配列されている。
このようにRフィルタ34R、Gフィルタ34G、Bフィルタ34Bが周期性をもって配列されているため、カラー撮像素子20から読み出されるR、G、B信号のデモザイキング処理等を行う際に、繰り返しパターンに従って処理を行うことができる。
また、基本配列パターンPの単位で間引き処理して画像を縮小する場合、間引き処理後のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。
〔特徴(2)〕
図3に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタ34Gが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に1つ以上配置されている。ここで、NEは斜め右上方向を意味し、NWは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ45°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり長辺・短辺の長さに応じてその角度は変わりうる。
図3に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタ34Gが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に1つ以上配置されている。ここで、NEは斜め右上方向を意味し、NWは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ45°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり長辺・短辺の長さに応じてその角度は変わりうる。
輝度系画素に対応するGフィルタ34Gが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に配置されるため、高周波となる方向によらず高周波領域でのデモザイキング処理の再現精度を向上させることができる。
〔特徴(3)〕
図3に示すカラーフィルタ配列の基本配列パターンPは、その基本配列パターン内におけるRGBフィルタ34R,34G,34Bに対応するR画素、G画素、B画素の画素数が、それぞれ8画素、20画素、8画素になっている。即ち、RGB画素の各画素数の比率は、2:5:2になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素のそれぞれの画素数の比率よりも大きくなっている。
図3に示すカラーフィルタ配列の基本配列パターンPは、その基本配列パターン内におけるRGBフィルタ34R,34G,34Bに対応するR画素、G画素、B画素の画素数が、それぞれ8画素、20画素、8画素になっている。即ち、RGB画素の各画素数の比率は、2:5:2になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素のそれぞれの画素数の比率よりも大きくなっている。
上記のようにG画素の画素数とR,B画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するG画素の画素数の比率を、R,B画素の画素数の比率よりも大きくするようにしたため、デモザイキング処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。
〔特徴(4)〕
図3に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ34R、Bフィルタ34Bが、それぞれ基本配列パターンP内においてカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に1つ以上配置されている。
図3に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ34R、Bフィルタ34Bが、それぞれ基本配列パターンP内においてカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に1つ以上配置されている。
Rフィルタ34R及びBフィルタ34Bがそれぞれカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に配置されるため、色モワレ(偽色)の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
図4は、図3に示した基本配列パターンPを、3×3画素に4分割した状態に関して示している。
図4に示すように基本配列パターンPは、図中の実線の枠で囲んだ3×3画素のA配列35aと、図中の破線の枠で囲んだ3×3画素のB配列35bとが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
A配列35a及びB配列35bは、それぞれ輝度系画素であるGフィルタ34Gが4隅と中央に配置され、両対角線上に配置されている。また、A配列35aは、中央のGフィルタ34Gを挟んでRフィルタ34Rが水平方向に配列され、Bフィルタ34Bが垂直方向に配列されている。一方、B配列35bは、中央のGフィルタ34Gを挟んでBフィルタ34Bが水平方向に配列され、Rフィルタ34Rが垂直方向に配列されている。即ち、A配列35aとB配列35bとは、Rフィルタ34RとBフィルタ34Bとの位置関係が逆転しているが、その他の配置は同様になっている。
また、A配列35aとB配列35bの4隅のGフィルタ34Gは、図5に示すようにA配列とB配列とが水平、垂直方向に交互に配置されることにより、2×2画素に対応する正方配列のGフィルタ34Gとなる。
これは、輝度系画素であるGフィルタ34Gが、A配列35a又はB配列35bにおける3×3画素において4隅と中央に配置され、この3×3画素が水平方向、垂直方向に交互に配置されることで2×2画素に対応する正方配列のGフィルタ34Gが形成されるためである。なお、このような配列とすることで、前述の特徴(1)、(2)、(3)、及び後述の特徴(5)が満たされる。
〔特徴(5)〕
図3に示すカラーフィルタ配列は、Gフィルタ34Gが設けられた2×2画素に対応する正方配列36(以下、単にG正方配列36という、図6参照)を含んでいる。
図3に示すカラーフィルタ配列は、Gフィルタ34Gが設けられた2×2画素に対応する正方配列36(以下、単にG正方配列36という、図6参照)を含んでいる。
図6に示すように、Gフィルタ34Gが設けられた2×2画素を取り出し、水平方向のG画素の画素値の差分絶対値、垂直方向のG画素の画素値の差分絶対値、斜め方向(右上斜め、左上斜め)のG画素の画素値の差分絶対値を求めることにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。
即ち、このカラーフィルタ配列によれば、最小画素間隔のG画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周囲の画素から補間する処理(デモザイキング処理)に使用することができる。これにより、画像処理回路22によるデモザイキング処理が実行可能となる。
また、図5に示すように3×3画素のA配列35a又はB配列35bの画素をデモザイキング処理の対象画素とし、A配列35a又はB配列35bを中心に5×5画素(モザイク画像の局所領域)を抽出した場合、5×5画素の4隅に2×2画素のG画素が存在することになる。これらの2×2画素のG画素の画素値を使用することにより、4方向の相関方向の判別を最小画素間隔のG画素の情報を使用して精度よく行うことができる。
〔特徴(6)〕
図3に示すカラーフィルタ配列の基本配列パターンPは、その中心(4つのGフィルタ34Gの中心)に対して点対称になっている。また、図4に示したように、基本配列パターンP内のA配列35a及びB配列35bも、それぞれ中心のGフィルタ34Gに対して点対称になっている。
図3に示すカラーフィルタ配列の基本配列パターンPは、その中心(4つのGフィルタ34Gの中心)に対して点対称になっている。また、図4に示したように、基本配列パターンP内のA配列35a及びB配列35bも、それぞれ中心のGフィルタ34Gに対して点対称になっている。
このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化することが可能になる。
図7に示すように太枠で示した基本配列パターンPにおいて、水平方向の第1から第6のラインのうちの第1及び第3のラインのカラーフィルタ配列は、GBGGRGであり、第2のラインのカラーフィルタ配列は、RGRBGBであり、第4及び第6のラインのカラーフィルタ配列は、GRGGBGであり、第5のラインのカラーフィルタ配列は、BGBRGRとなっている。
いま、図7において、基本配列パターンPを水平方向、及び垂直方向にそれぞれ1画素ずつシフトした基本配列パターンをPα、それぞれ2画素ずつシフトした基本配列パターンをPβとすると、これらの基本配列パターンPα、Pβを水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列になる。
即ち、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図7に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在する。第1の実施形態では、基本配列パターンが点対称になっている基本配列パターンPを、便宜上、基本配列パターンという。
なお、後述する他の実施形態のカラーフィルタ配列においても、各カラーフィルタ配列に対して複数の基本配列パターンが存在するが、その代表的なものをそのカラーフィルタ配列の基本配列パターンという。
[第2の実施形態のデジタルカメラの全体構成]
図8は本発明に係るカラー撮像素子を備える第2の実施形態のデジタルカメラ(撮像装置)39のブロック図である。上記第1の実施形態では、1種類の撮影モード(通常撮影モード)を有するデジタルカメラ10について説明したが、デジタルカメラ39は複数種類の撮影モードを有している。
図8は本発明に係るカラー撮像素子を備える第2の実施形態のデジタルカメラ(撮像装置)39のブロック図である。上記第1の実施形態では、1種類の撮影モード(通常撮影モード)を有するデジタルカメラ10について説明したが、デジタルカメラ39は複数種類の撮影モードを有している。
デジタルカメラ39は、前述の通常撮影モードの他に、ノイズが少なくかつ高感度撮影された画像(以下、高感度画像という)を生成する高感度画像撮影モードと、通常撮影画像よりも解像度が高い(画素数が大きい)画像(以下、高解像度画像という)を生成する高解像度画像撮影モードと、通常撮影画像よりもダイナミックレンジが拡張(拡大)された画像(以下、広DR画像という)を生成する広DR画像撮影モードとを有している。各撮影モードの切り替えは操作部12で行われる。
なお、デジタルカメラ39は、第1の実施形態のデジタルカメラ10とは異なるカラー撮像素子41及び画像処理回路43を有しており、かつCPU11が電荷蓄積時間調整部(電荷蓄積時間調整手段)44として機能する点を除けば、基本的には第1の実施形態と同じ構成である。このため、第1の実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
[カラー撮像素子の第2の実施形態]
図9に示すように、カラー撮像素子41の撮像面上には、第1群の画素46Aと第2群の画素46Bとが設けられている。第1群の画素46Aは、水平、及び垂直方向にそれぞれ所定画素間隔pでマトリクス状に配列された光電変換素子PDAにより構成される。また、第2群の画素46Bは、第1群の画素46Aと同じく画素間隔pでマトリクス状に配列された光電変換素子PDBにより構成される。
図9に示すように、カラー撮像素子41の撮像面上には、第1群の画素46Aと第2群の画素46Bとが設けられている。第1群の画素46Aは、水平、及び垂直方向にそれぞれ所定画素間隔pでマトリクス状に配列された光電変換素子PDAにより構成される。また、第2群の画素46Bは、第1群の画素46Aと同じく画素間隔pでマトリクス状に配列された光電変換素子PDBにより構成される。
第1群の画素46A(光電変換素子PDA)は、カラー撮像素子41の奇数画素ライン上に配列されている。一方、第2群の画素46B(光電変換素子PDB)は、カラー撮像素子41の偶数画素ライン上に配列されている。また、各光電変換素子PDBは、各光電変換素子PDAに対して、水平、及び垂直方向にそれぞれ1/2p(所定画素間隔の半分)ずらした位置に配列されている。なお、光電変換素子PDA,PDBは配列位置を除けば基本的には同じものである。以下、カラー撮像素子41の撮像面のうち、第1群の画素46Aが配列されている領域を「A面」といい、第2群の画素46Bが配列されている領域を「B面」という。
第1群の画素46A、及び第2群の画素46Bからそれぞれ出力される出力信号は、画像処理回路43に入力される。
図10に示すように、第1群の画素46A及び第2群の画素46Bの上方には、それぞれ同一のカラーフィルタ配列でR、G、Bフィルタ34R,34G,34Bが配列されている。このため、カラー撮像素子41のカラーフィルタ配列は、同一のカラーフィルタ配列を水平、垂直方向にそれぞれ1/2pずらして配置してなる配列パターン(以下、特殊配列パターンという)を有している。
以下、A面上のR、G、Bフィルタ34R,34G,34Bを「RA、GA、BAフィルタ34R,34G,34B」、B面上のR、G、Bフィルタ34R,34G,34Bを「RB、GB、BBフィルタ34R,34G,34B」という。また、A面上のRA、GA、BAフィルタ34R,34G,34Bのカラーフィルタ配列を「A面カラーフィルタ配列」、B面上のRB、GB、BBフィルタ34R,34G,34Bのカラーフィルタ配列を「B面カラーフィルタ配列」という。
図11及び図12に示すように、A面カラーフィルタ配列とB面カラーフィルタ配列は、それぞれ第1の実施形態のカラーフィルタ配列と基本的に同じで配列である。このため、A面カラーフィルタ配列は6×6画素に対応する正方配列パターンである基本配列パターンPAを含み、B面カラーフィルタ配列も同じ正方配列パターンである基本配列パターンPBを含む。そして、A面、B面カラーフィルタ配列は、それぞれ基本配列パターンPA、基本配列パターンPBが水平方向及び垂直方向に繰り返し配置されている。
基本配列パターンPA,PBは、第1の実施形態の基本配列パターンPと基本的に同じ配列パターンである。このため、第1の実施形態で述べたように、A面及びB面カラーフィルタ配列は、それぞれ前述の特徴(1)、(2)、(3)、(4)、(5)、及び(6)を有している。
図10に戻って、カラー撮像素子41のカラーフィルタ配列は、A面カラーフィルタ配列とB面カラーフィルタ配列とにより構成される。A面及びB面カラーフィルタ配列は前述の特徴(2)及び(3)を有しているので、カラー撮像素子41のカラーフィルタ配列も同様に前述の特徴(2)及び(3)を有する。
さらに、A面及びB面カラーフィルタ配列は、それぞれ基本配列パターンPA,PBが水平方向及び垂直方向に繰り返し配置されてなる。このため、カラー撮像素子41のカラーフィルタ配列は、基本配列パターンP1を含み、この基本配列パターンP1が水平方向及び垂直方向に繰り返し配置されている。このため、カラー撮像素子41のカラーフィルタ配列も前述の特徴(1)を有する。
図13に示すように、基本配列パターンP1は、基本配列パターンPAと、この基本配列パターンPAに対して水平及び垂直方向に1/2pずれた位置にある基本配列パターンPBとにより構成されている。A面及びB面カラーフィルタ配列は前述の特徴(4)を有しているので、カラー撮像素子41のカラーフィルタ配列も同様に前述の特徴(4)を有する。
なお、第2の実施形態では、基本配列パターンP1はその中心に対して点対称となっていない。
上記のようにカラー撮像素子41のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)と同じ特徴を有している。
〔特徴(7)〕
また、カラー撮像素子41のカラーフィルタ配列では、斜め(NE,NW)方向の各フィルタライン(一部のラインを除く)に、RA,Bフィルタ34R、GA,Bフィルタ34G、BA,Bフィルタ34Bがそれぞれ1つ以上配置される。このため、斜め(NE,NW)方向の解像度が高くなる。
また、カラー撮像素子41のカラーフィルタ配列では、斜め(NE,NW)方向の各フィルタライン(一部のラインを除く)に、RA,Bフィルタ34R、GA,Bフィルタ34G、BA,Bフィルタ34Bがそれぞれ1つ以上配置される。このため、斜め(NE,NW)方向の解像度が高くなる。
一方、比較例を示す図14のように、カラーフィルタ配列が第2の実施形態と同様の「特殊配列パターン」を有するが、A面及びB面配列パターンがそれぞれベイヤー配列である場合に、斜め(NE)方向の解像度が低下する。具体的には、カラーフィルタ配列がGフィルタ34Gのみの斜め(NW)方向のラインLGと、R、Bフィルタ34R,34Bのみの斜め(NW)方向のラインLRBとが斜め(NE)方向に交互に配置されたパターンとなるので、例えばGフィルタ34Gの斜め(NE)方向の画素間隔が水平、垂直方向の画素間隔よりも拡がってしまう。なお、R、Bフィルタ34R,34Bについても同様である。このため、カラーフィルタ配列は斜め(NE)方向の解像度が低下するので、斜め(NE)方向に異方性を有する光学ローパスフィルタを別途設けることが好ましい。
これに対して、カラー撮像素子41のカラーフィルタ配列では、斜め(NE,NW)方向の解像度が高くなるので、斜め(NE)方向に異方性を有する光学ローパスフィルタを配置しなくとも、斜め方向に高周波成分を有する入力像により発生しうる色モワレ(偽色)を抑えることができる。
〔特徴(5’)〕
さらに、カラー撮像素子41のカラーフィルタ配列は、第1実施形態のG正方配列36の代わりに、GA、GBフィルタ34Gが水平、垂直、及び斜め方向に最小間隔で4つ配置されてなるG配列48を有している(図10、図13参照)。このため、G配列48が設けられた4画素を取り出し、水平方向のG画素の画素値の差分絶対値、垂直方向のG画素の画素値の差分絶対値、斜め方向(NE、NW)のG画素の画素値の差分絶対値を求めることにより、差分絶対値の小さい方向に相関があると判断することができる。これにより、カラー撮像素子41のカラーフィルタ配列は、前述の特徴(5)とほぼ同じ特徴を有している。
さらに、カラー撮像素子41のカラーフィルタ配列は、第1実施形態のG正方配列36の代わりに、GA、GBフィルタ34Gが水平、垂直、及び斜め方向に最小間隔で4つ配置されてなるG配列48を有している(図10、図13参照)。このため、G配列48が設けられた4画素を取り出し、水平方向のG画素の画素値の差分絶対値、垂直方向のG画素の画素値の差分絶対値、斜め方向(NE、NW)のG画素の画素値の差分絶対値を求めることにより、差分絶対値の小さい方向に相関があると判断することができる。これにより、カラー撮像素子41のカラーフィルタ配列は、前述の特徴(5)とほぼ同じ特徴を有している。
[第2の実施形態のデジタルカメラの各構成]
電荷蓄積時間調整部44(図8参照)は、第1群の画素46A(A面)と第2群の画素46B(B面)との電荷蓄積時間(露光時間)を独立して制御する。電荷蓄積時間調整部44は、広DR画像撮影モード以外の撮影モード時には、第1群の画素46Aと第2群の画素46Bとの電荷蓄積時間を同じに設定する。
電荷蓄積時間調整部44(図8参照)は、第1群の画素46A(A面)と第2群の画素46B(B面)との電荷蓄積時間(露光時間)を独立して制御する。電荷蓄積時間調整部44は、広DR画像撮影モード以外の撮影モード時には、第1群の画素46Aと第2群の画素46Bとの電荷蓄積時間を同じに設定する。
また、図15に示すように、電荷蓄積時間調整部44は、広DR画像撮影モード時には、第2群の画素46Bの電荷蓄積時間を、第1群の画素46Aの電荷蓄積時間よりも短く設定する(逆でも可)。これにより、第1群の画素46Aは相対的に「高感度画素」となり、第2群の画素46Bは相対的に「低感度画素」となる。その結果、第1群の画素46Aからは感度の高い画像(以下、高感度画像という)が得られ、第2群の画素46Bからは感度の低い画像(以下、低感度画像という)が得られる。
図8に戻って、画像処理回路43は、基本的には第1の実施形態の画像処理回路22と同じであるが、通常撮影モード時には通常撮影画像データを生成し、高感度画像撮影モード時には高感度画像データを生成し、高解像度画像撮影モード時には高解像度画像データを生成し、広DR画像撮影モード時には広DR画像データを生成する。この画像処理回路43は、通常画像生成部50、高感度画像生成部(第1画像生成手段)51、高解像度画像生成部(第2画像生成手段)52、広DR画像生成部(第3画像生成手段)53を備える。
通常画像生成部50は、通常撮影モード時に例えば第1群の画素46A(第2群の画素46Bでも可)から出力される出力信号に基づき、通常撮影画像データを生成する。
図16に示すように、高感度画像生成部51は、高感度画像撮影モード時に同色でかつ互いに斜め方向(本実施形態ではNW方向)に隣接する第1群の画素46Aからの出力信号と第2群の画素46Bからの出力信号を混合(加算)する、いわゆる画素混合を行う。これにより、図17に示すように、斜め方向(NW)に隣接する同色の第1群及び第2群の画素46A,46Bを1画素とみなして信号処理することができる。このような画素混合により感度が2倍相当となるので、高感度画像データが得られる。この高感度画像データは、ゲインアップすることなく得られるので、ノイズも少なくなる。なお、図示は省略するが同色の第1群の画素46Aと第2群の画素46Bとが斜め方向(NE)に隣接している場合であっても、同様にして高感度画像データが得られる。
図18に示すように、高解像度画像生成部52は、高解像度画像撮影モード時に第1群の画素46Aと第2群の画素46Bの両方からそれぞれ出力される出力信号に基づき、高解像度画像データを生成する。高解像度画像データは、通常撮影画像データ生成時の2倍の画素を用いて生成されるので、通常撮影画像データよりも高解像度な画像データとなる。
図19に示すように、広DR画像生成部53は、広DR画像撮影モード時に信号電荷蓄積時間が異なる第1群及び第2群の画素46A,46Bの各々の出力信号に基づき、高感度画像データ、低感度画像データを生成する。次いで、広DR画像生成部53は、高感度画像データと低感度画像データとに基づいて広DR画像データを生成する。なお、感度の異なる画像データを用いて広DR画像データを生成する方法は周知技術であるので、ここでは具体的な説明は省略する。
[第2の実施形態のデジタルカメラの作用]
次に、図20を用いて上記構成のデジタルカメラ39の作用について説明する。操作部12にて撮影モードが通常撮影モード、高感度画像撮影モード、高解像度画像撮影モード、広DR画像撮影モードのいずれかに設定されると、CPU11はレンズドライバ21を介してメカシャッタ16の動作を制御するとともに、撮像素子ドライバ23を介してカラー撮像素子41を駆動する。
次に、図20を用いて上記構成のデジタルカメラ39の作用について説明する。操作部12にて撮影モードが通常撮影モード、高感度画像撮影モード、高解像度画像撮影モード、広DR画像撮影モードのいずれかに設定されると、CPU11はレンズドライバ21を介してメカシャッタ16の動作を制御するとともに、撮像素子ドライバ23を介してカラー撮像素子41を駆動する。
所定のシャッタ速度でメカシャッタ16が開閉され、カラー撮像素子41の各画素46A,46Bに信号電荷が蓄積する。この際に、電荷蓄積時間調整部44は、広DR画像撮影モード以外の撮影モード時には、第1群の画素46Aと第2群の画素46Bとの電荷蓄積時間を同じに調整し、広DR画像撮影モード時には両者の電荷蓄積時間を異ならせる。そして、撮像素子ドライバ23の制御の下、各画素46A,46Bの出力信号が画像処理回路43へ出力される。
[通常撮影モード]
撮影モードとして通常撮影モードが設定されている場合には、通常画像生成部50が作動する。通常画像生成部50は、第1群の画素46Aからの出力信号に基づき、通常撮影画像データを生成し、これを一定のタイミングで表示部32へ出力する。これにより、表示部32にスルー画像が表示される。また、同時にAF処理やAE処理などの撮影準備処理も同時に行われる。
撮影モードとして通常撮影モードが設定されている場合には、通常画像生成部50が作動する。通常画像生成部50は、第1群の画素46Aからの出力信号に基づき、通常撮影画像データを生成し、これを一定のタイミングで表示部32へ出力する。これにより、表示部32にスルー画像が表示される。また、同時にAF処理やAE処理などの撮影準備処理も同時に行われる。
操作部12で撮影指示がなされると、通常画像生成部50にて1フレーム分の通常撮影画像データが生成される。この通常撮影画像データは、圧縮伸長処理回路29にて圧縮された後、メディアI/F30を経由してメモリカード31に記録される。
[高感度画像、高解像度画像、広DR画像撮影モード、]
撮影モードとして高感度画像撮影モードが設定されている場合には、高感度画像生成部51が作動して、図16に示したように、いわゆる画素混合を行うことで高感度画像データを生成する。また、撮影モードとして高解像度画像撮影モードが設定されている場合には、高解像度画像生成部52が作動して、図18に示したように全画素46A,46Bからの出力信号に基づき、高解像度画像データが生成される。
撮影モードとして高感度画像撮影モードが設定されている場合には、高感度画像生成部51が作動して、図16に示したように、いわゆる画素混合を行うことで高感度画像データを生成する。また、撮影モードとして高解像度画像撮影モードが設定されている場合には、高解像度画像生成部52が作動して、図18に示したように全画素46A,46Bからの出力信号に基づき、高解像度画像データが生成される。
さらに、撮影モードとして広DR画像撮影モードが設定されている場合には、広DR画像生成部53が作動して、図19に示したように全画素46A,46Bの各々からの出力信号により構成される高感度、低感度画像データに基づき、広DR画像データが生成される。以下、通常撮影モード時と同様に、操作部12で撮影指示がなされたときに、高感度画像データ、高解像度画像データ、及び広DR画像データがそれぞれ圧縮処理された後にメモリカード31に記録される。
カラー撮像素子41が図10などに示したカラーフィルタ配列を有しているので、通常撮影画像データ、高感度画像データ、高解像度画像データ、及び広DR画像データのいずれにおいても色モワレ(偽色)の発生が抑制され、高画質な画像データが得られる。また、光学ローパスフィルタを配置しない、あるいは高周波数成分をカットする働きの弱いものを適用することができるので、各画像データの解像度を損なわないようにすることができる。これにより、高解像度な画像データが得られる。さらに、カラーフィルタ配列は、基本配列パターンP1が水平方向及び垂直方向に繰り返して配置されているため、画像処理回路などの後段でのデモザイキング処理を行う際に、繰り返しパターンに従って処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
[第3の実施形態のデジタルカメラの全体構成]
図21は本発明に係るカラー撮像素子を備える第3の実施形態のデジタルカメラ(撮像装置)55のブロック図である。上記第2の実施形態では、高感度画像、高解像度画像、及び広DR画像を生成可能なデジタルカメラ39について説明したが、デジタルカメラ55では立体視可能な視差画像を生成する。
図21は本発明に係るカラー撮像素子を備える第3の実施形態のデジタルカメラ(撮像装置)55のブロック図である。上記第2の実施形態では、高感度画像、高解像度画像、及び広DR画像を生成可能なデジタルカメラ39について説明したが、デジタルカメラ55では立体視可能な視差画像を生成する。
デジタルカメラ55は、前述の高感度画像撮影モード、高解像度画像撮影モード、及び広DR画像撮影モードの代わりに、視差画像を生成する3D撮影モードを有している。また、デジタルカメラ55は、第2の実施形態のデジタルカメラ39とは異なるカラー撮像素子58、画像処理回路59、及び表示部60を有している点を除けば、基本的には第2の実施形態と同じ構成であり、第2の実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
[カラー撮像素子の第3の実施形態]
図22に示すように、カラー撮像素子58の画素配列及びカラーフィルタ配列は第2実施形態のカラー撮像素子41の画素配列、カラーフィルタ配列と同じである。ただし、カラー撮像素子58では、第1群の画素46A、第2群の画素46Bがそれぞれ異なる方向から入射する被写体光に対して感度が高くなるように構成されている。
図22に示すように、カラー撮像素子58の画素配列及びカラーフィルタ配列は第2実施形態のカラー撮像素子41の画素配列、カラーフィルタ配列と同じである。ただし、カラー撮像素子58では、第1群の画素46A、第2群の画素46Bがそれぞれ異なる方向から入射する被写体光に対して感度が高くなるように構成されている。
図22中のAA線に沿う断面を示す図23、及びBB線に沿う断面を示す図24において、半導体基板(sub)62の表層には、各画素46A,46Bをそれぞれ構成する光電変換素子PDA,PDBがそれぞれ形成されている。なお、半導体基板62には、図示は省略するが、各画素46A,46Bの駆動や信号出力に用いられる各種回路が設けられている。
半導体基板62上には、例えば酸化シリコンで形成された光透過性の絶縁膜63が設けられている。絶縁膜63上には、例えばタングステンで形成された遮光膜64が設けられている。遮光膜64は、光電変換素子PDA上に形成された第1偏心開口64aと、光電変換素子PDB上に形成された第2偏心開口64bとを有している。
第1偏心開口64aは、光電変換素子PDAの中心に対して図中左方向にずれた位置に形成されている。これにより、光電変換素子PDAの略右半分の領域(以下、単に右領域という)は遮光膜64で覆われ、逆に略左半分の領域(以下、単に左領域という)は露呈している。一方、第2偏心開口64bは、光電変換素子PDBの中心に対して図中右方向にずれた位置に形成されている。これにより、光電変換素子PDBの左領域は遮光膜64で覆われ、逆に右領域は露呈している。
遮光膜64上には、表面が平坦な光透過性の平坦化層65が設けられている。平坦化層65上には、図22に示したカラーフィルタ配列で各フィルタ34R,34G,34Bがそれぞれ設けられている。
各フィルタ34R,34G,34B上には、各光電変換素子PDA,PDBの直上位置にそれぞれマイクロレンズ66が設けられている。なお、図中の符号O2は、マイクロレンズ66の光軸である。マイクロレンズ66の光軸O2は、各光電変換素子PDA,PDBの中心上に位置している。
マイクロレンズ66に図中右斜め方向から入射した被写体光67Rは、マイクロレンズ66により第1偏心開口64aを介して光電変換素子PDAの左領域に集光されるが、遮光膜64で覆われている光電変換素子PDBの左領域には集光されない。逆に、マイクロレンズ66に図中右斜め方向から入射した被写体光67Lは、マイクロレンズ66により第2偏心開口64bを介して光電変換素子PDBの右領域に集光されるが、遮光膜64で覆われている光電変換素子PDAの右領域には集光されない。
このように、光電変換素子PDA(第1群の画素46A)は被写体光67Rに対して感度が高くなり、光電変換素子PDB(第2群の画素46B)は被写体光67Lに対して感度が高くなる。なお、被写体光67R,67Lは、レンズユニット13(ズームレンズ14及びフォーカスレンズ15)の光軸O1に対して対称な領域、及びマイクロレンズ66の光軸O2に対して対称な領域をそれぞれ通過している。なお、レンズユニット13の光軸O1に対して対称な領域とは、レンズユニット13を、光軸O1に直交しかつ画素配列の垂直方向(図9参照)に対して平行な線分で分割してなる領域(レンズユニット13の左右領域)である。
[第3の実施形態のデジタルカメラの各構成]
図21に戻って、画像処理回路59は、通常撮影モード時には通常撮影画像データを生成し、3D撮影モード時には2視点(R視点、L視点)の視点画像により構成される視差画像データを生成する。この画像処理回路59は、高感度画像生成部51、高解像度画像生成部52、及び広DR画像生成部53の代わりに、視差画像生成部(第4画像生成手段)69が設けられている点を除けば、第2の実施形態の画像処理回路43と基本的に同じである。
図21に戻って、画像処理回路59は、通常撮影モード時には通常撮影画像データを生成し、3D撮影モード時には2視点(R視点、L視点)の視点画像により構成される視差画像データを生成する。この画像処理回路59は、高感度画像生成部51、高解像度画像生成部52、及び広DR画像生成部53の代わりに、視差画像生成部(第4画像生成手段)69が設けられている点を除けば、第2の実施形態の画像処理回路43と基本的に同じである。
図25に示すように、視差画像生成部69は、3D撮影モード時に第1群の画素46Aからの出力信号に基づき被写体をR視点側から見たときのR視点画像データ(第1画像)を生成し、第2群の画素46Bからの出力信号に基づき被写体をL視点側から見たときのL視点画像データ(第2画像)を生成する。R視点画像データとL視点画像データには視差が生じているので立体視が可能である。
表示部60(図21参照)は、R視点画像データ及びL視点画像データに基づき立体画像の観察が可能な各種モニタが用いられる。なお、立体画像の表示方式は、レンチキュラ方式、視差バリア方式、パララックスバリア方式、アナグリフ方式、フレームシーケンシャル方式、ライトディレクション方式などの周知の各種方式を用いてよい。
[第3の実施形態のデジタルカメラの作用]
次に、図26を用いて上記構成のデジタルカメラ55の作用について説明する。なお、撮影モードが通常撮影モードに設定されているときの処理の流れは第2の実施形態と同じであるのでここでは具体的な説明を省略する。
次に、図26を用いて上記構成のデジタルカメラ55の作用について説明する。なお、撮影モードが通常撮影モードに設定されているときの処理の流れは第2の実施形態と同じであるのでここでは具体的な説明を省略する。
[3D撮影モード]
撮影モードとして3D撮影モードが設定されている場合には、視差画像生成部69が作動して、図25に示したように第1群の画素46A及び第2群の画素46Bのそれぞれからの出力信号に基づき、R視点画像データ、L視点画像データを生成する。視差画像生成部69は、R視点画像データ及びL視点画像データの少なくとも一方を一定のタイミングで表示部60へ出力する。これにより、表示部60にスルー画像が表示される。
撮影モードとして3D撮影モードが設定されている場合には、視差画像生成部69が作動して、図25に示したように第1群の画素46A及び第2群の画素46Bのそれぞれからの出力信号に基づき、R視点画像データ、L視点画像データを生成する。視差画像生成部69は、R視点画像データ及びL視点画像データの少なくとも一方を一定のタイミングで表示部60へ出力する。これにより、表示部60にスルー画像が表示される。
操作部12で撮影指示がなされると、視差画像生成部69にて1フレーム分のR視点画像データ、L視点画像データが生成される。これらR視点画像データ及びL視点画像データは、圧縮伸長処理回路29にて視差画像データとして圧縮された後、メディアI/F30を経由してメモリカード31に記録される。なお、メモリカード31に記録された視差画像データは、デジタルカメラ55の動作モードを再生モードに切り替えることにより、表示部60に立体視可能に表示される。
前述の構成のカラーフィルタ配列によって、第2の実施形態と同様に高画質でかつ高解像度な画像データが得られる。また、従来のランダム配列に比べて後段のデモザイキング処理などを簡略化することができる。
なお、メカシャッタ16に設けられた絞りを絞り込むことにより、R視点画像データとL視点画像データとの視差量が小さくなるので、第2の実施形態と同様に、高感度画像データ、高解像度画像データ、広DR画像データを生成してもよい。
また、上記第3の実施形態では、遮光膜64に形成された第1及び第2偏心開口64a,64bにより第1群及び第2群の画素46A,46Bがそれぞれ異なる方向から入射する被写体光に対して感度が高くなるようにしているが、別の方法を用いてもよい。例えば遮光膜に偏心開口を形成する代わりに、第1群及び第2群の画素46A,46B上のマイクロレンズの位置をそれぞれ異なる方向に偏心させてもよい。
[第4の実施形態のデジタルカメラの全体構成]
図27は本発明に係るカラー撮像素子を備える第4の実施形態のデジタルカメラ(撮像装置)71のブロック図である。上記第2の実施形態では、広DR撮影モード時に第1群の画素46A(A面)と第2群の画素46B(B面)との電荷蓄積時間を独立して制御することにより、広DR画像データ(高感度画像データ、低感度画像データ)を生成している。これに対して、デジタルカメラ71では、A面とB面の電荷蓄積時間を変えることなく、広DR画像データを生成する。
図27は本発明に係るカラー撮像素子を備える第4の実施形態のデジタルカメラ(撮像装置)71のブロック図である。上記第2の実施形態では、広DR撮影モード時に第1群の画素46A(A面)と第2群の画素46B(B面)との電荷蓄積時間を独立して制御することにより、広DR画像データ(高感度画像データ、低感度画像データ)を生成している。これに対して、デジタルカメラ71では、A面とB面の電荷蓄積時間を変えることなく、広DR画像データを生成する。
デジタルカメラ71は、第2の実施形態のデジタルカメラ39とは異なるカラー撮像素子72及び画像処理回路73を有している点を除けば、基本的には第2の実施形態と同じ構成であり、第2の実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
[カラー撮像素子の第4の実施形態]
図28に示すように、カラー撮像素子72の画素配列は第2実施形態のカラー撮像素子41の画素配列と同じである。ただし、カラー撮像素子72では、第2群の画素46B(光電変換素子PDB)の面積が第1群の画素46A(光電変換素子PDA)の面積よりも小さくなる。このため、第2群の画素46Bの信号電荷の蓄積量は、第1群の画素46Aの信号電荷の蓄積量よりも小さくなる。これにより、第1群の画素46Aは相対的に「高感度画素」となり、第2群の画素46Bは相対的に「低感度画素」となる。
図28に示すように、カラー撮像素子72の画素配列は第2実施形態のカラー撮像素子41の画素配列と同じである。ただし、カラー撮像素子72では、第2群の画素46B(光電変換素子PDB)の面積が第1群の画素46A(光電変換素子PDA)の面積よりも小さくなる。このため、第2群の画素46Bの信号電荷の蓄積量は、第1群の画素46Aの信号電荷の蓄積量よりも小さくなる。これにより、第1群の画素46Aは相対的に「高感度画素」となり、第2群の画素46Bは相対的に「低感度画素」となる。
また、RB、GB、BBフィルタ34Rs,34Gs,34Bsの面積についても、RA、GA、BAフィルタ34R,34G,34Bの面積よりも小さくなる。このため、カラー撮像素子72のカラーフィルタ配列は、RB、GB、BBフィルタ34Rs,34Gs,34Bsの面積が小さく形成されている点を除けば、第2の実施形態のカラーフィルタ配列と基本的に同じである。従って、カラー撮像素子72のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)と同じ特徴に加えて、第2の実施形態のカラーフィルタ配列の特徴(7)を有する。
このようにカラー撮像素子72では、A面とB面の電荷蓄積時間を変えることなく、第1群の画素46Aからの出力信号に基づき高感度画像が得られるとともに、第2群の画素46Bからの出力信号に基づき低感度画像が得られる。
図27に戻って、画像処理回路73の広DR画像生成部53は、広DR画像生成モード時に作動して、第1及び第2群の画素46A,46Bの各々の出力信号に基づき、高感度画像データと低感度画像データを生成し、これら両画像データに基づき広DR画像データを生成する。上記構成のカラーフィルタ配列により、第2の実施形態と同様に高画質でかつ高解像度な画像データが得られる。また、従来のランダム配列に比べて後段のデモザイキング処理などを簡略化することができる。
なお、デジタルカメラ71の作用については、第2の実施形態のデジタルカメラ39と基本的に同じであるので、ここでは説明を省略する。
[カラー撮像素子の第4−1の実施形態]
上記第4の実施形態のデジタルカメラ71では、第1及び第2群の画素46A,46Bの面積を異ならせることにより広DR画像データを生成しているが、面積を異ならせる以外の方法で第1及び第2群の画素46A,46Bに入射する被写体光の光量を異ならせてもよい。
上記第4の実施形態のデジタルカメラ71では、第1及び第2群の画素46A,46Bの面積を異ならせることにより広DR画像データを生成しているが、面積を異ならせる以外の方法で第1及び第2群の画素46A,46Bに入射する被写体光の光量を異ならせてもよい。
例えば、図29、及び図29中のCC線に沿う断面を示す図30において、カラー撮像素子75は、第2の実施形態のカラー撮像素子41と基本的に同じ構成である。ただし、カラー撮像素子75では、第2群の画素46B(光電変換素子PDB)の上方に位置するマイクロレンズ76の大きさが、第1群の画素46A(光電変換素子PDA)の上方に位置するマイクロレンズ66の大きさよりも小さく形成されている。
マイクロレンズ76を小さく形成することで、第2群の画素46Bに集光される被写体光の光量が第1群の画素46Aに集光される被写体光の光量よりも減少する。このため、第2群の画素46Bの信号電荷の蓄積量が第1群の画素46Aの信号電荷の蓄積量よりも小さくなる。これにより、第4の実施形態と同様に、第1群の画素46Aは相対的に「高感度画素」となり、第2群の画素46Bは相対的に「低感度画素」となる。
このように、第4の実施形態のカラー撮像素子72をカラー撮像素子75に置き換えた場合においても、第4の実施形態と同様に広DR画像データが得られる。また、カラーフィルタ配列は第2及び第3の実施形態と同じ配列であるので、高画質でかつ高解像度な広DR画像データが得られ、さらに後段のデモザイキング処理などを簡略化することができる。
[カラー撮像素子の第4−2の実施形態]
また、上記第4−1の実施形態のカラー撮像素子75では、マイクロレンズ66,76の大きさを異ならせることにより広DR画像データが得られるが、例えば図31に示すカラー撮像素子77のように、RA、GA、BAフィルタ34R,34G,34Bと、RB、GB、BBフィルタ34R,34G,34Bとの光透過率を異ならせてもよい。
また、上記第4−1の実施形態のカラー撮像素子75では、マイクロレンズ66,76の大きさを異ならせることにより広DR画像データが得られるが、例えば図31に示すカラー撮像素子77のように、RA、GA、BAフィルタ34R,34G,34Bと、RB、GB、BBフィルタ34R,34G,34Bとの光透過率を異ならせてもよい。
具体的には、RB、GB、BBフィルタ34R,34G,34Bの光透過率がRA、GA、BAフィルタ34R,34G,34Bの光透過率よりも低くなる。なお、図31中ではGフィルタ34Gを代表例として図示しているが、他のRフィルタ34R、Bフィルタ34Bについても同様である。
RB、GB、BBフィルタ34R,34G,34Bの光透過率を低くすることで、第2群の画素46Bに集光される被写体光の光量が第1群の画素46Aに集光される被写体光の光量よりも減少する。このため、第4−1の実施形態と同様に、第1群の画素46Aは相対的に「高感度画素」となり、第2群の画素46Bは相対的に「低感度画素」となる。
このように、第4の実施形態のカラー撮像素子72をカラー撮像素子77に置き換えた場合においても、第4及び第4−1の実施形態と同様に、高画質でかつ高解像度な広DR画像データが得られ、さらに後段のデモザイキング処理などを簡略化することができる。
[その他]
上記第2の実施形態から上記第4−2の実施形態では、基本配列パターンP1が12×12画素(基本配列パターンPA,PBがそれぞれ6×6画素)に対応する配列パターンを有しているが、カラーフィルタ配列が少なくとも前述の特徴(1)から(4)を満たす範囲内において基本配列パターンP1が任意のM×N(M=N、M≠Nのいずれも可)画素に対応する配列パターンを有していてもよい。この場合に、基本配列パターンPA,PBは(M/2)×(N/2)画素に対応する配列パターンとなる。
上記第2の実施形態から上記第4−2の実施形態では、基本配列パターンP1が12×12画素(基本配列パターンPA,PBがそれぞれ6×6画素)に対応する配列パターンを有しているが、カラーフィルタ配列が少なくとも前述の特徴(1)から(4)を満たす範囲内において基本配列パターンP1が任意のM×N(M=N、M≠Nのいずれも可)画素に対応する配列パターンを有していてもよい。この場合に、基本配列パターンPA,PBは(M/2)×(N/2)画素に対応する配列パターンとなる。
なお、M及びNは20以下であることが好ましい。これはM及びNが20を超える場合には、デモザイキング等の信号処理が複雑化するのに対し、基本配列パターンのサイズを大きくすることによる格別な効果が得られないからである。
上記各実施形態のRフィルタ34R及びBフィルタ34Bの配置は、前述の各図に示した配置に限定されず、少なくとも前述の特徴(4)を満たす範囲内で適宜変更してもよい。また、上記各実施形態では、同色の第1群の画素と第2群の画素(同色のカラーフィルタ)とが斜め方向(NW)に隣接して配置されているが、斜め方向(NE)に隣接して配置されていてもよい。
[変形例]
また、上述の各実施形態では、第1の色として緑(G)を採用し、第2の色として赤(R)及び青(B)を採用した例について説明したが、カラーフィルタで使用しうる色はこれらの色に限定されるものではなく、以下の条件を満たす色に対応するカラーフィルタを用いることもできる。
また、上述の各実施形態では、第1の色として緑(G)を採用し、第2の色として赤(R)及び青(B)を採用した例について説明したが、カラーフィルタで使用しうる色はこれらの色に限定されるものではなく、以下の条件を満たす色に対応するカラーフィルタを用いることもできる。
<第1のフィルタ(第1の色)の条件>
上記各実施形態では、本発明の第1の色を有する第1のフィルタとしてG色のGフィルタを例に挙げて説明を行ったが、Gフィルタの代わりに、あるいはGフィルタの一部に代えて、下記条件(1)から条件(4)のいずれかを満たすフィルタを用いてもよい。
上記各実施形態では、本発明の第1の色を有する第1のフィルタとしてG色のGフィルタを例に挙げて説明を行ったが、Gフィルタの代わりに、あるいはGフィルタの一部に代えて、下記条件(1)から条件(4)のいずれかを満たすフィルタを用いてもよい。
〔条件(1)〕
条件(1)は、輝度信号を得るための寄与率が50%以上であることである。この寄与率50%は、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定めた値であって、輝度データを得るための寄与率がR色、B色などよりも相対的に高くなる色が「第1の色」に含まれるように定めた値である。
条件(1)は、輝度信号を得るための寄与率が50%以上であることである。この寄与率50%は、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定めた値であって、輝度データを得るための寄与率がR色、B色などよりも相対的に高くなる色が「第1の色」に含まれるように定めた値である。
なお、寄与率が50%未満となる色は本発明の第2色(R色、B色など)となり、この色を有するフィルタが本発明の第2のフィルタとなる。
〔条件(2)〕
条件(2)は、フィルタの透過率のピークが波長480nm以上570nm以下の範囲内にあることである。フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この波長範囲は、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、前述の寄与率が相対的に低くなるR色、B色などのピークが含まれず、かつ寄与率が相対的に高くなるG色などのピークが含まれるように定められた範囲である。したがって、透過率のピークが波長480nm以上570nm以下の範囲内にあるフィルタを第1のフィルタとして用いることができる。なお、透過率のピークが波長480nm以上570nm以下の範囲外となるフィルタが本発明の第2のフィルタ(Rフィルタ、Bフィルタ)となる。
条件(2)は、フィルタの透過率のピークが波長480nm以上570nm以下の範囲内にあることである。フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この波長範囲は、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、前述の寄与率が相対的に低くなるR色、B色などのピークが含まれず、かつ寄与率が相対的に高くなるG色などのピークが含まれるように定められた範囲である。したがって、透過率のピークが波長480nm以上570nm以下の範囲内にあるフィルタを第1のフィルタとして用いることができる。なお、透過率のピークが波長480nm以上570nm以下の範囲外となるフィルタが本発明の第2のフィルタ(Rフィルタ、Bフィルタ)となる。
〔条件(3)〕
条件(3)は、波長500nm以上560nm以下の範囲内での透過率が第2のフィルタ(RフィルタやBフィルタ)の透過率よりも高いことである。この条件(3)においても、フィルタの透過率は例えば分光光度計で測定された値が用いられる。この条件(3)の波長範囲も、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、R色やB色などよりも前述の寄与率が相対的に高くなる色を有するフィルタの透過率が、RBフィルタなどの透過率よりも高くなる範囲である。したがって、透過率が波長500nm以上560nm以下の範囲内で相対的に高いフィルタを第1のフィルタとして用い、透過率が相対的に低いフィルタを第2のフィルタとして用いることができる。
条件(3)は、波長500nm以上560nm以下の範囲内での透過率が第2のフィルタ(RフィルタやBフィルタ)の透過率よりも高いことである。この条件(3)においても、フィルタの透過率は例えば分光光度計で測定された値が用いられる。この条件(3)の波長範囲も、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、R色やB色などよりも前述の寄与率が相対的に高くなる色を有するフィルタの透過率が、RBフィルタなどの透過率よりも高くなる範囲である。したがって、透過率が波長500nm以上560nm以下の範囲内で相対的に高いフィルタを第1のフィルタとして用い、透過率が相対的に低いフィルタを第2のフィルタとして用いることができる。
〔条件(4)〕
条件(4)は、3原色のうち最も輝度信号に寄与する色(例えばRGBのうちのG色)と、この3原色とは異なる色とを含む2色以上のフィルタを、第1のフィルタとして用いることである。この場合には、第1のフィルタの各色以外の色に対応するフィルタが第2のフィルタとなる。
条件(4)は、3原色のうち最も輝度信号に寄与する色(例えばRGBのうちのG色)と、この3原色とは異なる色とを含む2色以上のフィルタを、第1のフィルタとして用いることである。この場合には、第1のフィルタの各色以外の色に対応するフィルタが第2のフィルタとなる。
<複数種類の第1のフィルタ(Gフィルタ)>
したがって、第1のフィルタとしてのG色のGフィルタは一種類に限定されるものではなく、例えば複数種類のGフィルタ(G1フィルタ、G2フィルタ)を第1のフィルタとして用いることもできる。すなわち上述の各実施形態に係るカラーフィルタ(基本配列パターン)のGフィルタが、G1フィルタまたはG2フィルタに適宜置き換えられてもよい。G1フィルタは第1の波長帯域のG光を透過し、G2フィルタはG1フィルタと相関の高い第2の波長帯域のG光を透過する(図32参照)。
したがって、第1のフィルタとしてのG色のGフィルタは一種類に限定されるものではなく、例えば複数種類のGフィルタ(G1フィルタ、G2フィルタ)を第1のフィルタとして用いることもできる。すなわち上述の各実施形態に係るカラーフィルタ(基本配列パターン)のGフィルタが、G1フィルタまたはG2フィルタに適宜置き換えられてもよい。G1フィルタは第1の波長帯域のG光を透過し、G2フィルタはG1フィルタと相関の高い第2の波長帯域のG光を透過する(図32参照)。
G1フィルタとしては、現存のGフィルタ(例えば第1実施形態のGフィルタ)を用いることができる。また、G2フィルタとしては、G1フィルタと相関の高いフィルタを用いることができる。この場合に、G2フィルタが配置される受光素子の分光感度曲線のピーク値は、例えば波長500nmから535nmの範囲(現存のGフィルタが配置される受光素子の分光感度曲線のピーク値の近傍)にあることが望ましい。なお、4色(R、G1、G2、B)のカラーフィルタを決定する方法は、例えば特開2003−284084号に記載されている方法が用いられる。
このようにカラー撮像素子により取得される画像の色を4種類とし、取得される色情報を増やすことにより、3種類の色(RGB)のみが取得される場合と較べて、より正確に色を表現することができる。すなわち、眼で違うものに見える色は違う色に、同じものに見える色は同じ色にそれぞれ再現すること(「色の判別性」を向上させること)ができる。
なお、G1、G2フィルタの透過率は、第1実施形態のGフィルタの透過率と基本的には同じであるので、輝度信号を得るための寄与率は50%よりは高くなる。したがって、G1、G2フィルタは前述の条件(1)を満たす。
また、カラーフィルタ配列(受光素子)の分光感度特性を示す図32において、各G1、G2フィルタの透過率のピーク(各G画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。各G1、G2フィルタの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタの透過率よりも高くなる。このため、各G1、G2フィルタは前述の条件(2)、(3)も満たしている。
なお、各G1、G2フィルタの配置や個数は適宜変更してもよい。また、Gフィルタの種類を3種類以上に増加してもよい。
<透明フィルタ(Wフィルタ)>
上述の実施形態では、主としてRGB色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を透明フィルタW(白色画素)としてもよい。特に第1のフィルタ(Gフィルタ)の一部に代えて透明フィルタWを配置することが好ましい。このようにG画素の一部を白色画素に置き換えることにより、画素サイズを微細化しても色再現性の劣化を抑制することができる。
上述の実施形態では、主としてRGB色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を透明フィルタW(白色画素)としてもよい。特に第1のフィルタ(Gフィルタ)の一部に代えて透明フィルタWを配置することが好ましい。このようにG画素の一部を白色画素に置き換えることにより、画素サイズを微細化しても色再現性の劣化を抑制することができる。
透明フィルタWは、透明色(第1の色)のフィルタである。透明フィルタWは、可視光の波長域に対応する光を透過可能であり、例えばRGBの各色の光の透過率が50%以上となるフィルタである。透明フィルタWの透過率は、Gフィルタよりも高くなるので、輝度信号を得るための寄与率もG色(60%)よりは高くなり、前述の条件(1)を満たす。
カラーフィルタ配列(受光素子)の分光感度特性を示す図33において、透明フィルタWの透過率のピーク(白色画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。また、透明フィルタWの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタの透過率よりも高くなる。このため、透明フィルタWは前述の条件(2)、(3)も満たしている。なお、Gフィルタについても透明フィルタWと同様に前述の条件(1)〜(3)を満たしている。
このように透明フィルタWは、前述の条件(1)〜(3)を満たしているので、本発明の第1のフィルタとして用いることができる。なお、カラーフィルタ配列では、RGBの3原色のうち最も輝度信号に寄与するG色に対応するGフィルタの一部を透明フィルタWに置き換えているので、前述の条件(4)も満たしている。
<エメラルドフィルタ(Eフィルタ)>
上述の実施形態では、主としてRGB色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を他の色フィルタとしてもよく、例えばエメラルド(E)色に対応するフィルタE(エメラルド画素)としてもよい。特に第1のフィルタ(Gフィルタ)の一部に代えてエメラルドフィルタ(Eフィルタ)を配置しても良い。このようにGフィルタの一部をEフィルタで置き換えた4色のカラーフィルタ配列を用いることで、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができる。
上述の実施形態では、主としてRGB色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を他の色フィルタとしてもよく、例えばエメラルド(E)色に対応するフィルタE(エメラルド画素)としてもよい。特に第1のフィルタ(Gフィルタ)の一部に代えてエメラルドフィルタ(Eフィルタ)を配置しても良い。このようにGフィルタの一部をEフィルタで置き換えた4色のカラーフィルタ配列を用いることで、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができる。
カラーフィルタ配列(受光素子)の分光感度特性を示す図34において、エメラルドフィルタEの透過率のピーク(E画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。また、エメラルドフィルタEの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタの透過率よりも高くなる。このため、エメラルドフィルタEは前述の条件(2)、(3)を満たしている。また、カラーフィルタ配列では、RGBの3原色のうち最も輝度信号に寄与するG色に対応するGフィルタの一部をエメラルドフィルタEに置き換えているので、前述の条件(4)も満たしている。
なお、図34に示した分光特性では、エメラルドフィルタEがGフィルタよりも短波長側にピークを持つが、Gフィルタよりも長波長側にピークを持つ(少し黄色よりの色に見える)場合もある。このようにエメラルドフィルタEとしては、本発明の各条件を満たすものを選択可能であり、例えば、条件(1)を満たすようなエメラルドフィルタEを選択することもできる。
<他の色の種類>
上述の各実施形態では、原色RGBのカラーフィルタで構成されるカラーフィルタ配列について説明したが、例えば原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)に、Gを加えた4色の補色系のカラーフィルタのカラーフィルタ配列にも本発明を適用することができる。この場合も上記条件(1)〜(4)のいずれかを満たすカラーフィルタを本発明の第1のフィルタとし、他のカラーフィルタを第2のフィルタとする。
上述の各実施形態では、原色RGBのカラーフィルタで構成されるカラーフィルタ配列について説明したが、例えば原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)に、Gを加えた4色の補色系のカラーフィルタのカラーフィルタ配列にも本発明を適用することができる。この場合も上記条件(1)〜(4)のいずれかを満たすカラーフィルタを本発明の第1のフィルタとし、他のカラーフィルタを第2のフィルタとする。
<ハニカム配置>
上記各実施形態の各カラーフィルタ配列は、各色のカラーフィルタが水平方向(H)及び垂直方向(V)に2次元配列されてなる基本配列パターンを含み、かつこの基本配列パターンが水平方向(H)及び垂直方向(V)に繰り返し配置されてなるが、本発明はこれに限定されるものではない。
上記各実施形態の各カラーフィルタ配列は、各色のカラーフィルタが水平方向(H)及び垂直方向(V)に2次元配列されてなる基本配列パターンを含み、かつこの基本配列パターンが水平方向(H)及び垂直方向(V)に繰り返し配置されてなるが、本発明はこれに限定されるものではない。
例えば、上述の各実施形態の基本配列パターンを光軸回りに45°回転させた所謂ハニカム配列状の基本配列パターンを用いて、基本配列パターンを斜め方向(NE、NW)に繰り返し配置してなる配列パターンによってカラーフィルタを構成してもよい。
上記の各実施形態では、本発明のカラー撮像素子を備える撮像装置としてデジタルカメラを例に挙げて説明を行ったが、例えば内視鏡などの各種の撮像装置に本発明を適用することができる。
さらにまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
10,55,71…デジタルカメラ、20,41,58,72,75,77…カラー撮像素子、22,43,59,73…画像処理回路、33…画素、34R,34G,34B…R、G、Bフィルタ、44…電荷蓄積時間調整部、46A…第1群の画素、46B…第2群の画素、51…高感度画像生成部、52…高解像度画像生成部、53…広DR画像生成部、66,76…マイクロレンズ、69…視差画像生成部、P,P1…基本配列パターン
Claims (13)
- 水平方向及び垂直方向にそれぞれ所定画素間隔でマトリクス状に配列された光電変換素子で構成される第1群の画素と、前記第1群の画素の各光電変換素子に対して前記水平方向及び垂直方向にそれぞれ前記所定画素間隔の半分ずらした位置に配列された光電変換素子で構成される第2群の画素と、前記第1及び第2画素群上にそれぞれ同一の特定のカラーフィルタ配列で配列されてなるカラーフィルタとを備えるカラー撮像素子であって、
前記カラーフィルタ配列は、1色以上の第1の色に対応する第1のフィルタと輝度信号を得るための寄与率が前記第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとが配列された基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
前記第1のフィルタは、前記カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に1つ以上配置され、
前記第2の色の各色に対応する前記第2のフィルタは、前記基本配列パターン内に前記カラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置され、
前記第1のフィルタに対応する第1の色の画素数の比率は、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きいカラー撮像素子。 - 前記第1群の画素は、撮影光学系の互いに異なる2つの領域の一方を透過した被写体光を選択的に受光し、前記第2群の画素は、前記2つの領域の他方を透過した被写体光を選択的に受光する請求項1記載のカラー撮像素子。
- 前記2つの領域は、前記撮影光学系の光軸に対して対称な領域である請求項2記載のカラー撮像素子。
- 前記第2群の画素の感度は、前記第1群の画素の感度よりも低い請求項1記載のカラー撮像素子。
- 前記第2群の画素の面積は、前記第1群の画素の面積よりも小さい請求項4記載のカラー撮像素子。
- 前記第2群の画素上の前記カラーフィルタの光透過率は、前記第1群の画素上の前記カラーフィルタの光透過率よりも低い請求項4記載のカラー撮像素子。
- 前記第1及び第2のフィルタの上方にはそれぞれマイクロレンズが設けられており、
前記第2群の画素上に位置する前記マイクロレンズは、前記第1群の画素上に位置する前記マイクロレンズよりも小さい請求項4記載のカラー撮像素子。 - 請求項1記載のカラー撮像素子と、
前記カラー撮像素子の撮像面に被写体光を結像する撮影光学系と、
を備える撮像装置。 - 互いに前記斜め右上方向または斜め右下方向に隣接しかつ同色の前記カラーフィルタの下方に配置されている前記第1及び第2群の画素からそれぞれ出力される出力信号を加算して、画像を生成する第1画像生成手段を備える請求項8に記載の撮像装置。
- 前記第1群の画素からの出力信号と前記第2群の画素からの出力信号に基づき、前記第1及び第2群の画素のそれぞれの画素数よりも大きい画素数を有する画像を生成する第2画像生成手段を備える請求項8または9記載の撮像装置。
- 前記第2群の画素の電荷蓄積時間を前記第1群の画素の電荷蓄積時間よりも短くする電荷蓄積時間調整手段と、
前記第1群の画素からの出力信号により構成される画像と、前記第2群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像を生成する第3画像生成手段とを備える請求項8から10のいずれか1項に記載の撮像装置。 - 請求項2または3記載のカラー撮像素子と、
前記カラー撮像素子の撮像面に被写体光を結像する撮影光学系と、
前記第1群の画素からの出力信号によって構成される第1画像と、前記第2群の画素からの出力信号によって構成される第2画像とを含む視差画像を生成する第4画像生成手段と、
を備える撮像装置。 - 請求項4から7のいずれか1項に記載のカラー撮像素子と、
前記カラー撮像素子の撮像面に被写体光を結像する撮影光学系と、
前記第1群の画素からの出力信号により構成される画像と、前記第2群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像を生成する第3画像生成手段と、
を備える撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013551785A JP5621059B2 (ja) | 2011-12-27 | 2012-12-27 | カラー撮像素子及び撮像装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011286013 | 2011-12-27 | ||
JP2011286013 | 2011-12-27 | ||
JP2013551785A JP5621059B2 (ja) | 2011-12-27 | 2012-12-27 | カラー撮像素子及び撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5621059B2 true JP5621059B2 (ja) | 2014-11-05 |
JPWO2013100039A1 JPWO2013100039A1 (ja) | 2015-05-11 |
Family
ID=48697518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013551785A Expired - Fee Related JP5621059B2 (ja) | 2011-12-27 | 2012-12-27 | カラー撮像素子及び撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9100558B2 (ja) |
JP (1) | JP5621059B2 (ja) |
CN (1) | CN104025580A (ja) |
WO (1) | WO2013100039A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6051568B2 (ja) * | 2012-04-09 | 2016-12-27 | 株式会社ニコン | 撮像素子および撮像装置 |
WO2014007279A1 (ja) * | 2012-07-06 | 2014-01-09 | 富士フイルム株式会社 | カラー撮像素子および撮像装置 |
JP6338436B2 (ja) * | 2014-04-25 | 2018-06-06 | キヤノン株式会社 | 撮像装置及びその制御方法 |
US10348984B2 (en) * | 2014-08-28 | 2019-07-09 | Hitachi Kokusai Electric Inc. | Image pickup device and image pickup method which performs diagonal pixel offset and corrects a reduced modulation depth in a diagonal direction |
US20180048836A1 (en) * | 2015-03-18 | 2018-02-15 | Sony Corporation | Solid-state imaging device, driving method, and electronic apparatus |
US10097766B2 (en) | 2016-08-31 | 2018-10-09 | Microsoft Technology Licensing, Llc | Provision of exposure times for a multi-exposure image |
CN110326284B (zh) * | 2017-03-27 | 2021-11-30 | 株式会社尼康 | 摄像装置及摄像元件 |
JP7497216B2 (ja) | 2020-05-29 | 2024-06-10 | キヤノン株式会社 | 画像処理装置及び方法、撮像装置、プログラム、記憶媒体 |
KR20220140073A (ko) * | 2021-04-08 | 2022-10-18 | 삼성디스플레이 주식회사 | 표시 장치 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001085664A (ja) * | 1999-07-15 | 2001-03-30 | Sony Corp | 固体撮像素子およびその駆動方法並びにカメラシステム |
JP2003007994A (ja) * | 2001-06-27 | 2003-01-10 | Konica Corp | 固体撮像素子、立体カメラ装置及び測距装置 |
JP2003116144A (ja) * | 2001-10-05 | 2003-04-18 | Fuji Photo Film Co Ltd | 固体撮像装置 |
WO2011118089A1 (ja) * | 2010-03-24 | 2011-09-29 | 富士フイルム株式会社 | 立体撮像装置 |
WO2011132619A1 (ja) * | 2010-04-20 | 2011-10-27 | 富士フイルム株式会社 | 固体撮像素子及び撮像装置 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2739586B2 (ja) | 1989-02-10 | 1998-04-15 | 富士写真フイルム株式会社 | カラー固体撮像デバイス |
JPH0823543A (ja) | 1994-07-07 | 1996-01-23 | Canon Inc | 撮像装置 |
JPH0823542A (ja) | 1994-07-11 | 1996-01-23 | Canon Inc | 撮像装置 |
DE19616440A1 (de) | 1996-04-25 | 1997-10-30 | Eastman Kodak Co | Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter |
EP0930789B1 (en) | 1998-01-20 | 2005-03-23 | Hewlett-Packard Company, A Delaware Corporation | Colour image pickup device |
JP3592147B2 (ja) * | 1998-08-20 | 2004-11-24 | キヤノン株式会社 | 固体撮像装置 |
JP4098438B2 (ja) | 1999-04-15 | 2008-06-11 | オリンパス株式会社 | カラー撮像素子及びカラー撮像装置 |
EP1357760B1 (en) | 2001-01-09 | 2011-11-09 | Sony Corporation | Image processing device and method |
JP2003221839A (ja) | 2002-01-29 | 2003-08-08 | Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd | 建設機械の回路 |
JP2003284084A (ja) | 2002-03-20 | 2003-10-03 | Sony Corp | 画像処理装置および方法、並びに画像処理装置の製造方法 |
JP4139641B2 (ja) | 2002-07-19 | 2008-08-27 | 富士フイルム株式会社 | 固体撮像素子 |
JP4019417B2 (ja) | 2003-01-14 | 2007-12-12 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2004266369A (ja) | 2003-02-21 | 2004-09-24 | Sony Corp | 固体撮像装置およびその駆動方法 |
JP2004336468A (ja) | 2003-05-08 | 2004-11-25 | Fuji Film Microdevices Co Ltd | 撮像装置及び画像処理方法 |
JP4385282B2 (ja) | 2003-10-31 | 2009-12-16 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP4500574B2 (ja) | 2004-03-30 | 2010-07-14 | 富士フイルム株式会社 | 広ダイナミックレンジカラー固体撮像装置及びこの固体撮像装置を搭載したデジタルカメラ |
JP5151075B2 (ja) | 2005-06-21 | 2013-02-27 | ソニー株式会社 | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム |
US7821553B2 (en) | 2005-12-30 | 2010-10-26 | International Business Machines Corporation | Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor |
JP2007306064A (ja) | 2006-05-08 | 2007-11-22 | Fujifilm Corp | 撮像装置 |
JP4662883B2 (ja) | 2006-05-15 | 2011-03-30 | 富士フイルム株式会社 | 二次元カラー固体撮像素子 |
JP4717720B2 (ja) | 2006-06-05 | 2011-07-06 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
US7769230B2 (en) | 2006-11-30 | 2010-08-03 | Eastman Kodak Company | Producing low resolution images |
US7701496B2 (en) | 2006-12-22 | 2010-04-20 | Xerox Corporation | Color filter pattern for color filter arrays including a demosaicking algorithm |
JP2008160674A (ja) | 2006-12-26 | 2008-07-10 | Fujifilm Corp | 固体撮像装置及び固体撮像装置の駆動方法 |
JP5082528B2 (ja) | 2007-03-23 | 2012-11-28 | ソニー株式会社 | 固体撮像装置及び撮像装置 |
US7745779B2 (en) | 2008-02-08 | 2010-06-29 | Aptina Imaging Corporation | Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers |
JP4544318B2 (ja) | 2008-03-11 | 2010-09-15 | 富士フイルム株式会社 | 画像処理装置、方法及びプログラム |
JP4448888B2 (ja) * | 2008-04-01 | 2010-04-14 | 富士フイルム株式会社 | 撮像装置及び撮像装置の信号処理方法 |
EP4336447A1 (en) | 2008-05-20 | 2024-03-13 | FotoNation Limited | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
JP5149143B2 (ja) | 2008-12-24 | 2013-02-20 | シャープ株式会社 | 固体撮像素子およびその製造方法、電子情報機器 |
JP5471117B2 (ja) * | 2009-07-24 | 2014-04-16 | ソニー株式会社 | 固体撮像装置とその製造方法並びにカメラ |
-
2012
- 2012-12-27 JP JP2013551785A patent/JP5621059B2/ja not_active Expired - Fee Related
- 2012-12-27 CN CN201280065014.0A patent/CN104025580A/zh active Pending
- 2012-12-27 WO PCT/JP2012/083844 patent/WO2013100039A1/ja active Application Filing
-
2014
- 2014-06-25 US US14/314,782 patent/US9100558B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001085664A (ja) * | 1999-07-15 | 2001-03-30 | Sony Corp | 固体撮像素子およびその駆動方法並びにカメラシステム |
JP2003007994A (ja) * | 2001-06-27 | 2003-01-10 | Konica Corp | 固体撮像素子、立体カメラ装置及び測距装置 |
JP2003116144A (ja) * | 2001-10-05 | 2003-04-18 | Fuji Photo Film Co Ltd | 固体撮像装置 |
WO2011118089A1 (ja) * | 2010-03-24 | 2011-09-29 | 富士フイルム株式会社 | 立体撮像装置 |
WO2011132619A1 (ja) * | 2010-04-20 | 2011-10-27 | 富士フイルム株式会社 | 固体撮像素子及び撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2013100039A1 (ja) | 2015-05-11 |
WO2013100039A1 (ja) | 2013-07-04 |
US9100558B2 (en) | 2015-08-04 |
US20140307141A1 (en) | 2014-10-16 |
CN104025580A (zh) | 2014-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5621059B2 (ja) | カラー撮像素子及び撮像装置 | |
JP5621056B2 (ja) | カラー撮像素子 | |
JP5547349B2 (ja) | デジタルカメラ | |
JP5538553B2 (ja) | 固体撮像素子及び撮像装置 | |
JP5232118B2 (ja) | 撮像デバイスおよび電子カメラ | |
CN104041009B (zh) | 摄像元件及摄像装置 | |
JP5227368B2 (ja) | 3次元撮像装置 | |
US9325954B2 (en) | Color imaging element having phase difference detection pixels and imaging apparatus equipped with the same | |
JP5702896B2 (ja) | カラー撮像素子及び撮像装置 | |
JP5621054B2 (ja) | カラー撮像素子 | |
JP5698874B2 (ja) | カラー撮像素子及び撮像装置 | |
JP5702895B2 (ja) | カラー撮像素子および撮像装置 | |
WO2014007280A1 (ja) | カラー撮像素子および撮像装置 | |
JP5621057B2 (ja) | カラー撮像素子 | |
JP5507362B2 (ja) | 3次元撮像装置および光透過板 | |
JP5621058B2 (ja) | カラー撮像素子 | |
WO2013100096A1 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
WO2013100095A1 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140829 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5621059 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |