JP5698875B2 - カラー撮像素子および撮像装置 - Google Patents

カラー撮像素子および撮像装置 Download PDF

Info

Publication number
JP5698875B2
JP5698875B2 JP2014523762A JP2014523762A JP5698875B2 JP 5698875 B2 JP5698875 B2 JP 5698875B2 JP 2014523762 A JP2014523762 A JP 2014523762A JP 2014523762 A JP2014523762 A JP 2014523762A JP 5698875 B2 JP5698875 B2 JP 5698875B2
Authority
JP
Japan
Prior art keywords
color
filter
pixels
arrangement
colors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014523762A
Other languages
English (en)
Other versions
JPWO2014007283A1 (ja
Inventor
田中 誠二
誠二 田中
林 健吉
健吉 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014523762A priority Critical patent/JP5698875B2/ja
Application granted granted Critical
Publication of JP5698875B2 publication Critical patent/JP5698875B2/ja
Publication of JPWO2014007283A1 publication Critical patent/JPWO2014007283A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本発明はカラー撮像素子および撮像装置に係り、特に色モワレの発生の低減及び高解像度化が可能なカラー撮像素子、およびそのようなカラー撮像素子を備える撮像装置に関する。
単板式のカラー撮像素子では、各画素上にそれぞれ単色のカラーフィルタが設けられるので各画素が単色の色情報しか持たない。このため、単板カラー撮像素子の出力画像はRAW画像(モザイク画像)となるので、欠落している色の画素を、周囲の画素から補間する処理(デモザイク処理)により多チャンネル画像を得ている。この場合に問題となるのが、高周波の画像信号の再現特性であり、カラー撮像素子は白黒用の撮像素子と比較して、撮像した画像にエリアシングが発生し易いため、色モワレ(偽色)の発生を抑圧しつつ再現帯域を広げて高解像化するということが重要な課題である。
単板式のカラー撮像素子で最も広く用いられているカラーフィルタの色配列である原色系ベイヤ配列は、緑(G)画素を市松状に、赤(R)、青(B)を線順次に配置しているため、G信号は斜め方向で、R、B信号は水平、垂直方向の高周波信号を生成する際の再現精度が問題である。
図12(A)に示すような白黒の縦縞模様(高周波画像)が、図12(B)に示すベイヤ配列のカラーフィルタを有するカラー撮像素子に入射した場合、これをベイヤの色配列に振り分けて色毎に比較すると、図12(C)から(E)に示すようにRは薄い平坦、Bは濃い平坦、Gは濃淡のモザイク状の色画像となり、本来、白黒画像であるのに対し、RGB間に濃度差(レベル差)は起きないものが、色配列と入力周波数によっては色が付いた状態となってしまう。
同様に、図13(A)に示すような斜めの白黒の高周波画像が、図13(B)に示すベイヤ配列のカラーフィルタを有する撮像素子に入射した場合、これをベイヤの色配列に振り分けて色毎に比較すると、図13(C)から(E)に示すようにRとBは薄い平坦、Gは濃い平坦の色画像となり、仮に黒の値を0、白の値を255とすると、斜めの白黒の高周波画像は、Gのみ255となるため、緑色になってしまう。このようにベイヤ配列では、斜めの高周波画像を正しく再現することができない。
一般に単板式のカラー撮像素子を使用する撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。
このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が着目画素の色を含む3色と着目画素の4辺のいずれかにおいて隣接する配列制限条件を満たす3色ランダム配列としたカラー撮像素子が提案されている(特許文献1)。
また、分光感度が異なる複数のフィルタを有し、そのうち第1のフィルタと第2のフィルタが、画像センサの画素格子の一方の対角方向に第1の周期で交互に配置されているとともに、他方の対角方向に第2の周期で交互に配置されているカラーフィルタ配列の画像センサ(カラー撮像素子)が提案されている(特許文献2)。
更に、RGBの3原色のカラー固体撮像素子(カラー撮像素子)において、R、G、Bを水平に配置した3画素のセットを垂直方向にジグザグにずらしながら配置することによって、RGBそれぞれの出現確率を均等にし、かつ撮像面上の任意の直線(水平、垂直、斜めの直線)が全ての色を通過するようにした色配列が提案されている(特許文献3)。
更にまた、RGBの3原色のうちのR、Bを水平方向及び垂直方向にそれぞれ3画素置きに配置し、これらのR、Bの間にGを配置したカラー撮像素子が提案されている(特許文献4)。
特開2000−308080号公報 特開2005−136766号公報 特開平11−285012号公報 特開平8−23543号公報
特許文献1に記載のカラー撮像素子は、フィルタ配列がランダムとなるため後段でのデモザイク処理を行う際に、ランダムパターンごとに最適化する必要があり、デモザイク処理が煩雑になるという問題がある。また、ランダム配列では、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。ここで、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に伴うRGBのモザイク画像から画素毎にRGBの全ての色情報を算出(同時式に変換)する処理であって、デモザイキング処理、又は同時化処理とも言われる(本明細書内において同じ)。
また、特許文献2に記載のカラー撮像素子は、G画素(輝度画素)が市松状(チェッカーフラグ状)に配置されているため、限界解像度領域(特に斜め方向)での画素再現精度が良くないという問題がある。
特許文献3に記載のカラー撮像素子は、任意の直線上に全ての色のフィルタが存在するため、偽色の発生を抑えることができる利点があるが、RGBの画素数の比率が等しいため、高周波再現性がベイヤ配列に比べて低下するという問題がある。尚、ベイヤ配列の場合、輝度信号を得るために最も寄与するGの画素数の比率が、R、Bのそれぞれの画素数の2倍になっている。
一方、特許文献4に記載のカラー撮像素子は、R、Bそれぞれの画素数に対するGの画素数の比率が6倍とベイヤ配列よりも高く、水平又は垂直方向にG画素のみのラインが存在するため、水平又は垂直方向に高周波部の偽色に対しては有効でない。
本発明はこのような事情に鑑みてなされたもので、偽色の発生の抑圧及び高解像度化を図ることができるとともに、従来のランダム配列に比べて後段の処理を簡略化することができるカラー撮像素子を提供することを目的とする。また本発明は、そのようなカラー撮像素子を用いた撮像装置を提供することを目的とする。
前記目的を達成するために本発明の一の態様は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向に4×4画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置され、カラーフィルタの配列は、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを有し、第1のフィルタは、カラーフィルタの配列の第1の方向と、第2の方向と、第1の方向及び第2の方向に対して傾いた第3の方向及び第4の方向とを含む各方向の画素ライン内に1つ以上配置され、かつ基本配列パターン内の第1の方向及び第2の方向の各画素ライン内に2つ配置され、第2の色の各色に対応する第2のフィルタは、基本配列パターン内の第1の方向及び第2の方向の各画素ライン内にそれぞれ1つ配置され、カラーフィルタの配列は、第1の方向、第2の方向、第3の方向及び第4の方向にそれぞれ2画素以上連続する第1のフィルタを含むカラー撮像素子である。
本発明の他の態様は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向に4×4画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置され、カラーフィルタの配列は、透過率のピークが波長480nm以上570nm以下の範囲内にある1色以上の第1の色に対応する第1のフィルタと、透過率のピークが波長480nm以上570nm以下の範囲の外にある2色以上の第2の色に対応する第2のフィルタとを有し、第1のフィルタは、カラーフィルタの配列の第1の方向と、第2の方向と、第1の方向及び第2の方向に対して傾いた第3の方向及び第4の方向とを含む各方向の画素ライン内に1つ以上配置され、かつ基本配列パターン内の第1の方向及び第2の方向の各画素ライン内に2つ配置され、第2の色の各色に対応する第2のフィルタは、基本配列パターン内の第1の方向及び第2の方向の各画素ライン内にそれぞれ1つ配置され、カラーフィルタの配列は、第1の方向、第2の方向、第3の方向及び第4の方向にそれぞれ2画素以上連続する第1のフィルタを含むカラー撮像素子である。
本発明の更に他の態様は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向に4×4画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置され、カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、波長500nm以上560nm以下の範囲内で透過率が第1のフィルタよりも低くなる2色以上の第2の色に対応する第2のフィルタとを有し、第1のフィルタは、カラーフィルタの配列の第1の方向と、第2の方向と、第1の方向及び第2の方向に対して傾いた第3の方向及び第4の方向とを含む各方向の画素ライン内に1つ以上配置され、かつ基本配列パターン内の第1の方向及び第2の方向の各画素ライン内に2つ配置され、第2の色の各色に対応する第2のフィルタは、基本配列パターン内の第1の方向及び第2の方向の各画素ライン内にそれぞれ1つ配置され、カラーフィルタの配列は、第1の方向、第2の方向、第3の方向及び第4の方向にそれぞれ2画素以上連続する第1のフィルタを含むカラー撮像素子である。
本発明の更に他の態様は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向に4×4画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置され、カラーフィルタの配列は、3原色のうち最も輝度信号に寄与する色と3原色とは異なる色である第4の色とを含む2色以上の第1の色に対応する第1のフィルタと、第1の色以外の2色以上の第2の色に対応する第2のフィルタとを有し、第1のフィルタは、カラーフィルタの配列の第1の方向と、第2の方向と、第1の方向及び第2の方向に対して傾いた第3の方向及び第4の方向とを含む各方向の画素ライン内に1つ以上配置され、かつ基本配列パターン内の第1の方向及び第2の方向の各画素ライン内に2つ配置され、第2の色の各色に対応する第2のフィルタは、基本配列パターン内の第1の方向及び第2の方向の各画素ライン内にそれぞれ1つ配置され、カラーフィルタの配列は、第1の方向、第2の方向、第3の方向及び第4の方向にそれぞれ2画素以上連続する第1のフィルタを含むカラー撮像素子である。
これらの態様によれば、第1のフィルタが、カラーフィルタの配列の第1の方向から第4の方向の各方向の画素ライン内に1画素以上配置されるので、高周波領域でのデモザイク処理の再現精度を向上させることができる。また、第1の色以外の2色以上の第2の色に対応する第2のフィルタについてもカラーフィルタ配列の第1及び第2の方向の各画素ライン内にそれぞれ1つ以上配置するようにしたため、色モワレ(偽色)の発生を抑圧して高解像度化を図ることができる。尚、4×4画素に対応する基本配列パターンは、上記の条件を満足する最小サイズである。
また、カラーフィルタの配列は、基本配列パターンが第1及び第2の方向に繰り返して配置されているため、後段でのデモザイク処理を行う際に、繰り返しパターンにしたがって処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
更に、第1のフィルタに対応する2色以上の第1の色の画素数は、第2のフィルタに対応する第2の色の各色の画素数の2倍となるため、エリアシングを抑制することができ高周波再現性も良い。
更にまた、カラーフィルタの配列は、第1の方向、第2の方向、第3の方向及び第4の方向にそれぞれ2画素以上連続する第1のフィルタを含んでいる。これにより、それぞれ連続している第1のフィルタに対応する2画素の出力に基づいて最小画素間隔で第1から第4の方向のうち輝度の変化の小さい方向(相関の高い方向)を判別することができる。
本発明の更に他の態様に係るカラー撮像素子において、輝度信号を得るための第1の色の寄与率は、50%以上であり、輝度信号を得るための第2の色の寄与率は、50%未満である。
本発明の更に他の態様に係るカラー撮像素子において、第1の色は、第1の緑(G)、第1のGとは波長域が異なる第2のG、及び白(W)のうちの1色以上の色を含み、第2の色は、赤(R)、青(B)の色を含むことが好ましい。
本発明の目的を達成するための撮像装置は、撮影光学系と、撮影光学系を介して被写体像が結像するカラー撮像素子と、結像した被写体像を示す画像データを生成する画像データ生成部と、を備え、カラー撮像素子は上記態様のいずれかに係るカラー撮像素子である。
本発明のカラー撮像素子及び撮像装置によれば、輝度系画素に対応する第1のフィルタが、カラーフィルタの配列の第1の方向から第4の方向の各方向の画素ライン内に1画素以上配置されるので、高周波領域でのデモザイク処理の再現精度を向上させることができる。また、2色以上の第2の色に対応する第2のフィルタは、基本配列パターン内の第1の方向及び第2の方向の各画素ライン内にそれぞれ1つ配置されるため、色モワレ(偽色)の発生を抑圧して高解像度化を図ることができる。
また、本発明に係るカラーフィルタ配列は、基本配列パターンが第1の方向及び第2の方向に繰り返されているため、後段でのデモザイク処理を行う際に、繰り返しパターンにしたがって処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができ、特に本発明に係る4×4画素に対応する基本配列パターンは、上記の条件を満足する最小サイズである。
更に、基本配列パターン内で第1の方向、第2の方向、第3の方向及び第4の方向にそれぞれ2画素以上連続する第1のフィルタが配置されるため、最小画素間隔で第1から第4の方向のうち輝度の変化の小さい方向(相関の高い方向)を判別することができる。
図1は、デジタルカメラの電気的構成を示すブロック図である。 図2は、カラー撮像素子の撮像面の正面図である。 図3は、第1の実施形態のカラーフィルタ配列を示す図である。 図4は、図3中のカラーフィルタ配列に含まれるG画素の画素値から相関方向を判別する方法を説明するために使用した図である。 図5は、本発明に係るカラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンの概念を説明するために使用した図である。 図6Aは、本発明に係るカラー撮像素子のカラーフィルタ配列を別の観点から説明するために使用した図である。 図6Bは、本発明に係るカラー撮像素子のカラーフィルタ配列を別の観点から説明するために使用した他の図である。 図7は、第2実施形態のカラーフィルタ配列を示す図である。 図8は、第3実施形態のカラーフィルタ配列を示すである。 図9は、Rフィルタ、Gフィルタ、Bフィルタ及びWフィルタが配置される各フォトダイオードの分光感度特性を示すグラフである。 図10は、Rフィルタ、G1フィルタ、G2フィルタ及びBフィルタが配置される各フォトダイオードの分光感度特性を示すグラフである。 図11は、Rフィルタ、Gフィルタ、Bフィルタ及びEフィルタが配置される各フォトダイオードの分光感度特性を示すグラフである。 図12は、従来のベイヤ配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図である。 図13は、従来のベイヤ配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した他の図である。
[デジタルカメラの全体構成]
図1は本発明に係るカラー撮像素子を備えるデジタルカメラ9(撮像装置)のブロック図である。デジタルカメラ9は、大別して、撮影光学系10、カラー撮像素子12、撮影処理部14、画像処理部16、駆動部18、及び制御部20等を備えている。
撮影光学系10は、被写体像をカラー撮像素子12の撮像面上に結像する。カラー撮像素子12は、その撮像面上に2次元配列された光電変換素子で構成される複数の画素と、各画素の受光面の上方に設けられたカラーフィルタとを備えた、いわゆる単板式のカラー撮像素子である。ここで、「〜上」や「上方」とは、カラー撮像素子12の撮像面に対して被写体光が入射してくる側の方向を指す。
カラー撮像素子12に結像された被写体像は、各画素の光電変換素子によって入射光量に応じた信号電荷に変換される。各光電変換素子に蓄積された信号電荷は、制御部20の指令に従って駆動部18から与えられる読出し指令信号に基づいて信号電荷に応じた電圧信号(画像信号)としてカラー撮像素子12から順次読み出される。カラー撮像素子12から読み出される画像信号は、カラー撮像素子12のカラーフィルタ配列に対応した色のモザイク画像を示す信号である。尚、カラー撮像素子12は、CCD(Charge Coupled Device)型撮像素子、CMOS(Complementary Metal Oxide Semiconductor)型撮像素子などの他の種類の撮像素子であってもよい。
カラー撮像素子12から読み出された画像信号は、撮影処理部14(画像データ生成部)に入力される。撮影処理部14は、画像信号に含まれるリセットノイズを除去するための相関二重サンプリング回路(CDS)、画像信号を増幅し、一定レベルの大きさにコントロールするためのAGC回路、及びA/D変換器を有している。この撮影処理部14は、入力された画像信号を相関二重サンプリング処理するとともに増幅した後、デジタルの画像信号に変換してなるRAWデータを画像処理部16に出力する。尚、カラー撮像素子12がCMOS型撮像素子の場合には、カラー撮像素子12から直接デジタルの画像信号が読み出され、画像処理部16に出力される。なお、カラー撮像素子12がMOS型撮像素子である場合は、A/D変換器は撮像素子内に内蔵されていることも多く、また上記相関二重サンプリングは必要としない場合もある。
画像処理部16(画像データ生成部)は、ホワイトバランス補正回路、ガンマ補正回路、デモザイク処理回路(単板式のカラー撮像素子12のカラーフィルタ配列に伴うRGBのモザイク画像から画素毎にRGBの全ての色情報を算出(同時式に変換)する処理回路)、輝度・色差信号生成回路、輪郭補正回路、色補正回路等を有している。画像処理部16は、制御部20からの指令に従い、撮影処理部14から入力したモザイク画像のRAWデータに所要の信号処理を施して、画素毎にRGB全ての色情報を有するRGB画素信号を生成し、これに基づいて輝度データ(Yデータ)と色差データ(Cr、Cbデータ)とからなる画像データ(YUVデータ)を生成する。
画像処理部16で生成された画像データは、圧縮/伸張処理回路により静止画に対しては、JPEG規格に準拠した圧縮処理が施され、動画に対してはMPEG2規格に準拠した圧縮処理が施された後、図示しない記録メディア(例えばメモリカード)に記録され、また、液晶モニタ等の表示手段(図示せず)に出力されて表示される。なお本実施形態において、記録メディアはデジタルカメラ9に着脱可能なものに限られず内蔵式の光磁気記録メディアでもよく、表示手段もデジタルカメラ9に備えられたものに限られずデジタルカメラ9に接続された外部のディスプレイでもよい。
[カラー撮像素子]
図2に示すようにカラー撮像素子12の撮像面には、水平方向及び垂直方向に2次元配列された光電変換素子PDで構成される複数の画素21が設けられている。ここで、水平方向は本発明の第1の方向及び第2の方向のうちの一方向に相当し、垂直方向は本発明の第1の方向及び第2の方向のうちの他方向に相当する。
図3はカラー撮像素子12に配設されたカラーフィルタの第1の実施形態のカラーフィルタ配列を示す図である。
図3に示すようにカラー撮像素子12の撮像面上には、各画素21上に配設されたカラーフィルタにより構成されるカラーフィルタ配列22が設けられる。カラーフィルタ配列22は、赤(R)、緑(G)、青(B)の3原色のカラーフィルタ(以下、Rフィルタ、Gフィルタ、Bフィルタという)23R、23G、23Bにより構成されている。そして、各画素21上には、RGBフィルタ23R、23G、23Bのいずれかが配置される。以下、Rフィルタ23Rが配置された画素を「R画素」、Gフィルタ23Gが配置された画素を「G画素」、Bフィルタ23Bが配置された画素を「B画素」という。
ここで、G色は本発明の第1の色に相当し、Gフィルタ23Gは本発明の第1のフィルタに相当する。また、R色及びB色は本発明の第2の色に相当し、RBフィルタ23R、23Bは本発明の第2のフィルタに相当する。
[カラーフィルタ配列の第1の実施形態]
図3に示したカラー撮像素子のカラーフィルタ配列の第1の実施形態は、下記の特徴(1)〜(5)を有している。
〔特徴(1)〕
図3に示すカラーフィルタ配列は、4×4画素に対応する正方配列パターンからなる基本配列パターンP(太枠で示したパターン)を含み、この基本配列パターンPが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、B、の各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が周期性をもって配列されている。
このようにRフィルタ、Gフィルタ、Bフィルタが周期性をもって配列されているため、カラー撮像素子から読み出されるR、G、B信号のデモザイク処理等を行う際に、繰り返しパターンにしたがって処理を行うことができる。
また、基本配列パターンPの単位で間引き処理して画像を縮小する場合、間引き処理された縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。
〔特徴(2)〕
図3に示すカラーフィルタ配列は、第2の色(この実施形態では、R、Bの色)と比較して輝度信号を得るために寄与する第1の色(この実施形態では、Gの色)に対応するGフィルタが、カラーフィルタ配列の水平方向、垂直方向、斜め右上方向(NE)、及び斜め右下方向(NW)の各画素ライン内に配置されている。ここで、画素ラインとは、水平、垂直、斜め右上、又は斜め左上方向に一列に画素が配列されているラインをいい、以下、単に「ライン」という。
また、斜め右上方向及び斜め左上方向は、水平方向及び垂直方向に対してそれぞれ45°傾いた方向である。これは、複数の画素及びカラーフィルタが水平方向及び垂直方向に正方格子状に配列されているからである。従って、複数の画素及びカラーフィルタが矩形格子状に配列されている場合には、その矩形格子の対角線の方向が、斜め右上方向及び斜め右下方向に対応する。
なお、ここで斜め右上方向は本発明の第3の方向及び第4の方向のうち一方向に相当し、斜め右下方向は本発明の第3の方向及び第4の方向のうちの他方向に相当する。
輝度系画素に対応するGフィルタが、カラーフィルタ配列の水平方向、垂直方向、斜め右上方向及び斜め右下方向の各ライン内に配置されるため、入力像の高周波となる方向によらず高周波領域でのデモザイク処理の再現精度を向上させることができる。ここで、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に伴うRGBのモザイク画像から画素毎にRGBの全ての色情報を算出(同時式に変換)する処理であって、デモザイク処理、デモザイキング処理とも言う。
〔特徴(3)〕
図3に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ4画素、8画素、4画素になっている。即ち、R、G、B画素の各画素数の比率は、1:2:1になっており、輝度信号を得るために寄与するG画素の画素数は、R画素、B画素の各画素数の2倍になっている。
上記のように輝度系画素(G画素)の画素数が、R,B画素の各画素数の2倍となっているため、デモザイク処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。
〔特徴(4)〕
図3に示すカラーフィルタ配列は、輝度系画素である第1の色(Gの色)以外の2色以上の第2の色(この実施形態では、R,Bの色)に対応するRフィルタ、Bフィルタが、基本配列パターンP内においてカラーフィルタ配列の水平方向及び垂直方向の各ライン内にそれぞれ1つ以上配置されている。
Rフィルタ、Bフィルタが、カラーフィルタ配列の水平方向、及び垂直方向の各ライン内に配置されるため、色モワレ(偽色)の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
〔特徴(5)〕
図4に示すようにカラーフィルタ配列は、Gフィルタの「かたまり」(複数のGフィルタが隣接している部分)が、基本配列パターンのサイズに対応する周期で存在している。水平方向、垂直方向、斜め右上方向又は斜め右下方向に隣接するGフィルタに対応するG画素の画素値を使用して、輝度の相関の高い方向を最小画素間隔で判別することができる。
例えば、図4に示す基本配列パターンPの右上方向のGフィルタに対応する3つのG画素を取り出し、水平方向に隣接するG画素の画素値の差分絶対値、垂直方向に隣接するG画素の画素値の差分絶対値、斜め右下方向に隣接するG画素の画素値の差分絶対値を求めることができる。
同様に、図4に示す基本配列パターンPの左下方向のGフィルタに対応する4つのG画素を取り出し、水平方向に隣接するG画素の画素値の差分絶対値、垂直方向に隣接するG画素の画素値の差分絶対値、斜め右上方向に隣接するG画素の画素値の差分絶対値を求めることができる。
このようにして求めた水平方向、垂直方向、斜め右上方向及び斜め右下方向のG画素の画素値の差分絶対値のうち、差分絶対値の小さい方向に相関があると判断することができる。
即ち、このカラーフィルタ配列によれば、最小画素間隔で2画素連続するG画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。ここで、画素間隔とは、基準画素の中心点から隣接画素の中心点まで画素間隔(ピッチ)をいう。この方向判別結果は、周囲の画素から補間する処理(デモザイク処理)に使用することができる。なおこの場合、例えば前述のデモザイク処理回路内に方向判別処理部を設け、方向判別処理部で方向判別を行うようにするとよい。
図5は本発明に係るカラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンの概念を説明するために使用した図である。
図5に示すように図3等に示した基本配列パターンPを、水平方向(図5上の右方向)に2画素シフトした基本配列パターンをP’とし、また、水平方向(図5上の右方向)及び垂直方向(図5上の下方向)にそれぞれ3画素ずつシフトした基本配列パターンをP”とすると、これらの基本配列パターンP’、P”を水平方向及び垂直方向に繰り返し配置しても同じカラーフィルタ配列になる。
即ち、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図5に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在する。尚、基本配列パターンP’は、基本配列パターンPを時計回り方向に90度回転したものと同じである。
上記基本配列パターンP’、P”を含むいずれの基本配列パターン(図5に示すカラーフィルタ配列から4×4画素で切り出される配列パターン)も、基本配列パターンPに基づいて説明した特徴(1)〜(5)と同じ特徴を有している。
また、基本配列パターンのバリエーションは、上記のように4×4画素の切り出し位置により複数存在するが、更に基本配列パターン(カラーフィルタ配列)を90度、180度、又は270度回転させたもの、あるいは鏡面対称にしたものも含み、これらの基本配列パターンにより構成されるカラーフィルタ配列は、基本配列パターンPに基づいて説明した特徴(1)〜(5)と同じ特徴を有し、実質的に同種のカラーフィルタ配列である。
尚、基本配列パターンPに基づいて説明した特徴(1)〜(5)を全て備えたカラーフィルタ配列の中で、本発明に係るカラーフィルタ配列は、基本配列パターンのサイズが最小になるものであり、かつ実質的に1種類のみ存在する。
<別の観点により把握されるカラーフィルタ配列>
図3に示した第1の実施形態のカラーフィルタ配列は、以下のように把握することができる。
図6Aに示すようにRBGGの1×4画素の配列パターンpを1単位とし、この配列パターンpを水平方向に繰り返して配置することにより、第1の実施形態のカラーフィルタ配列における水平方向の1ライン分のフィルタ配列が構成されている。
また、図6Bに示すように、4×4画素の基本配列パターンに対応する垂直方向の4ライン(ラインL1〜ラインL4)は、それぞれ水平方向にずれて配置されている。
ここで、ラインL1〜L4の各ラインのずれ方を検討する。
図6B上で上下方向に隣接するラインの上側のラインに対する下側のラインのずれ量は、以下の通りである。
ラインL1はその上のラインL4に対して右方向に2画素ずれ、ラインL2はその上のラインL1対して右方向に1画素ずれ、ラインL3はその上のラインL2対して右方向に2画素ずれ、ラインL4はその上のラインL3対して右方向に3画素ずれ、これを繰り返している。
即ち、ラインL1〜L4は、その上のラインに対して、それぞれ右方向に2画素→1画素→2画素→3画素→…と順次ずれて配置されている。各ラインL1〜L4のずれ方の特徴としては、1画素〜3画素のずれ量の範囲内で、順次ずれ量の拡大と縮小とを繰り返している。
以上のように1×4画素の配列パターンpとして2つのGが連続した配列パターンを使用し、かつラインL1〜L4を上記のようにずらすことにより、前述した特徴(1)〜(5)を備えたカラーフィルタ配列が構成されている。
[カラー撮像素子の第2の実施形態]
図7は第2の実施形態のカラーフィルタ配列を示す図である。
第2の実施形態のカラー撮像素子のカラーフィルタ配列は、複数の画素が斜め格子状に配列されたカラー撮像素子に適用されるものである点で、第1の実施形態と相違する。
即ち、図7に示すカラー撮像素子の2次元配列された複数の画素は、斜め格子状に配列されている。これにより、互いに隣接する水平方向のライン上の画素は、ライン毎に1/2画素ピッチずつずれて配置される。
そして、図7に示すカラー撮像素子のカラーフィルタ配列は、4×4画素に対応する斜め格子配列パターンからなる基本配列パターンPを含み、この基本配列パターンPが、斜め格子状に繰り返し配置されている。
第2の実施形態のカラーフィルタ配列は、図3に示した第1の実施形態のカラーフィルタ配列を、45°回転させたものに対応する。
従って、第2の実施形態のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列の特徴(1)〜(5)と同様の特徴を有している。
また、複数の画素が斜め格子状に配列されているカラー撮像素子の場合、正方格子状に配列されたカラー撮像素子と比較して水平及び垂直方向の再現可能な帯域が√2倍となり、人間の視覚の周波数特性が、斜め方向に比べて水平及び垂直方向に高いという特性に合致しており、視覚的に有利な構造であるといえる。
尚、第2の実施形態のように複数の画素が斜め格子状に配列されるカラー撮像素子の場合、斜め右上方向は、本発明の第1の方向及び第2の方向のうちの一方向に相当し、斜め右下向は本発明の第3の方向及び第4の方向のうちの他方向に相当するものとなる。
[カラー撮像素子の第3の実施形態]
図8は第3の実施形態のカラーフィルタ配列を示す図である。
第3の実施形態のカラー撮像素子のカラーフィルタ配列は、図3に示した第1の実施形態と比較して、基本配列パターン内のGフィルタのうちの一部が透明フィルタ(以下、「Wフィルタ」という)に置き換わっている点で相違する。
第3の実施形態のカラーフィルタ配列は、輝度系画素に対応するGフィルタ及びWフィルタのうちの少なくとも一方が、カラーフィルタ配列の水平方向、垂直方向、斜め右上方向及び斜め右下方向の各ライン内に配置され、かつRフィルタ、Bフィルタが、基本配列パターン内においてカラーフィルタ配列の水平方向及び垂直方向の各ライン内にそれぞれ1つずつ配置されている。
また、第3の実施形態のカラーフィルタ配列は、その基本配列パターン内におけるR、G、B、Wフィルタに対応するR画素、G画素、B画素及びW画素の画素数が、それぞれ6画素、4画素、4画素及び2画素配置されている。即ち、R、G+W、B画素の各画素数の比率は、1:2:1になっており、輝度系画素(G画素、W画素)の総画素数の比率は、R画素、B画素の各画素数の比率の2倍になっている。
上記のように第3の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子のカラーフィルタ配列の特徴(1)〜(5)と同じ特徴を有している。
尚、第3の実施形態のカラーフィルタ配列の変形例として、GフィルタとWフィルタの位置を入れ替えたものでもよい。この場合、輝度方向の判別は、隣接するW画素の画素値に基づいて行うことができる。
<R、G、B、W画素の分高感度特性>
図9は、Rフィルタ、Gフィルタ、Bフィルタ及びWフィルタを有する各フォトダイオード(R、G、B、W画素)の分光感度特性の一例を示すグラフである。
図9に示すようにWフィルタを有するW画素の分光感度特性は、R、G、B画素の分光感度特性を加算したような分光感度特性であり、その感度の波長域はR、G、B画素の感度の波長領域を含んでいる。
また、Wフィルタの透過率のピーク(W画素の感度のピーク)は波長480nm以上570nm以下の範囲内にあり、Wフィルタの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタの透過率よりも高くなっている。
ところで、G画素の画像信号は、R画素及びB画素の画像信号よりも輝度信号の生成時の寄与率が高い。具体的に説明すると、上述の画像処理部16は、画素毎にRGB全ての色情報を有するRGB画素信号から、下記の[数1]式に従ってY信号を生成する。
[数1]
Y=0.3R+0.59G+0.11B
この[数1]式ではG色の寄与率が59%になるため、G色は、R色(寄与率30%)やB色(寄与率11%)よりも寄与率が高くなる。したがって、G色が3原色のうち最も輝度信号に寄与する色となる。
また、W画素の画像信号は、そのまま輝度信号となり得るものであるが、G画素とW画素とが混在している上記実施形態のカラー撮像素子の場合、上記[数1]式により算出される輝度信号と、W画素の画像信号(輝度信号)とを一定の割合で混合することにより輝度信号を生成する。W画素の画像信号は、G画素の画像信号よりも輝度信号に近く、当然R画素及びB画素の画像信号よりも輝度信号に近いものであり、例えば次式のように算出される。
[数2]
Y=0.5W+0.5(0.3R+0.59G+0.11B)
即ち、本発明の1色以上の第1の色に対応する輝度系画素(G画素、W画素)は、少なくとも輝度信号を得るための寄与率が50%以上であり、第1の色以外の2色以上の第2の色に対応する各画素(R画素、B画素)は、輝度信号を得るための寄与率が50%未満である。ここで、50%は、第1の色と第2の色とを輝度信号を得るための寄与率により区別するために定めた値であって、輝度信号を得るための寄与率がR色、B色などよりも相対的に高くなる色が「第1の色」に含まれるように定めた値である。
上記第3各実施形態では、本発明の第1の色を有する第1のフィルタとしてG色のGフィルタと透明のWフィルタを例に挙げて説明を行ったが、Gフィルタの代わりに、あるいはGフィルタの一部に代えて、下記条件(1)から条件(4)のいずれかを満たすフィルタを用いてもよい。
<第1のフィルタ(第1の色)の条件>
〔条件(1)〕
条件(1)は、前述したように輝度信号を得るための寄与率が50%以上であることである。
G色以外の色の寄与率についても実験やシミュレーションにより取得可能である。従って、G色以外で寄与率が50%以上となる色を有するフィルタについても、本発明の第1のフィルタとして用いることができる。尚、寄与率が50%未満となる色は本発明の第2色(R色、B色など)となり、この色を有するフィルタが本発明の第2のフィルタとなる。
〔条件(2)〕
条件(2)は、フィルタの透過率のピークが波長480nm以上570nm以下の範囲内にあることである。フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この波長範囲は、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、前述の寄与率が相対的に低くなるR色、B色などのピークが含まれず、かつ寄与率が相対的に高くなるG色などのピークが含まれるように定められた範囲である。したがって、透過率のピークが波長480nm以上570nm以下の範囲内にあるフィルタを第1のフィルタとして用いることができる。尚、透過率のピークが波長480nm以上570nm以下の範囲外となるフィルタが本発明の第2のフィルタ(Rフィルタ、Bフィルタ)となる。
〔条件(3)〕
条件(3)は、波長500nm以上560nm以下の範囲内での透過率が第2のフィルタ(RフィルタやBフィルタ)の透過率よりも高いことである。この条件(3)においても、フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この条件(3)の波長範囲も、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、R色やB色などよりも前述の寄与率が相対的に高くなる色を有するフィルタの透過率が、RBフィルタなどの透過率よりも高くなる範囲である。したがって、透過率が波長500nm以上560nm以下の範囲内で相対的に高いフィルタを第1のフィルタとして用い、透過率が相対的に低いフィルタを第2のフィルタとして用いることができる。
〔条件(4)〕
条件(4)は、3原色のうち最も輝度信号に寄与する色(例えばRGBのうちのG色)と、この3原色とは異なる色(第4の色)とを含む2色以上のフィルタを、第1のフィルタとして用いることである。この場合には、第1のフィルタの各色以外の色に対応するフィルタが第2のフィルタとなる。
<透明フィルタ(Wフィルタ)>
第3の実施形態では、RGB色及び透明色に対応するRGBWフィルタから成るカラーフィルタが示されている。
Wフィルタは、透明色(第1の色)のフィルタである。Wフィルタは、可視光の波長域に対応する光を透過可能であり、例えばRGBの各色の光の透過率が50%以上となるフィルタである。Wフィルタの透過率は、Gフィルタよりも高くなるので、輝度信号を得るための寄与率もG色(59%)よりは高くなり、前述の条件(1)を満たす。
図9は、Rフィルタ、Gフィルタ、Bフィルタ及びWフィルタを有する各フォトダイオードの分光感度特性の一例を示すグラフである。
カラーフィルタ配列(受光素子)の分光感度特性を示す図9において、Wフィルタの透過率のピーク(白色画素の感度のピーク)は、波長480nm以上570nm以下の範囲内にある。また、Wフィルタの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタの透過率よりも高くなる。このため、Wフィルタは前述の条件(2)、(3)も満たしている。尚、GフィルタについてもWフィルタと同様に前述の条件(1)〜(3)を満たしている。
このようにWフィルタは、前述の条件(1)〜(3)を満たしているので、本発明の第1のフィルタとして用いることができる。尚、カラーフィルタ配列では、RGBの3原色のうち最も輝度信号に寄与するG色に対応するGフィルタの一部をWフィルタに置き換えているので、前述の条件(4)も満たしている。
<複数種類の第1のフィルタ(Gフィルタ)>
第1のフィルタとしてのG色のGフィルタは一種類に限定されるものではなく、例えば複数種類のGフィルタを第1のフィルタとして用いることもできる。即ち、上述の実施形態に係るカラーフィルタ(基本配列パターン)のGフィルタが、G1フィルタ、G2フィルタに適宜置き換えられてもよい。
図10は、Rフィルタ、G1フィルタ、G2フィルタ及びBフィルタを有する各フォトダイオードの分光感度特性の一例を示すグラフである。G1フィルタは第1の波長帯域のG光を透過し、G2フィルタはG1フィルタと相関の高い第2の波長帯域のG光を透過する。
G1フィルタとしては、現存のGフィルタ(例えば第1実施形態のGフィルタ)を用いることができる。また、G2フィルタとしては、G1フィルタと相関の高いフィルタを用いることができる。この場合に、G2フィルタが配置される受光素子の分光感度曲線のピーク値は、例えば波長500nmから535nmの範囲(現存のGフィルタが配置される受光素子の分光感度曲線のピーク値の近傍)にあることが望ましい。尚、4色(R、G1、G2、B)のカラーフィルタを決定する方法は、例えば特開2003−284084号に記載されている方法が用いられる。
このようにカラー撮像素子により取得される画像の色を4種類とし、取得される色情報を増やすことにより、3種類の色(RGB)のみが取得される場合と較べて、より正確に色を表現することができる。即ち、眼で違うものに見える色は違う色に、同じものに見える色は同じ色にそれぞれ再現すること(「色の判別性」を向上させること)ができる。
尚、G1及びG2フィルタの透過率は、第1実施形態のGフィルタの透過率と基本的には同じであるので、輝度信号を得るための寄与率は50%よりは高くなる。したがって、G1及びG2フィルタは前述の条件(1)を満たす。
また、カラーフィルタ配列(受光素子)の分光感度特性を示す図10において、G1、G2フィルタの透過率のピーク(各G画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。G1、G2フィルタの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタの透過率よりも高くなる。このため、G1、G2フィルタは前述の条件(2)、(3)も満たしている。
尚、G1、G2フィルタの配置や個数は適宜変更してもよい。また、Gフィルタの種類を3種類以上に増加してもよい。
<エメラルドフィルタ(Eフィルタ)>
第1の実施形態のカラーフィルタ配列におけるGフィルタの一部をエメラルド(E)色を透過させるEフィルタで置き換えてもよい。これにより輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができる。
図11は、Rフィルタ、Gフィルタ、Bフィルタ及びEフィルタを有する各フォトダイオードの分光感度特性の一例を示すグラフである。
カラーフィルタ配列(受光素子)の分光感度特性を示す図11において、Eフィルタの透過率のピーク(E画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。また、Eフィルタの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタの透過率よりも高くなる。このため、Eフィルタは前述の条件(2)、(3),(4)を満たしている。
尚、図11に示した分光特性では、EフィルタがGフィルタよりも短波長側にピークを持つが、Gフィルタよりも長波長側にピークを持つ(少し黄色よりの色に見える)場合もある。このようにEフィルタとしては、本発明の各条件を満たすものを選択可能であり、例えば、条件(1)を満たすようなエメラルドフィルタEを選択することもできる。
<他の色の種類>
上述の各実施形態では、原色RGBのカラーフィルタで構成されるカラーフィルタ配列について説明したが、例えば原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)に、Gを加えた4色の補色系のカラーフィルタのカラーフィルタ配列にも本発明を適用することができる。この場合も上記条件(1)〜(4)のいずれかを満たすカラーフィルタを本発明の第1のフィルタとし、他のカラーフィルタを第2のフィルタとする。
[その他]
RGBの3原色のカラーフィルタに他の色のカラーフィルタを追加する実施形態として、例えば、3原色以外の第4の色の一例である透明(W)、緑(G2)、又はエメラルド(E)の各色のカラーフィルタを追加する例を説明したが、カラーフィルタの種類は、上述の実施形態に限定されない。例えば、赤外域を透過させ(赤外カットフィルタが配設されず)、可視光の波長域をカットするフィルタを他の色のフィルタとして使用してもよい。
また、本発明は、原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)に、Gを加えた4色の補色系のカラーフィルタのカラーフィルタ配列にも適用できる。
上記実施形態では、デジタルカメラに搭載されるカラー撮像素子について説明したが、例えばスマートフォン、携帯電話機、PDAなどの撮影機能を有する各種の電子機器(撮像装置)に搭載されるカラー撮像素子についても本発明を適用することができる。
更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
9…デジタルカメラ、10…撮影光学系、12…カラー撮像素子、14…撮影処理部、16…画像処理部、18…駆動部、20…制御部、21…画素、22…カラーフィルタ配列、23B…Bフィルタ、23G…Gフィルタ、23R…Rフィルタ、P、P’、P”…基本配列パターン

Claims (7)

  1. 第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向に4×4画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
    前記カラーフィルタの配列は、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が前記第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを有し、
    前記第1のフィルタは、前記カラーフィルタの配列の前記第1の方向と、前記第2の方向と、前記第1の方向及び第2の方向に対して傾いた第3の方向及び第4の方向とを含む各方向の画素ライン内に1つ以上配置され、かつ前記基本配列パターン内の第1の方向及び第2の方向の各画素ライン内に2つ配置され、
    前記第2の色の各色に対応する前記第2のフィルタは、前記基本配列パターン内の前記第1の方向及び第2の方向の各画素ライン内にそれぞれ1つ配置され、
    前記カラーフィルタの配列は、前記第1の方向、第2の方向、第3の方向及び第4の方向にそれぞれ2画素以上連続する前記第1のフィルタを含むカラー撮像素子。
  2. 第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向に4×4画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
    前記カラーフィルタの配列は、透過率のピークが波長480nm以上570nm以下の範囲内にある1色以上の第1の色に対応する第1のフィルタと、透過率のピークが前記範囲の外にある2色以上の第2の色に対応する第2のフィルタとを有し、
    前記第1のフィルタは、前記カラーフィルタの配列の前記第1の方向と、前記第2の方向と、前記第1の方向及び第2の方向に対して傾いた第3の方向及び第4の方向とを含む各方向の画素ライン内に1つ以上配置され、かつ前記基本配列パターン内の第1の方向及び第2の方向の各画素ライン内に2つ配置され、
    前記第2の色の各色に対応する前記第2のフィルタは、前記基本配列パターン内の前記第1の方向及び第2の方向の各画素ライン内にそれぞれ1つ配置され、
    前記カラーフィルタの配列は、前記第1の方向、第2の方向、第3の方向及び第4の方向にそれぞれ2画素以上連続する前記第1のフィルタを含むカラー撮像素子。
  3. 第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向に4×4画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
    前記カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、波長500nm以上560nm以下の範囲内で透過率が前記第1のフィルタよりも低くなる2色以上の第2の色に対応する第2のフィルタとを有し、
    前記第1のフィルタは、前記カラーフィルタの配列の前記第1の方向と、前記第2の方向と、前記第1の方向及び第2の方向に対して傾いた第3の方向及び第4の方向とを含む各方向の画素ライン内に1つ以上配置され、かつ前記基本配列パターン内の第1の方向及び第2の方向の各画素ライン内に2つ配置され、
    前記第2の色の各色に対応する前記第2のフィルタは、前記基本配列パターン内の前記第1の方向及び第2の方向の各画素ライン内にそれぞれ1つ配置され、
    前記カラーフィルタの配列は、前記第1の方向、第2の方向、第3の方向及び第4の方向にそれぞれ2画素以上連続する前記第1のフィルタを含むカラー撮像素子。
  4. 第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向に4×4画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
    前記カラーフィルタ配列は、3原色のうち最も輝度信号に寄与する色と前記3原色とは異なる色である第4の色とを含む2色以上の第1の色に対応する第1のフィルタと、前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとを有し、
    前記第1のフィルタは、前記カラーフィルタの配列の前記第1の方向と、前記第2の方向と、前記第1の方向及び第2の方向に対して傾いた第3の方向及び第4の方向とを含む各方向の画素ライン内に1つ以上配置され、かつ前記基本配列パターン内の第1の方向及び第2の方向の各画素ライン内に2つ配置され、
    前記第2の色の各色に対応する前記第2のフィルタは、前記基本配列パターン内の前記第1の方向及び第2の方向の各画素ライン内にそれぞれ1つ配置され、
    前記カラーフィルタの配列は、前記第1の方向、第2の方向、第3の方向及び第4の方向にそれぞれ2画素以上連続する前記第1のフィルタを含むカラー撮像素子。
  5. 輝度信号を得るための前記第1の色の寄与率は、50%以上であり、輝度信号を得るための前記第2の色の寄与率は、50%未満である請求項4に記載のカラー撮像素子。
  6. 前記第1の色は、第1の緑(G)、第1のGとは波長域が異なる第2のG、及び白(W)のうちの1色以上の色を含み、前記第2の色は、赤(R)、青(B)の色を含む請求項1から5のいずれか1項に記載のカラー撮像素子。
  7. 撮影光学系と、
    前記撮影光学系を介して被写体像が結像するカラー撮像素子と、
    前記結像した被写体像を示す画像データを生成する画像データ生成部と、
    を備え、
    前記カラー撮像素子は請求項1から6のいずれか1項に記載のカラー撮像素子である、
    撮像装置。
JP2014523762A 2012-07-06 2013-07-03 カラー撮像素子および撮像装置 Expired - Fee Related JP5698875B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014523762A JP5698875B2 (ja) 2012-07-06 2013-07-03 カラー撮像素子および撮像装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012152681 2012-07-06
JP2012152681 2012-07-06
PCT/JP2013/068234 WO2014007283A1 (ja) 2012-07-06 2013-07-03 カラー撮像素子および撮像装置
JP2014523762A JP5698875B2 (ja) 2012-07-06 2013-07-03 カラー撮像素子および撮像装置

Publications (2)

Publication Number Publication Date
JP5698875B2 true JP5698875B2 (ja) 2015-04-08
JPWO2014007283A1 JPWO2014007283A1 (ja) 2016-06-02

Family

ID=49882035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014523762A Expired - Fee Related JP5698875B2 (ja) 2012-07-06 2013-07-03 カラー撮像素子および撮像装置

Country Status (4)

Country Link
US (1) US9184196B2 (ja)
JP (1) JP5698875B2 (ja)
CN (1) CN104412581B (ja)
WO (1) WO2014007283A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014007279A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
WO2014087807A1 (ja) * 2012-12-05 2014-06-12 富士フイルム株式会社 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体
JP5749409B2 (ja) * 2012-12-07 2015-07-15 富士フイルム株式会社 撮像装置、画像処理方法及びプログラム
CN104658507B (zh) * 2015-03-18 2017-03-08 京东方科技集团股份有限公司 一种显示面板及其驱动方法和显示装置
US9928575B2 (en) * 2016-03-01 2018-03-27 Sony Corporation Method and system for processing a multi-channel image
JP2018098344A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び電子機器
CN108391102A (zh) * 2018-05-09 2018-08-10 清华大学 图像传感设备、图像处理设备、计算装置和图像重构方法
WO2020244765A1 (en) * 2019-06-06 2020-12-10 Huawei Technologies Co., Ltd. Color filter array apparatus
CN112103317B (zh) * 2020-09-15 2024-04-09 视涯科技股份有限公司 一种有机发光显示面板和显示装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002084548A (ja) * 2000-09-07 2002-03-22 Olympus Optical Co Ltd カラー撮像素子及び撮像装置
JP2010512048A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー 低解像度画像の生成
JP2011029379A (ja) * 2009-07-24 2011-02-10 Sony Corp 固体撮像装置とその製造方法並びにカメラ

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
EP0930789B1 (en) 1998-01-20 2005-03-23 Hewlett-Packard Company, A Delaware Corporation Colour image pickup device
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
JP5183880B2 (ja) * 2006-03-14 2013-04-17 ソニー株式会社 カラーフィルタおよび撮像素子
JP4966035B2 (ja) * 2007-01-26 2012-07-04 株式会社東芝 固体撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002084548A (ja) * 2000-09-07 2002-03-22 Olympus Optical Co Ltd カラー撮像素子及び撮像装置
JP2010512048A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー 低解像度画像の生成
JP2011029379A (ja) * 2009-07-24 2011-02-10 Sony Corp 固体撮像装置とその製造方法並びにカメラ

Also Published As

Publication number Publication date
US20150109494A1 (en) 2015-04-23
CN104412581B (zh) 2016-04-13
CN104412581A (zh) 2015-03-11
JPWO2014007283A1 (ja) 2016-06-02
WO2014007283A1 (ja) 2014-01-09
US9184196B2 (en) 2015-11-10

Similar Documents

Publication Publication Date Title
JP5927068B2 (ja) カラー撮像素子
JP5698875B2 (ja) カラー撮像素子および撮像装置
JP5702894B2 (ja) カラー撮像素子および撮像装置
JP5702896B2 (ja) カラー撮像素子及び撮像装置
JP5702893B2 (ja) カラー撮像素子および撮像装置
JP5698874B2 (ja) カラー撮像素子及び撮像装置
JP5698873B2 (ja) カラー撮像素子および撮像装置
JP5702895B2 (ja) カラー撮像素子および撮像装置
JP5621054B2 (ja) カラー撮像素子
JP5702892B2 (ja) カラー撮像素子および撮像装置
JP5621057B2 (ja) カラー撮像素子
US8976275B2 (en) Color imaging element

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141226

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20141226

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150213

R150 Certificate of patent or registration of utility model

Ref document number: 5698875

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees