JP2012244495A - 単板マルチバンド撮像素子用カラーフィルタ、単板マルチバンド撮像素子、マルチバンド撮像装置 - Google Patents
単板マルチバンド撮像素子用カラーフィルタ、単板マルチバンド撮像素子、マルチバンド撮像装置 Download PDFInfo
- Publication number
- JP2012244495A JP2012244495A JP2011113904A JP2011113904A JP2012244495A JP 2012244495 A JP2012244495 A JP 2012244495A JP 2011113904 A JP2011113904 A JP 2011113904A JP 2011113904 A JP2011113904 A JP 2011113904A JP 2012244495 A JP2012244495 A JP 2012244495A
- Authority
- JP
- Japan
- Prior art keywords
- filter
- color filter
- filters
- color
- arrangement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 71
- 230000003595 spectral effect Effects 0.000 claims description 108
- 238000002834 transmittance Methods 0.000 claims description 44
- 238000003491 array Methods 0.000 claims description 22
- 239000000758 substrate Substances 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 abstract description 20
- 238000000034 method Methods 0.000 description 38
- 238000010586 diagram Methods 0.000 description 26
- 230000007246 mechanism Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 20
- 230000001276 controlling effect Effects 0.000 description 7
- 230000012447 hatching Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【課題】輝度解像度とともに色解像度も確保しながら、偽色の低限を図ることができる単板マルチバンド撮像素子用カラーフィルタ等を提供する。
【解決手段】単板マルチバンド撮像素子用カラーフィルタ7cは、撮像面全体、または撮像面の一区分でなるフィルタ基礎配列領域におけるバンド毎の数が予め定められた4バンド以上のカラーフィルタC1〜C8を備える。これら複数バンドのフィルタC1〜C8は、フィルタ基礎配列領域内において、0.25よりも大きく0.5未満の割合を占めるように予め定められた固定パターンの画素位置のみに配置されることにより、撮像面全体に渡って一定の密度で分布するようになされた、輝度成分に寄与する割合が高い光を透過する2以上のバンドの固定配置フィルタC1,C2と、固定パターン以外の画素位置にランダムに配置された他のバンドのランダム配置フィルタC3〜C8と、で構成される。
【選択図】図3
【解決手段】単板マルチバンド撮像素子用カラーフィルタ7cは、撮像面全体、または撮像面の一区分でなるフィルタ基礎配列領域におけるバンド毎の数が予め定められた4バンド以上のカラーフィルタC1〜C8を備える。これら複数バンドのフィルタC1〜C8は、フィルタ基礎配列領域内において、0.25よりも大きく0.5未満の割合を占めるように予め定められた固定パターンの画素位置のみに配置されることにより、撮像面全体に渡って一定の密度で分布するようになされた、輝度成分に寄与する割合が高い光を透過する2以上のバンドの固定配置フィルタC1,C2と、固定パターン以外の画素位置にランダムに配置された他のバンドのランダム配置フィルタC3〜C8と、で構成される。
【選択図】図3
Description
本発明は、4バンド以上の異なる分光感度特性を有する単板マルチバンド撮像素子用カラーフィルタと、この単板マルチバンド撮像素子用カラーフィルタを備える単板マルチバンド撮像素子と、この単板マルチバンド撮像素子を備えるマルチバンド撮像装置と、に関する。
従来より、単板撮像素子のカラーフィルタ配列に関しては、様々な種類のものが提案されている。
撮像装置の代表的な例であるデジタルカメラや携帯電話の撮像モジュールにおいては、図16に示すようなRGBベイヤ配列のカラーフィルタを供えた単板撮像素子が広く用いられている。ここに図16はRGBベイヤ配列を示す図である。
このRGBベイヤ配列は、R(赤),G(緑),B(青)の3色のカラーフィルタの内のGのカラーフィルタを市松模様(チェスボードの模様)に配列し、RのカラーフィルタとBのカラーフィルタとを対角に配列することにより実現されている。従って、このベイヤ配列における各カラーフィルタの配置は、図17に示すように、全画素が固定されたパターンをなしている。ここに、図17はRGBベイヤ配列における固定パターンの画素位置を示す図である。
ベイヤ配列は、人間の視覚特性、すなわち輝度成分に対しては敏感であるが色成分に対しては輝度成分ほど敏感でない特性を考慮して考案されたものである。つまり、輝度成分に寄与する割合が高いGを、輝度成分に寄与する割合が低く色成分に寄与する割合が高いR,Bの2倍の数だけ市松模様に配列することにより、輝度成分の情報を多く取得することができるようにした、理にかなったカラーフィルタ配分となっている。
しかしながらベイヤ配列は、R,G,Bの3色のカラーフィルタしか設けられていないために、測色的な色精度が高いとはいえない。そこで、ベイヤ配列に用いられているR,G,Bの3色のカラーフィルタの他に、他の色のカラーフィルタを加えたマルチバンドのカラーフィルタが提案されている。例えば、ベイヤ配列におけるG画素の位置にG画素および透明画素(バンドを制限されることなく被写体光を受光して光電変換する画素)を配置した構成や、カラーフィルタとしてR,G,B,Cy(シアン)の4色を用いる構成などが提案されている。このような4色以上のカラーフィルタを供えた構成は、いわゆるマルチバンドカラーフィルタとして知られており、各種の提案がなされている。そして、3色よりも色数が増えることにより、色再現性が向上したり、被写体のスペクトルを推定する際の精度が向上したりすると考えられる。
具体例として、例えば特開2007−251393号公報には、5色のカラーフィルタを配置する構成が記載されている。該公報には、さらに、輝度成分を主に担うと思われるカラーフィルタC1を従来のベイヤ配列におけるGと同様に市松模様に配置して輝度解像度を確保するとともに、その他の色C2〜C5をC1が存在しない位置にランダムに配置してデモザイキングを行うときの偽色の発生を抑制するようにした技術が記載されている。
しかしながら、上記特開2007−251393号公報に記載されたようなカラーフィルタ配列の場合には、C1画素が全画素数の半分を占めることになり、残りの半分の画素数をC2〜C5画素で分け合うことになるために、C1以外の色成分が少なくなって色解像度が劣ってしまう可能性がある。特に、カラーフィルタの色数を5色よりもさらに多色にした場合には、色解像度が劣るのがより顕著になってきてしまう。
本発明は上記事情に鑑みてなされたものであり、輝度解像度とともに色解像度も確保しながら、偽色の低限を図ることができる単板マルチバンド撮像素子用カラーフィルタ、単板マルチバンド撮像素子、マルチバンド撮像装置を提供することを目的としている。
上記の目的を達成するために、本発明のある態様による単板マルチバンド撮像素子用カラーフィルタは、複数のモノクロ画素が撮像面に2次元状に配列された基板に対して配設することによりカラーの単板撮像素子を構成するための単板マルチバンド撮像素子用カラーフィルタにおいて、分光透過率特性が関数的に独立して異なる4以上の複数バンドのカラーフィルタ(以下、フィルタという)であって、1つの上記モノクロ画素に対して該複数バンドのフィルタの内の何れか1バンドのフィルタが配置されるようになされ、前記撮像面全体、または該撮像面を複数に区分した全ての区分のそれぞれをフィルタ基礎配列領域としたときに、該フィルタ基礎配列領域におけるバンド毎の数が予め定められたフィルタを具備し、前記フィルタは、前記フィルタ基礎配列領域内において、0.25よりも大きく0.5未満の割合を占めるように予め定められた固定パターンの画素位置のみに配置されることにより、前記撮像面全体に渡って一定の密度で分布するようになされた、前記複数バンドのフィルタの内の2以上の所定バンドの固定配置フィルタと、前記フィルタ基礎配列領域内における前記固定パターンの画素位置を除く画素位置にランダムに配置された、前記複数バンドのフィルタの内の、前記所定バンド以外のバンドのランダム配置フィルタと、で構成され、任意の前記固定配置フィルタが透過する光は、輝度成分に寄与する割合が、何れの前記ランダム配置フィルタが透過する光よりも高い。
また、本発明の他の態様による単板マルチバンド撮像素子は、複数のモノクロ画素が撮像面に2次元状に配列された基板と、1バンドのフィルタが1つの上記モノクロ画素に対して配置されるように、上記基板に対して取り付けられた、上記単板マルチバンド撮像素子用カラーフィルタと、を具備したものである。
さらに、本発明のさらに他の態様によるマルチバンド撮像装置は、上記単板マルチバンド撮像素子と、被写体の光学像を上記単板マルチバンド撮像素子上に結像するための撮像光学系と、を具備したものである。
本発明の単板マルチバンド撮像素子用カラーフィルタ、単板マルチバンド撮像素子、マルチバンド撮像装置によれば、輝度解像度とともに色解像度も確保しながら、偽色の低限を図ることが可能となる。
以下、図面を参照して本発明の実施の形態を説明する。
[実施形態1]
[実施形態1]
図1から図5は本発明の実施形態1を示したものであり、図1は撮像装置1の構成を示すブロック図である。
撮像装置1は、例えばデジタルカメラとして構成されたマルチバンド撮像装置であり、撮影レンズ系2と、レンズ駆動機構3と、レンズドライバ4と、露出制御機構5と、露出制御ドライバ6と、マルチバンドイメージセンサ7と、イメージセンサドライバ8と、プリプロセス回路9と、デジタルプロセス回路10と、カードインタフェース(カードI/F)11と、LCD12と、操作スイッチ13と、操作表示部14と、EEPROM15と、システムコントローラ16と、を備えている。
なお、図1にはメモリカード17も記載されているが、このメモリカード17は撮像装置1に対して着脱自在であるために、撮像装置1に固有の構成ではない。
撮影レンズ系2は、被写体の光学像をマルチバンドイメージセンサ7上に結像するためのものであり、フォーカスレンズやあるいはズームレンズ等の各種のレンズを有して構成された撮像光学系である。
レンズ駆動機構3は、撮影レンズ系2を光軸方向に移動可能に保持するレンズ鏡筒を含み、このレンズ鏡筒を伸縮する駆動や、撮影レンズ系2内のズームレンズおよびフォーカスレンズを光軸方向に移動させる駆動を行う機構(例えばカム機構や駆動モータ等)を備えている。
レンズドライバ4は、システムコントローラ16の指令に基づいて、レンズ駆動機構3を制御するためのものである。
露出制御機構5は、撮影レンズ系2からマルチバンドイメージセンサ7へ到達する光束の通過範囲を制御するための絞りと、撮影レンズ系2からマルチバンドイメージセンサ7へ到達する光束の通過時間を制御するためのシャッタ機構と、を備えたものである。
露出制御ドライバ6は、システムコントローラ16の指令に基づいて、露出制御機構5を制御するためのものである。
マルチバンドイメージセンサ7は、撮影レンズ系2により結像された光学的な被写体像を光電変換して画像信号を生成するものである。このマルチバンドイメージセンサ7は、図2に示すように、撮像面上にフォトダイオードを含むモノクロ画素7bが配列された基板7a上に、分光透過率特性が関数的に独立して異なる4以上の複数バンドのカラーフィルタを備える単板マルチバンド撮像素子用カラーフィルタ(以下、単にカラーフィルタという)7cを、1つのモノクロ画素7bに対して複数バンドのカラーフィルタの内の何れか1バンドのカラーフィルタが配置されるようにすることで、異なる分光感度特性を有する4バンド以上の画素を構成した、いわゆる単板マルチバンドイメージセンサ(単板マルチバンド撮像素子)である。ここに、図2はマルチバンドイメージセンサ7の構成を説明するための斜視図である。また、「分光透過率特性が関数的に独立して異なる」とは、任意のバンドの分光透過率特性を表す曲線について、その曲線を、他のバンドの分光透過率特性を表す曲線をどのように線形加算しても得ることができないことを意味している。なお、基板7aにより構成されるモノクロのイメージセンサは、例えばCCDやCMOSなどのセンサを想定している。
イメージセンサドライバ8は、マルチバンドイメージセンサ7を制御して駆動するための駆動制御部である。
プリプロセス回路9は、マルチバンドイメージセンサ7から出力されたアナログの信号を増幅するためのアナログアンプと、このアナログアンプにより増幅された信号をデジタル信号に変換するためのA/D変換器と、含むものである。このプリプロセス回路9により処理されて出力される信号は、いわゆるRAWデータとなる。
デジタルプロセス回路10は、メモリ18と信号処理部19とを備えている。
プリプロセス回路9から出力されたRAWデータは、メモリ18に記憶される。
信号処理部19は、メモリ18から読み出した画像データに対して、デモザイキング処理やデモザイキングされたマルチバンド画像データからさらにRGB画像データを生成する処理、ノイズリダクション処理、ホワイトバランス処理、階調変換処理、圧縮伸張処理などの各種のデジタル信号処理を行うものである。ここに、信号処理部19がデモザイキング処理を行う際には、システムコントローラ16を介してEEPROM15からカラーフィルタ配置情報を読み出し参照する。
カードインタフェース11は、外部の記録媒体であるメモリカード17とのインタフェースである。信号処理部19から出力されるマルチバンド画像、RGB画像、またはマルチバンド画像およびRGB画像は、このカードインタフェース11を介してメモリカード17に記録される。
LCD12は、信号処理部19により生成されたRGB画像を表示するとともに、この撮像装置1に係る各種の情報も表示し得るカラーの画像表示装置である。なお、LCD12としてマルチバンドのカラー表示が可能な表示装置を用いる場合には、RGB画像に代えてマルチバンド画像を表示するようにしても勿論構わない。
操作スイッチ13は、この撮像装置1の電源をオン/オフするための電源スイッチ、マルチバンドイメージセンサ7による撮像を指示入力するためのレリーズスイッチ、各種のモード設定を行うためのモードスイッチや、その他各種の設定を行うための設定スイッチなどを含んで構成される操作入力部である。
操作表示部14は、上述したLCD12よりも小型の例えばモノクロLCDとして構成されており、この撮像装置1に対して行われている操作状態や、この撮像装置1に対して設定されているモード状態等を表示するための情報表示装置である。
EEPROM15は、システムコントローラ16がこの撮像装置1を制御するための処理プログラムや、各種の設定情報などを記憶する不揮発性メモリである。そして、このEEPROM15は、信号処理部19によりデモザイキングを行う際に必要なマルチバンドイメージセンサ7のカラーフィルタ配置情報を記憶する記憶部となっている。ここに、EEPROM15への情報の記憶は、例えば製造時に行われる。
システムコントローラ16は、例えばCPU等を有して構成されており、操作スイッチ13からの操作入力に応じて、EEPROM15から読み出した設定値や、プリプロセス回路9から得た画像データに基づき、レンズドライバ4、露出制御ドライバ6、イメージセンサドライバ8、プリプロセス回路9、デジタルプロセス回路10、操作表示部14、EEPROM15等を含むこの撮像装置1内の各部を統括的に制御するための制御部である。また、システムコントローラ16は、必要に応じて、デモザイキングされた画像に基づき、被写体の分光特性の推定を、ウイナー推定法、マルコフ推定法、または主成分を基にした推定法などを用いて行うことも可能となっている(ただし、分光特性の推定は、メモリカードを介してデモザイキングされた画像データ(もしくはRAWデータおよびカラーフィルタ配置情報)を出力し、外部のコンピュータや画像処理装置等で行っても勿論構わない)。
このような撮像装置1全体の撮像動作時における大まかな作用は、次のようになっている。
操作スイッチ13のレリーズスイッチがオンされると、システムコントローラ16が撮像動作の制御を開始する。
システムコントローラ16は、露出制御ドライバ6を介して露出制御機構5に含まれるシャッタ機構を開放状態にし、マルチバンドイメージセンサ7からプリプロセス回路9を介して出力される信号に基づいてAF制御およびAE制御を行う。すなわち、システムコントローラ16は、レンズドライバ4を介してレンズ駆動機構3を駆動し、撮影レンズ系2により結像される被写体像がマルチバンドイメージセンサ7上に合焦するようにAF制御する。また、システムコントローラ16は、露出制御ドライバ6を介して露出制御機構5に含まれる絞りの開口の大きさを制御する。
そして、合焦が行われ、撮像のための絞り値が得られたら、システムコントローラ16は、露出制御機構5に含まれるシャッタ機構を制御して、AE制御により算出された露光時間だけマルチバンドイメージセンサ7上に被写体像を結像させる。これにより、マルチバンドイメージセンサ7の各画素は、光電変換を行い信号電荷を蓄積する。なお、ここでは露出制御機構5により露光時間の制御を行ったが、イメージセンサドライバ8を介してマルチバンドイメージセンサ7に電子シャッタの動作を行わせることにより露光時間の制御をするようにしても良いし、シャッタ機構と電子シャッタとを組み合わせても構わない。
露光が終了したら、システムコントローラ16は、イメージセンサドライバ8を介してマルチバンドイメージセンサ7を制御することにより、画像信号の読み出しを行う。
読み出された画像信号は、プリプロセス回路9により増幅された後にデジタル信号(RAWデータ)に変換される。
このRAWデータは、デジタルプロセス回路10により、デモザイキング処理を含む上述した各種の信号処理が施される。例えば、信号処理部19は、システムコントローラ16を介してEEPROM15からカラーフィルタ配置情報を読み込んで、マルチバンドイメージセンサ7から入力した単板の画像データ(1画素が1色の色成分でなる画像データ)を後述するようにデモザイキングし、マルチバンドの画像データ(全ての画素について、全色の色成分を備えた画像データ)を生成する。
こうしてデジタルプロセス回路10により処理された信号は、LCD12に表示されるとともに、カードインタフェース11を介してメモリカード17に記録される。
次に、図3〜図5を参照して、本実施形態のマルチバンドイメージセンサ7におけるカラーフィルタの配置について説明する。図3はマルチバンドイメージセンサ7におけるカラーフィルタ配置を示す図、図4は固定パターンの画素位置に配置されるカラーフィルタを示す図、図5はカラーフィルタ配列における固定パターンを示す図である。なお、これら図3〜図5においては、配列におけるフィルタ位置が分かり易いように、行番号および列番号を参照のために付している。これら参照用の行番号および列番号は、下記に説明するその他の図面においても適宜付すこととする。
まず、フィルタ基礎配列領域について説明する。フィルタ基礎配列領域は、デモザイキング処理を行う際に必要な情報であるフィルタの配列を記憶しておかなければならない領域の最小のものを指す。すなわち、フィルタの配列が、撮像面を複数に区分した全ての区分のそれぞれにおいて同一であれば、その区分がフィルタ基礎配列領域となる。また、撮像面の中に同一のフィルタ配列の繰り返しがない場合には、撮像面全体がフィルタ基礎配列領域となる。
ただし、近年の撮像素子は1000万画素以上の画素数をもつものも多いために、撮像面全体をフィルタ基礎配列領域とすると、EEPROM15内に全画素分のカラーフィルタ配置を記憶させておかなければならず大きなメモリ容量を要するとともに、信号処理部19においてデモザイキング処理を行う場合にも一定の処理を繰り返すことができないために処理が複雑となり、処理負荷が大きい。
そこで実用的には、撮像面を複数に区分したものをフィルタ基礎配列領域とすることが望ましい。具体例としては、撮像面全体を図3に示したような8×8画素のフィルタ基礎配列領域に区分して、全てのフィルタ基礎配列領域に対して図3に示したようなカラーフィルタ配置を適用することが挙げられる。これにより、EEPROM15のメモリ容量を削減して、信号処理部19の処理負荷を軽減することが可能となる。
次に、カラーフィルタ7cは、上述したように、複数のモノクロ画素7bが撮像面に水平方向および垂直方向に2次元状に配列された基板7aに対して、何れか1バンドのカラーフィルタが1つのモノクロ画素に対して配置されるように配設することで、カラーの単板撮像素子を構成するための単板マルチバンド撮像素子用カラーフィルタである。従って、カラーフィルタ7c上に設けられた画素単位の2次元状のフィルタ配列も、モノクロ画素7bの配列に対応して、水平方向および垂直方向の配列となっている。また、カラーフィルタ7cの設計を行う際に、フィルタ基礎配列領域におけるバンド毎のカラーフィルタの数を予め定めておくものとする。
そして、複数バンドのカラーフィルタは、撮像面全体に渡って一定の密度で分布するようになされた固定パターンの画素位置に配置されるフィルタである固定配置フィルタと、固定パターン以外の画素位置に配置されるフィルタであるランダム配置フィルタと、の2つに分類される。
ここに、固定配置フィルタは、透過する光が輝度成分に寄与する割合が最も高いカラーフィルタから順に、複数バンドのカラーフィルタの中から2以上の所定バンドのカラーフィルタが選ばれる。このように構成することで、輝度解像度を固定パターンの画素位置で確実に確保することができる利点がある。
このとき、固定配置フィルタが配置される固定パターンの画素位置は、輝度解像度をある程度確保しながら色解像度の向上を図るために、フィルタ基礎配列領域内において占める割合(ひいては、全画素に対して占める割合)Rateが、0.25よりも大きく0.5未満(0.25<Rate<0.5)となるように予め定められる。ここに、輝度成分に寄与する割合が高い光を透過するカラーフィルタが全画素に占める割合が0.25よりも大きいことは、原色ベイヤー配列におけるR,B成分の各色解像度よりも高い輝度解像度を確保することを意味している。また、輝度成分に寄与する割合が高い光を透過するカラーフィルタが全画素に占める割合が0.5未満であることは、原色ベイヤー配列におけるR成分およびB成分を合計した画素数よりも多い画素数を色成分に割り当てて、なるべく高い色解像度を確保すること(および、上記特開2007−251393号公報に記載されたような市松模様に配置されたC1の割合0.5よりも小さく、該公報の場合よりも色解像度の向上が期待できること)を意味している。
ただし、単板マルチバンド撮像素子における輝度解像度と色解像度とを何れも高いレベルに保ち、両者を良好にバランスさせるためには、割合Rateが例えば0.3よりも大きく0.4未満(0.3<Rate<0.4)であることがより望ましい。
また、固定配置フィルタは、ランダム配置フィルタの何れよりも分光透過率特性におけるピークの半値幅が広いフィルタを含むことが望ましい(図10も参考として参照)。この場合には、信号処理部19においてデモザイキング処理を行う際に、色相関(例えばスペクトル相関など)をより有効に利用することができる利点がある。
具体的に、本実施形態ではカラーフィルタ7cとして、8バンド(スペクトル上の各バンドは色に対応するために、以下では適宜8色などという)のカラーフィルタを用い、8色の各色を図3に示すように符号C1〜C8により表している。なお、この符号C1〜C8は、カラーフィルタの色(バンド)を表すのに用いるとともに、その色のカラーフィルタ自体、あるいはカラーフィルタが配置された画素の分光感度特性を示す曲線などを表すのにも用いるものとする。
そして、このような8バンドのカラーフィルタC1〜C8を用いて、例えば図3のようなフィルタ配置をとっている。
この図3に示すフィルタ配置では、所定バンドの数は2となっていて、固定配置フィルタであるのはカラーフィルタC1,C2、ランダム配置フィルタであるのはカラーフィルタC3〜C8である。
固定配置フィルタであるカラーフィルタC1,C2は、図4に示すような規則的な構造をなす固定パターンの画素位置にのみ配置されていて、上述したように、8バンドのフィルタC1〜C8の内の、輝度成分に寄与する割合が高い光を透過するカラーフィルタを、寄与割合が高い方から順に選んだ2つとなっている(この場合には当然にして、カラーフィルタC1,C2の何れか一方は、輝度成分に寄与する割合が最も高い光を透過するバンドのカラーフィルタ、他方は輝度成分に寄与する割合が2番目に高い光を透過するバンドのカラーフィルタとなる)。
カラーフィルタC1およびC2(すなわち、固定配置フィルタの全色)で構成される固定パターンは、図5に示すように、左斜め方向(図5において右上から左下にかけての方向)の配列および右斜め方向(図5において左上から右下にかけての方向)の配列を含み、図5に示す例では、何れの斜め方向の配列も配列方向に沿ってフィルタが連続しており、かつ、左斜め方向の配列同士がなすピッチと、右斜め方向の配列同士がなすピッチとは、同一の2画素のピッチとなっている。
そして、図5を見れば分かるように、固定パターンは、左斜め方向の配列と右斜め方向の配列との組み合わせによって斜め格子(ダイヤ型の格子)を構成しており、4×4画素配列を基本配列としている。この図3〜図5に示す固定パターンの画素位置に配置された画素の割合Rateは、6/16=0.375であり、上述した条件0.25<Rate<0.5を満たすことは勿論、より望ましい条件0.3<Rate<0.4も満たしている。
従って、0.625の割合の領域にランダム配置フィルタであるカラーフィルタC3〜C8を配置することが可能となり、輝度解像度をある程度確保しながら、色解像度の向上を図ることが可能となる。
より具体的には、各カラーフィルタC1,C2の配置は次のようになっている。
カラーフィルタC1を(1,1)〜(4,4)までの4×4画素の基本配列内における例えば座標(1,1)に配置したときに、この基本配列内において、座標(3,3)にのみさらにC1が存在する。また、カラーフィルタC2は、座標(2,2)、(2,4)、(4,2)、(4,4)に配置されている。このような配列を採用した場合には、カラーフィルタC2は水平方向および垂直方向に1ラインおきに(2画素に1画素の割合で)配置され、カラーフィルタC1は、カラーフィルタC2とは異なるラインに斜め方向にC2を挟むように、かつ水平および垂直に3ラインおきに(4画素に1画素の割合で)配置されることになる。
また、ランダム配置フィルタであるカラーフィルタC3〜C8は、図5に示した固定パターン以外の画素位置に、上述したようなフィルタ基礎配列領域におけるバンド毎のカラーフィルタの数が予め定められた数となる制限の下に、ランダムに配置されている。ここに、各カラーフィルタC3〜C8の数は、例えばそれぞれの重要度に応じて定められる。
カラーフィルタC3〜C8のランダムな配置は、カラーフィルタを設計する際に例えば乱数を発生させることによって得ることができる。すなわち、例えば座標(2,1)に配置するカラーフィルタを決定するときに、3〜8までの範囲内の数字から乱数を発生させ、例えば「3」が乱数として得られた場合には、カラーフィルタC3を配置する。このとき、乱数として発生される3〜8までの範囲内の数字は、同一の確率で発生するのではなく、予め定められた乱数フィルタ基礎配列領域におけるバンド毎のカラーフィルタの数に応じた発生確率で発生するようにする。そして、フィルタ基礎配列領域における1つ以上のバンドのカラーフィルタの数が予め定められた数に達した場合には、そのバンドに対応する数字を、乱数を発生させる数字から除外する。例えば、カラーフィルタC5のみが予め定められた数に達した場合には、3,4,6〜8までの範囲内の数字から乱数を発生させる、等である。このような処理を、固定パターン以外の全ての画素位置に対して行えば良い。
次に、信号処理部19において行われるデモザイキング処理の一例を説明する。
以下の説明においては、マルチバンドイメージセンサ7のカラーフィルタCi(i=1〜8)が配設された画素から得られた単板の画素値がXiであるものとする。
デモザイキング処理は、まず、固定パターンの画素位置に配置されたカラーフィルタC1,C2が配設された画素から得られた画素値X1,X2から着手する。ここで、カラーフィルタC1とカラーフィルタC2とには分光透過率特性に相関性が高い(すなわち、スペクトル相関性が高い)ものとする(スペクトル相関性が高くない場合には、下記に説明するように、後段の処理において空間相関性を用いた補間を行うことになる)。この場合には、カラーフィルタC1の分光透過率特性に対するカラーフィルタC2の分光透過率特性の比に基づく係数K12をX1に乗算すれば、C1の画素位置の画素値X2を算出することができる。同様に、カラーフィルタC2の分光透過率特性に対するカラーフィルタC1の分光透過率特性の比に基づく係数K21をX2に乗算すれば、C2の画素位置の画素値X1を算出することができる。このような処理を単板として得られた全ての画素値X1,X2について行うことにより、図5に示す固定パターンの画素位置(C1およびC2の画素位置)の全てについて、画素値X1およびX2が得られる。
次に、固定パターン以外の画素位置の画素値X1,X2の補間についても、例えば、まずスペクトル相関性を利用可能であれば利用する。すなわち、カラーフィルタC1とスペクトル相関性が高いカラーフィルタがC3〜C8の中にある場合には、そのカラーフィルタをCjとすると、カラーフィルタCjの分光透過率特性に対するカラーフィルタC1の分光透過率特性の比に基づく係数Kj1をXjに乗算すれば、Cjの画素位置の画素値X1を算出することができる。
同様に、カラーフィルタC2とスペクトル相関性が高いカラーフィルタがC3〜C8の中にある場合には、そのカラーフィルタをCmとすると、カラーフィルタCmの分光透過率特性に対するカラーフィルタC2の分光透過率特性の比に基づく係数Km2をXmに乗算すれば、Cmの画素位置の画素値X2を算出することができる。
なお、このようなスペクトル相関を利用したデモザイキング処理は、カラーフィルタC1,C2として、上述したようなカラーフィルタC3〜C8の何れよりも分光透過率特性におけるピークの半値幅が広いフィルタを選ぶ場合に、各カラーフィルタとのスペクトル相関性が確保できると期待されるために有利である。
固定パターン以外の画素位置において、画素値X1と画素値X2との何れか一方のみしか得られていない場合には、画素値X1と画素値X2との相関性を用いれば、上述したように他方を容易に得ることができる。
このような処理を行うことにより、カラーフィルタC1またはカラーフィルタC2の少なくとも一方とスペクトル相関性が高いカラーフィルタC3〜C8の全ての画素位置に対して、画素値X1および画素値X2を推定することができる。
この処理の後には、画素値X1,X2が得られていないのは、カラーフィルタC1およびカラーフィルタC2の何れともスペクトル相関性が高くないカラーフィルタ(C3〜C8中の何れかであり、Cnとする)の画素位置のみとなる。
そこで、次に、Cn以外の画素位置で得られている画素値X1に基づき、空間相関性を利用して線形補間等を行うことにより、Cnの画素位置における画素値X1を算出する。同様に、Cn以外の画素位置で得られている画素値X2に基づき、空間相関性を利用して線形補間等を行うことにより、Cnの画素位置における画素値X2を算出する(あるいは、C1とC2とのスペクトル相関性を利用して、Cnの画素位置における画素値X1に基づき、同画素位置における画素値X2を算出する。)。このような処理を全てのCnの画素位置に対して行うことにより、全画素位置の画素値X1,X2が得られることになる。なお、上述においては、カラーフィルタC1とカラーフィルタC2とにスペクトル相関性が高いことを想定したが、スペクトル相関性が高くない場合には、この段階で空間相関性を利用して補間を行うことになる。
こうして、全画素位置の画素値X1,X2が得られたら、次は全画素位置の画素値X3〜C8の補間処理に進む。
ここでもまず、スペクトル相関性を利用可能であれば利用することにする。すなわち、カラーフィルタCjは上述したようにカラーフィルタC1とスペクトル相関性が高いから、カラーフィルタC1の分光透過率特性に対するカラーフィルタCjの分光透過率特性の比に基づく係数K1jをCj以外の画素位置のX1に乗算すれば、Cj以外の画素位置の画素値Xjを算出することができる。
同様に、カラーフィルタCmは上述したようにカラーフィルタC2とスペクトル相関性が高いから、カラーフィルタC2の分光透過率特性に対するカラーフィルタCmの分光透過率特性の比に基づく係数K2mをCm以外の画素位置のX2に乗算すれば、Cm以外の画素位置の画素値Xmを算出することができる。ただし、カラーフィルタCjとCmには共通するものが存在することがあり得る(つまり、CjにC2ともスペクトル相関性が高いものが存在することがあり、そのCjはCmにも含まれる)。このCjとCmに共通するフィルタについては、C1とのスペクトル相関性とC2とのスペクトル相関性との内の、高い方のスペクトル相関性を示す方から得られた結果を採用すれば良い。
このような処理を全てのCjおよびCm(ただし、CjとCmに共通するフィルタについては何れか一方)について行うことにより、全画素位置の画素値X1,X2,Xj,Xmが得られる。
この時点でデモザイキングが未処理であるのは、カラーフィルタC1およびカラーフィルタC2の何れともスペクトル相関性が高くないカラーフィルタCnに係る画素値Xnである。
ここでもさらに、スペクトル相関性を利用可能であれば利用することにする。すなわち、カラーフィルタCnは、上述したようにカラーフィルタC1,C2とはスペクトル相関性が高くないが、カラーフィルタCjまたはCmの中にスペクトル相関性が高いものが存在することがある(このカラーフィルタをCpとする)。このときには、カラーフィルタCpの分光透過率特性に対するカラーフィルタCnの分光透過率特性の比に基づく係数KpnをCn以外の画素位置のXpに乗算すれば、Cn以外の画素位置の画素値Xnを算出することができる。
このような処理をCpが存在する全てのCnについて行う。全てのCnに対してCpが存在する場合には、この時点でデモザイキング処理が終了することになる。一方、Cpが存在しないCnがある場合には、そのCnをCn’とし、Cn’以外のCnをCp’とすると、カラーフィルタCn’は、カラーフィルタCp’の中にスペクトル相関性が高いものが存在することがある。このときには、CnとCpとのスペクトル相関性を利用して画素値Xnを算出した処理と全く同様の処理を、Cn’とCp’とに対して行う。その後も、Cp’が存在しないCn’がある場合には、そのCn’をCn”とし、Cn”以外のCn’をCp”とする、等を繰り返し行う。
このような処理を、それ以上の実行が不可能になるまで行った結果、全画素位置に対して画素値X1〜X8が得られればデモザイキング処理が終了する。一方、画素値X1〜X8の内の何れかに得られていないものがあれば、その画素値に対応するカラーフィルタは既に全画素位置に対して画素値が得られているカラーフィルタの何れともスペクトル相関性が高くないことになる。
この場合には、デモザイキングが未処理のカラーフィルタの画素値を、例えば空間相関性を利用して補間すれば良い。
なお、上述では、輝度成分に寄与する割合が高い方から順に2つ選んだカラーフィルタC1,C2を固定パターンの画素位置に配置したが、これらに加えて、輝度成分に寄与する割合がカラーフィルタC1,C2に準ずるような光を透過するその他のバンドのカラーフィルタをランダム配置フィルタに配置するようにしても構わない(ランダム配置フィルタとすると、エイリアシングノイズを低減することができる効果がある)。
また、上述では空間相関性を利用する補間法として線形補間法を例に挙げたが、空間相関性を利用する補間法には例えば勾配に基づく補間法やその他各種の技術が存在するために、それらの内の何れの技術を用いても構わない。
さらに、上述では空間相関性よりもスペクトル相関性を優先的に利用したが、勿論これに限るものではなく、処理負荷等も考慮しながらより精度の高い補間法を適用すればよい。一例を挙げれば、エッジ検出等を用いた画像の平坦性の検出や、画像の色分布の検出を行い、その結果に基づいて画像を解析し、画像全体を、平坦性が高いために空間相関性に基づく補間を行う領域と、色相関性が高いためにスペクトル相関性に基づく補間を行う領域とに分割し、領域毎にそれぞれに適した補間法を適用する等が考えられる。
その他、デモザイキング処理としては種々の技術が提案されているために、本発明の趣旨を損なうものでなければ、任意の技術を採用することができる。
このような実施形態1によれば、4バンド以上の単板マルチバンド撮像素子用カラーフィルタを用いて単板マルチバンド撮像素子を構成しているために、原色ベイヤー配列のカラーフィルタを供えた撮像素子よりも色再現性を高めることができ、かつ、被写体のスペクトルをより高精度に推定することが可能となる。
そして、輝度成分に寄与する割合が高い光を透過するカラーフィルタを、全画素に占める割合Rateが0.25<Rate<0.5となるように撮像面全体に渡って一定の密度で分布する固定パターンの画素位置に配置したために、比較的高い輝度解像度を固定パターンの画素位置で確実に確保しながら、上記特開2007−251393号公報に記載された技術よりも色解像度を向上することが可能となる。特に、0.3<Rate<0.4とした場合には、単板マルチバンド撮像素子における輝度解像度と色解像度とを何れも高いレベルに保つことができ、両者を良好にバランスさせることができる。
そして、水平方向および垂直方向の2次元状配列において、全ての固定配置フィルタが配置される画素位置により構成される固定パターンが、左斜め方向の配列および右斜め方向の配列を含むようにしたために、水平方向と垂直方向との両方における輝度解像度を確保することができる。このとき、左斜め方向の配列および右斜め方向の配列を、配列方向に沿ってフィルタが連続する配列とすることにより、輝度成分が得られないラインは水平ラインおよび水平ラインの何れにも存在しなくなるために、水平方向と垂直方向との両方における輝度解像度を高めることが可能となる。加えて、左斜め方向の配列同士がなすピッチと右斜め方向の配列同士がなすピッチとを同一とすることにより、水平方向の輝度解像度と垂直方向の輝度解像度とを同一レベルの高さに保つことができる。
特に、本実施形態においては、左斜め方向の配列同士がなすピッチと右斜め方向の配列同士がなすピッチとを何れも斜め方向に2画素のピッチとし、固定パターンを4×4画素配列を基本配列として、この基本配列内において座標(1,1)および(3,3)にのみC1を配置し、座標(2,2)、(2,4)、(4,2)、(4,4)にのみC2を配置することにより、割合Rateを0.375として、上述した望ましい条件、0.3<Rate<0.4を達成することができる。
また、全画素に占める割合が0.5よりも大きい領域(固定パターンの画素位置を除く画素位置でなる領域)にその他のカラーフィルタC3〜C8をランダムに配置することにより、色解像度の向上を図りながら、デモザイキングを行うときの偽色の発生を抑制することができる。
[実施形態2]
[実施形態2]
図6から図11は本発明の実施形態2を示したものであり、図6はマルチバンドイメージセンサ7におけるカラーフィルタ配置を示す図、図7は固定パターンの画素位置に配置されるカラーフィルタを示す図、図8はカラーフィルタ配列における固定パターンを示す図、図9はランダム配置フィルタを配置する閉領域の例を示す図、図10はカラーフィルタC1〜C8の各分光透過率特性を示す線図、図11はカラーフィルタC2として複数の透過率のフィルタを用いる例における分光透過率特性を示す線図である。この実施形態2において、上述の実施形態1と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
本実施形態においても、上述した実施形態1と同様に、カラーフィルタ7cとして、8バンドのカラーフィルタC1〜C8を用いている。ただし、本実施形態においては、所定バンドの数は3となっていて、固定配置フィルタであるのはカラーフィルタC1〜C3、ランダム配置フィルタであるのはカラーフィルタC4〜C8である。そして、このような8バンドのカラーフィルタC1〜C8を用いて、例えば図6のようなフィルタ配置をとっている。
固定配置フィルタであるカラーフィルタC1〜C3は、図7に示すような規則的な構造をなす固定パターンの画素位置にのみ配置されていて、輝度成分に寄与する割合が1〜3番目に高い光を透過し、かつ、例えばバンド幅が広いフィルタとなっている。
すなわち、各カラーフィルタC1〜C8の分光透過率特性は、例えば図10に示すようになっていて、固定配置フィルタであるカラーフィルタC1〜C3は、ランダム配置フィルタであるカラーフィルタC4〜C8の何れよりも分光透過率特性におけるピークの半値幅が広いフィルタとなっている。そして、カラーフィルタC1〜C3の内のカラーフィルタC2は、カラーフィルタC1,C3よりも輝度成分に寄与する割合が高い光を透過する。
カラーフィルタC1〜C3(すなわち、固定配置フィルタの全色)で構成される固定パターンは、図8に示すように、上述した実施形態1の図5に示したものと基本的に同様である。従って、固定パターンの画素位置に配置された画素の割合Rateも、実施形態1と同様に0.375であり、0.625の割合の領域にランダム配置フィルタであるカラーフィルタC4〜C8を配置することが可能となり、輝度解像度をある程度確保しながら、色解像度の向上を図ることが可能である。
ただし、実施形態1と異なって固定配置フィルタが3色であるために、図7に示すように、各色の配置は実施形態1とは自ずから異なる。
まず、カラーフィルタC1の配置は、図7に示す例は図5に示したものと同様である。従って、図5に示したカラーフィルタC2の位置を、本実施形態においてはカラーフィルタC2,C3でシェアすることになる。
すなわち、カラーフィルタC1を(1,1)〜(4,4)までの4×4画素の基本配列内における例えば座標(1,1)および(3,3)に配置したときに、カラーフィルタC2は、座標(2,2)および(4,4)に配置され、カラーフィルタC3は、座標(2,4)および(4,2)に配置されている(ただし、カラーフィルタC2とカラーフィルタC3の配置は交換しても構わない)。このような配列を採用した場合には、カラーフィルタC1〜C3は水平および垂直にそれぞれ接しないように1ラインの隙間をもった市松模様(隙間のラインを無視すると市松模様となる)で配置され、カラーフィルタC1はカラーフィルタC2およびカラーフィルタC3とは異なるラインの全てに水平および垂直に3ラインおきに配置されることになる。
また、ランダム配置フィルタであるカラーフィルタC4〜C8は、図8に示した固定パターン以外の画素位置に、上述したようなフィルタ基礎配列領域におけるバンド毎のカラーフィルタの数が予め定められた数となる制限の下に、ランダムに配置されている。
ただし、例えば図6に示したようなフィルタ基礎配列領域内全体でランダムに配置するのに変えて、図9に示すように、フィルタ基礎配列領域内の閉領域毎にランダムに配置しても良い。
すなわち、固定パターンは、左斜め方向の配列および右斜め方向の配列の組み合わせによって斜め格子を構成している。そして、隣接する一対の同一周期(ここに、同一周期は、配列方向に沿ったカラーフィルタの配列順序が同一であることを示している。後述する実施形態3においては、隣接する配列の位相が半周期ずれている例が示されており、ここでは、閉領域が、同一周期の配列同士で囲まれた領域であることを述べている。)の左斜め方向の配列と、隣接する一対の同一周期の右斜め方向の配列と、で構成される斜め格子により囲まれる閉領域が存在する(図9のハッチング部分参照)。この閉領域は、図9に示す例では十字状をなす5画素分の領域である。そこで、この閉領域毎に、ランダム配置フィルタであるカラーフィルタC4〜C8の全5色をランダムに配置することが考えられる。この場合には、図9に示した例に限らず、ランダム配置フィルタのバンド数が、閉領域の画素数を最大値とする数である(つまり、閉領域の画素数以下である)ことを想定している。
そして、閉領域毎のランダム配置をとる場合には、フィルタ基礎配列領域、ひいては画像全体における各色の分布をほぼ均一とすることができるために、デモザイキングを行うときの偽色の発生を抑制することができ、かつ、色解像度の局所的な低下も抑制することが可能となる。
ただし、閉領域の画素数とランダム配置フィルタのバンド数とに応じて、ランダム配置フィルタの各バンドの割合は制限を受けることになる。例えば、図9に示したような閉領域の画素数が5で、かつランダム配置フィルタのバンド数が5である場合には、ランダム配置フィルタの各バンドの割合は均等に制限される(カラーフィルタC4〜C8の全5色を同一数ずつ配置するしかない)。
次に、本実施形態において、信号処理部19により行われるデモザイキング処理の一例について、上述した実施形態1と異なる部分を主として説明する。
本実施形態においては、図10に示すような分光透過率特性のカラーフィルタC1〜C8を用いているために、スペクトル相関に関して次のような特徴がある。
まず、固定配置フィルタであるカラーフィルタC1〜C3は、ピークの半値幅が広いために、スペクトル相関をもつ色の種類が比較的多い。まず、カラーフィルタC2はカラーフィルタC1およびC3と強いスペクトル相関をもち、カラーフィルタC1とカラーフィルタC3とは幾らかのスペクトル相関をもつ。
カラーフィルタC2はカラーフィルタC6と強い相関をもち、カラーフィルタC5およびC7と幾らかのスペクトル相関をもつ。
カラーフィルタC1はカラーフィルタC5と強い相関をもち、カラーフィルタC4およびC6と幾らかのスペクトル相関をもつ。
カラーフィルタC3はカラーフィルタC7と強い相関をもち、カラーフィルタC6およびC8と幾らかのスペクトル相関をもつ。
また、カラーフィルタC4〜C8は互いのスペクトル相関が比較的低いながらも、波長に沿った配列順序を考慮すると、カラーフィルタC4とカラーフィルタC5、カラーフィルタC5とカラーフィルタC6、カラーフィルタC6とカラーフィルタC7、カラーフィルタC7とカラーフィルタC8は、それぞれ少しはスペクトル相関がある。
デモザイキング処理は、まず、固定パターンの画素位置に配置されたカラーフィルタC1〜C3が配設された画素から得られた画素値X1〜X3から着手する。カラーフィルタC1〜C3間には上述したような相関性があるために、カラーフィルタC1の分光透過率特性に対するカラーフィルタC2の分光透過率特性の比に基づく係数K12をX1に乗算すれば、C1の画素位置の画素値X2を算出することができる。同様に、カラーフィルタC3の分光透過率特性に対するカラーフィルタC2の分光透過率特性の比に基づく係数K32をX3に乗算すれば、C3の画素位置の画素値X2を算出することができる。このような処理を単板として得られた全ての画素値X1〜X3について行うことにより、図8に示す固定パターンの画素位置(C1〜C3の画素位置)の全てについて、画素値X2が得られる。
次に、カラーフィルタC2の分光透過率特性に対するカラーフィルタC1の分光透過率特性の比に基づく係数K21をX2に乗算すれば、固定パターンの画素位置の全てについて、画素値X1が得られる。
同様に、カラーフィルタC2の分光透過率特性に対するカラーフィルタC3の分光透過率特性の比に基づく係数K23をX2に乗算すれば、固定パターンの画素位置の全てについて、画素値X3が得られる。
ここまでの処理により、固定パターンの画素位置の全てについて、画素値X1〜X3が得られたことになる。
次に、固定パターン以外の画素位置の画素値X1〜X3の補間についても、例えば、まずスペクトル相関性を利用可能であれば利用する。
上述と同様の係数を利用すれば、カラーフィルタC4,C5の位置の画素値X1、カラーフィルタC6の位置の画素値X2、カラーフィルタC7,C8の位置の画素値X3がそれぞれ得られる。
また、C2とC5のスペクトル相関、またはC2とC1のスペクトル相関の何れか一方を利用すれば、カラーフィルタC5の位置の画素値X2が得られ、C2とC1のスペクトル相関を利用すればカラーフィルタC4の位置の画素値X1が得られる。C2とC7のスペクトル相関、またはC2とC3のスペクトル相関の何れか一方を利用すれば、カラーフィルタC7の位置の画素値X2が得られ、C2とC3のスペクトル相関を利用すれば、カラーフィルタC8の位置の画素値X2が得られる。これにより、全画素位置について、画素値X2が得られたことになる。
同様に、C1とC6のスペクトル相関、またはC1とC2のスペクトル相関の何れか一方を利用すれば、カラーフィルタC6の位置の画素値X1が得られ、C1とC2のスペクトル相関を利用すればカラーフィルタC7,C8の位置の画素値X1が得られる。これにより、全画素位置について、画素値X1が得られたことになる。
さらに、C3とC6のスペクトル相関、またはC3とC2のスペクトル相関の何れか一方を利用すれば、カラーフィルタC6の位置の画素値X3が得られ、C3とC2のスペクトル相関を利用すればカラーフィルタC4,C5の位置の画素値X3が得られる。これにより、全画素位置について、画素値X3が得られたことになる。
この時点で、全画素位置について画素値X1〜X3が得られているために、画素値X4〜X8については、スペクトル相関に基づき画素値X1〜X3の何れかリファレンスとして用いて算出することができる。
すなわち、C4とC1のスペクトル相関を利用すれば全画素位置の画素値X4が得られ、C5とC1のスペクトル相関を利用すれば全画素位置の画素値X5が得られ、C6とC2のスペクトル相関を利用すれば全画素位置の画素値X6が得られ、C7とC3のスペクトル相関を利用すれば全画素位置の画素値X7が得られ、C8とC3のスペクトル相関を利用すれば全画素位置の画素値X8が得られる。
こうして、図10に示したような分光透過率特性のカラーフィルタC1〜C8を用いれば、スペクトル相関に基づきデモザイキングを行うことが可能となる。ただし、上述の処理においては間接的なスペクトル相関を利用している部分(一例を挙げれば、C5とC2にスペクトル相関があり、C2とC3にスペクトル相関があるのを利用して、C5の位置の画素値X3を求める等)があるが、このような間接的なスペクトル相関では補間精度が低下する場合もあり得る。従って、補間精度が低下する可能性がある場合には、スペクトル相関に代えて空間相関等を適宜利用しても勿論構わない。
なお、カラーフィルタC2は、上述したように、固定配置フィルタであるカラーフィルタC1〜C3の中で輝度成分に寄与する割合が最も高い光を透過する。そこで、このカラーフィルタC2として、図11に示すような複数の透過率のカラーフィルタC2,C2’,C2”を用いることが考えられる。ここに、カラーフィルタC2’はカラーフィルタC2よりも感度が高く、カラーフィルタC2”はカラーフィルタC2よりも感度が低くなるように設定されている。このような構成を採用すれば、ダイナミックレンジの拡大を容易に図ることができる利点がある。
このような実施形態2によれば、上述した実施形態1とほぼ同様の効果を奏するとともに、固定パターンの位置に配置するフィルタの種類を3種類とすることができる。
このとき、C1を4×4画素配列における座標(1,1)および(3,3)に配置するとともに、座標(2,2)および(4,4)と、座標(2,4)および(4,2)と、の内の一方にC2を、他方にC3を配置する場合には、C1〜C3の何れもを、撮像面全体に渡って均一の密度で分布させることができる。
また、隣接する一対の同一周期の左斜め方向の配列と、隣接する一対の同一周期の右斜め方向の配列と、で構成される斜め格子により囲まれる閉領域毎に、全バンドのランダム配置フィルタを配置する場合には、フィルタ基礎配列領域、ひいては画像全体における各色の分布をほぼ均一とすることができるために、デモザイキングを行うときの偽色の発生を抑制することができるだけでなく、任意画素の近傍に任意の色を存在させることができ、色解像度の局所的な低下も抑制することが可能となる。
また、固定パターンの画素位置にあるフィルタ(固定配置フィルタ)は、比較的高い精度でデモザイキングを行うことができる。そこで、固定配置フィルタとして分光透過率特性におけるピークの半値幅が広いフィルタを用いることにより、スペクトル相関に基づくデモザイキングを高精度に行うことが可能となる。
[実施形態3]
[実施形態3]
図12および図13は本発明の実施形態3を示したものであり、図12は固定パターンの画素位置に配置されるカラーフィルタを示す図、図13はカラーフィルタ配列における固定パターンを示す図である。この実施形態3において、上述の実施形態1,2と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
本実施形態におけるフィルタ構成は、上述した実施形態1と同様に所定バンドの数は2となっていて、図12に示すように固定配置フィルタであるのはカラーフィルタC1,C2である。また、ランダム配置フィルタは適宜でよいが、例えば実施形態1と同様にカラーフィルタC3〜C8である。
固定配置フィルタであるカラーフィルタC1,C2が配置される固定パターンは、実施形態1とは異なり、図12および図13に示すような配列となっている。
この固定パターンは、配列方向に沿ってフィルタが連続する左斜め方向の配列および右斜め方向の配列を含むことは実施形態1と同様であるが、隣接する一対の同一周期の左斜め方向の配列同士がなすピッチと、隣接する一対の同一周期の右斜め方向の配列同士がなすピッチとは、実施形態1と違い、異なっている。
すなわち、同一周期の左斜め方向(図12、図13において右上から左下にかけての方向)の配列同士がなすピッチは斜め方向2画素分であるのに対して、同一周期の右斜め方向(図12、図13において左上から右下にかけての方向)の配列同士がなすピッチは斜め方向の6画素分となっている。なお、図13のみを見ると、右斜め方向の配列同士がなすピッチは斜め方向の3画素分であるようにも見えるが、右斜め方向の配列は、同一周期の配列同士の間に、半周期位相がずれた配列が挟み込まれている。つまり、図12において例えば座標(1,7)および(7,1)のカラーフィルタはC1であるのに対して、座標(4,4)のカラーフィルタはC2である。従って、同一周期の右斜め方向の配列同士がなすピッチは、正しくは、上述したように6画素分である。
このような固定パターンがどのように繰り返されているかは基点とする画素位置に応じて種々の見方ができるが、見方の一例としては、図13においてハッチングで示したような繰り返しパターンが生じているということができる。
そして、図13の実線ハッチングで示した繰り返しパターンを例にとると、図12を見れば、座標(4,6)、(6,4)、(6,6)、(8,2)の4つの画素位置にカラーフィルタC2が配置され、座標(3,7)、(5,5)、(7,3)、(9,3)の4つの画素位置にカラーフィルタC1が配置されていることが分かる。
このような固定パターンの画素位置に配置された画素の割合Rateは、8/24=0.333であり、上述した条件0.25<Rate<0.5を満たすことは勿論、より望ましい条件0.3<Rate<0.4も満たすものとなっている。
従って、残りの0.667の割合の領域に、ランダム配置フィルタを配置することになり、上記特開2007−251393号公報に記載された技術よりも色解像度の向上を図ることが可能となる。
なお、本実施形態の固定パターンにおいても、隣接する一対の同一周期の左斜め方向の配列と、隣接する一対の同一周期の右斜め方向の配列と、で構成される斜め格子により囲まれる閉領域(図13において同一種類のハッチングを施した画素位置の内の、固定以外の画素位置で構成される閉領域)毎に、全バンドのランダム配置フィルタを配置しても良いことは勿論である。
このような実施形態3によっても、左斜め方向の配列同士がなすピッチと右斜め方向の配列同士がなすピッチとが同一でない点を除いて、上述した実施形態1とほぼ同様の効果を奏することが可能となる。
[実施形態4]
[実施形態4]
図14および図15は本発明の実施形態4を示したものであり、図14は固定パターンの画素位置に配置されるカラーフィルタを示す図、図15はカラーフィルタ配列における固定パターンを示す図である。この実施形態4において、上述の実施形態1〜3と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
本実施形態におけるフィルタ構成は、上述した実施形態1,3と同様に所定バンドの数は2となっていて、図14に示すように固定配置フィルタであるのはカラーフィルタC1,C2である。また、ランダム配置フィルタは適宜でよいが、例えば実施形態1と同様にカラーフィルタC3〜C8である。
固定配置フィルタであるカラーフィルタC1,C2が配置される固定パターンは、実施形態1,3とは異なり、図14および図15に示すような配列となっている。
この固定パターンは、配列方向に沿ってフィルタが連続する左斜め方向の配列および右斜め方向の配列を含み、左斜め方向の配列同士がなすピッチと、右斜め方向の配列同士がなすピッチとが同じであることは、実施形態1と同様である。
ただし、ピッチの値が異なり、同一周期の左斜め方向(図14、図15において右上から左下にかけての方向)の配列同士がなすピッチと、同一周期の右斜め方向(図14、図15において左上から右下にかけての方向)の配列同士がなすピッチとは、何れも、斜め方向の6画素分となっている。
さらに、隣接する同一周期の左斜め方向の配列同士の間に、半周期位相がずれた左斜め方向の配列が挟み込まれ、隣接する同一周期の右斜め方向の配列同士の間に、半周期位相がずれた右斜め方向の配列が挟み込まれたものとなっている。例えば、図14に示す配列において、右斜め方向の配列について考えると、座標(10,4)および(4,10)のカラーフィルタはC2であるのに対して、座標(7,7)のカラーフィルタはC1である。同様に、左斜め方向の配列について考えると、座標(4,4)および(10,10)のカラーフィルタはC2であるのに対して、座標(7,7)のカラーフィルタはC1である。
このような固定パターンがどのように繰り返されているかは基点とする画素位置に応じて種々の見方ができるが、見方の一例としては、図15においてハッチングで示したような繰り返しパターンが生じているということができる。
そして、図15において実線、点線、一点鎖線の何れかのハッチングで示した繰り返しパターンの1つを例にとると、図14を見れば、座標(2,6)、(4,4)、(6,2)、(6,6)、(6,8)、(8,2)、(8,6)、(8,8)、(10,4)、(12,6)の10個の画素位置にカラーフィルタC2が配置され、座標(3,5)、(5,3)、(5,5)、(5,9)、(7,1)、(7,7)、(9,3)、(9,5)、(9,9)、(11,5)の10個の画素位置にカラーフィルタC1が配置されていることが分かる。
このような固定パターンの画素位置に配置された画素の割合Rateは、20/72=0.278であり、上述した条件0.25<Rate<0.5は満たしているが、より望ましい条件0.3<Rate<0.4には届かないものとなっている。ただし、このような固定パターンの配置であっても、ランダム配置フィルタの中に輝度成分を多く含むフィルタを入れれば、輝度解像度を高く維持することが可能である。
そして、残りの0.722の割合の領域に、ランダム配置フィルタを配置することになるために、上記特開2007−251393号公報に記載された技術よりも色解像度の向上を図ることが可能となるのは上述した各実施形態と同様である。
なお、本実施形態の固定パターンにおいても、隣接する一対の同一周期の左斜め方向の配列と、隣接する一対の同一周期の右斜め方向の配列と、で構成される斜め格子により囲まれる閉領域(図15において同一種類のハッチングを施した画素位置の内の、固定以外の画素位置で構成される閉領域)毎に、全バンドのランダム配置フィルタを配置しても良いことは勿論である。
このような実施形態4によっても、固定配置フィルタによる輝度解像度がやや低下する点を除いて、上述した実施形態1とほぼ同様の効果を奏することが可能となる。
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
1…撮像装置
2…撮影レンズ系
3…レンズ駆動機構
4…レンズドライバ
5…露出制御機構
6…露出制御ドライバ
7…マルチバンドイメージセンサ(単板マルチバンド撮像素子)
7a…基板
7b…モノクロ画素
7c…カラーフィルタ(単板マルチバンド撮像素子用カラーフィルタ)
8…イメージセンサドライバ
9…プリプロセス回路
10…デジタルプロセス回路
11…カードインタフェース(カードI/F)
12…LCD
13…操作スイッチ
14…操作表示部
15…EEPROM
16…システムコントローラ
17…メモリカード
18…メモリ
19…信号処理部
C1〜C8…カラーフィルタ
2…撮影レンズ系
3…レンズ駆動機構
4…レンズドライバ
5…露出制御機構
6…露出制御ドライバ
7…マルチバンドイメージセンサ(単板マルチバンド撮像素子)
7a…基板
7b…モノクロ画素
7c…カラーフィルタ(単板マルチバンド撮像素子用カラーフィルタ)
8…イメージセンサドライバ
9…プリプロセス回路
10…デジタルプロセス回路
11…カードインタフェース(カードI/F)
12…LCD
13…操作スイッチ
14…操作表示部
15…EEPROM
16…システムコントローラ
17…メモリカード
18…メモリ
19…信号処理部
C1〜C8…カラーフィルタ
Claims (11)
- 複数のモノクロ画素が撮像面に2次元状に配列された基板に対して配設することによりカラーの単板撮像素子を構成するための単板マルチバンド撮像素子用カラーフィルタにおいて、
分光透過率特性が関数的に独立して異なる4以上の複数バンドのカラーフィルタ(以下、フィルタという)であって、1つの上記モノクロ画素に対して該複数バンドのフィルタの内の何れか1バンドのフィルタが配置されるようになされ、前記撮像面全体、または該撮像面を複数に区分した全ての区分のそれぞれをフィルタ基礎配列領域としたときに、該フィルタ基礎配列領域におけるバンド毎の数が予め定められたフィルタを具備し、
前記フィルタは、
前記フィルタ基礎配列領域内において、0.25よりも大きく0.5未満の割合を占めるように予め定められた固定パターンの画素位置のみに配置されることにより、前記撮像面全体に渡って一定の密度で分布するようになされた、前記複数バンドのフィルタの内の2以上の所定バンドの固定配置フィルタと、
前記フィルタ基礎配列領域内における前記固定パターンの画素位置を除く画素位置にランダムに配置された、前記複数バンドのフィルタの内の、前記所定バンド以外のバンドのランダム配置フィルタと、
で構成され、任意の前記固定配置フィルタが透過する光は、輝度成分に寄与する割合が、何れの前記ランダム配置フィルタが透過する光よりも高いことを特徴とする単板マルチバンド撮像素子用カラーフィルタ。 - 上記2次元状の配列は、水平方向および垂直方向の配列であり、全ての前記固定配置フィルタが配置される画素位置により構成される固定パターンは、左斜め方向の配列および右斜め方向の配列を含むことを特徴とする請求項1に記載の単板マルチバンド撮像素子用カラーフィルタ。
- 前記左斜め方向の配列および右斜め方向の配列は、配列方向に沿ってフィルタが連続する配列であることを特徴とする請求項2に記載の単板マルチバンド撮像素子用カラーフィルタ。
- 前記左斜め方向の配列同士がなすピッチと、前記右斜め方向の配列同士がなすピッチとは、同一であることを特徴とする請求項3に記載の単板マルチバンド撮像素子用カラーフィルタ。
- 前記左斜め方向の配列同士がなすピッチと、前記右斜め方向の配列同士がなすピッチとは、何れも斜め方向に2画素のピッチであって、前記固定パターンは4×4画素配列を基本配列としたものであり、
前記所定バンドは2バンドまたは3バンドであって、該固定配置フィルタの内の1バンドをC1として、このC1を4×4画素配列における座標(1,1)に配置したときに、該4×4画素配列内において座標(3,3)にのみさらにC1が存在し、該C1以外の1バンドまたは2バンドのフィルタが、座標(2,2)、(2,4)、(4,2)、(4,4)に配置されていることを特徴とする請求項4に記載の単板マルチバンド撮像素子用カラーフィルタ。 - 前記所定バンドは3バンドであり、前記C1以外の2バンドをC2およびC3としたときに、座標(2,2)および(4,4)と、座標(2,4)および(4,2)と、の内の一方にC2が、他方にC3が配置されていることを特徴とする請求項5に記載の単板マルチバンド撮像素子用カラーフィルタ。
- 前記固定パターンは、組み合わせによって斜め格子を構成する左斜め方向の配列および右斜め方向の配列でなり、
前記ランダム配置フィルタは、隣接する一対の同一周期の前記左斜め方向の配列と、隣接する一対の同一周期の前記右斜め方向の配列と、で構成される斜め格子により囲まれる閉領域内の画素の数を最大値とする数のバンドがあり、該閉領域毎に、全バンドの該ランダム配置フィルタが配置されていることを特徴とする請求項3に記載の単板マルチバンド撮像素子用カラーフィルタ。 - 前記固定配置フィルタは、前記ランダム配置フィルタの何れよりも分光透過率特性におけるピークの半値幅が広いフィルタを含むことを特徴とする請求項1に記載の単板マルチバンド撮像素子用カラーフィルタ。
- 複数のモノクロ画素が撮像面に2次元状に配列された基板と、
1バンドのフィルタが1つの上記モノクロ画素に対して配置されるように、上記基板に対して取り付けられた、請求項1〜8の何れか一項に記載の単板マルチバンド撮像素子用カラーフィルタと、
を具備したことを特徴とする単板マルチバンド撮像素子。 - 請求項9に記載の単板マルチバンド撮像素子と、
被写体の光学像を上記単板マルチバンド撮像素子上に結像するための撮像光学系と、
を具備したことを特徴とする撮像装置。 - 上記フィルタの配置情報を記憶する記憶部と、
上記記憶部から読み出したフィルタ配置情報に基づいて、上記単板マルチバンド撮像素子から読み出された1画素につき1バンドの情報を含む画像データから、1画素につき全バンドの情報を含む画像データを生成するデモザイキング処理を行う画像処理部と、
をさらに具備したことを特徴とする請求項10に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011113904A JP2012244495A (ja) | 2011-05-20 | 2011-05-20 | 単板マルチバンド撮像素子用カラーフィルタ、単板マルチバンド撮像素子、マルチバンド撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011113904A JP2012244495A (ja) | 2011-05-20 | 2011-05-20 | 単板マルチバンド撮像素子用カラーフィルタ、単板マルチバンド撮像素子、マルチバンド撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012244495A true JP2012244495A (ja) | 2012-12-10 |
Family
ID=47465701
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011113904A Withdrawn JP2012244495A (ja) | 2011-05-20 | 2011-05-20 | 単板マルチバンド撮像素子用カラーフィルタ、単板マルチバンド撮像素子、マルチバンド撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012244495A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016100703A (ja) * | 2014-11-20 | 2016-05-30 | キヤノン株式会社 | 撮像ユニット、撮像装置、及び画像処理システム |
US10237519B2 (en) | 2015-09-08 | 2019-03-19 | Panasonic Intellectual Property Management Co., Ltd. | Imaging apparatus, imaging system, image generation apparatus, and color filter |
US10271058B2 (en) | 2016-06-16 | 2019-04-23 | Panasonic Intellectual Property Management Co., Ltd. | Imaging apparatus and imaging system |
-
2011
- 2011-05-20 JP JP2011113904A patent/JP2012244495A/ja not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016100703A (ja) * | 2014-11-20 | 2016-05-30 | キヤノン株式会社 | 撮像ユニット、撮像装置、及び画像処理システム |
US10237519B2 (en) | 2015-09-08 | 2019-03-19 | Panasonic Intellectual Property Management Co., Ltd. | Imaging apparatus, imaging system, image generation apparatus, and color filter |
US10271058B2 (en) | 2016-06-16 | 2019-04-23 | Panasonic Intellectual Property Management Co., Ltd. | Imaging apparatus and imaging system |
US10531104B2 (en) | 2016-06-16 | 2020-01-07 | Panasonic Intellectual Property Management Co., Ltd. | Imaging apparatus and imaging system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI644568B (zh) | 攝像元件、攝像方法及攝像程式 | |
JP5702894B2 (ja) | カラー撮像素子および撮像装置 | |
JP5519083B2 (ja) | 画像処理装置、方法、プログラムおよび撮像装置 | |
US8780239B2 (en) | Image pickup apparatus and signal value correction method | |
JP5702896B2 (ja) | カラー撮像素子及び撮像装置 | |
JP5698875B2 (ja) | カラー撮像素子および撮像装置 | |
JP5150796B2 (ja) | 固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置 | |
JP5698874B2 (ja) | カラー撮像素子及び撮像装置 | |
US8111298B2 (en) | Imaging circuit and image pickup device | |
JPWO2014006930A1 (ja) | カラー撮像素子および撮像装置 | |
JP2009268078A (ja) | 撮像素子及び撮像装置 | |
JP4911923B2 (ja) | 固体撮像素子 | |
JP2009164778A (ja) | 撮像装置 | |
JP5033711B2 (ja) | 撮像装置及び撮像装置の駆動方法 | |
WO2017043097A1 (ja) | 撮像システム、画像処理方法、画像処理プログラム、記録媒体 | |
JP2012244495A (ja) | 単板マルチバンド撮像素子用カラーフィルタ、単板マルチバンド撮像素子、マルチバンド撮像装置 | |
JP5607266B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JP6270423B2 (ja) | 画像処理装置およびその制御方法 | |
JP5866826B2 (ja) | 撮像装置 | |
JP5624228B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JP5585200B2 (ja) | デジタルカメラ | |
CN110169054B (zh) | 摄像装置、摄像方法 | |
JP5607267B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JP5104986B2 (ja) | 固体撮像装置 | |
JP2012222704A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140805 |