以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、撮像装置の一例であるカメラ10を模式的に示す断面図である。カメラ10は、一眼レフレックスカメラである。カメラ10は、レンズユニット20及びカメラボディ30を備える。レンズユニット20は、交換レンズである。カメラボディ30には、レンズユニット20が装着される。レンズユニット20は、その鏡筒内に、光軸22に沿って配列された光学系を有する。レンズユニット20がカメラボディ30に装着されている場合、レンズユニット20は入射する被写体光をカメラボディ30の撮像ユニット40へ導く。
本実施形態において、光軸22に沿う方向をz軸方向と定める。すなわち、撮像ユニット40が有する撮像チップ44へ被写体光が入射する方向をz軸方向と定める。具体的には、被写体光が入射する方向をz軸マイナス方向と定め、その反対方向をz軸プラス方向と定める。撮像チップ44の長手方向をx軸方向と定める。撮像チップ44の短手方向をy軸方向と定める。具体的には、x軸方向及びy軸方向は、図1に図示した方向に定められる。x軸、y軸、z軸は右手系の直交座標系である。各図において、座標系の各軸の方向を示すことを目的として、図中に座標軸を付す場合がある。なお、説明の都合上、z軸プラス方向を上、z軸マイナス方向を下とみなす場合がある。例えば、z軸プラス方向を前方、前側、上方、上側等と呼ぶ場合がある。また、z軸マイナス方向を後方、後側、下方、下側等と呼ぶ場合がある。z軸マイナス方向の側を背面側等と呼ぶ場合がある。
カメラボディ30は、レンズユニット20が有するレンズ側マウント24に結合されるボディ側マウント26を有する。カメラボディ30は、ボディ側マウント26よりz軸マイナス方向の位置に、ミラーユニット31を有する。ミラーユニット31は、メインミラー32及びサブミラー33を含む。メインミラー32は、レンズユニット20が射出した被写体光の光路中に進入した進入位置と、被写体光の光路から退避した退避位置との間で回転可能に軸支される。サブミラー33は、メインミラー32に対して回転可能に軸支される。サブミラー33は、メインミラー32とともに進入位置に進入し、メインミラー32とともに退避位置に退避する。このように、ミラーユニット31は、被写体光の光路中に進入した進入状態と、被写体光から退避した退避状態とをとる。
ミラーユニット31が進入状態にある場合、メインミラー32に入射した被写体光の一部は、メインミラー32に反射されてピント板80に導かれる。ピント板80は、撮像ユニット40が有する撮像チップ44の撮像面と共役な位置に配されており、ピント板80において被写体光は結像して被写体像が形成する。ピント板80に形成された被写体像は、ペンタプリズム82及びファインダ光学系84を通じてファインダ窓86から観察される。
ピント板80は、被写体光の一部を分岐させ、分岐させた一部の被写体光である分岐光を、ペンタプリズム82を介して測光ユニット90へ導く。測光ユニット90は、ペンタプリズム82から出射された分岐光に基づいて、被写体の輝度を検出する。測光ユニット90は、プリズム91、レンズ92及び測光センサ93を有する。測光センサ93は、プリズム91及びレンズ92を介して入射した分岐光を受光する複数の光電変換素子を含む。測光センサ93は、測光センサ93が有する複数の光電変換素子がそれぞれ受光した分岐光の受光量を被写体の輝度情報としてMPU51に出力する。MPU51は、測光センサ93から取得した輝度情報に基づき、カメラ10の各部を制御する。例えば、MPU51は、当該輝度情報に基づきAE評価値を算出して、AE評価値に基づいて露出制御を行う。
ミラーユニット31が進入状態にある場合、メインミラー32に入射した被写体光のうちメインミラー32で反射した被写体光以外の光束は、サブミラー33に入射する。具体的には、メインミラー32はハーフミラー領域を有し、メインミラー32のハーフミラー領域を透過した被写体光がサブミラー33に入射する。サブミラー33は、ハーフミラー領域から入射した光束を、結像光学系70に向かって反射する。結像光学系70は、入射光束を、焦点位置を検出するための焦点検出センサ72に導く。焦点検出センサ72は、焦点位置の検出結果をMPU51へ出力する。MPU51は、測光センサ93から取得した輝度情報に基づき、カメラ10の各部を制御する。例えば、MPU51は、当該焦点情報に基づきAF評価値を算出して、AF評価値に基づいてレンズユニット20の焦点調節を行う。
ピント板80、ペンタプリズム82、メインミラー32、サブミラー33、ファインダ光学系84およびシャッタユニット38は、支持部材としてのミラーボックス60に支持される。ミラーボックス60の内表面は、植毛紙で実質的に覆われている。ミラーユニット31が退避状態にあり、シャッタユニット38が有するシャッタ幕39が開状態となれば、レンズユニット20を透過する被写体光は、撮像ユニット40よりz軸プラス側に位置する光学ユニット41に入射して、光学ユニット41を透過した光が撮像チップ44の撮像面に到達する。
光学ユニット41は、赤外の波長域の光を実質的にカットして、可視光の波長域の光を透過させる赤外カットフィルタを有する。赤外カットフィルタは、吸収または反射することにより、赤外の波長域の光を実質的にカットする。したがって、撮像チップ44のz軸プラス側の主面には、被写体光のうち可視光の波長域の光が到達する。なお、カメラ10は撮像チップ44に被写体光が到達するまでの光路中に光学ローパスフィルタを有しなくてよい。撮像チップ44は、光学ローパスフィルタを介することなく被写体光を受光してよい。
撮像チップ44は、CMOSイメージセンサやCCDイメージセンサ等の固体撮像素子を有するる。撮像チップ44は、単板式の撮像部を提供する。
撮像ユニット40のz軸マイナス方向の位置には、基板62及び表示部88が順次配置される。表示部88としては、例えば液晶パネル等を適用できる。表示部88の表示面は、カメラボディ30の背面に現れる。表示部88は、撮像チップ44からの出力信号から生成される画像を表示する。
基板62には、MPU51、ASIC52等の電子回路が実装される。MPU51は、カメラ10の全体の制御を担う。撮像チップ44からの出力信号は、フレキシブルプリント基板等を介してASIC52へ出力される。ASIC52は、撮像チップ44から出力された出力信号を処理する。
ASIC52は、撮像チップ44からの出力信号に基づいて、表示用の画像データを生成する。表示部88は、ASIC52が生成した表示用の画像データに基づいて画像を表示する。ASIC52は、撮像チップ44からの出力信号に基づいて、記録用の画像データを生成する。ASIC52は、撮像チップ44の出力信号に対して例えば画像処理や圧縮処理を施すことで記録用の画像データを生成する。ASIC52が生成した記録用の画像データは、カメラボディ30に装着された記録媒体に記録される。記録媒体は、カメラボディ30に着脱可能に構成されている。
図2は、撮像チップ44の構造を模式的に示す断面図である。図2は、撮像チップ44をxz平面に平行な面で切断した断面図を示す。撮像チップ44は、マイクロレンズ部300と、カラーフィルタ部200と、水平方向変位部281と、水平方向変位部282と、基板部160と、光電変換素子部100とを有する。基板部160は、パッシベーション層190と、配線層180と、絶縁層170とを含む。
マイクロレンズ部300、カラーフィルタ部200、基板部160および光電変換素子部100は、z軸マイナス方向に沿って、マイクロレンズ部300、カラーフィルタ部200、基板部160、光電変換素子部100の順で設けられる。
マイクロレンズ部300は、実質的に平面上に配列されたm×n個のマイクロレンズ310を有する。mおよびnはそれぞれ1より大きい整数である。m×n個のマイクロレンズ310は、実質的に二次元のマトリクス状に配列されている。マイクロレンズ310はn行m列のマトリクス状に配列されている。マイクロレンズ部300は、実質的にx軸に沿う方向に配列されたm個のマイクロレンズ310を含むマイクロレンズ列340をn個含む。複数のマイクロレンズ列340はy軸に沿う方向にn行設けられる。図2では、x軸に沿う方向に配列されたm個のマイクロレンズ310−11〜マイクロレンズ310−1mを含むマイクロレンズ列340−1が示されている。なお、1つのマイクロレンズ310を識別して説明する場合、第i行第j列のマイクロレンズ310には符号の添え字として"−ij"を付して説明する。1つのマイクロレンズ列340を識別して説明する場合、第i行目のマイクロレンズ列340には符号の添え字として"−i"を付して説明する。図2は、第1行目に配列されたマイクロレンズ310を含む面で切断した断面図である。
カラーフィルタ部200は、実質的に平面上に配列されたM×N個のカラーフィルタ210を有する。一例として、Mはmより大きく、Nはnより大きい。M=m+1であり、N=n+1であってよい。M×N個のカラーフィルタ210は、二次元的にマトリクス状に配列されている。カラーフィルタ210はN行M列のマトリクス状に配列されている。カラーフィルタ部200は、x軸に沿う方向に配列されたM個のカラーフィルタ210を含むカラーフィルタ列240をN個含む。複数のカラーフィルタ列240はy軸に沿う方向にN行設けられる。図2では、x軸に沿う方向に配列されたM個のカラーフィルタ210−1〜カラーフィルタ210−Mを含むカラーフィルタ列240−1が示されている。なお、1つのカラーフィルタ210を識別して説明する場合、第i行第j列のカラーフィルタ210には符号の添え字として、"−ij"を付して説明する。1つのカラーフィルタ列240を識別して説明する場合、第i行目のカラーフィルタ列240には符号の添え字として"−i"を付して説明する。
パッシベーション層190は、基板部160のz軸プラス側に位置し、基板部160のz軸プラス側の主面を提供する。カラーフィルタ部200は、マイクロレンズ部300とパッシベーション層190との間に設けられる。カラーフィルタ部200は、マイクロレンズ部300とパッシベーション層190との間においてxy平面に平行な面内で可動に設けられる。カラーフィルタ部200は、マイクロレンズ部300と光電変換素子部100との間に設けられる。
光電変換素子部100は撮像素子の光電変換部を提供する。光電変換素子部100は、実質的に平面上に配列されたm×n個の光電変換素子110を有する。m×n個の光電変換素子110は、実質的に二次元的にマトリクス状に配列されている。カラーフィルタ210はn行m列のマトリクス状に配列されている。光電変換素子110の配置間隔は、カラーフィルタ210の配置間隔に略等しい。光電変換素子部100は、x軸に沿う方向に配列されたm個の光電変換素子110を含む光電変換素子列140をn個含む。複数の光電変換素子列140はy軸に沿う方向にn行設けられる。図2では、x軸に沿う方向に配列されたm個の光電変換素子110−1〜光電変換素子110−mを含む光電変換素子列140−1が示されている。光電変換素子110は、例えばフォトダイオードである。なお、1つの光電変換素子110を識別して説明する場合、第i行第j列の光電変換素子110には符号の添え字として、"−ij"を付して説明する。1つの光電変換素子列140を識別して説明する場合、第i行目の光電変換素子列140には符号の添え字として"−i"を付して説明する。
マイクロレンズ310は、複数の光電変換素子110に対してそれぞれ設けられている。マイクロレンズ310と光電変換素子110とは、一対一で対応して設けられている。一対のマイクロレンズ310および対応する光電変換素子110が、一つの画素を形成する。マイクロレンズ310は、対応する光電変換素子110のz軸方向プラス側に位置している。マイクロレンズ部300は、光電変換素子部100に対して固定した位置に設けられる。
後述するように、カラーフィルタ部200は、カラーフィルタ210の配置面に沿う方向に、光電変換素子110に対して相対的に変位される。マイクロレンズ部300は光電変換素子110に対して固定されているので、カラーフィルタ部200は、マイクロレンズ部300および光電変換素子部100に対して相対的に変位される。カラーフィルタ部200は、カラーフィルタ210の配列間隔単位で変位される。したがって、マイクロレンズ310および対応する光電変換素子110には、カラーフィルタ部200の変位位置に応じて定まる1つのカラーフィルタ210が対応する。
マイクロレンズ310には、光学ユニット41が有する赤外カットフィルタを透過した被写体光が入射する。そのため、マイクロレンズ310には、実質的に可視光の波長域の被写体光が入射する。マイクロレンズ310は、正の屈折力を有する。マイクロレンズ310を通過した被写体光は、対応する位置に設けられた光電変換素子110に向けて集光される。マイクロレンズ310を通過した被写体光は、対応するカラーフィルタ部200、パッシベーション層190、基板部160を通じて、対応する光電変換素子110に入射する。
光電変換素子110は、受光した被写体光の光量に応じて生成した電荷を蓄積する。光電変換素子110の露光および光電変換素子110からの蓄積電荷の読み出しは、主としてMPU51および撮像チップ44が有する駆動回路および読み出し回路によって制御される。
例えば、MPU51は、光電変換素子110の蓄積電荷をリセットするタイミングと、蓄積電荷を読み出すタイミングとを決定する。例えば、MPU51は、駆動回路を制御して、複数の光電変換素子列140の中から1つの光電変換素子列140を選択し、選択した光電変換素子列140が有する光電変換素子110の蓄積電荷をリセットさせる。また、MPU51は、駆動回路を制御して、蓄積電荷をリセットさせた後に、光電変換素子列140が有する各光電変換素子110の蓄積電荷を示す信号を、読み出し回路へ出力させる。
MPU51は、駆動回路を制御して、光電変換素子110の蓄積電荷をリセットする対象の光電変換素子列140を順次に選択させる。また、MPU51は、光電変換素子110の蓄積電荷を読み出す対象の光電変換素子列140を順次に選択させる。これにより、光電変換素子110の露光および読み出しが、光電変換素子列140毎に順次に行われる。各光電変換素子110から読み出し回路に出力された信号は、画素信号としてASIC52へ順次に出力される。このように、光電変換素子110の蓄積電荷がリセットされたタイミングから、蓄積電荷が読み出されたタイミングまでの期間が、光電変換素子110の1回の露光期間となる。光電変換素子110が1回露光される毎に、光電変換素子110の蓄積電荷を示す信号が、読み出し回路に出力される。
配線層180は、行リセット線、行選択線、列信号線等の配線を含む。撮像チップ44が有する駆動回路は、行リセット線および行選択線を通じて、各光電変換素子列140が有する光電変換素子110の蓄積電荷をリセットするタイミングおよび蓄積電荷を読み出すタイミングを制御する。また、撮像チップ44が有する読み出し回路は、列信号線を通じて、各光電変換素子110の蓄積電荷を示す信号を取得する。
カラーフィルタ部200のx軸方向の両端には、水平方向変位部281および水平方向変位部282が設けられる。水平方向変位部281および水平方向変位部282については、後述する。
図3は、カラーフィルタ部200を模式的に示す正面図である。図3は、水平方向変位部281、水平方向変位部282、垂直方向変位部283および垂直方向変位部284とともにカラーフィルタ部200をz軸方向プラス側からz軸マイナス方向に見た模式的な正面図である。
カラーフィルタ部200は、ベイヤ配列でカラーフィルタ210が配列されている。カラーフィルタ210−12は、第1の種類のカラーフィルタの一例である。カラーフィルタ210−21は、第2の種類のカラーフィルタの一例である。カラーフィルタ210−11およびカラーフィルタ210−22は、第3の種類のカラーフィルタの一例である。各カラーフィルタ210が透過させる光の波長域は、他の種類のカラーフィルタ210が透過させる光の波長域とは異なる。なお、透過させる光の波長域は、予め定められた透過率より高い透過率を有する波長の範囲を表してよい。透過させる光の波長域は、最大の透過率を持つ波長が属する波長の範囲を表してよい。透過させる光の波長域は、透過した光を見た人が認識する色を表してよい。一例として、カラーフィルタ210−11およびカラーフィルタ210−22は、緑(G)の波長域の光を透過させる。カラーフィルタ210−12は、赤(R)の波長域の光を透過させる。カラーフィルタ210−21は、青(B)の波長域の光を透過させる。図3では、透過させる光の波長域を図示することを目的として、R、GおよびBの文字が付されている。他の図においても同様にR、GおよびBの文字を付す場合がある。
カラーフィルタ210−11、カラーフィルタ210−12、カラーフィルタ210−21およびカラーフィルタ210−22は2行2列の1つのフィルタユニットを形成する。カラーフィルタ部200は、当該フィルタユニットと同様の配列で3種類のカラーフィルタ210が配列されたフィルタユニットが、平面上に配列されて形成される。
このように、複数のカラーフィルタ210は、Rの波長域の光を透過させる第1の種類のカラーフィルタ210と、Bの波長域の光を透過させる第2の種類のカラーフィルタ210と、Gの波長域の光を透過させる第3カラーフィルタ210とをそれぞれ複数含む。カラーフィルタ部200は、第1カラーフィルタ210および第3カラーフィルタ210がx軸に沿う方向に交互に配列された複数の第1カラーフィルタ列と、第2カラーフィルタ210および第3カラーフィルタ210がx軸に沿う方向に交互に配列された複数の第2カラーフィルタ210列とを含むベイヤ配列で配列される。
カラーフィルタ部200のx軸方向の両端には、水平方向変位部281および水平方向変位部282が設けられる。水平方向変位部281のx軸プラス側の位置は、光電変換素子110に対して固定されている。水平方向変位部282のx軸マイナス側の位置は、光電変換素子110に対して固定されている。水平方向変位部281および水平方向変位部282は、共にx軸方向に沿う方向に伸縮可能である。水平方向変位部281および水平方向変位部282は、圧電材料で形成された圧電素子であり、x軸方向に沿う方向に伸縮軸を有する。
水平方向変位部281は、伸縮軸に沿う方向に伸びる場合にカラーフィルタ部200をx軸マイナス方向に変位させる。水平方向変位部282は、伸縮軸に沿う方向に縮む場合に、カラーフィルタ部200をx軸マイナス方向に変位させる。水平方向変位部281は、伸縮軸に沿う方向に縮む場合に、カラーフィルタ部200をx軸プラス方向に変位させる。水平方向変位部282は、伸縮軸に沿う方向に伸びる場合に、カラーフィルタ部200をx軸プラス方向に変位させる。
水平方向変位部281および水平方向変位部282のそれぞれの伸縮状態は、MPU51が駆動回路を制御することによって制御される。例えば、MPU51は、水平方向変位部281に印加する電圧を制御することにより、水平方向変位部281の伸縮状態を制御する。また、MPU51は、水平方向変位部282に印加する電圧を制御することにより、水平方向変位部282の伸縮状態を制御する。MPU51は、カラーフィルタ部200をx軸マイナス方向に変位させる場合、水平方向変位部281を伸縮軸に沿う方向に伸ばすとともに、水平方向変位部282を伸縮軸に沿う方向に縮ませる。MPU51は、カラーフィルタ部200をx軸プラス方向に変位させる場合、水平方向変位部281を伸縮軸に沿う方向に縮ませるとともに、水平方向変位部282を伸縮軸に沿う方向に伸ばす。これにより、水平方向変位部281および水平方向変位部282は、カラーフィルタ部200をx軸に沿う方向に変位させる。
カラーフィルタ部200のy軸方向の両端には、垂直方向変位部283および垂直方向変位部284が設けられる。垂直方向変位部283のy軸プラス側の位置は、光電変換素子110に対して固定されている。垂直方向変位部284のy軸マイナス側の位置は、光電変換素子110に対して固定されている。垂直方向変位部283および垂直方向変位部284は、共にy軸方向に沿う方向に伸縮可能である。垂直方向変位部283および垂直方向変位部284は、圧電材料で形成された圧電素子であり、y軸方向に沿う方向に伸縮軸を有する。
垂直方向変位部283は、伸縮軸に沿う方向に伸びる場合にカラーフィルタ部200をy軸マイナス方向に変位させる。垂直方向変位部284は、伸縮軸に沿う方向に縮む場合に、カラーフィルタ部200をy軸マイナス方向に変位させる。垂直方向変位部283は、伸縮軸に沿う方向に縮む場合に、カラーフィルタ部200をy軸プラス方向に変位させる。垂直方向変位部284は、伸縮軸に沿う方向に伸びる場合に、カラーフィルタ部200をy軸プラス方向に変位させる。
垂直方向変位部283および垂直方向変位部284のそれぞれの伸縮状態は、MPU51が駆動回路を制御することによって制御される。例えば、MPU51は、垂直方向変位部283に印加する電圧を制御することにより、垂直方向変位部283の伸縮状態を制御する。また、MPU51は、垂直方向変位部284に印加する電圧を制御することにより、垂直方向変位部284の伸縮状態を制御する。MPU51は、カラーフィルタ部200をy軸プラス方向に変位させる場合、垂直方向変位部283を伸縮軸に沿う方向に縮ませるとともに、垂直方向変位部284を伸縮軸に沿う方向に伸ばす。また、MPU51は、カラーフィルタ部200をy軸マイナス方向に変位させる場合、垂直方向変位部283を伸縮軸に沿う方向に伸ばすとともに、垂直方向変位部284を伸縮軸に沿う方向に縮ませる。これにより、垂直方向変位部283および垂直方向変位部284は、カラーフィルタ部200をy軸に沿う方向に変位させる。
図3は、水平方向変位部281および垂直方向変位部284が縮んだ状態にあり、水平方向変位部282および垂直方向変位部283が伸びた状態にある場合を示す。このとき、水平方向変位部281、水平方向変位部282、垂直方向変位部283および垂直方向変位部284には電圧が印加されていないものとする。本実施形態では、水平方向変位部281および垂直方向変位部284が縮んだ状態にあり、水平方向変位部282および垂直方向変位部283が伸びた状態にある場合に、カラーフィルタ部200が基準位置にあるとする。
水平方向変位部281は、予め定められた電圧が印加された場合に、伸縮軸に沿う方向に一画素分伸びる。水平方向変位部282は、予め定められた電圧が印加された場合に、伸縮軸に沿う方向に一画素分縮む。また、垂直方向変位部283は、予め定められた電圧が印加された場合に、伸縮軸に沿う方向に一画素分伸びる。水平方向変位部282は、予め定められた電圧が印加された場合に、伸縮軸に沿う方向に一画素分縮む。
したがって、水平方向変位部281および水平方向変位部282に予め定められた電圧が印加されると、カラーフィルタ部200はx軸マイナス方向に一画素分変位する。水平方向変位部281および水平方向変位部282に印加された電圧を解除すると、カラーフィルタ部200はx軸プラス方向に一画素分変位する。また、垂直方向変位部283および垂直方向変位部284に予め定められた電圧が印加されると、カラーフィルタ部200はy軸プラス方向に一画素分変位する。垂直方向変位部283および垂直方向変位部284に印加された電圧を解除すると、カラーフィルタ部200はy軸マイナス方向に一画素分変位する。
一画素分の変位量は、カラーフィルタ部200が変位する方向におけるカラーフィルタ210の間隔に略一致する。例えばカラーフィルタ部200をx軸方向に変位させる場合、カラーフィルタ部200を一画素分変位させるとは、x軸方向に隣接するカラーフィルタ210間の距離だけカラーフィルタ部200を変位させることを意味する。カラーフィルタ部200をy軸方向に変位させる場合、カラーフィルタ部200を一画素分変位させるとは、y軸方向に隣接するカラーフィルタ210間の距離だけカラーフィルタ部200を変位させることを意味する。なお、後述するように、カラーフィルタ部200をx軸方向およびy軸方向のそれぞれの方向に一画素分変位させる場合がある。この場合、カラーフィルタ部200を一画素分変位させるとは、カラーフィルタ部200の変位方向に沿う方向に隣接するカラーフィルタ210間の距離だけ、カラーフィルタ部200を変位させることを意味する。このように、一画素分の変位量は、カラーフィルタ部200の変位方向に隣接するカラーフィルタ210の中心の間の距離であってよい。光電変換素子110の配列間隔がカラーフィルタ210の配列間隔と略一致する場合、一画素分の変位量は、カラーフィルタ部200の変位方向に隣接する光電変換素子110の中心の間の距離であってよい。
図4は、光電変換素子部100を露光する場合のカラーフィルタ部200の位置を模式的に示す断面図である。図4(a)は、yz平面に平行な面で切断した場合の模式的な断面図を示す。図4(b)は、xz平面に平行な面で切断した場合の模式的な断面図である。ここで、図4(a)および図4(b)は、水平方向変位部281、水平方向変位部282、垂直方向変位部283および垂直方向変位部284が図3で示す状態にある場合を示す。すなわち、図4(a)および図4(b)は、カラーフィルタ部200が基準位置にある場合の断面図である。
図4(a)および図4(b)に示されるように、カラーフィルタ部200が基準位置にある場合、カラーフィルタ210−11は、光電変換素子110−11のz軸プラス方向の位置にある。つまり、カラーフィルタ210−11および光電変換素子110−11は、z軸に沿う方向に整合した位置にある。また、カラーフィルタ210−12は、光電変換素子110−12のz軸プラス方向の位置にある。つまり、カラーフィルタ210−12および光電変換素子110−12は、z軸に沿う方向に整合した位置にある。また、カラーフィルタ210−21は、光電変換素子110−21のz軸プラス方向の位置にある。つまり、カラーフィルタ210−21および光電変換素子110−21は、z軸に沿う方向に整合した位置にある。また、カラーフィルタ210−22は、光電変換素子110−22のz軸プラス方向の位置にある。つまり、カラーフィルタ210−22および光電変換素子110−22は、z軸に沿う方向に整合した位置にある。
したがって、カラーフィルタ部200が基準位置にある場合、光電変換素子110−11には、マイクロレンズ310−11から出射した被写体光のうち、カラーフィルタ210−11を透過した緑の波長域の光(G成分光)が入射する。また、光電変換素子110−12には、マイクロレンズ310−12から出射した被写体光のうち、カラーフィルタ210−12を透過した赤の波長域の光(R成分光)が入射する。また、光電変換素子110−21には、マイクロレンズ310−21から出射した被写体光のうち、カラーフィルタ210−21を透過した青の波長域の光(B成分光)が入射する。また、光電変換素子110−22には、マイクロレンズ310−22から出射した被写体光のうち、カラーフィルタ210−22を透過したG成分光が入射する。
図5は、カラーフィルタ部200が基準位置とは異なる3つの変位位置にある場合を模式的に示す正面図である。図6は、カラーフィルタ部200が基準位置とは異なる3つの変位位置にある場合を模式的に示す断面図である。
図5(a)および図6(a)は、カラーフィルタ部200が基準位置よりx軸マイナス方向に1画素分変位した第1変位位置にある状態を模式的に示す。図5(b)および図6(b)は、カラーフィルタ部200が基準位置よりx軸マイナス方向に1画素分かつy軸プラス方向に1画素分変位した第3変位位置にある状態を模式的に示す。図5(c)および図6(c)は、カラーフィルタ部200が基準位置よりy軸プラス方向に1画素分変位した第4変位位置にある状態を模式的に示す。
なお、図5(a)、図5(b)および図5(c)にはそれぞれ、図3と同様に、x軸プラス方向からx軸マイナス方向に向けて見た場合の正面図が示されている。図6(a)、図6(b)および図6(c)にはそれぞれ、図4(a)および図4(b)と同様に、yz平面に平行な面で切断した場合の模式的な断面図と、xz平面に平行な面で切断した場合の模式的な断面図とが示されている。
図5(a)および図6(a)に示されるように、カラーフィルタ部200が第1変位位置にある場合、カラーフィルタ210−12は、光電変換素子110−11のz軸プラス方向の位置にある。つまり、カラーフィルタ210−12および光電変換素子110−11は、z軸に沿う方向に整合した位置にある。また、カラーフィルタ210−13は、光電変換素子110−12のz軸プラス方向の位置にある。つまり、カラーフィルタ210−13および光電変換素子110−12は、z軸に沿う方向に整合した位置にある。また、カラーフィルタ210−22は、光電変換素子110−21のz軸プラス方向の位置にある。つまり、カラーフィルタ210−22および光電変換素子110−21は、z軸に沿う方向に整合した位置にある。また、カラーフィルタ210−23は、光電変換素子110−22のz軸プラス方向の位置にある。つまり、カラーフィルタ210−23および光電変換素子110−22は、z軸に沿う方向に整合した位置にある。
したがって、カラーフィルタ部200が第1変位位置にある場合、光電変換素子110−11には、マイクロレンズ310−11から出射した被写体光のうち、カラーフィルタ210−12を透過したR成分光が入射する。また、光電変換素子110−12には、マイクロレンズ310−12から出射した被写体光のうち、カラーフィルタ210−13を透過したG成分光が入射する。また、光電変換素子110−21には、マイクロレンズ310−21から出射した被写体光のうち、カラーフィルタ210−22を透過したG成分光が入射する。また、光電変換素子110−22には、マイクロレンズ310−22から出射した被写体光のうち、カラーフィルタ210−23を透過したB成分光が入射する。
図5(b)および図6(b)に示されるように、カラーフィルタ部200が第2変位位置にある場合、カラーフィルタ210−22は、光電変換素子110−11のz軸プラス方向の位置にある。つまり、カラーフィルタ210−22および光電変換素子110−11は、z軸に沿う方向に整合した位置にある。また、カラーフィルタ210−23は、光電変換素子110−12のz軸プラス方向の位置にある。つまり、カラーフィルタ210−23および光電変換素子110−12は、z軸に沿う方向に整合した位置にある。また、カラーフィルタ210−32は、光電変換素子110−21のz軸プラス方向の位置にある。つまり、カラーフィルタ210−32および光電変換素子110−21は、z軸に沿う方向に整合した位置にある。また、カラーフィルタ210−33は、光電変換素子110−22のz軸プラス方向の位置にある。つまり、カラーフィルタ210−33および光電変換素子110−22は、z軸に沿う方向に整合した位置にある。
したがって、カラーフィルタ部200が第1変位位置にある場合、光電変換素子110−11には、マイクロレンズ310−11から出射した被写体光のうち、カラーフィルタ210−22を透過したG成分光が入射する。また、光電変換素子110−12には、マイクロレンズ310−12から出射した被写体光のうち、カラーフィルタ210−23を透過したB成分光が入射する。また、光電変換素子110−21には、マイクロレンズ310−21から出射した被写体光のうち、カラーフィルタ210−32を透過したR成分光が入射する。また、光電変換素子110−22には、マイクロレンズ310−22から出射した被写体光のうち、カラーフィルタ210−33を透過したG成分光が入射する。
図5(c)および図6(c)に示されるように、カラーフィルタ部200が第3変位位置にある場合、カラーフィルタ210−21は、光電変換素子110−11のz軸プラス方向の位置にある。つまり、カラーフィルタ210−21および光電変換素子110−11は、z軸に沿う方向に整合した位置にある。また、カラーフィルタ210−22は、光電変換素子110−12のz軸プラス方向の位置にある。つまり、カラーフィルタ210−22および光電変換素子110−12は、z軸に沿う方向に整合した位置にある。また、カラーフィルタ210−31は、光電変換素子110−21のz軸プラス方向の位置にある。つまり、カラーフィルタ210−31および光電変換素子110−21は、z軸に沿う方向に整合した位置にある。また、カラーフィルタ210−32は、光電変換素子110−22のz軸プラス方向の位置にある。つまり、カラーフィルタ210−32および光電変換素子110−22は、z軸に沿う方向に整合した位置にある。
したがって、カラーフィルタ部200が第3変位位置にある場合、光電変換素子110−11には、マイクロレンズ310−11から出射した被写体光のうち、カラーフィルタ210−21を透過したB成分光が入射する。また、光電変換素子110−12には、マイクロレンズ310−12から出射した被写体光のうち、カラーフィルタ210−22を透過したG成分光が入射する。また、光電変換素子110−21には、マイクロレンズ310−21から出射した被写体光のうち、カラーフィルタ210−31を透過したG成分光が入射する。また、光電変換素子110−22には、マイクロレンズ310−21から出射した被写体光のうち、カラーフィルタ210−32を透過したR成分光が入射する。
カメラ10において1つの画像の画像データを取得する場合に、撮像ユニット40は、カラーフィルタ部200が基準位置にある状態で光電変換素子部100を露光して、画素信号を読み出す。続いて、撮像ユニット40は、水平方向変位部281および水平方向変位部282に予め定められた電圧を印加してカラーフィルタ部200を基準位置から第1変位位置に変位させ、カラーフィルタ部200が第1変位位置にある状態で光電変換素子部100を露光して、画素信号を読み出す。続いて、撮像ユニット40は、水平方向変位部281および水平方向変位部282に予め定められた電圧を印加したまま、水平方向変位部282および垂直方向変位部283に予め定められた電圧を印加して、カラーフィルタ部200を第1変位位置から第2変位位置に変位させ、カラーフィルタ部200が第2変位位置にある状態で光電変換素子部100を露光して、画素信号を読み出す。
続いて、撮像ユニット40は、垂直方向変位部283および垂直方向変位部284に予め定められた電圧を印加したまま、水平方向変位部281および水平方向変位部282に印加された電圧を解除してカラーフィルタ部200を第2変位位置から第3変位位置に変位させ、カラーフィルタ部200が第3変位位置にある状態で光電変換素子部100を露光して、画素信号を読み出す。これにより、1つの画像の画像データを生成するための露光動作および読み出し動作が完了する。カラーフィルタ部200が第3位置にある状態で露光および読み出しをした後、撮像ユニット40は垂直方向変位部283および垂直方向変位部284に印加された電圧を解除してカラーフィルタ部200を第3変位位置から基準位置に戻す。これにより、撮像ユニット40は、新たな画像の画像データを取得する指示を受け付ける待機状態になる。
このように、撮像ユニット40は、互いに異なる波長域の光を透過させる複数種類のカラーフィルタ210が平面上にそれぞれ複数配置されたカラーフィルタ部200と、それぞれ複数のカラーフィルタ210のうち対応する位置にある1つのカラーフィルタ210が透過した波長域の光を受光する複数の光電変換素子110と、複数のカラーフィルタ210の配置面に沿う方向に、光電変換素子部100に対してカラーフィルタ部200をカラーフィルタ210の配置間隔単位で相対的に変位させる変位部と、変位部を制御してカラーフィルタ部200が第1位置にある状態とカラーフィルタ部200が第1位置から変位した第2位置にある状態とでそれぞれ光電変換素子部100を露光し、光電変換素子部100を露光する毎に複数の光電変換素子110で得られた信号を読み出す制御部とを有する。カラーフィルタ部200が第1位置にある状態とカラーフィルタ部200が第2位置にある状態とで光電変換素子部100が露光されることにより、複数の光電変換素子110のうちの少なくとも1つの光電変換素子110は、複数種類のカラーフィルタ210が透過する互いに異なる波長域の光でそれぞれ露光される。なお、駆動回路および読み出し回路は、制御部の一例であり、水平方向変位部281、水平方向変位部282、垂直方向変位部283および垂直方向変位部284は、変位部の一例である。
カラーフィルタ部200には、互いに異なる3以上の種類の波長域の光を透過させる3以上の種類のカラーフィルタ210が二次元的にそれぞれ複数配置されており、駆動回路は、水平方向変位部281、水平方向変位部282、垂直方向変位部283および垂直方向変位部284を制御して、カラーフィルタ部200が第1位置および第2位置を含む3以上の位置にある状態でそれぞれ光電変換素子部100を露光させることにより、複数の光電変換素子110をそれぞれ3以上の種類のカラーフィルタ210が透過する3以上の種類の波長域の光でそれぞれ露光させる。カラーフィルタ部200は、複数種類のカラーフィルタ210がそれぞれ予め定められた方向に予め定められた間隔で周期的に配列された複数のカラーフィルタ列を含み、水平方向変位部281、水平方向変位部282、垂直方向変位部283および垂直方向変位部284は、カラーフィルタ部200を当該予め定められた方向に変位させる。本実施形態において、カラーフィルタ部200における「予め定められた方向」とは、x軸に沿う方向、y軸に沿う方向、x軸に対して45°の角度をなす方向の少なくとも一つの方向を含む。
水平方向変位部281、水平方向変位部282、垂直方向変位部283および垂直方向変位部284は、カラーフィルタ部200を第1方向および第1方向に直交する第2方向に変位させる。MPU51は、カラーフィルタ部200が第1位置にある状態と、カラーフィルタ部200が基準位置に対して第1方向に変位した第2位置にある状態と、カラーフィルタ部200が第1位置に対して第1方向および第2方向に変位した第3位置にある状態と、カラーフィルタ部200が第1位置に対して第2方向に変位した第4位置にある状態とでそれぞれ光電変換素子部100を露光させる。本実施形態において、基準位置は第1位置の一例であり、第1変位位置は第2位置の一例であり、第2変位位置は第3位置の一例であり、第3変位位置は第4位置の一例である。
このように、撮像ユニット40は、1つの画像の画像データを取得する場合に、カラーフィルタ部200の位置を異ならせて、それぞれ露光および画素信号の読み出しを行う。例えば、撮像ユニット40は、1回の撮影指示に応じて、カラーフィルタ部200の位置を異ならせて、それぞれ露光および画素信号の読み出しを行う。
図7は、カラーフィルタ部200の時系列の位置制御および画像データの生成処理の一例を模式的に示す。図7は、シャッタスピードが固定されていない場合において、1枚の静止画撮影が指示された場合を示す。シャッタスピードが固定されていない場合としては、カメラ10の撮影モードがシャッタスピード優先オート撮影モード以外の撮影モードに設定されている場合を例示できる。例えば、シャッタスピードが固定されていない撮影モードとしては、オート撮影モード、プログラムオート撮影モード、絞り優先オート撮影モード等を例示できる。
MPU51は、測光センサ93の測定結果から算出したAE評価値に基づいて、シャッタスピードを決定する。カメラ10の撮影モードがプログラムオート撮影モードに設定されている場合、MPU51は、プログラム線図と、AE評価値とに基づいて、絞り値およびシャッタスピードの組み合わせを決定する。撮影感度が固定されている場合、撮影感度に対応づけられたプログラム線図を用いて、絞り値およびシャッタスピードの組み合わせが決定される。撮影感度が固定されていない場合は、MPU51が決定した撮影感度に対応づけられたプログラム線図を用いて、絞り値およびシャッタスピードの組み合わせが決定される。
カメラ10の撮影モードが絞り優先オート撮影モードに設定されている場合、MPU51は、ユーザが指定した絞り値と、AE評価値とに基づいて、シャッタスピードを決定する。撮影感度が固定されている場合、撮影感度に対応づけられたプログラム線図を用いて、シャッタスピードが決定される。撮影感度が固定されていない場合は、MPU51が決定した撮影感度に基づいてシャッタスピードが決定される。
シャッタスピードが定まると、光電変換素子部100を露光する時間Tが定まる。MPU51は、撮影指示を受け付けると、レンズユニット20の絞りおよび撮像ユニット40の撮影感度を制御した後、撮像チップ44の駆動回路および読み出し回路を制御して、カラーフィルタ部200が基準位置、第1変位位置、第2変位位置および第3変位位置のそれぞれにある状態で、露光時間Tの露光と読み出しとを行わせる。
具体的には、駆動回路および読み出し回路は、MPU51の制御に基づいて、カラーフィルタ部200が基準位置にある状態で光電変換素子部100に対して時間Tの露光を行い、画素信号を読み出す。続いて、駆動回路は、カラーフィルタ部200を基準位置から第1変位位置に変位させ、カラーフィルタ部200が第1変位位置にある状態で光電変換素子部100に対して時間Tの露光を行い、画素信号を読み出す。続いて、駆動回路は、カラーフィルタ部200を第1変位位置から第2変位位置に変位させ、カラーフィルタ部200が第2変位位置にある状態で光電変換素子部100に対して時間Tの露光を行い、読み出し回路が画素信号を読み出す。続いて、駆動回路は、カラーフィルタ部200を2変位位置から第3変位位置に変位させ、カラーフィルタ部200が第3変位位置にある状態で光電変換素子部100に対して時間Tの露光を行い、読み出し回路が画素信号を読み出す。
4回の露光および4回の読み出しが完了すると、ASIC52は、一枚の画像を表す画像データ700を生成する。ASIC52は、光電変換素子110のそれぞれに対応する各画素について、対応する光電変換素子110から読み出した画素信号に基づく各色成分情報を有する画像データを生成する。例えば、ASIC52は、光電変換素子110のそれぞれに対応する各画素について、対応する光電変換素子110から読み出した画素信号に基づくR成分情報と、対応する光電変換素子110から読み出した画素信号に基づくG成分情報と、対応する光電変換素子110から読み出した画素信号に基づくB成分情報とを有する画像データを生成する。ASIC52は、光電変換素子110のそれぞれに対応する各画素について、対応する光電変換素子110から読み出した画素信号のみに基づくR成分情報と、対応する光電変換素子110から読み出した画素信号のみに基づくG成分情報と、対応する光電変換素子110から読み出した画素信号のみに基づくB成分情報を有する画像データを生成してよい。なお、対応する光電変換素子110から読み出した画素信号のみに基づく色成分情報とは、対応する光電変換素子110以外の光電変換素子110から読み出した画素信号を用いることなく、対応する光電変換素子110の画素信号から導かれた色成分情報であってよい。
一例として光電変換素子110−11に対応する画素の色成分情報について説明すると、ASIC52は、カラーフィルタ部200が基準位置にある状態で露光された光電変換素子110−11の画素信号およびカラーフィルタ部200が第2変位位置にある状態で露光された光電変換素子110−11の画素信号の少なくとも一方から、G成分情報を生成する。例えば、ASIC52は、カラーフィルタ部200が基準位置にある状態で露光された光電変換素子110−11の画素信号から、G成分情報を生成してよい。ASIC52は、カラーフィルタ部200が第2変位位置にある状態で露光された光電変換素子110−11の画素信号から、G成分情報を生成してよい。また、ASIC52は、カラーフィルタ部200が基準位置にある状態で露光された光電変換素子110−11の画素信号およびカラーフィルタ部200が第2変位位置にある状態で露光された光電変換素子110−11の画素信号に基づいて、G成分情報を生成してよい。例えば、ASIC52は、カラーフィルタ部200が基準位置にある状態で露光された光電変換素子110−11の画素信号およびカラーフィルタ部200が第2変位位置にある状態で露光された光電変換素子110−11の画素信号の平均に基づいて、G成分情報を生成してよい。
また、ASIC52は、カラーフィルタ部200が第1変位位置にある状態で露光された光電変換素子110−11の画素信号である第2画素信号から、R成分情報を生成する。このとき、ASIC52は、光電変換素子110−11以外の光電変換素子110から読み出した画素信号を用いずに、R成分情報を生成してよい。また、ASIC52は、カラーフィルタ部200が第3変位位置にある状態で露光された光電変換素子110−11の第4画素信号から、B成分情報を生成する。このとき、ASIC52は、光電変換素子110−11以外の光電変換素子110から読み出した画素信号を用いずに、B成分情報を生成してよい。
以上に説明したように、撮像チップ44によれば、複数画素の補間演算をしなくても、各画素について3色の成分情報を生成することができる。そのため、各色についての空間分解能を、光電変換素子110のサンプリング周期で定まるナイキスト限界まで高めることができる。
図8は、カラーフィルタ部200の時系列の位置制御および画像データの生成処理の一例を模式的に示す。図8は、図7と同様、シャッタスピードが固定されていない場合において、1枚の静止画撮影が指示された場合を示す。図8は、図7に示す場合より遅いシャッタスピードが決定された場合を示す。
なお、説明を簡単にするために、上述したように1つの画像データを生成するためにカラーフィルタ部200を変位させて複数回の露光および画素信号の読み出しを行うことを、多色露光と呼ぶ場合がある。カラーフィルタ部200を異なるn個の位置に変位させて露光および画素信号の読み出しを行うことを、n回の多色露光と呼ぶ場合がある。
本図において、決定されたシャッタスピードで定まる露光時間T'は、図7に示す露光時間Tより長い。多色露光の回数が多くなるほど、最初の露光を開始したタイミングから最後の露光を終了するまでのタイミングまでの期間が長くなる。最初の露光を開始したタイミングから最後の露光を終了するまでのタイミングまでの期間が長くなると、被写体に大きな動きがある場合やカメラ10のブレが大きい場合に、被写体像にぶれが生じる可能性がある。
そこで、本図に示すように、シャッタスピードが予め定められた速度より遅い場合、MPU51は、多色露光をする回数を少なくする。例えば、図8に示されるように、多色露光を2回にする。MPU51は、撮像ユニット40の駆動回路および読み出し回路を制御して、カラーフィルタ部200が基準位置にある状態と、カラーフィルタ部200が第2変位位置にある状態とで、光電変換素子部100の露光および読み出しを行わせる。2回の多色露光が完了すると、ASIC52は、一枚の画像を表す画像データ800を生成する。
図7に例示した場合とは異なり、光電変換素子110は1色または2色の成分光で露光されている。例えば、光電変換素子110−11は、G成分光で露光されているが、R成分光およびB成分光では露光されていない。光電変換素子110−12は、R成分光またはB成分光で露光されているが、G成分光では露光されていない。光電変換素子110−21は、B成分光およびR成分光で露光されているが、G成分光では露光されていない。
ASIC52は、光電変換素子110−11に対応する画素においては、図7に関連して説明したのと同様に、カラーフィルタ部200が基準位置にある状態で露光された光電変換素子110−11の画素信号およびカラーフィルタ部200が第2変位位置にある状態で露光された光電変換素子110−11の画素信号の少なくとも一方から、G成分情報を生成する。
一方、光電変換素子110−11に対応する画素のR成分情報を生成する場合、ASIC52は、周辺の光電変換素子110の出力を用いて生成する。例えば、ASIC52は、カラーフィルタ部200が基準位置にある状態で露光された光電変換素子110−12の画素信号と、カラーフィルタ部200が第2変位位置にある状態で露光された光電変換素子110−21の画素信号とに基づいて、光電変換素子110−11に対応する画素のR成分情報を生成する。同様にASIC52は、光電変換素子110−11に対応する画素のB信号を、ASIC52は、カラーフィルタ部200が基準位置にある状態で露光された光電変換素子110−21の画素信号と、カラーフィルタ部200が第2変位位置にある状態で露光された光電変換素子110−12の画素信号とに基づいて生成する。
また、ASIC52は、光電変換素子110−12に対応する画素のR成分情報を、カラーフィルタ部200が基準位置にある状態で露光された光電変換素子110−12の画素信号から生成する。また、ASIC52は、光電変換素子110−12に対応する画素のB成分信号を、カラーフィルタ部200が第2変位位置にある状態で露光された光電変換素子110−12の画素信号から生成する。
一方、ASIC52は、光電変換素子110−12に対応する画素のG成分信号を生成する場合、周辺の光電変換素子110の出力を用いて生成する。例えば、ASIC52は、カラーフィルタ部200が基準位置にある状態で露光された光電変換素子110−11、光電変換素子110−22および光電変換素子110−11のそれぞれの画素信号と、カラーフィルタ部200が第2変位位置にある状態で露光された光電変換素子110−11、光電変換素子110−22および光電変換素子110−11のそれぞれの画素信号との少なくとも一方に基づいて、光電変換素子110−12に対応する画素のG成分信号を生成する。
図8に示す画像データ800の各画素において、大文字で示されている色成分情報は、補間演算をせずに、対応する光電変換素子110の画素信号から得られた色成分情報である。一方、小文字で示されている色成分情報は、補間演算を行って得られた色成分情報である。
このように、各画素に対応する光電変換素子110において一部の色成分光で露光されなかった場合、周囲の光電変換素子110の画素信号に基づいて当該色成分光に対応する色成分情報を生成する。これにより、ASIC52は、各画素における全色についての色成分情報を生成する。図8に関連して説明した2回の多色露光によれば、R成分の空間分解能を、G成分の空間分解能と同程度にまで高めることができる。
図9は、多色露光が許可される回数を模式的に示す。MPU51は、決定したシャッタスピードに基づいて、4回の多色露光を行か、2回の多色露光を行うか、多色露光を行わないかを判断する。
例えば図9に示されるように、MPU51は、決定したシャッタスピードが予め定められた第1基準値以上の速さである場合に、2回または4回の多色露光を許容し、決定したシャッタスピードが予め定められた第1基準値より遅い場合に、多色露光を禁止する。多色露光が禁止された場合、MPU51は、撮像ユニット40を制御して、カラーフィルタ部200が基準位置にある状態で、光電変換素子部100に対してシャッタスピードに対応する時間だけ露光して、画素信号の読み出しを行わせる。ASIC52は、読み出された画素信号から、光電変換素子110にそれぞれ対応する各画素の全色成分情報を生成する。ASIC52は、光電変換素子110にそれぞれ対応する各画素の各色成分情報のうち、光電変換素子110が露光されていない2色の色成分光に対応する2色の色成分情報を生成する場合、対応する光電変換素子110の周辺に位置する光電変換素子110から読み出した画素信号に基づいて、当該色成分情報を生成してよい。ASIC52は、いわゆる周辺画素の画素信号を用いた補間演算によって、各画素について全色の成分情報を生成してよい。
また、MPU51は、決定したシャッタスピードが第1基準値から予め定められた第2基準値までの間である場合には、2回の多色露光を許容して、4回の多色露光を禁止してよい。ここで、第2基準値は、第1基準値より高速側のシャッタスピードを表すものとする。また、上述した第1基準値には、予め定められた低速限界値の2倍の速度のシャッタスピードを適用してよい。そして、上述した第2基準値には、予め定められた低速限界値の4倍の速度のシャッタスピードを適用してよい。例えば、低速限界値を1/30秒とした場合、第1基準値を1/60とし、第2基準値を1/120としてよい。
このように、シャッタスピードは、被写体の明るさに基づいて決定される。例えば、被写体が明るいほど、シャッタスピードが高まる。したがって、被写体が明るいほど、多色露光を行う回数が多くなる場合がある。このように、MPU51は、被写体が明るいほど、より多くの位置にカラーフィルタ部200を変位させて光電変換素子部100を露光させることができる。
なお、MPU51は、被写体の動きに応じて低速限界値を決定してよい。例えば、被写体の動く速さが予め定められた値より小さい場合に、低速限界値として第1の限界値を適用し、被写体の動く速さが予め定められた値以上である場合に、第1の限界値より高速な第2の限界値を適用してよい。一例として、第1の限界値としては1/30を適用し、第2の限界値として1/60を適用してよい。被写体の動く速さが予め定められた値以上である場合、被写体の動く速さが大きいほど、高速な低速限界値を適用してよい。例えば、被写体の動く速さに比例する速さの低速限界値を適用してよい。この場合、被写体の動きが小さいほど、第1基準値および第2基準値は低速側にシフトする。したがって、被写体の明るさが一定である場合、被写体の動きが小さいほど、多色露光を行う回数が多くなる場合がある。このように、MPU51は、被写体の動きが小さいほど、より多くの位置にカラーフィルタ部200を変位させて光電変換素子部100を露光させることができる。
図10は、カラーフィルタ部200の位置制御シーケンスの他の一例を時系列で示す。図8では、シャッタスピードが固定されている場合における位置制御シーケンスの一例である。シャッタスピードが固定されている場合としては、カメラ10の撮影モードが、シャッタスピードが規定される撮影モードに設定されている場合を例示できる。例えば、シャッタスピードが規定される撮影モードとしては、シャッタスピード優先オート撮影モード等を例示できる。シャッタスピード優先オート撮影モードが設定されている場合、シャッタスピードはユーザが指定した値に設定される。
MPU51は、ユーザが指定したシャッタスピードに対応する時間T内で4回の多色露光を行うことができるように、各回の露光時間T''を決定する。例えば、MPU51は、1回目の露光を開始するタイミングから4回目の露光を終了するタイミングまでの時間が、固定されたシャッタスピードに対応する時間以下になるように、各回の露光時間T''を決定する。MPU51は、カラーフィルタ部200を変位させる時間および画素情報の読み出しに要する時間を考慮して、露光時間T''としては、時間T/4より短い時間を決定する。各回の露光時間T''は、互いに同じ長さであってよい。
MPU51は、決定した露光時間T''と、測光センサ93の測定結果から算出したAE評価値とに基づいて、絞り値を決定する。撮影感度が固定されている場合、MPU51は、露光時間T''と、AE評価値と、撮影感度とに基づいて、絞り値を決定する。撮影感度が固定されていない場合、MPU51は、露光時間T''と、AE評価値とに基づいて、絞り値および撮影感度の組み合わせを決定する。
MPU51は、撮影指示を受け付けると、レンズユニット20の絞りおよび撮像ユニット40の撮影感度を制御した後、カラーフィルタ部200が基準位置、第1変位位置、第2変位位置および第3変位位置のそれぞれにある状態で、時間T''の露光および読み出しを行わせる。
4回の露光および4回の読み出しが完了すると、ASIC52は、一枚の画像を表す画像データ1000を生成する。画像データ1000の生成方法は、図7に関連して説明した生成方法と同様であるので、説明を省略する。
なお、本図においては4回の多色露光を行う場合について説明したが、図8に示すように時間T内で2回の多色露光を行ってよい。また、図9に関連して説明したように、露光時間T''に対応するシャッタスピードについて第1基準値および第2基準値と比較して、時間T内で4回の多色露光を行か、時間T内で2回の多色露光を行うか、時間T内で多色露光を行わないかを判断してよい。
図11は、撮像チップ44の変形例としての撮像チップ1044の構造を模式的に示す断面図である。図11は、撮像チップ44のxz平面に平行な面で切断した断面図を示す。撮像チップ44は、マイクロレンズ部1300と、カラーフィルタ部1200と、基板部160と、光電変換素子部100とを有する。基板部160は、パッシベーション層190と、配線層180と、絶縁層170とを含む。
マイクロレンズ部1300は、N個のマイクロレンズ列1340−1〜マイクロレンズ列1340−Nを含む。各マイクロレンズ列1340は、M個のマイクロレンズ1310を含む。カラーフィルタ部1200は、N個のカラーフィルタ列1240−1〜カラーフィルタ列1240−Nを含む。各カラーフィルタ列1240は、M個のカラーフィルタ1210を含む。
撮像チップ1044が有する構成要素のうち、図1から図10に関連して説明した構成要素と同じ符号が付された構成要素は、同じ符号が付された構成要素と同様の機能を有するので、説明を省略する場合がある。マイクロレンズ部1300は、マイクロレンズ部300に対応する。マイクロレンズ列1340は、マイクロレンズ列340に対応する。マイクロレンズ1310は、マイクロレンズ310に対応する。カラーフィルタ部1200は、カラーフィルタ部200に対応する。カラーフィルタ列1240は、カラーフィルタ列240に対応する。カラーフィルタ1210は、カラーフィルタ210に対応する。マイクロレンズ部1300、マイクロレンズ列1340、マイクロレンズ1310、カラーフィルタ部1200、カラーフィルタ列1240およびカラーフィルタ1210については、それぞれ対応する構成要素との相違点について説明し、対応する構成要素との相違点がない場合には説明を省略する場合がある。
撮像チップ1044は、撮像チップ44とは異なり、マイクロレンズ部1300とカラーフィルタ部1200とが一体に設けられ、水平方向変位部1281および水平方向変位部1282とマイクロレンズ部1300とが一体に形成される。カラーフィルタ部1200は、マイクロレンズ部1300のz軸マイナス側の主面1390に固定して設けられている。
マイクロレンズ部1300は、マイクロレンズ1310および水平方向変位部1281および水平方向変位部1282を含む全体が、透光性の圧電材料で形成されている。透光性の圧電材料としては、水晶等を例示できる。水平方向変位部1281は、マイクロレンズ部1300のx軸プラス方向の端部に設けられる。水平方向変位部1281は、マイクロレンズ1310−1Mよりx軸プラス側に設けられる。水平方向変位部1281は、カラーフィルタ1210−1Mよりx軸プラス側に設けられる。水平方向変位部1282は、マイクロレンズ1310−11よりx軸マイナス側に設けられる。水平方向変位部1282は、カラーフィルタ1210−11よりx軸マイナス側に設けられる。
水平方向変位部1281および水平方向変位部1282は、共にx軸方向に沿う方向に伸縮可能である。水平方向変位部1281および水平方向変位部1282は、x軸方向に沿う方向に伸縮軸を有する。
水平方向変位部1281は、伸縮軸に沿う方向に伸びる場合に、マイクロレンズ部1300とともにカラーフィルタ部1200をx軸マイナス方向に変位させる。水平方向変位部1282は、伸縮軸に沿う方向に縮む場合に、マイクロレンズ部1300とともにカラーフィルタ部1200をx軸マイナス方向に変位させる。水平方向変位部1281は、伸縮軸に沿う方向に縮む場合に、カラーフィルタ部1200をx軸プラス方向に変位させる。水平方向変位部1282は、伸縮軸に沿う方向に伸びる場合に、カラーフィルタ部1200をx軸プラス方向に変位させる。
水平方向変位部1281は、マイクロレンズ部1300のx軸プラス側の周辺部においてz軸方向に突出した部分である。水平方向変位部1282は、マイクロレンズ部1300のx軸マイナス側の周辺部においてz軸方向に突出した部分である。図11に示されるように、水平方向変位部1281および水平方向変位部1282は、z軸プラス方向に突出した部分である。
マイクロレンズ部1300は、マイクロレンズ310が形成された第1主面1350と、第1主面1350よりz軸プラス方向に向かいyz平面に略平行な段差面1360と、段差面1360からxy平面に沿う方向に外側へ向かう段面1370と、段面1370からz軸マイナス方向に向かいyz平面に略平行な側面1380と、側面1380よりxy平面に略平行な主面1390とを有する。
水平方向変位部1281は、段差面1360および側面1380に直交する方向に沿う伸縮軸を有する。水平方向変位部1281は、段差面1360と側面1380との間に予め定められた電圧が印加されることにより、伸縮軸に沿って伸びる。水平方向変位部1281と同様、水平方向変位部1282は、段差面1360および側面1380に直交する方向に沿う伸縮軸を有する。水平方向変位部1282は、段差面1360と側面1380との間に予め定められた電圧が印加されることにより、伸縮軸に沿って縮む。側面1380の位置は、光電変換素子部100に対して固定されている。したがって、水平方向変位部1281および水平方向変位部1282に予め定められた電圧を印加した場合、カラーフィルタ部1200はマイクロレンズ部1300とともにx軸マイナス方向に、光電変換素子部100に対して相対的に変位する。水平方向変位部1281および水平方向変位部1282に印加した電圧を解除すると、カラーフィルタ部1200はマイクロレンズ部1300とともにx軸プラス方向に、光電変換素子部100に対して相対的に変位して、元の状態に戻る。MPU51は、水平方向変位部1281および水平方向変位部1282に印加する電圧を制御することにより、カラーフィルタ部1200の相対的な位置を制御する。
y軸方向についても同様に、マイクロレンズ部1300のy軸方向の両端部に、マイクロレンズ部1300と一体に2つの垂直方向変位部が設けられる。垂直方向変位部は、水平方向変位部1281および水平方向変位部1282の伸縮軸と直交する伸縮軸を有する。垂直方向変位部は、段差面1360に直交する段差面と、側面1380に直交する側面を有するように、第1主面1350から突出した部分で形成される。垂直方向変位部は、水平方向変位部1281および水平方向変位部1282に対する制御と同様の制御により、カラーフィルタ部1200をy軸に沿う方向に変位させることができる。垂直方向変位部の構成は、伸縮軸が直交する点を除いて、水平方向変位部1281および水平方向変位部1282の構成と略同様の構成を適用できる。そのため、垂直方向変位部の詳細についての説明は省略する。
なお、ここでは圧電効果のd33モードを使用して水平方向変位部および垂直方向変位部を伸縮させる場合の構成を示した。水平方向変位部および垂直方向変位部を、圧電効果のd31モードを使用して伸縮させてよい。この場合、水平方向変位部および垂直方向変位部は、第1主面1350から突出部した形状を有さなくてよい。
このように、マイクロレンズ部1300が透光性を有する圧電材料で形成され、マイクロレンズ部1300およびカラーフィルタ部1200が一体に設けられる。そして、圧電効果によってマイクロレンズ部1300を光電変換素子部100に対して相対的に変位させることにより、カラーフィルタ部1200を光電変換素子部100に対して相対的に変位させる。具体的には、マイクロレンズ部1300を変位させる変位部は、マイクロレンズ部1300の周囲に圧電材料でマイクロレンズ部と一体に形成されている。また、変位部は、圧電効果によって複数のカラーフィルタ1210の配置面に沿う方向に伸縮する第1変位部と、第1変位部の伸縮方向とは異なる方向に伸縮する第2変位部とを有する。水平方向変位部1281および水平方向変位部1282は第1変位部の一例であり、上述した垂直方向変位部は第2変位部の一例である。
上記の実施形態では、カラーフィルタ部200およびカラーフィルタ部1200を変位させる変位部が、圧電効果で実現されるものとして説明した。カラーフィルタ部200およびカラーフィルタ部1200を変位させる変位部は、圧電効果以外の、電歪効果や磁歪効果等の効果を利用して実現されてよい。カラーフィルタ部200およびカラーフィルタ部1200を変位させる変位部は、圧電効果、電歪効果、磁歪効果を利用したものに限られず、任意の変位部材を用いて実現されてよい。
図12は、カラーフィルタ部200の変形例としてのカラーフィルタ部2200を模式的に示す正面図である。カラーフィルタ部2200は、カラーフィルタの配列が異なる点で、カラーフィルタ部200と相違する。マイクロレンズ部および光電変換素子部は、カラーフィルタ部1200に対応する位置にマイクロレンズおよび光電変換素子が配置されている点を除いて、マイクロレンズ部300および光電変換素子部100の構成と略同一である。
カラーフィルタ部1200においては、奇数行のカラーフィルタ列に対して偶数行のカラーフィルタが1/2ピッチづつx軸方向にずらして配置されている。偶数行に配置されたカラーフィルタは、緑(G)の波長域の光を透過させる。奇数行に配置されたカラーフィルタは、赤(R)の波長域の光を透過させるカラーフィルタと、青(B)の波長域の光を透過させるカラーフィルタとが交互に配置されている。複数の奇数行で形成されるカラーフィルタを列方向にみた場合、赤(R)の波長域の光を透過させるカラーフィルタと、青(B)の波長域の光を透過させるカラーフィルタとが交互に配置されている。光電変換素子は、各カラーフィルタに対応する位置に設けられている。このように、カラーフィルタ部1200は、いわゆるハニカム画素配列の撮像素子用のカラーフィルタである。
係る配列のカラーフィルタ部2200を用いる場合、カラーフィルタをそれぞれある1つの光電変換素子に整合させた1つの基準位置と、カラーフィルタ部2200を基準位置からx軸に沿う方向に一画素分変位させた位置と、カラーフィルタ部2200を基準位置からx軸に45°をなす方向に一画素分変位させた位置とでそれぞれ露光および読み出しをする。したがって、3回の多色露光を行うことで、画素間の補間演算をすることなく、各画素について3色の成分情報を持つ画像データを得ることができる。
以上においては、ベイヤ配列のカラーフィルタおよびハニカム画素配列用のカラーフィルタを取り上げて説明した。以上に説明したカラーフィルタ部に代えて、ベイヤ配列やハニカム画素配列以外の任意のパターンでカラーフィルタが配置されたカラーフィルタ部を適用できる。例えば、カラーフィルタ部は、ストライプ配列またはデルタ配列のカラーフィルタを有してよい。具体的には、カラーフィルタ部は、Rの波長域を透過させる複数のカラーフィルタが特定方向に配列された第1カラーフィルタ列と、Gの波長域を透過させるカラーフィルタが特定方向に配列されたカラーフィルタ列と、Gの波長域を透過させるカラーフィルタが特定方向に配列された第3カラーフィルタ列とを有してよい。第1カラーフィルタ列、第2カラーフィルタ列および第3カラーフィルタ列は、特定方向に直交する方向に予め定められた順で周期的に配列されていてよい。
また、各カラーフィルタが透過させる波長域は、R、GおよびBに限られない。上述したように透過波長域がR、GおよびBの波長域にある原色系のカラーフィルタに代えて、補色系のカラーフィルタを適用できる。
また、以上に説明した多色露光の動作は、静止画を撮影する場合だけでなく、動画を撮影する場合にも適用できる。動画の撮影に適用した場合において、動画を構成する複数の動画構成画像の画像データを生成するときには、複数回の多色露光で得られた画素信号から1つの動画構成画像の画像データを生成してよいし、1回の露光および読み出しで得られた画素信号から1つの動画構成画像の画像データを生成してもよい。動画構成画像は、動画におけるフレームまたはフィールドを構成する画像であってよい。
以上に説明した撮像ユニット40によれば、カラーフィルタを光電変換素子部100に対して変位させて光電変換素子部100を露光することで、複数の光電変換素子110を複数の色の成分光で露光することができる。したがって、画素感の補間演算をしなくても、複数の画素のそれぞれが複数の色成分情報を持つ画像データを提供することができる。そのため、空間分解能を高めることができる。
また、以上に説明した撮像ユニット40とは異なり、画像光の進行方向に沿って複数の光電変換素子装置を設けた多層式の光電変換装置を用いる場合、上層の光電変換装置で被写体光の一部が吸収されてしまうので、下層の光電変換装置では単位時間あたりに入射する光量が減少してしまう。これに対し、撮像チップ44によれば、単位時間あたりに各光電変換素子に入射する光量の低下を抑制できる。
なお、上記の実施形態では、カラーフィルタ部が変位した状態を予め定められた時間保持して露光する。しかし、カラーフィルタを変位した状態に保持しなくても、カラーフィルタが動いている状態で露光してもよい。例えば、カラーフィルタを振動させた状態で露光してもよい。1回の露光時間内において各光電変換素子に異なる波長域の光が入射しなければ、上述した効果と同様の効果を得ることができる。
以上に説明した実施形態では、ユーザからの撮影指示に応じて画像を取得する撮像素子において多色露光を行う場合について説明した。測光センサ93に、撮像チップ44または撮像チップ1044と同様のカラーフィルタ構成を適用して、多色露光を行ってもよい。撮像ユニット40や測光ユニット90以外の様々な受光ユニットに、撮像チップ44または撮像チップ1044と同様のカラーフィルタ構成を適用してもよい。
以上に説明した実施形態では、レンズユニット20及びカメラボディ30を含むカメラ10を、撮像装置の一例として取り上げて説明した。しかし、撮像装置は、レンズユニット20を含まなくてよい。例えば、カメラボディ30が撮像装置の一例になり得る。また、撮像装置とは、一眼レフレックスカメラ等のレンズ交換式の撮像装置の他に、レンズ非交換式の撮像装置を含む概念である。また、カメラやビデオカメラ等の撮像装置だけでなく、撮像チップ44または撮像チップ1044と同様のカラーフィルタ構成を適用した受光ユニットを備える受光装置を提供できる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。