以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本実施形態に係る裏面照射型の撮像素子100の断面図である。撮像素子100は、入射光に対応した画素信号を出力する撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111およびメモリチップ112は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のPD(フォトダイオード)104、および、PD104に対応して設けられたトランジスタ105を有する。
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104およびトランジスタ105の組が一つの画素を形成する。
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
配線層108の表面には複数のバンプ109が配される。当該複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされて、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
同様に、信号処理チップ111およびメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされて、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ109は、例えば後述する一つの単位ブロックに対して一つ程度設ければ良い。したがって、バンプ109の大きさは、PD104のピッチよりも大きくても良い。また、画素が配列された撮像領域以外の周辺領域において、撮像領域に対応するバンプ109よりも大きなバンプを併せて設けても良い。
信号処理チップ111は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられることが好ましい。また、TSV110は、撮像チップ113の周辺領域、メモリチップ112にも設けられて良い。
図2は、撮像チップ113の単位ブロック131A、131Bを説明する図である。特に、撮像チップ113を裏面側から観察した様子を示す。撮像領域には2000万個以上もの画素がマトリックス状に配列されている。当該撮像領域が複数の単位ブロック131A、131Bに分割されている。
図2の例においては、単位ブロック131Aおよび単位ブロック131Bの二種類がある。単位ブロック131Aに含まれる画素は、画像生成用の画素である。一方、単位ブロック131Bは、画像生成用の画素に加えて、位相差画素133を有する。
図2において撮像チップ113の撮像領域は、7ブロック×9ブロックの63ブロックに分割されている。そのうち、単位ブロック131Bが撮像領域の中心およびその周囲に一つ置きに9個配されて、他の位置に単位ブロック131Aが配されている。ブロックの数はこれに限られず、これ以上でもこれ以下でもよい。また、単位ブロック131Aと単位ブロック131Bの個数の比率もこれ以上でもこれ以下でもよい。当該単位ブロック131A、131Bが二次元的に配されて上記撮像領域が形成されている。
図3は、位相差画素なしの単位ブロック131Aの画素配列を説明する図である。図3の単位ブロック131Aは、隣接する9画素×10画素の90画素を有する。単位ブロック131Aを形成する画素の数はこれに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下でもよい。
単位ブロック131Aは、緑色画素G、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を有する。緑色画素は、カラーフィルタ102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ102として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。これら緑色画素G、青色画素Bおよび赤色画素Rの画素からの画素信号は画像を生成するのに用いられる。
図4は、単位ブロック131Aに対応する回路図である。ただし、説明を簡略化する目的で、単位ブロック131Aに含まれる画素を4画素×4画素の16画素に省略して示した。図において、代表的に点線で囲む矩形が、1画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図1のトランジスタ105に対応する。
図4の単位ブロック131Aの16画素のそれぞれに対応する16個のPD104は、それぞれ転送トランジスタ302に接続され、各転送トランジスタ302の各ゲートには、転送パルスが供給されるTX配線307に接続される。本実施形態において、TX配線307は、16個の転送トランジスタ302に対して共通接続される。
各転送トランジスタ302のドレインは、対応する各リセットトランジスタ303のソースに接続されると共に、転送トランジスタ302のドレインとリセットトランジスタ303のソース間のいわゆるフローティングディフュージョンFDが増幅トランジスタ304のゲートに接続される。リセットトランジスタ303のドレインは電源電圧が供給されるVdd配線310に接続され、そのゲートはリセットパルスが供給されるリセット配線306に接続される。本実施形態において、リセット配線306は、16個のリセットトランジスタ303に対して共通接続される。
各々の増幅トランジスタ304のドレインは電源電圧が供給されるVdd配線310に接続される。また、各々の増幅トランジスタ304のソースは、対応する各々の選択トランジスタ305のドレインに接続される。選択トランジスタの各ゲートには、選択パルスが供給されるデコーダ配線308に接続される。本実施形態において、デコーダ配線308は、16個の選択トランジスタ305に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ305のソースは、共通の出力配線309に接続される。負荷電流源311は、出力配線309に電流を供給する。すなわち、選択トランジスタ305に対する出力配線309は、ソースフォロアにより形成される。なお、負荷電流源311は、撮像チップ113側に設けても良いし、信号処理チップ111側に設けても良い。また、画素個数分のデコーダ配線308を設けることに代えて、行列選択線およびこれに対応したトランジスタを設けて、個々の画素を選択してもよい。
ここで、電荷の蓄積開始から蓄積終了後の画素信号の出力までの流れを説明する。リセット配線306を通じてリセットパルスがリセットトランジスタ303に印加され、同時にTX配線307を通じて転送パルスが転送トランジスタ302に印加されると、PD104およびフローティングディフュージョンFDの電位はリセットされる。
PD104は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンFDへ転送され、フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線308を通じて選択パルスが選択トランジスタ305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ304および選択トランジスタ305を介して出力配線309に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線309に出力される。
図示するように、本実施形態においては、単位ブロック131Aを形成する16画素に対して、リセット配線306とTX配線307が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、16画素全てに対して同時に印加される。したがって、単位ブロック131を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ305が選択パルスによって順次印加されて、選択的に出力配線309に出力される。また、リセット配線306、TX配線307、出力配線309は、単位ブロック131A毎に別個に設けられる。
このように単位ブロック131Aを基準として回路を構成することにより、単位ブロック131Aごとに電荷蓄積時間を制御することができる。換言すると、複数の単位ブロック131A同士で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位ブロック131Aに1回の電荷蓄積を行わせている間に、他方の単位ブロック131Aに何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位ブロック131A同士で異なるフレームレートで動画用の各フレームを出力することもできる。また、単位ブロック131Aごとに画素信号の読出しの有無を制御することができる。
図5は、位相差画素ありの単位ブロック131Bの画素配列を説明する図である。単位ブロック131Bは、単位ブロック131Aと同様に、隣接する9画素×10画素の90画素を有する。図5の単位ブロック131Bの数は一例であることは、単位ブロック131Aと同様である。また、単位ブロック131Aと単位ブロック131Bとで画素数が異なっていてもよい。
図5の単位ブロック131Bは、単位ブロック131Aと同様に、緑色画素G、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を有する。単位ブロック131Bはさらに、図5における右の半面が遮光されてPD104の左半面で受光する位相差画素133Lと、左の半面が遮光されてPD104の右半面で受光する位相差画素133Rとを有する。図5に示す例において、単位グループ131Bの中央において、位相差画素133L、133Rは互いに隣接して3組横に並べて配されている。
これら位相差画素133L、133Rは、図1におけるカラーフィルタ102に代えて、それぞれ図5の右半面、左半面に開口が設けられた遮光層を有する。これにより、位相差画素133Lには、撮像素子100に結像する結合光学系の、図5における左側領域からの光束が入射する。一方、位相差画素133Rには、撮像素子100に結像する結合光学系の、図5における右側領域からの光束が入射する。よって、上記位相差画素133Lの群により得られる像と位相差画素133Rの群により得られる像の位置関係により、合焦状態からのズレの方向およびズレ量が判定される。
複数の単位ブロック131B同士で、異なった電荷蓄積時間、異なった周期による画素信号をそれぞれ出力させることができることは単位ブロック131Aの場合と同様である。さらに、単位ブロック131Aと単位ブロック131Bとの間でも、異なった電荷蓄積時間、異なった周期による画素信号をそれぞれ出力させることができる。
図6は、本実施形態に係る撮像装置の構成を示すブロック図である。撮像装置500は、撮影光学系としての撮影レンズ520を備え、撮影レンズ520は、光軸OAに沿って入射する被写体光束を撮像素子100へ導く。撮影レンズ520は、撮像装置500に対して着脱できる交換式レンズであっても構わない。撮像装置500は、撮像素子100、システム制御部501、駆動部502、測光部503、ワークメモリ504、記録部505、表示部506および駆動部514を主に備える。
撮影レンズ520は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図6では瞳近傍に配置された仮想的な1枚のレンズで当該撮影レンズ520を代表して表している。
駆動部514は撮影レンズ520を駆動する。より具体的には駆動部514は撮影レンズ520の光学レンズ群を移動させて合焦位置を変更し、また、撮影レンズ520内の虹彩絞りを駆動して撮像素子100へ入射する被写体光束の光量を制御する。
駆動部502は、システム制御部501からの指示に従って撮像素子100のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路である。また、操作部508はレリーズボタン等により撮像者からの指示を受け付ける。
撮像素子100は、画素信号をシステム制御部501の画像処理部511へ引き渡す。画像処理部511は、ワークメモリ504をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、JPEGファイル形式の画像データを生成する場合は、ベイヤー配列で得られた信号からカラー映像信号を生成した後に圧縮処理を実行する。生成された画像データは、記録部505に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部506に表示される。
測光部503は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部503は、例えば100万画素程度のAEセンサを含む。システム制御部501の演算部512は、測光部503の出力を受けてシーンの領域ごとの輝度を算出する。演算部512は、算出した輝度分布に従ってシャッタ速度、絞り値、ISO感度を決定する。測光部503は撮像素子100で兼用してもよい。なお、演算部512は、撮像装置500を動作させるための各種演算も実行する。
駆動部502は、一部または全部が撮像チップ113に搭載されてもよいし、一部または全部が信号処理チップ111に搭載されてもよい。システム制御部501の一部が撮像チップ113または信号処理チップ111に搭載されてもよい。
図7は、信号処理チップ111の一例としての具体的構成を示すブロック図である。信号処理チップ111は、駆動部502の機能を担う。
信号処理チップ111は、分担化された制御機能としてのセンサ制御部441、ブロック制御部442、同期制御部443、信号制御部444、個別回路部450A等と、これらの各制御部を統括制御する駆動制御部420とを含む。信号処理チップ111は、さらに、駆動制御部420と撮像装置500本体のシステム制御部501と間のI/F回路418を含む。これらセンサ制御部441、ブロック制御部442、同期制御部443、信号制御部444および駆動制御部420は、信号処理チップ111に対して一つずつ設けられる。
個別回路部450A、450Bは、単位ブロック131A、131Bごとに設けられる。すなわち、単位ブロック131A、131Bの数が例えば合計で63個であれば、個別回路部450A等も一対一で63個設けられる。これに代えて、個別回路部450Aが複数の単位ブロック131Aの全体に対して一つ、個別回路部450Bが複数の単位ブロック131Bの全体に対して一つ設けられてもよい。
個別回路部450A、450Bは、同一の構成を有するので、以下、個別回路部450Aについて説明する。個別回路部450Aは、CDS回路410、マルチプレクサ411、A/D変換回路412、デマルチプレクサ413、画素メモリ414および演算回路415を含む。演算回路415は、I/F回路418を介してシステム制御部501との間で信号を送受信する。
個別回路部450Aは対応する単位ブロック131Aの画素が配された領域に重畳した領域に配されていることが好ましい。これにより、各チップを面方向に大きくすることなく、複数の単位ブロック131Aのそれぞれに個別回路部450Aを設けることができる。
駆動制御部420は、タイミングメモリ430を参照して、システム制御部501からの指示を、各制御部が実行可能な制御信号に変換してそれぞれに引き渡す。特に、駆動制御部420は、タイミングメモリ430において蓄積および読み出しをすべきとされている単位ブロック131A等を特定し、当該単位ブロック131A等を特定する情報ともに各制御部に制御パラメータを引き渡す。制御パラメータの例は、フレームレート、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。
センサ制御部441は、撮像チップ113へ送出する、各画素の電荷蓄積、電荷読み出しに関わる制御パルスの送出制御を担う。具体的には、センサ制御部441は、対象画素に対してリセットパルスと転送パルスを送出することにより、電荷蓄積の開始と終了を制御し、読み出し画素に対して選択パルスを送出することにより、画素信号を出力配線309へ出力させる。
ブロック制御部442は、撮像チップ113へ送出する、制御対象となる単位ブロック131を特定する特定パルスの送出を実行する。各画素がTX配線307およびリセット配線306を介して受ける転送パルスおよびリセットパルスは、センサ制御部441が送出する各パルスとブロック制御部442が送出する特定パルスの論理積となる。このように、各領域を互いに独立したブロックとして制御することができる。
同期制御部443は、同期信号を撮像チップ113へ送出する。各パルスは、同期信号に同期して撮像チップ113においてアクティブとなる。例えば、同期信号を調整することにより、同一の単位ブロック131A等に属する画素の特定画素のみを制御対象とするランダム制御、間引き制御等を実現する。
信号制御部444は、主にA/D変換回路412に対するタイミング制御を担う。出力配線309を介して出力された画素信号は、CDS回路410およびマルチプレクサ411を経てA/D変換回路412に入力される。CDS回路410は画素信号からノイズを取り除く。
A/D変換回路412は、信号制御部444によって制御されて、入力された画素信号をデジタル信号に変換する。デジタル信号に変換された画素信号は、デマルチプレクサ413に引き渡され、そしてそれぞれの画素に対応する画素メモリ414にデジタルデータの画素値として格納される。
演算回路415は、対応する単位ブロック131Aについて、画素メモリ414に格納された画素値に基づく評価値を演算し、当該評価値が予め定められた判定条件を満たすか否かを判定する。演算回路415は、この判定の結果を、単位ブロック131Aを特定する情報に対応付けて駆動制御部420に出力する。
画素メモリ414は、少なくとも単位ブロック131Aに含まれる画素数分の画素値を格納できるメモリ空間を有し、画素値を格納する。画素メモリ414には、引渡要求に従って画素信号を伝送するデータ転送インタフェースが設けられている。データ転送インタフェースは、画像処理部511と繋がるデータ転送ラインと接続されている。データ転送ラインは例えばバスラインのうちのデータバスによって構成される。この場合、システム制御部501から駆動制御部420への引渡要求は、アドレスバスを利用したアドレス指定によって実行される。
データ転送インタフェースによる画素信号の伝送は、アドレス指定方式に限らず、さまざまな方式を採用しうる。例えば、データ転送を行うときに、各回路の同期に用いられるクロック信号の立ち上がり・立ち下がりの両方を利用して処理を行うダブルデータレート方式を採用し得る。また、アドレス指定などの手順を一部省略することによってデータを一気に転送し、高速化を図るバースト転送方式を採用し得る。また、制御部、メモリ部、入出力部を並列に接続している回線を用いたバス方式、直列にデータを1ビットずつ転送するシリアル方式などを組み合わせて採用することもできる。
このように構成することにより、画像処理部511は、必要な画素値に限って受け取ることができるので、特に低解像度の画像を形成する場合などにおいて、高速に画像処理を完了させることができる。
信号処理チップ111は、フラッシュRAM等により形成されるタイミングメモリ430を有する。タイミングメモリ430は、いずれの単位ブロック131A等に対して何回の電荷蓄積を繰り返すかについての蓄積回数情報等の制御パラメータを、単位ブロック131A等を特定する情報に対応づけて格納する。タイミングメモリ430にはさらに、単位ブロック131A等を特定する情報に対応づけて、単位ブロック131Aおよび単位ブロック131Bのいずれの種類であるかを特定する情報を格納している。
図8は、撮像装置500の動作フローを示す。図8は、例えばスリープモードから操作部508への何らかの操作が入力されたことにより開始する。
システム制御部501は、絞り、シャッタスピード、ISO感度等の撮影条件を設定する(S100)。システム制御部501は、システム内部のクロックを用いて、スルー画像の読み出しタイミングであるか否かを判断する(S102)。スルー画像は、本撮影の参考にすべく撮像素子100で撮像される画像をリアルタイムで表示部506に表示するものであり、ライブビュー画像と呼ばれることもある。ここでスルー画像の読出しタイミングは、一定時間間隔、例えば30fpsに設定される。
スルー画像の読み出しタイミングである場合に(S102:Yes)、システム制御部501はスルー画像を読み出すべき旨を駆動制御部420に指示する(S104)。駆動制御部420は、タイミングメモリ430を参照して、単位ブロック131A、131Bに電荷蓄積制御および読み出し制御を行う。
スルー画像の読み出しにおいては、できるだけ多くの単位ブロック131A、131Bから画素信号を得ることが好ましい。例えば、撮像領域に含まれるすべての単位ブロック131A、131B、図2に示す例においては63個の単位ブロック131A、131Bから画素信号を得ることが好ましい。そこで、タイミングメモリ430には、スルー画像の読み出しが行われる単位ブロックとして、撮像領域の単位ブロック131A、131Bのすべてを特定する情報が予め格納されている。
駆動制御部420は、図3から図7で説明したように、それぞれの単位ブロック131A、131Bに含まれる画素に対して電荷の蓄積および画素信号の読み出しを行い、画素値を画素メモリ414に格納する。ただし、単位ブロック131A等の内部では間引き読出しをしてもよい。なお電荷の蓄積等の制御パラメータは、スルー画像用としてタイミングメモリ430に予め設定されていてもよいし、撮像者により設定された撮影条件に基づいて設定されてもよい。
画像処理部511は、画素メモリ414に格納された画素値を読み出し、スルー画像の画像データを生成して表示部506に表示する(S106)。また、ステップS102においてスルー画像の読み出しタイミングでない場合は(S102:No)、すでに生成したスルー画像の画像データを表示部506に表示し続ける(S106)。
システム制御部501は、操作部508からレリーズボタンの半押しを検知するまで(S108:No)、上記ステップS102からS106を繰り返す。一方、システム制御部501は、操作部508からレリーズボタンの半押しを検知した場合に(S108:Yes)、駆動制御部420の制御により位相差画素133から画素信号を読み出す(S110)。なお、レリーズボタンの半押しは、合焦状態を判断する指示の一例である。
ステップS110において、駆動制御部420はタイミングメモリ430を参照する。ここでタイミングメモリ430には、位相差画素133から画素信号を読み出す場合に駆動される単位ブロックとして、位相差画素ありの単位ブロック131Bを特定する情報が格納されている。よって、駆動制御部420は撮像領域のうち単位ブロック131Bに対して電荷の蓄積および画素信号の読み出しを実行して画素メモリ414に格納する。一方、駆動制御部420は、単位ブロック131Aに対しては電荷の蓄積および画素信号の読み出しを実行しない。これにより、位相差画素の読み出し時に電荷蓄積等の制御対象となる単位ブロックの数(図2の例では9個)は、スルー画像の読み出し時に電荷蓄積等の制御対象となる単位ブロックの数(図2の例では63個)よりも少なくなる。
個別回路部450Bの演算回路415は、単位ブロック131Bの位相差画素133の画素信号を画素メモリ414から読み出して、合焦点状態を判定する(S112)。この場合に、演算回路415は、当該単位ブロック131Bにおける、位相差画素133Lの群により得られる像と位相差画素133Rの群により得られる像の位置関係により、合焦状態からのズレの方向およびズレ量を判定する。
上記判定に基づいて、駆動部514が撮影レンズ520を駆動して合焦位置を調整する(S114)。
システム制御部501は、操作部508がレリーズボタンの全押しを検知するまで(S116:No)、上記ステップS102からS114を繰り返す。一方、システム制御部501は、操作部508がレリーズボタンの全押しを検知した場合に(S116:Yes)、駆動制御部420の制御により本画像の画素信号を読み出す(S110)。
ここでタイミングメモリ430には、本画像の画素信号を読み出す単位ブロックとして、撮像領域の単位ブロック131A、131Bのすべてを特定する情報が予め格納されている。よって、駆動制御部420は撮像領域の単位ブロック131A、131Bのすべてに対して電荷の蓄積および画素信号の読み出しを実行する。これにより、本画像の読み出し時に電荷蓄積等の制御対象となる単位ブロックの数は、位相差画素の読み出し時に電荷蓄積等の制御対象となる単位ブロックの数よりも多くなる。また、単位ブロック131A等内において、間引き読み出しはしないことが好ましい。なお、単位ブロック131Bにおける位相差画素133に対応する位置の画素値は周囲の画素の画素値に基づいて補間されることが好ましい。
画像処理部511は、上記駆動制御部420の制御により読み出されて画素メモリ414に格納された画素値を読み出し、本画像の画像データを生成して、表示部506に表示するとともに記録部505に記録する(S120)。以上で動作フローが終了する。
図9は、単位ブロック131A、131Bにおける蓄積および読み出しのタイミングを示す。なお、図9においては説明を簡略化すべく、それぞれのブロック全体での蓄積及び読み出しが一つのパルス状に示されている。
単位ブロック131Aは、上記の通り位相差画素を有さず、スルー画像および本画像の生成に用いられる。図8のステップS102で説明したように、単位ブロック131Aはスルー画像を生成すべく、一定間隔、例えば30fpsで蓄積および読み出しされる。
これに対し、単位ブロック131Bは、位相差画素を有しており、スルー画像および本画像の生成だけでなく、合焦状態の評価に用いられる。そこで、単位ブロック131Bは、単位ブロック131Aの上記一定間隔よりも短い間隔で蓄積および読み出しされる。
図9に示す例において単位ブロック131Bの読み出しの間隔は、単位ブロック131Aの1/3であり、したがってフレームレートは3倍の90fpsである。すなわち、単位ブロック131Aがタイミングta1で蓄積等がされてから、次のタイミングta2で蓄積等がされるまでの間に、単位ブロック131Bは、タイミングtb1、tb2、tb3の3回蓄積等がされている。
単位ブロック131Aと単位ブロック131Bとは、周期に加えて他の制御パラメータが異なっていてもよい。例えば、互いに蓄積時間が違っていてもよい。単位ブロック131Bは、合焦状態が精度よく判定されるように、単位ブロック131Aよりも蓄積時間を長くしてもよい。
ここで、単位ブロック131Bにおけるタイミングtb1、tb4は、単位ブロック131Aのタイミングta1、ta2と同期している。よって、単位ブロック131Bにおけるタイミングtb1、tb4で得られた画素値は、単位ブロック131Aの画素値とともにスルー画像を生成するのに用いられてもよい。単位ブロック131Aと単位ブロック131Bとで蓄積時間が異なる場合には、単位ブロック131Bにおけるタイミングtb1、tb4で得られた画素値が蓄積時間の違いに応じて輝度調整され、スルー画像が生成されることが好ましい。これに代えて、単位ブロック131Bにおいて単位ブロック131Aと同期するタイミングでは、蓄積時間を単位ブロック131Aと同じにしてもよい。
これらに代えて、単位ブロック131Bにおける位相差画素133の読み出しのためのいずれのタイミングも単位ブロック131Aのタイミングとは非同期にしてもよい。この場合に、上記位相差画素133の読み出しのタイミングとは別個に、単位ブロック131Aのタイミングと同期させて、単位ブロック131Bのスルー画像のための蓄積等を行ってもよい。この場合には、単位ブロック131Bのスルー画像のための制御パラメータは、単位ブロック131Aの制御パラメータに合せることが好ましい。
以上、図1から図9に示す実施形態によれば、少なくともスルー画像および本画像を生成する場合に読み出される単位ブロック131Aと、少なくとも合焦状態を判定する場合に読み出される単位ブロック131Bに対して、それぞれに適した蓄積および読み出しを行うことができる。特に、合焦状態を判定する場合に読み出される単位ブロック131Bの蓄積等の周期を、スルー画像を生成する場合に読み出される単位ブロック131Aの蓄積等の周期をより短くすることにより、処理すべきデータ量を小さくしつつ合焦動作を早くすることができる。
スルー画像にいて、一部を拡大して表示する旨がユーザから入力された場合に、上記ステップS104、S106において、表示されない単位ブロック131Aは、蓄積、読み出し等が行われなくてもよい。その場合であっても、表示の有無にかかわらずステップS110においては、単位ブロック131Bは、蓄積、読み出し等が行われ、ステップS112以降の動作が行われることが好ましい。
図1から図9に示す実施形態においては、単位ブロック131Bに位相差画素133が含まれており、当該位相差画素133からの画素値に基づいて合焦動作が実行される。しかしながら、合焦点動作の方式はこれに限られない。
位相差画素133を用いる方式に代えて、画像を生成するのに用いられる画素を用いたコントラスト方式により合焦動作を実行してもよい。この場合に、上記図8のステップS110において、単位ブロック131Bから画素値が読み出され、当該単位ブロック131B内での空間的な高周波成分に基づいてコントラスト値が算出される。さらに当該コントラスト値が極大値となるように、撮影レンズ520が駆動される。なお、この場合には単位ブロック131Bには位相差画素133を設けず、単位ブロック131Aと同一の画素配列にしてもよい。
さらに他の例として、位相差画素133を用いる方式とコントラスト方式とを併用してもよい。この場合に、例えば、上記図8のステップS110において、最初に位相差画素133を用いて合焦位置のズレの方向を判定し、その方向へコントラスト方式で合焦位置を調整してもよい。これに代えて、撮像素子100に入射する被写体像の輝度が閾値よりも高い場合に位相差画素133を用い、低い場合にコントラスト方式を用いてもよい。さらに他の例として、上記図8のステップS110において被写体を認識し、当該被写体が動体である場合に位相差画素133を用いて、動体でない場合にコントラスト方式を用いてもよい。
また、コントラスト方式で合焦状態を判定するために読み出した単位ブロック131Bの画素値は、スルー画像の生成に用いられなくてもよい。これにより、単位ブロック131Bに対してコントラスト方式に適した蓄積制御をすることができる。この場合には、上記の通りスルー画像の生成のために、単位ブロック131Aに同期して単位ブロック131Bに対して同じ蓄積制御をして、単位ブロック131A、131Bの両方から画素値を得ることが好ましい。
上記実施形態は、動画を撮像する場合にも適用できる。その場合には、上記スルー画像のための読み出しおよびスルー画像の生成を、動画のための読み出しおよび動画の生成に代えればよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。