以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本実施形態に係る裏面照射型の撮像素子100の断面図である。撮像素子100は、入射光に対応した画素信号を出力する撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111およびメモリチップ112は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配された複数のPD(フォトダイオード)104、および、それぞれのPD104に対応して設けられたトランジスタ105を有する。なお、PD層106は、画素部の一例である。
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、特定の配列を有している。カラーフィルタ102の配列については後述する。1つのカラーフィルタ102には、2個のPD104と、2個のトランジスタ105がX軸方向に並べて形成されている。そして、1つのカラーフィルタ102と、2個のPD104と、2個のトランジスタとで、1つの画素が形成される。なお、PD104は、光電変換素子の一例である。PD104の代わりに有機光電変換膜、フォトゲート等の光電変換素子を用いてもよい。
カラーフィルタ102における入射光の入射側には、カラーフィルタ102に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応する2個のPD104へ向けて入射光を集光する。2個のPD104は、入射光の断面領域内の互いに一致しない部分領域からの光束をそれぞれ受光する。1つのマイクロレンズ101に対して設けられた2つのPD104は、1つの画素126を形成する。
ここで、画素126に到達する入射光束の様子について説明する。図2は、PD104に入射する被写体光束を模式的に示した図である。図2(a)は、射出瞳114の入射方向から見た模式図であり、図2(b)は、PD104に入射する被写体光束を説明するX-Z断面模式図である。図2(a)(b)において、射出瞳114は、レンズ交換式のデジタルカメラにおいては交換レンズの射出瞳を表し、撮像素子に対して固定されて設けられた撮影レンズを備えるデジタルカメラにおいては、当該固定レンズの射出瞳を表す。
ここで、撮影レンズの光軸に直交する断面のひとつとして射出瞳面で被写体光束を切断した場合について説明する。射出瞳面における被写体光束の全体としての領域は、部分領域116と部分領域118を含む。部分領域116を通過する被写体光束は、被写体光束の一部であり、この部分光束はPD124に受光される。また、部分領域118を通過する被写体光束は、部分領域116を通過する被写体光束とは異なる、被写体光束の一部であり、この部分光束はPD122に受光される。換言すると、部分領域116は、PD124の領域を、射出瞳面に逆投影した領域を表し、部分領域118は、PD122を射出瞳面に逆投影した領域を表す。そして、瞳分割されたそれぞれの部分光束を受光する組となるPD122とPD124とが、1つの画素126として機能する。
なお、図2において、部分領域116と部分領域118とは、左右に分離している例を示したが、部分領域116と部分領域118とは部分的に一致する領域を有していてもよい。また、PD122とPD124は、光電変換部そのものの外縁が図に示す形状と一致するように形成される場合に限らず、受光面に形成される反射膜の透過領域によってその外縁が調整されてもよいし、開口部を設けた遮断マスクによって調整されてもよい。
再び、図1を参照して、配線107を含む配線層108の表面には複数のバンプ109が配される。当該複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされて、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
同様に、信号処理チップ111およびメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされて、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ109は、例えば後述する1つの画素グループに対して1つ程度設ければ良い。したがって、バンプ109の大きさは、PD104のピッチよりも大きくても良い。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けても良い。
信号処理チップ111は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられることが好ましい。また、TSV110は、撮像チップ113の周辺領域、メモリチップ112にも設けられて良い。
図3は、撮像チップ113の画素配列と単位グループ120を説明する図である。図3は、撮像チップ113を裏面側から観察した様子を示す。画素領域には2000万個以上もの画素がマトリックス状に配列されている。図3に示したように、2個のPD104から構成される画素は、1つのカラーフィルタ102をX軸方向に2つに分割して設けられている。本実施形態においては、隣接する4画素が1つの単位グループ120を形成する。図3に示した格子線は、隣接する4画素がグループ化されて単位グループ120を形成する概念を示す。
画素領域の部分拡大図に示すように、単位グループ120は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を一組内包する。緑色画素は、カラーフィルタ102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ102として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
図4は、撮像チップ113の単位グループ120に対応する回路図である。図において、代表的に点線で囲む矩形が、一画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図1のトランジスタ105に対応する。
上述したように、単位グループ120は、4画素から形成される。それぞれの画素は、2個のPD104を有するので、単位グループ120は、8個のPD104を有する。単位グループ120の8個のPD104は、それぞれ転送トランジスタ302に接続され、各転送トランジスタ302の各ゲートには、転送パルスが供給されるTX配線307に接続される。本実施形態において、TX配線307は、8個の転送トランジスタ302に対して共通接続される。
各転送トランジスタ302のドレインは、対応する各リセットトランジスタ303のソースに接続されると共に、転送トランジスタ302のドレインとリセットトランジスタ303のソース間のいわゆるフローティングディフュージョンFDが増幅トランジスタ304のゲートに接続される。リセットトランジスタ303のドレインは電源電圧が供給されるVdd配線310に接続され、そのゲートはリセットパルスが供給されるリセット配線306に接続される。本実施形態において、リセット配線306は、8個のリセットトランジスタ303に対して共通接続される。
各々の増幅トランジスタ304のドレインは電源電圧が供給されるVdd配線310に接続される。また、各々の増幅トランジスタ304のソースは、対応する各々の選択トランジスタ305のドレインに接続される。選択トランジスタ305の各ゲートには、選択パルスが供給されるデコーダ配線308に接続される。本実施形態において、デコーダ配線308は、8個の選択トランジスタ305に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ305のソースは、共通の出力配線309に接続される。負荷電流源311は、出力配線309に電流を供給する。すなわち、選択トランジスタ305に対する出力配線309は、ソースフォロアにより形成される。なお、負荷電流源311は、撮像チップ113側に設けても良いし、信号処理チップ111側に設けても良い。
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線306を通じてリセットパルスがリセットトランジスタ303に印加され、同時にTX配線307を通じて転送パルスが転送トランジスタ302に印加されると、PD104およびフローティングディフュージョンFDの電位はリセットされる。
PD104は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンFDへ転送され、フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線308を通じて選択パルスが選択トランジスタ305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ304および選択トランジスタ305を介して出力配線309に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線309に出力される。
図示するように、本実施形態においては、単位グループ120を形成する4画素に対して、リセット配線306とTX配線307が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、4画素全てに対して同時に印加される。したがって、単位グループ120を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ305が選択パルスによって順次印加されて、選択的に出力配線309に出力される。なお、以後の説明において、それぞれのPDから出力される出力信号をPD信号とし、画素単位でPD信号が加算された信号を画素信号とする。
図5は、本実施形態に係る撮像装置500の構成を示すブロック図である。撮像装置500は、撮影光学系としての撮影レンズ510を備え、撮影レンズ510は、光軸OAに沿って入射する被写体光束を撮像素子100へ導く。撮影レンズ510は、撮像装置500に対して着脱できる交換式レンズであっても構わない。撮像装置500は、撮像素子100、システム制御部501、ワークメモリ502、記録部503、表示部504および操作部505を主に備える。
撮影レンズ510は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図5において、撮影レンズ510は、瞳近傍に配置された仮想的な一枚のレンズで代表して表している。
撮像素子100は、画像データ生成用の画素信号をシステム制御部501の画像処理部508へ引き渡す。画像処理部508は、ワークメモリ502をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、JPEGファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、記録部503に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部504に表示される。
また、撮像素子100は、焦点検出用のPD信号をシステム制御部501の演算部509へ引き渡す。演算部509は、取得した複数のPD信号列から一対の信号波形を生成し、当該一対の信号波形から合焦状態からのずれ量であるデフォーカス量を算出する。演算部509は、算出したデフォーカス量から撮影レンズ510を合焦位置に移動させる移動量を算出する。演算部509は、撮影レンズ510の移動量に対応した駆動信号を生成する。すなわち、演算部509は、PD信号に基づいてオートフォーカス制御を行うフォーカス制御部として機能する。
演算部509は、生成した駆動信号をレンズ駆動制御部506に出力する。レンズ駆動制御部506は、駆動信号に従って、レンズ駆動部507を駆動して、撮影レンズ510を光軸方向へ進退させる。このようにして撮影レンズ510の位置が調整され、撮像素子100上に鮮鋭像を結ぶように、撮影レンズ510のオートフォーカス制御が実行される。なお、演算部509は、撮像装置500を動作させるための各種演算も実行する。
図6は、本実施形態に係るROIを説明する図である。ROIとは、Region of interestの頭文字三字からなる造語であり、撮像チップ113上の画素領域における「興味ある領域」を示し、当該領域で焦点検出を行う。ROIは、撮像チップ113の画素領域に単位グループ120の単位で設定される。
ROIは、画像処理部508により設定される。画像処理部508は、予め定められたアルゴリズムを用いて、被写体を撮像して生成した画像データを解析する。画像処理部508は、当該解析結果に対応させて撮像チップ113上の画素領域に、任意の形状で任意の位置にROIを設定する。ROIは、図6に示したように、正方形のROI10、矩形のROI12、上下方向に長いROI14または左右方向に長いROI16であってもよい。画像処理部508は、設定したROIを示すアドレス情報を撮像素子100へ出力する。
本実施形態において、ROIは、単位グループ120の単位で設定される例を示したが、この例に限らず、少なくとも撮像チップ113に設けられた画素が1つ含まれるように設定されればよい。また、アドレス情報の一例は、撮像チップ113の画素領域における単位グループ120単位で区分けされたXY座標系におけるX方向の開始位置座標および終了位置座標と、Y方向の開始位置座標と終了位置座標を示す情報である。なお、ROIは、指定領域の一例である。
画像処理部508における予め定められたアルゴリズムとは、例えば、被写体が人物である場合に、当該人物の顔検出アルゴリズムを指す。この場合、画像処理部508は、画像データから被写体の顔検出を行い、画素領域における被写体の顔を含む領域を特定する。画像処理部508は、特定した画素領域に対応する領域にROIを設定する。
ROIは、撮像装置500を使用する使用者の操作によって設定されてもよい。この場合に、使用者は、操作部505を操作してROIを入力できてもよく、ROIを設定したい被写体を選択できてもよい。なお、使用者が被写体を選択する場合においては、画像処理部508は、選択された被写体の位置に対する各画素信号のコントラスト値を参照することによって当該被写体を含む画素領域を特定し、特定した画素領域に対応する領域にROIを設定するとしてもよい。
画像処理部508によりROIが設定された場合において、ROIに含まれない単位グループ120から出力されるPD信号は画素単位で加算処理され、画素信号としてシステム制御部501の画像処理部508へ引き渡される。これにより、撮像素子100から画像処理部508へ転送するデータ量を少なくできる。
一方、ROIに含まれる単位グループ120のPD信号は、焦点検出に用いることを目的としてシステム制御部501の演算部509へ引き渡される。演算部509は、ROIに含まれるPD信号からデフォーカス量を算出し、撮影レンズ510のフォーカスを調整する。このように、ROIに含まれるPD信号はROIに含まれないPD信号とは異なり、PD信号が画素単位で加算されずに、個別のPD信号が出力される。
演算部509は、焦点検出用の2個のPD104のPD信号を画像処理部508へ引き渡す。画像処理部508は、2個のPD104のPD信号を加算処理して、直接画像処理部508に出力された画素信号と形式を合わせる。画像処理部508は、直接画像処理部508に出力された画素信号と、PD信号を加算処理して生成された画素信号とから画像データを生成する。なお、画像処理部508の加算処理は、信号処理チップ111の加算回路とは特性が異なる場合がある。そのような場合は2個のPD104のPD信号を加算回路で加算した場合の加算の結果と同じになるように画像処理部508の加算処理での加算の結果に補正を行う必要がある。また、画像処理部508の加算処理で補正を行うのではなく、信号処理チップ111の加算回路でそのような補正を行うようにしてもよい。
図7は、デフォーカス量を算出するROIのPD信号列を説明する図である。デフォーカス量を算出する場合において、演算部509は、赤、緑、青の各色のPD信号列から作成されるPD信号波形からそれぞれデフォーカス量を算出する。緑色のPD信号列からデフォーカス量を算出する場合を例として、緑色のPD信号からデフォーカス量を算出する方法について説明する。演算部509は、PD134、PD130、PD138から作成されるPD信号波形と、PD136、PD132、PD140から作成されるPD信号波形とからデフォーカス量を算出する。なお、実際にデフォーカス量を算出するためには、例えば100個程度のPD信号列から作成される一対のPD信号波形を用いるが、本実施形態においては、説明の便宜上、3個のPD信号列から作成されるPD信号波形を用いて説明した。
また、図7に示した例において、演算部509は、ROI10の中央における水平方向の一対のPD信号波形を用いてデフォーカス量を算出する例を示した。しかしながら、これに限らず、例えば、ある一対のPD信号波形を用いてデフォーカス量を算出できない場合に、ROI10に含まれる領域内において、演算部509は、デフォーカス量を算出する一対のPD信号波形の位置を任意に変えることができてもよい。
図8は、信号処理チップの一例としての具体構成を示すブロック図である。信号処理チップ111は、分担化された制御機能としてのセンサ制御部24、ブロック制御部26、信号制御部28と、これらの各制御部を統括制御する駆動制御部20とを含む。駆動制御部20は、システム制御部501からの指示を、各制御部が実行可能な制御信号に変換してそれぞれに引き渡す。
センサ制御部24は、撮像チップ113へ送出する各画素の電荷蓄積、電荷読み出しに関わる制御パルスの送出制御を担う。具体的には、センサ制御部24は、対象画素に対してリセットパルスと転送パルスを送出することにより、電荷蓄積の開始と終了を制御し、読み出し画素に対して選択パルスを送出することにより、PD信号を出力配線309へ出力させる。
ブロック制御部26は、撮像チップ113へ送出する、制御対象となる単位グループ120を特定する特定パルスの送出を実行する。図2等を用いて説明したように、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素は、単位グループ120を形成する。単位グループ120に含まれる4画素を構成する8個のPD104は、ひとつのブロックを形成する。同一のブロックに含まれる画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。そこで、ブロック制御部26は、駆動制御部20からの指定に基づいて対象となる単位グループ120に特定パルスを送出することにより、単位グループ120をブロック化する役割を担う。各画素がTX配線307およびリセット配線306を介して受ける転送パルスおよびリセットパルスは、センサ制御部24が送出する各パルスとブロック制御部26が送出する特定パルスの論理積となる。
信号制御部28は、主にA/D変換器34に対するタイミング制御を担う。出力配線309を介して、予め定められた順番で単位グループ120ごとに出力されたPD信号は、CDS回路30およびマルチプレクサ32を経てA/D変換器34に入力される。A/D変換器34は、信号制御部28によって制御されて、入力されたPD信号をデジタル信号に変換する。デジタル信号に変換されたPD信号は、デマルチプレクサ36に引き渡される。メモリチップ112には画素メモリ38が設けられており、PD信号は、デジタルデータの画素値として、デマルチプレクサ36から画素メモリ38へ、予め定められたアドレスの順番で格納される。
信号処理チップ111は、制御メモリ22を有する。制御メモリ22は、画像処理部508から出力されたROIを示すアドレス情報を格納する。制御メモリ22は、例えばフラッシュRAMによって構成される。
上述のように、ROIを示すアドレス情報は、事前に撮像された画像データを解析した解析結果に基づいて、画像処理部508により設定される。そして、駆動制御部20は、ROIを示すアドレス情報を画像処理部508から受け付け、制御メモリ22に格納する。したがって、駆動制御部20は、画像処理部508からROIを示すアドレス情報等を受け付ける受付部としても機能する。
駆動制御部20は、画像処理部508の画像データの生成に同期して実行されるROIの設定により生成された当該アドレス情報を逐次画像処理部508から受け付けて、制御メモリ22に格納されているアドレス情報を更新する。これにより、例えば、動画撮影において、被写体が移動している場合に、被写体の動きに追従させてROIを設定できる。
出力制御部40は、制御メモリ22から、ROIを示すアドレス情報を読み出す。また、出力制御部40は、単位グループ120ごとのPD信号を、当該アドレス順に画素メモリ38から読み出す。出力制御部40は、読み出した順番から、単位グループのアドレスを算出する。出力制御部40は、単位グループ120のアドレスがROIに含まれない場合には、読み出した単位グループに含まれるPD信号を加算回路42に出力する。一方、出力制御部40は、単位グループ120がROIに含まれる場合には、読み出した単位グループ120に含まれるPD信号を、データ転送インターフェース48および演算部509に繋がるデータ転送ライン512を通じて演算部509へ出力する。なお、データ転送インターフェース48は、第2の出力ポートの一例である。
加算回路42は、単位グループ120に含まれる同じカラーフィルタに設けられた2個のPD104から出力されたPD信号の加算処理を実行して画素信号を生成する。また、加算回路42には、画像処理部508へ画素信号を伝送するデータ転送インターフェース46が接続されている。また、データ転送インターフェース46は、画像処理部508と繋がるデータ転送ライン511と接続されている。加算回路42により生成された画素信号は、当該データ転送インターフェース46を利用して画像処理部508へ出力される。なお、加算回路42に設けられたデータ転送インターフェース46は、第1の出力ポートの一例である。
図9は、PD信号の加算処理を説明するフローチャートである。図9を用いて、ROIを用いた画素信号の加算処理について説明する。図9に示すPD信号の加算処理は、画像処理部508が、ROIを示すアドレス情報を駆動制御部20へ出力したことにより開始する。
駆動制御部20は、ROIを示すアドレス情報を、画像処理部508から取得して(ステップS100)、制御メモリ22に格納する。駆動制御部20は、撮像チップ113にリセットパルスと転送パルスを送出して電荷蓄積させて、予め定められた順番で単位グループごとに選択パルスを送出することによって、単位グループ120ごとのPD信号を取得する(ステップS102)。そして、駆動制御部20は、予め定められた順番で、単位グループ120ごとのPD信号を画素メモリ38に格納する。
出力制御部40は、制御メモリ22に格納されたROIを示すアドレス情報を取得する。出力制御部40は、単位グループ120のPD信号を予め定められた順番で、画素メモリ38から読み出す(ステップS104)。出力制御部40は、単位グループ120を読み出した順番から当該単位グループのアドレスを算出して、読み出した単位グループ120がROIに含まれるか否かを判断する(ステップS106)。
出力制御部40は、読み出した単位グループ120が、ROIに含まれない場合に(ステップS106:No)、当該単位グループ120のPD信号を加算回路42に出力する。加算回路42は、単位グループ120におけるカラーフィルタごとに設けられた2個のPD104から出力されたPD信号を加算処理する(ステップS108)。そして、出力制御部40は、加算回路で加算処理されて生成された画素信号を、加算回路42を通じて画像処理部508に出力する(ステップS110)。
一方、出力制御部40は、読み出した単位グループ120がROIに含まれる場合に(ステップS106:Yes)、出力制御部40は、加算処理されていないPD信号を演算部509に出力する(ステップS112)。演算部509は、出力されたPD信号を用いてデフォーカス量を算出する。
出力制御部40は、全ての単位グループのPD信号を、画素メモリ38から読み出して出力したか否かを判断する(ステップS114)。出力制御部40は、全ての単位グループ120のPD信号を出力していない場合に(ステップS114:No)、処理をステップS104に戻す。そして、出力制御部40は、読み出した単位グループ120の次に格納されている単位グループ120のPD信号を、画素メモリ38から読み出して、ステップS106からステップS120の処理を実行する。一方、出力制御部40は、全ての単位グループ120のPD信号を出力した場合に(ステップS114:Yes)、当該加算処理は終了する。
なお、図9に示したPD信号の加算処理は、ライブビューの表示および動画撮影のようにオートフォーカスを実行しながら、画像データの生成を行う場合に実行される。被写体の静止画を撮像する場合であって、オートフォーカスを実行する場合に、出力制御部40は、ROIに含まれる単位グループ120のPD信号を演算部509に出力して、演算部509にオートフォーカスを実行させる。そして、本撮像を実行する場合に、出力制御部40は、全ての単位グループ120のPD信号を加算回路42に出力し、加算処理を実行させることにより画素信号のデータ数を削減させてから、画像処理部508に画像データを生成させる。
以上、説明したように、カラーフィルタ102を2個のPD104に分割した瞳分割型焦点検出用画素を用いた場合においても、ROIを設定することにより、ROIに含まれない画素においては、画像処理部508へ転送するデータ転送量を大幅に削減できる。このように、瞳分割型焦点検出用画素を有する撮像素子であっても、撮像素子100から撮像装置500側へ転送するデータ転送量の増加を抑制できる。これにより、撮像装置500側の保存メモリエリアが増大することを抑制できる。
また、撮像装置500において、撮像素子100における各チップ間は、バンプ109を介してデータの高速転送が可能である。一方、撮像素子100とシステム制御部501とは離れて配置されているので、撮像素子100とシステム制御部501との間のデータ転送速度は遅い。そのため、データの高速転送が可能である撮像素子100内で加算処理を実行させて画素信号のデータ数を削減することによって、撮像素子100内の転送時間および処理時間を増大させることなく、撮像素子100とシステム制御部501との間のデータ転送時間を大幅に削減できる。
また、画素メモリ38にPD信号の複数回取り込みを行う場合であっても、画素メモリ38に格納されたPD信号に、複数回取り込みを行うことによって得られたPD信号を、加算回路を用いて逐次加算するだけで、信号処理チップ111、メモリチップ112および撮像チップ113の構成を変化させることなく対応できる。このため、複数回取り込みを行う場合であっても、撮像素子100の構成を複雑かつ大規模にすることなく対応できる。
また、ROIを複数設定する場合においても、信号処理チップ111、メモリチップ112および撮像チップ113の構成を大きく変化させることなく対応できる。このため、ROIを複数設定する場合であっても、撮像素子100の構成を複雑かつ大規模にすることなく対応できる。
また、本実施形態において、演算部509は、被写体の特性から、ROIに含まれる領域の中からデフォーカス量の算出に適したPD信号を選択する例を示したが、出力制御部40は、ROIから出力されたPD信号を解析してROIを変化させてもよい。なお、PD信号の解析の一例は、PD信号の周波数成分の測定であり、出力制御部40により解析されるPD信号を出力した領域は、ROIに含まれる解析領域の一例である。
例えば、ROI14が設定された場合において、出力制御部40は、ROI14から出力されたPD信号であって、同じ色および同じ開口において水平方向に隣り合うPD信号を用いて減算処理を行う。ここで、同じ開口とは、マイクロレンズ101に対するPD104の位置が同じであることをいう。図7に示した例において、当該減算処理は、同じ緑色の画素であって、マイクロレンズ101に対して左側に位置するPD134と、PD130と、PD138から出力されたPD信号を用いて行われる。そして、減算処理により算出された値の絶対値が予め定められた値より小さい場合に、出力制御部40は、ROIに含まれるPD信号の周波数成分が小さいと判断する。周波数成分が小さいと判断した場合に、出力制御部40は、ROIを拡大してもよく、または、ROIの中心を維持しながら、縦横比を変更してもよい。例えば、ROI14内のPD信号の周波数成分が小さいと判断した場合には、出力制御部40は、ROI14をROI16に変更してもよい。そして、ROIが変更された場合において、出力制御部40は、当該ROI16のアドレスを示す情報を制御メモリ22に格納する。なお、この場合、出力制御部40は、ROIを変更する変更部として機能する。
本実施形態において、出力制御部40は、加算される前の単位グループ120のPD信号を画素メモリ38から読み出して、ROIに含まれないPD信号を加算回路42に出力し、ROIに含まれるPD信号を演算部509に出力する例を示した。しかしながら、出力制御部40は、デマルチプレクサ36から出力される単位グループ120のPD信号がROIに含まれるか否かを判断して、ROIに含まれないPD信号については加算処理を実行して画素信号として画素メモリ38に格納し、ROIに含まれるPD信号については加算処理を実行しないで画素メモリ38に格納するとしてもよい。そして出力制御部40は、画像処理部508および演算部509の引き渡し要求に応じて、画素メモリ38から画素信号およびPD信号を読み出し、画像処理部508および演算部509へ出力してもよい。
本実施形態において、ROIに含まれる赤色、緑色および青色のPD信号を用いて、デフォーカス量を算出する例を示した。しかしながら、加算処理しないカラーを指定し、当該指定された特定のカラーのPD信号を用いて、デフォーカス量を算出するとしてもよい。これにより、ROIに含まれるPD信号であっても、指定されたカラーと異なるカラーのPD信号を加算処理できるので、さらに、画像処理部508へ転送するデータ転送量を削減できる。
加算処理を実行するカラーの指定方法について説明する。画像処理部508は、特定色単色の被写体である場合に、ROIに含まれる各色の画素の信号強度から、デフォーカス量を算出する特定のカラーを指定する。例えば、被写体が赤一色の画像の場合、緑色画素のPD信号は現れないので、緑色画素のPD信号からはデフォーカス量が算出できない。したがって、このような場合に、画像処理部508は、緑色画素の信号強度が弱く、赤色画素の信号が強いことを検出して、次回のデフォーカス量を算出するPD信号のカラーを赤色に指定して、カラーを示す情報を撮像素子100に出力する。
撮像素子100において、駆動制御部20は、画像処理部508からカラーを示す情報を受け付ける。駆動制御部20は、ROIを示すアドレス情報とともに、カラーを示す情報を制御メモリ22に格納する。
出力制御部40は、制御メモリ22に格納されたカラーを示す情報を取得する。出力制御部40は、単位グループ120のPD信号を予め定められた順番で、画素メモリ38から読み出す。出力制御部40は、読み出したPD信号のカラーが制御メモリ22に格納されたカラーを示す情報と一致した場合に、PD信号のヘッダ領域にカラーを示す色情報を付加して、加算しない個別のPD信号を演算部509に出力する。出力制御部40は、読み出したPD信号のカラーが制御メモリ22に格納されたカラーを示す情報と一致しない場合に、読み出したPD信号を加算回路42に出力して加算処理を実行させ、画像処理部508に出力させる。なお、カラーを示す色情報は、デフォーカス算出後であって画像処理部508にて加算処理されて画像データを生成する際に参照される。
画像処理部508は、緑色画素の信号強度が回復した場合に、カラーの指定を取り消す情報を撮像素子100に出力する。撮像素子100において、駆動制御部20は、画像処理部508からカラーの指定を取り消す情報を受け付ける。駆動制御部20は、カラーを示す情報を制御メモリ22から消去する。
図10は、他の撮像装置600の構成を示すブロック図である。なお、図10において、図5と同じ要素には同じ参照番号を付して、重複する説明を省略する。図10に示した撮像装置600は、撮像素子100と異なる構成の撮像素子602を備える。
図11は、他の撮像装置600におけるROIを説明する図である。図11を用いて、撮像装置600における撮像素子602の構成と、ROIの配置について説明する。撮像チップ606において、各画素は、それぞれ4個のPD104を備える。図11に示したように、4個のPD104から構成される画素群は、1つのカラーフィルタ102を、X軸方向に2つ、またX軸方向に直交するY軸方向に2つに分割して設けられている。また、撮像チップ606においても、単位グループ612は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から構成される。各画素はそれぞれ4個のPD104を備えるので、単位グループ612は、16個のPD104を有する。
図11に示した撮像チップ606においても、図6同様に、画像処理部508によって、正方形のROI50、矩形のROI52、上下方向に長いROI54または左右方向に長いROI56等、任意の形状のROIを任意の位置に設定する。本実施形態においてROIに含まれない単位グループ612のPD信号は、1つのカラーフィルタ102に設けられた4個のPD104から出力されるPD信号が加算されて画像処理部508へ出力される。
ROIに含まれる単位グループ612のPD信号は加算されることなく、演算部509へ出力される。演算部509は、出力されたPD信号を用いてデフォーカス量を算出する。演算部509は、水平方向に開口位置が異なるPD信号列から構成される一対のPD信号波形を用いて水平方向のデフォーカス量を算出できる。同様に、演算部509は、垂直方向に開口位置が異なるPD信号列から構成される一対のPD信号波形を用いて垂直方向のデフォーカス量を算出でき、斜め方向に開口位置が異なるPD信号列から構成される一対のPD信号波形を用いて斜め方向のデフォーカス量を算出できる。撮像装置600においては、1つのカラーフィルタ102に対し4つに分割された画素を備える。これにより、演算部509は、水平方向、垂直方向および斜め方向においてデフォーカス量を算出できる。
次に、ROIに含まれる単位グループ612のPD信号をも加算処理して、さらにデータ転送量を少なくする構成について説明する。撮像装置600は、デフォーカス量を算出する方向を定めることによって、ROIに含まれる単位グループ612のPD信号を加算処理して、さらにデータ転送量を少なくしてもよい。
図12は、ROIに含まれるPD信号の加算処理について説明する図である。図12(a)は、垂直方向でデフォーカス量を算出する場合に、出力されるPD信号の加算処理の概念を示す。図12(b)は、水平方向でデフォーカス量を算出する場合に、出力されるPD信号の加算処理の概念を示す。
図12(a)に示した場合において、1つのカラーフィルタ102に設けられた4個のPD104から出力されるPD信号は、デフォーカス量を算出する垂直方向に交差する水平方向で加算処理される。例えば、赤色画素Rにおいては、PD160と、PD162から出力されるPD信号が加算されて水平加算PD信号170が生成され、PD164とPD166から出力されるPD信号が加算されて水平加算PD信号172が生成されて出力される。そして、演算部509は、垂直方向における水平加算PD信号170を含むPD信号列と水平加算PD信号172を含むPD信号列から構成される一対の信号波形から、デフォーカス量を算出する。
図12(b)に示した場合において、1つのカラーフィルタ102に設けられた4個のPD104から出力されるPD信号は、デフォーカス量を算出する水平方向に交差する垂直方向で加算処理される。例えば、赤色画素Rにおいては、PD160と、PD164から出力されるPD信号が加算されて垂直加算PD信号174が生成され、PD162とPD166から出力されるPD信号が加算されて垂直加算PD信号176が生成されて出力される。そして、演算部509は、水平方向における垂直加算PD信号174を含むPD信号列と垂直加算PD信号176を含むPD信号列から構成される一対の信号波形から、デフォーカス量を算出する。
なお、デフォーカス量を算出する方向が斜め方向である場合は、当該方向と交差する方向におけるPD信号を加算せずに、当該方向と同じ方向におけるPD信号を加算する。そして、演算部509は、加算せずに出力されたPD信号列から作成される一対の信号波形から、デフォーカス量を算出する。
次に、デフォーカス量を算出する方向を定める方法について説明する。画像処理部508は、指定されているROI領域における加算された画素信号を取り込み、被写体の画素信号に対してフーリエ変換を行い、被写体空間における周波数成分が大きい方向を特定する。画像処理部508は、被写体空間における周波数成分が大きい方向を、デフォーカス量を算出する方向に定める。
また、画像処理部508は、フーリエ変換に代えて、ROIから出力されたPD信号であって、同じ色および同じ開口において隣り合うPD信号を用いて減算処理を行うことで、デフォーカス量を算出する方向を定めてもよい。画像処理部508は、例えば、水平方向、垂直方向および斜め方向に隣り合うPD信号を用いてそれぞれ減算処理を行い、算出された値の絶対値が大きい方向を、被写体空間における周波数成分が大きい方向であると特定する。画像処理部508は、被写体空間における周波数成分が大きい方向を、デフォーカス量を算出する方向に定めてもよい。
画像処理部508は、デフォーカス量を算出する方向に基づいて、ROIに含まれるPD信号の加算方向を指定する。例えば、デフォーカス量を算出する方向を垂直方向と定めた場合に、画像処理部508は、PD信号の加算方向を水平方向に指定する。また、例えば、デフォーカス量を算出する方向を水平方向と定めた場合に、画像処理部508は、PD信号の加算方向を垂直方向に指定する。これにより、デフォーカス量の検出精度を低下させることなく、データ転送量を少なくできる。画像処理部508は、PD信号の加算方向を示す情報を撮像素子602へ出力する。なお、被写体空間における周波数成分が大きい方向に基づいて指定されたPD信号の加算方向を示す情報は、被写体情報の一例である。
図13は、他の撮像装置600のPD信号の加算処理を説明するフローチャートである。図13に示した加算処理にうち、ステップS200、ステップS204、ステップS206およびステップS208の処理は、図9に示した加算処理におけるステップS100、ステップS102、ステップS104およびステップS106の処理と同じなので、説明を省略する。
駆動制御部20は、画像処理部508から加算方向を示す情報を取得する(ステップS202)。駆動制御部20は、取得した加算方向を示す情報を、制御メモリ22に格納する。
ステップS208において、出力制御部40は、読み出した単位グループ612が、ROIに含まれない場合に(ステップS208:No)、出力制御部40は、単位グループ120のPD信号を加算回路42に出力する。加算回路42において、単位グループ612におけるカラーフィルタ102ごとに設けられた4個のPD104から出力されたPD信号は、加算処理される(ステップS210)。そして、出力制御部40は、加算処理されたPD信号を、加算回路42を通じて画像処理部508に出力する(ステップS212)。
一方、ステップS208において、出力制御部40は、読み出した単位グループ612が、ROIに含まれる場合に(ステップS208:Yes)、出力制御部40は、制御メモリ22に格納された加算方向を示す情報を参照して、PD信号の加算方向が垂直方向か否かを判断する(ステップS214)。出力制御部40は、制御メモリ22に格納された加算方向を示す情報が垂直方向を示す情報であった場合に(ステップS214:Yes)、出力制御部40は、PD信号のヘッダ領域に垂直方向に加算することを示す情報を付加して、単位グループ612のPD信号を加算回路42に出力する。加算回路42は、ヘッダ領域を参照して、4個のPD104から出力されたPD信号を垂直方向に加算する(ステップS216)。加算回路42において加算されたPD信号は、データ転送インターフェース48を利用して演算部509に出力される(ステップS220)。
一方、出力制御部40は、制御メモリ22に格納された加算方向を示す情報が水平方向を示す情報であった場合に(ステップS214:No)、出力制御部40は、PD信号のヘッダ領域に水平方向に加算することを示す情報を付加する。出力制御部40は、単位グループ612のPD信号を加算回路42に出力する。加算回路42は、ヘッダ領域を参照して、4個のPD104から出力されたPD信号を水平方向に加算する(ステップS218)。加算回路42において加算されたPD信号は、データ転送インターフェース48を利用して演算部509に出力される(ステップS220)。
このように、出力制御部40は、デフォーカス量を算出する方向に対応した加算方向を示す情報に基づいて、水平方向に加算するか、垂直方向に加算するかを定める。そして、出力制御部40は、4個のPD104から出力されたPD信号を、加算回路42によって定めた方向に加算させて、演算部509に出力する。
ステップS220に続いて、出力制御部40は、全ての単位グループ612のPD信号を、画素メモリ38から出力したか否かを判断する(ステップS222)。出力制御部40は、全ての単位グループ612のPD信号を出力していない場合に(ステップS222:No)、処理をステップS206に戻す。そして、出力制御部40は、前回読み出した単位グループ612の次に格納されている単位グループ612のPD信号を読み出して、ステップS206からステップS222の処理を繰り返し実行する。一方、出力制御部40は、全ての単位グループ120のPD信号を出力した場合に(ステップS222:Yes)、当該加算処理は終了する。
このように、画像処理部508は、事前に取得した被写体の画素信号における周波数成分が大きい方向にデフォーカス量を算出する方向を定め、デフォーカス量を算出する方向に対しデフォーカス量の検出精度が低下しない方向にPD信号を加算させる。このように、デフォーカス量を算出する方向に対応させて、PD信号の加算方向を定めることによって、デフォーカス量の算出精度を低下させることなく、ROIに含まれるPD信号のデータ転送量をさらに少なくできる。なお、この場合において、ROIに含まれるPD信号は、ROIに含まれないPD信号とは異なるように加算されることになる。
以上、説明したように、カラーフィルタ102を4個のPD104に分割した瞳分割型焦点検出用画素においても、ROIを設定することにより、ROIに含まれないPD信号においては、画像処理部508へ転送するデータ転送量を4分の1に減ずることができる。さらに、ROIに含まれるPD信号においても、画像処理部508へ転送するデータ転送量を半減できる。これにより、撮像素子602から、撮像装置600側へ転送するデータ転送量の増加を抑制できる。
なお、図13に示したフローチャートにおいて、PD信号の加算処理の一例として、加算方向を垂直方向および水平方向の択一的な処理とする例について示した。しかしながら、PD信号の加算処理は、択一的な処理に限らず、斜め方向を含む色々な方向で加算処理できる処理としてよい。
図14は、他のROIを説明する図である。図14を用いて、駆動制御部20が画像処理部508からROIを示すアドレス情報を受け付けていない状態において、設定されるROI60について説明する。
例えば、使用者により撮像装置500の電源がONとされた直後の状態において、駆動制御部20は、画像処理部508からROIを示すアドレス情報を受け付けていない。この場合において、制御メモリ22には、予め、図14に示したROI60のアドレス情報が格納されており、出力制御部40は、当該アドレス情報を読み出す。
出力制御部40は、図14に示したROI60のアドレス情報に基づいて、上述した加算処理を実行する。演算部509は、事後的に定めたデフォーカス領域に対応するROI60内の単位グループ120のPD信号を選択して、当該PD信号列から作成された一対の信号波形によりデフォーカス量を算出できる。
このように構成することで、画像処理部508によってROIが設定される前の状態においても、図14に示したような離散的に配置されたROI60を予め設定しておくことによって、撮像素子100から撮像装置500へ転送するデータ量の増加を抑制できる。
なお、撮像装置600において、1つのカラーフィルタ102をX軸方向に2つ、またY軸方向に2つに分割してPD104が設けられている例を示したが、この構成に限られない。デフォーカス量を算出することを目的としていることを鑑みると、1つのカラーフィルタ102をX軸方向に少なくとも2つ、Y軸方向に少なくとも2つに分割してPD104が設けられていればよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。