JP6363889B2 - 撮像素子、撮像装置およびその制御方法 - Google Patents

Description

本発明は、撮像素子、撮像装置およびその制御方法に関する。

マイクロレンズを通る光束の一部を光電変換して出力することができる位相差検出用の画素を撮像用のイメージセンサ上に配置することで、位相差ＡＦ（Auto Focus）機能を実現できることが知られている。

撮像用のイメージセンサを用いた位相差ＡＦ機能を実現するためには、位相差ＡＦに必要な位相差検出用の信号を生成する画素を識別する必要がある。特許文献１には、イメージセンサの１ライン分の画素データが格納されるペイロードに位相差検出用の画素と撮影用の画素を識別する情報を付加し、ＤＳＰがこの情報を参照して各画素データが位相差検出用か撮影用かを識別することが開示されている。

特開２０１２−１２０１５８号公報

特許文献１が示すように、位相差検出用の画素か撮像用の画素かを判断するための信号を撮像センサで付加すれば、位相差ＡＦ機能のための処理の効率性を上げることが可能である。

しかし、位相差検出用の画素の出力信号は、撮像面に届く光束による光学的な影響と位相差検出用の画素特有の電気特性の影響を受けることがある。このため、位相差ＡＦ機能を実現するためには、イメージセンサ上の位置関係やオフセット、ゲイン量等の複数の調整パラメータに対する補正処理が必要となる。一般に、このような複数の調整パラメータに対する補正処理は、各パラメータに対応する複数の回路ブロックで順次処理される。このため、撮像装置の制御部は各ブロックの処理を個別に制御して、全体としての補正処理を完了させる。制御部に対する各回路ブロックの応答は、処理内容に応じて非同期となることもあるため、処理の流れや状態遷移が複雑になりやすく、制御部の処理負荷が大きくなりやすい。

本発明は、上述の従来技術の問題点に鑑みてなされ、撮像センサが位相差検出用の画素を有する場合に、これに伴う補正処理を制御するための制御部の負荷を軽減することが可能な撮像素子、撮像装置およびその制御方法を提供することを目的とする。

この課題を解決するため、例えば本発明の撮像素子は以下の構成を備える。すなわち、画像形成用画素と位相差検出用画素を含む画素配列と、外部の制御手段から受け取った補正処理情報を記憶する記憶手段と、記憶手段に記憶された補正処理情報および位相差検出用画素の位置情報を画素配列から得られる画像データに画像データのヘッダ情報として付加する情報付加手段と、補正処理情報および位相差検出用画素の位置情報を用いて画像データに所定の画像処理を施し、撮像画像を生成するために位相差検出用画素に係る画素データに所定の処理を施す第１の補正手段と、位相差検出用の信号を生成するために位相差検出用画素に係る画素データに所定の処理を施す第２の補正手段とを有する画像処理手段に対してヘッダ情報を含む画像データを出力する出力手段と、を有し、前記情報付加手段は、前記第１の補正手段が用いる補正パラメータの識別情報と前記第２の補正手段が用いる補正パラメータの識別情報とを含む前記補正処理情報を前記画像データに付加することを特徴とする。

本発明によれば、撮像センサが位相差検出用の画素を有する場合に、これに伴う補正処理を制御するための制御部の負荷を軽減することが可能になる。

本発明の実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図 本実施形態に係る撮像部の機能構成例を示すブロック図 本実施形態に係る撮像部の出力信号フォーマット（ａ）、ヘッダ情報フォーマット（ｂ）、ヘッダ情報の一例（ｃ）を模式的に示す図 本実施形態に係る補正テーブルの一例を示した図 本実施形態に係る画素配置情報の一例を示した図 本実施形態に係る前処理部の模式的に示す図 本実施形態に係る画像信号処理部の模式的に示す図 本実施形態に係るＡＦ信号前処理部の模式的に示す図 本実施形態に係るデジタルカメラにおける補正処理の一連の動作を説明するフローチャート 実施形態２に係る撮像部が有する撮像素子を示す図 実施形態３に係る撮像装置の一例としての携帯電話機の機能構成例を示すブロック図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例としての、位相差ＡＦ用の信号を生成可能な撮像素子を備えるデジタルカメラに本発明を適用した例を説明する。しかし、本発明でいう撮像装置は、デジタルカメラに限らず、このような撮像素子を備える任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。

（１ デジタルカメラ１００の構成）
図１は、本実施形態の撮像装置の一例として、デジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

デジタルカメラ１００は、レンズ１０およびカメラ２０から構成されており、レンズ全体の動作を制御するレンズ制御部１０６とカメラ全体の動作を制御するカメラ制御部２１２が通信を行う。

まずレンズ１０の構成について説明する。

第１群レンズ１０１は複数の固定されたレンズにより構成されるレンズ群であり、絞り１０２は、後述する撮像部２０１への入射光量を制御する絞りであり、絞り駆動部１０４によって駆動される。

フォーカスレンズ１０３は、後述する撮像部２０１に結像する焦点の調節を行うためのレンズ群であり、フォーカスレンズ駆動部１０５によって駆動される。第１群レンズ１０１、絞り１０２、フォーカスレンズ１０３により撮影光学系を構成する。

絞り駆動部１０４およびフォーカスレンズ駆動部１０５は、レンズ制御部１０６の制御に基づいて、絞り１０２の開口量やフォーカスレンズ１０３の位置を決定する。

レンズ制御部１０６は、レンズ１０全体を制御する制御部であり、後述するカメラ制御部２１２から受信した制御情報に応じて絞り駆動部１０４やフォーカスレンズ駆動部１０５を制御する。また、レンズ制御情報をカメラ制御部２１２に送信する。

レンズ操作部１０７は、レンズ１０に対するユーザの操作指示を検出するリングやスイッチであり、フォーカスモードの変更等のユーザの操作指示があった場合にはレンズ制御部１０６に通知する。レンズ制御部１０６は、レンズ操作部１０７から通知されたユーザ操作に応じた制御を行う。

次に、カメラ２０の構成について説明する。カメラ制御部２１２は、例えばＣＰＵあるいはＭＰＵであり、ＲＯＭ２１０あるいはフラッシュＲＯＭ２１１に格納されたプログラムをＲＡＭ２０９の作業エリアに展開して実行することにより、デジタルカメラ１００全体を制御する制御部である。本実施形態では、カメラ制御部２１２は、カメラ操作部２１４やＡＥセンサ２１６、温度センサ２１７から種々の情報を取得して撮影条件を特定し、当該撮影条件を撮像部２０１に通知する。種々の情報とは例えば、それぞれＩＳＯ感度、Ｆ値、ズーム位置、カメラ内の温度（例えば撮像部２０１が有する撮像素子（画素アレイ）やその近傍の温度）等である。

カメラ操作部２１４は、撮影・記録、再生等のユーザによる操作指示を検出するボタンやタッチパネル等からなり、検出した操作指示をカメラ制御部２１２に通知する。カメラ制御部２１２は、ユーザによる操作指示の内容を実現するように各部を制御する。

カメラ２０は、レンズ１０の撮影光学系を通過した光束を画素アレイ２０１０に結像させて撮像信号を取得できるように構成されている。

（１−２ 撮像部２０１の構成）
撮像部２０１の構成を、図２を参照して説明する。

画素アレイ２０１０は、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子である。ここでは、ＣＭＯＳイメージセンサを用いた例について説明する。レンズ１０の撮影光学系を通過した光束が画素アレイ２０１０の受光面上に結像し、フォトダイオードによって入射光量に応じた信号電荷に変換する。

画素アレイ２０１０には、撮像用の画素２０１７と、撮像面位相差ＡＦを行うためにマイクロレンズを通る光束の一部を光電変換して出力することができる位相差検出用の画素２０１８が配置されている。さらに位相差検出用の画素２０１８は、異なる２つの像信号を得るために、マイクロレンズを通る左側の光束の一部か、右側の光束の一部かが入力されるよう構成されている。後述するＡＦ信号処理部２０２２が、位相差検出用の画素２０１８によって出力された２つの像信号に対して相関演算を行い、像のずれ量や各種信頼性情報を算出する。

各フォトダイオードに蓄積された信号電荷は、カメラ制御部２１２の指令に従ってタイミングジェネレータ２１５の駆動パルスで制御される垂直走査回路２０１１、読出回路２０１２により画素アレイから信号電荷に応じた電圧信号として順次読み出される。読出回路２０１２は、複数のＡＤ変換器を有し、デジタル信号を伝送回路２０１３に出力する。

撮像記憶部２０１５は、ＲＡＭ２０９などの記憶装置であり、カメラ制御部２１２からのシリアル通信内容を撮像通信部２０１６を介して受信し、回路外部からの情報を記憶させることができる。

情報付加部２０１４は、マルチプレクサにより構成され、撮像記憶部２０１５に記憶された情報から撮像通信部２０１６を介してカメラ制御部２１２から指示された情報を選択してデジタル信号として伝送回路２０１３に出力する。伝送回路２０１３への出力は、タイミングジェネレータ２１５のパルス信号により所望のタイミングで行われる。また、情報付加部２０１４は、撮像通信部２０１６を介して得られるカメラ制御部２１２からの指示内容をタイミングジェネレータ２１５の垂直同期信号ごとに更新する。情報付加部２０１４は、カメラ制御部２１２から後述する撮影条件に関する情報を受信し、予め記憶している撮影条件に対応する補正パラメータを指定するインデックス（識別情報）を特定し、特定したインデックスをデジタル信号に付与して出力する。なお、補正パラメータおよびインデックスについては後述する。

伝送回路２０１３は、読出回路２０１２のデジタル信号と情報付加部２０１４のデジタル信号を後述する撮像部２０１からの出力信号として生成し、信号処理部２０２に出力する。当該出力信号は、例えばＬＶＤＳ（Low voltage differential signaling）などの形態で出力される。

なお、本実施形態では、マイクロレンズ左側と右側を通過する２つの像信号をＡＦ用途に利用するものとしているが、マイクロレンズを通る光束のうち一部を取り出して像信号を得る以外の構成としてもよく、像信号の数についても２以上であってよい。

（１−３ 撮像部２０１の出力信号の構成）
撮像部２０１において生成された出力信号のフォーマットについて、図３（ａ）を参照して説明する。出力信号は、同期コード３００、フレームヘッダ情報３０１、ラインヘッダ情報３０２および画像情報３０３で構成される。

同期コード３００は、画像データの１ラインごとのデータ開始を決定する際に用いられる符号であり、画像情報３０３で使用されない特定のコードを割り当てる。

フレームヘッダ情報およびラインヘッダ情報は、図３（ｂ）に示すこのフォーマットに従って構成される。フレームヘッダ情報３０１およびラインヘッダ情報３０２は、ヘッダ開始コード３０１０とヘッダ終了コード３０１１により長さが規定される可変長の情報であり、複数のパケット３０１２から構成される。ヘッダ開始コード３０１０およびヘッダ終了コード３０１１も画像情報３０３で使用されないコードを割り当てることが望ましい。

パケット３０１２は、パケット開始コード３０１３とパケット終了コード３０１８で規定されるデータであり、パケット識別コード３０１４、パケット送付先コード３０１５、パケットデータサイズ３０１６およびパケットデータ３０１７を含む。

パケット開始コード３０１３およびパケット終了コード３０１８は、ヘッダ開始コード３０１０とヘッダ終了コード３０１１間に埋め込まれるため、パケットに付加するデータと重複しないコードを用いることが好ましい。

パケット識別コード３０１４は、パケットを識別するために割り振られた任意の整数値である。また、パケット送付先コード３０１５は、各パケットの送付先を示す。パケットデータサイズ３０１６は、パケットデータのワード数を示す整数値である。パケット識別コード３０１４、パケット送付先コード３０１５およびパケットデータサイズ３０１６は、後述する信号処理部２０２内の各機能ブロックに必要な情報を受け渡すために用いられる。フレームヘッダ情報３０１に付加するかラインヘッダ情報３０２に付加するかは、データサイズで適宜決めてもよい。

画像情報３０３は、撮像部２０１の撮像用の画素と位相差検出用の画素の画素データが格納される。位相差検出用の画素の画素データには、後述する画素配置情報を用いて画素位置を指定してアクセスすることができる。

（１−４ 出力信号におけるフレームヘッダ情報の構成）
ここで、本実施形態での撮像部２０１の出力信号のうちのフレームヘッダ情報について図３（ｃ）を参照して説明する。

フレームヘッダ情報３０１には、撮影条件により内容を変更する画像信号処理情報およびＡＦ信号処理情報と、後述する画素配置情報が各パケットに格納される（これらの情報を総称して付加情報という）。これらの情報は、画像情報３０３に対して各１つ対応する。

画像信号処理情報は、例えばＩＳＯ感度、Ｆ値、射出瞳距離、温度といった撮影条件で一意に決まる情報である。後述する画像処理部２０２１は、画像信号処理情報から補正パラメータを特定して、位相差検出用画素が画像情報３０３に混在することによって必要となる撮像用の画素に対する補正を行う。撮像用の画素に対する補正は、位相差検出用の画素と撮像用の画素のレベルの偏りに起因する固定パターンなどの画像劣化に対するものである。画像劣化の一例を挙げると、位相差検出用の画素が他の撮像用の画素と異なるオフセット成分や感度成分を持つことにより、位相差検出用の画素の配置パターンが画像に重なって見える場合を指す。

また別の例では、位相差検出用の画素が、特定の方向に対して電荷や入射光束が漏れやすい特徴を持ち、隣接している画素に対してクロストークすることで、位相差検出用の画素周辺の画素がパターン状の色ムラが生じる場合がある。

例に挙げた画像劣化に対して、補正処理に用いる補正パラメータは、画像信号処理情報で取り扱うＦ値、射出瞳距離といった光学条件やＩＳＯ感度などＳＮに影響を与える条件、温度など暗電流などのノイズ量に影響を与える条件により特定される。

画像信号処理情報の一例として、ＩＳＯ感度のみで補正パラメータが一意に決まる場合を図４に示す。図４に示す補正テーブル４０３は、１つ以上の補正パラメータ４０３０から構成されており、ＩＳＯ感度４０１と１対１に対応する。また、各補正テーブル（１…ｎ）には、ＩＳＯ感度と１対１に対応するインデックスを割り振られる。これにより、ＩＳＯ感度に応じて必要な補正テーブルが特定される。ＩＳＯ感度の例に限らず、他の複数の条件に基づいて補正テーブルを特定する場合も、複数の条件の組み合わせを一意に特定するインデックスを割り振ることで、１つのインデックスの体系で各撮影条件に対して必要な補正テーブルを特定することが可能である。画像信号処理情報を受信した画像処理部２０２１は、予め記録されている補正テーブル４０３を参照して、画像信号処理情報に格納されたインデックスに対応する補正パラメータを特定する。このようにインデックスを画像信号処理情報に含めるようにすれば、撮像部から送信される情報量を削減することができる。しかし、撮像部２０１が、画像信号処理情報に補正パラメータに相当する情報を格納し、画像処理部２０２１が格納された補正パラメータに相当する情報を取得するようにしても構わない。

このように、補正テーブルのインデックスを画像信号処理情報に付加することで、画像処理部２０２１は、処理対象となる画像情報３０３と同期してその制御情報である補正パラメータを取得できるようになる。即ち、カメラ制御部２１２は、ＩＳＯ感度、Ｆ値、射出瞳距離、温度といった撮影条件を処理主体となる画像処理部２０２１（等）を直接制御することなく、撮像通信部２０１６を介して撮影条件を反映させることができる。また、説明から明らかなように、画像信号処理情報は、以下に説明するＡＦ信号処理情報とは区別されている。このようにすることで、別個の補正パラメータを補正処理を行う複数の各機能ブロックが、各インデックスで特定される補正処理を各自で実行することが可能となる。

ＡＦ信号処理情報は、例えばＩＳＯ感度、Ｆ値、射出瞳距離、温度といった撮影条件で一意に決まる情報である。後述するＡＦ信号処理部２０２２は、ＡＦ信号処理情報から補正パラメータを特定して、位相差検出用画素によって構成される位相差ＡＦに用いる画像を生成するための補正を行う。位相差検出用画素に対する補正は、位相差検出用の画素がマイクロレンズの一部の光束を利用することに起因するケラレ、あるいは位相差検出用の画素の構造に起因するオフセットノイズなど像信号の劣化に対するものである。このとき、補正処理を行うための補正パラメータは、Ｆ値、射出瞳距離といった光学条件やＩＳＯ感度などＳＮに影響を与える条件、温度など暗電流などのノイズ量に影響を与える条件により特定される。

ＡＦ信号処理情報は、図４に示した画像信号処理情報と同様に、該当する条件に対応するインデックスを割り振ることで必要な補正テーブルを指定する。前述の通り、フレームヘッダ情報のＡＦ信号処理情報としてインデックスを割り振ることで、ＡＦ信号処理部は、処理対象となる画像情報３０３と同期してその制御情報である補正パラメータを取得できるようになる。カメラ制御部２１２は、ＩＳＯ感度、Ｆ値、射出瞳距離、温度といった撮影条件を撮像通信部２０１６に送信することで、ＡＦ信号処理情報は撮影時に設定された撮影条件を反映させることができる。

画素配置情報について、図５を参照して説明する。画素配置情報は、画像情報３０３に含まれる位相差検出用の画素の配置を特定する情報である。画素の配置情報は、座標単位をpixelとしたＨ方向（水平方向または行方向）、Ｖ方向（垂直方向または列方向）の２次元座標系において記述される。任意の基準画素座標と、基準画素座標からのＨ方向、Ｖ方向のサイズで規定した繰り返し単位と、基準画素座標を原点とする対象画素の位置を対象画素の座標として記述する。このような記述により、規定した繰り返し単位で周期的に繰り返す対象画素の配置を特定することが可能である。画素配置情報は、対象画素の座標に位相差検出用の画素の座標を記すことで位相差検出用の画素の配置を一意に特定できる。後述するように、画素配置情報は、同一の情報が信号処理部２０２を構成する機能ブロック、即ち、画像処理部２０２１およびＡＦ信号処理部２０２２に提供される。

また、複数の読出しモードを有し、モードごとに間引き読出あるいはクロップ読出しなど異なる読出しを行うことができる。画像情報３０３における位相差検出用の画素座標が変化する場合、カメラ制御部２１２は、各モードに適切な基準画素座標、繰り返し単位および対象画素座標を撮像通信部２０１６に送信する。これにより撮像部２０１は、撮影時に設定された撮影条件を反映して画像配置情報を含む付加情報を出力する。ただし、画素配置情報の規定は上記に限らず、対象画素の座標をすべて列挙して指定するなどの方法でも構わない。

（１−５ 信号処理部２０２の構成）
信号処理部２０２は、図６に示すように、前処理部２０２０、画像処理部２０２１およびＡＦ信号処理部２０２２から構成されるＤＳＰである。

＜前処理部２０２０の構成＞
前処理部２０２０は、撮像部２０１の出力信号を受信するレシーバ回路６０１、情報取得部６０２、第一の信号選択部６０３および第二の信号選択部６０４から構成される。

撮像部２０１から出力された出力信号は、レシーバ回路６０１により受信され、その後、情報取得部６０２によって出力信号のフレームヘッダ情報およびラインヘッダ情報が取得される。フレームヘッダ情報から取得される付加情報は、パケット送付先コードに応じて、パケット毎に第一の信号選択部６０３および第二の信号選択部６０４に出力される。本実施形態では、パケット送付先コードの送付先を例えば以下のように定める。

パケット送付先コードが“００”の場合、第一の信号選択部６０３と第二の信号選択部６０４の両方にパケットを出力する。パケット送付先コードが“０１”の場合、第一の信号選択部６０３にパケットを出力する。パケット送付先コードが“１０”の場合、第二の信号選択部６０４にパケットを出力する。パケット送付先コードが“１１”の場合、どの信号選択部にもパケットを出力しない。

情報取得部６０２は、撮像ヘッダ終了コードが検知されるまでパケットを第一の信号選択部６０３、第二の信号選択部６０４に分配する。なお、パケット送付先コードは上述のような２ビットの信号に限定されるものではなく、その表現方法を限定するものではない。

本実施形態では、各パケットのパケット送付先コードを、「画像信号処理情報」に“０１”、「ＡＦ信号処理情報」に“１０”、「画素配置情報」に“００”を割り当てる。このため、「画像信号処理情報」は、上述の第一の信号選択部６０３に出力され、「ＡＦ信号処理情報」は、上述の第二の信号選択部６０４に出力される。また、「画素配置情報」は、第一の信号選択部６０３と第二の信号選択部６０４の両方に出力される。

また、画像情報３０３については、第一の信号選択部６０３は、画像情報３０３の全ての画素情報を出力する。一方、第二の信号選択部６０４は、画像情報３０３のうち、画素配置情報で指定された画素情報のみを出力する。

＜画像処理部２０２１の構成＞
次に、図７を参照して画像処理部２０２１について説明する。画像処理部２０２１は、画像処理情報取得部７０１と画像処理ＤＳＰ７０２から構成される。

画像処理情報取得部７０１は、入力された信号から画像信号処理情報と画素配置情報を取得して、画像処理ＤＳＰ７０２に出力する。上述のように、画像処理情報取得部７０１は、画像信号処理情報に格納されたインデックスに基づいて、予め記録されている補正テーブルを参照し、画像信号処理情報に格納されたインデックスに対応する補正パラメータを取得する。

画像処理ＤＳＰ７０２は、画像信号処理情報から補正パラメータを取得するとともに、画素配置情報から補正が必要となる画素を特定し、補正の必要な画素に対して適切な補正処理を行う。

画像処理部２０２１の出力信号は、さらに現像処理が施されて、記録媒体制御部２０７を介してＪＰＥＧなどの汎用の画像圧縮形式に変換され、ＳＤカード等の記録媒体２０８に記録される。また、画像処理部２０２１の出力信号は、表示制御部２０５を介して表示部２０６に表示される。

＜ＡＦ信号処理部２０２２の構成＞
次に、図８を参照してＡＦ信号処理部２０２２について説明する。ＡＦ信号処理部２０２２は、ＡＦ情報取得部８０１とＡＦ信号処理ＤＳＰ８０２から構成される。ＡＦ情報取得部８０１は、入力された信号からＡＦ信号処理情報と画素配置情報を取得して、ＡＦ信号処理ＤＳＰ８０２に出力する。ＡＦ情報取得部８０１は、ＡＦ信号処理情報に格納されたインデックスに基づいて、予め記録されている補正テーブルを参照し、ＡＦ信号処理情報に格納されたインデックスに対応する補正パラメータを取得する。

ＡＦ信号処理ＤＳＰ８０２は、ＡＦ信号処理情報から補正パラメータを取得するとともに、画素配置情報から補正が必要となる位相差検出用の画素を特定することで、補正が必要な位相差検出用の画素に適切な像補正処理を行う。ＡＦ信号処理部２０２２から出力される位相差検出用信号は、ＲＡＭ２０９上に展開され、カメラ制御部２１２でレンズ駆動量の算出に用いる。

なお、信号処理部２０２は、単一のＤＳＰでなくてもよく、上述の通り各処理部でのデータのやり取りが可能であればその構成を問うものではない。

（１−６ デジタルカメラ１００における補正処理を含む一連の動作）
次に、図９を参照して、本実施形態に係るデジタルカメラ１００における補正処理を含む一連の動作を説明する。なお、本実施形態における一連の動作は、表示部２０６においてライブビュー表示がされている状態で、カメラ操作部２１４のレリーズボタンが押下され、半押しの状態となった時点から開始される。また本処理は、カメラ制御部２１２がＲＯＭ２１０あるいはフラッシュＲＯＭ２１１に記憶されたプログラムをＲＡＭ２０９の作業用領域に展開し、実行することにより実現される。

Ｓ９０１において、カメラ制御部２１２は、ユーザにより予め設定された撮影モードやＡＥセンサ２１６、温度センサ２１７からの出力に基づいて、撮影条件を決定する。

Ｓ９０２において、カメラ制御部２１２は、決定した撮影条件を撮像部２０１に設定するため、当該撮影条件を表す情報を撮像部２０１に出力する。なお、このときカメラ制御部２１２は、デジタルカメラ１００の各機能ブロックに対して撮影条件を反映させるための制御を行ってもよい。例えば、レンズ１０のレンズ制御部１０６と通信を行って、決定した撮影条件を反映させるための制御指示を行う。

Ｓ９０３において、撮像部２０１は、撮像通信部２０１６を介してカメラ制御部２１２から出力された撮影条件を表す情報を取得し、撮像記憶部２０１５に記憶する。

Ｓ９０４において、撮像部２０１は、撮像用の画素と位相差検出用の画素の画素データを読み出す。より詳細には、撮像部２０１の読出回路２０１２が、画素アレイ２０１０から読み出してデジタル変換した撮像用の画素と位相差検出用の画素の画素データを伝送回路２０１３に出力する。

Ｓ９０５において、撮像部２０１は、付加情報と読み出した画素データとを含む出力信号を生成する。撮像部２０１は、Ｓ９０３において、撮像記憶部２０１５に記憶させていた、撮影条件を表す情報を読み出して、予め記憶されている撮影条件に対応する補正パラメータを特定し、さらに当該補正パラメータを指定するインデックスを特定する。ここで、補正パラメータは撮像用の画素と位相差検出用の画素を補正するための別個のパラメータである。また、撮像部２０１は、予め記憶されている位相差検出用の画素の位置情報を抽出して画素配置情報を生成し、特定したインデックスと画素配置情報から付加情報を生成する。そして、撮像部２０１は、付加情報および読み出した画素データを図３において示したフォーマットに格納して、出力信号を生成する。

Ｓ９０６において、撮像部２０１は、生成した出力信号を信号処理部２０２に出力する。

Ｓ９０７において、信号処理部２０２の前処理部２０２０は、撮像部２０１から出力された出力信号をデコードして出力信号の分配を行う。出力信号の分配は、上述のパケットの送信先を判定することにより行い、パケットの送信先が画像処理部２０２１であると判定したときは、処理をＳ９０８に送信する。一方、パケットの送信先がＡＦ信号処理部２０２２であると判定したときは、処理をＳ９１１に進める。

Ｓ９０８において、前処理部２０２０は、上述の出力信号からデコードした画像信号処理情報、画素配置情報および画像情報を信号処理部２０２の画像処理部２０２１に出力する。

Ｓ９０９において、画像処理部２０２１は、図７を用いて上述したように、入力した画像情報に対して補正処理を行う。この際、画像処理部２０２１は、画像信号処理情報から得られるインデックスに基づいて予め記録されている補正テーブルを参照して、当該インデックスに対応する補正パラメータを取得する。画像処理部２０２１は、補正後の画像情報を出力し、ＲＡＭ２０９に格納する。

Ｓ９１０において、カメラ制御部２１２は、画像処理部２０２１から出力されてＲＡＭ２０９に格納された補正後の画像情報に対してさらに現像処理を行って、撮像画像を表示部２０６に表示させるため、表示制御部２０５に出力する。

次に、Ｓ９１１において、前処理部２０２０は、上述の出力信号からデコードしたＡＦ信号処理情報、画素配置情報および画像情報を信号処理部２０２のＡＦ信号処理部２０２２に出力する。

Ｓ９１２において、ＡＦ信号処理部２０２２は、図８を用いて上述したように、入力した画像情報の位相差検出用の画素に対して補正処理を行う。この際、ＡＦ信号処理部２０２２は、ＡＦ信号処理情報から得られるインデックスに基づいて予め記録されている補正テーブルを参照して、当該インデックスに対応する補正パラメータを取得する。

Ｓ９１３において、ＡＦ信号処理部２０２２は、補正処理を行った２像の画像データを用いて位相差ＡＦに用いる位相差検出用信号を決定し、決定した位相差検出用信号をＲＡＭ２０９に記憶させる。この位相差検出用信号は、カメラ制御部２１２によりレンズ駆動量の算出に用いられる。

Ｓ９１４において、前処理部２０２０は、出力信号の分配が完了しているかを判定し、完了していない場合は、再び処理をＳ９０７に戻し、完了している場合はＳ９１５に処理を進める。

Ｓ９１５において、表示制御部２０５は、Ｓ９１０において出力された現像後の撮像画像を表示部２０６に表示させる。このようにして撮像画像がライブビュー表示として表示部２０６に表示される。そして、カメラ制御部２１２は、本実施形態に係る一連の動作を終了する。

なお、Ｓ９１４における前処理部２０２０の出力信号の分配は、画像処理部２０２１およびＡＦ信号処理部２０２２の各処理を終える後ではなく、両方の処理部への分配を完了してから各処理部の処理を開始するようにできる。また、Ｓ９１０において現像処理をカメラ制御部２１２が行うものとしたが、信号処理部２０２に現像処理部を設けて処理するようにしてもよいし、画像処理部２０２１がさらに現像処理を行うようにしてもよい。また、ライブビュー表示を行う一連の動作について説明したが、レリーズボタンが全押しされて撮像画像を記録媒体２０６に記録する場合においても本実施形態は適用可能である。上述のＳ９１３の後にＡＦの制御がなされた後にＳ９０１から再び処理を行い、表示部２０６に表示を行うとともに記録媒体２０６に記録するようにすればよい。

以上説明したように本実施形態では、信号処理部２０２は、画素データとともに撮像部２０１で生成した付加情報を取得して、位相差検出用画素を有することに起因する画素データに対する影響を補正するようにした。また、信号処理部２０２が複数の機能ブロックで構成される場合であっても、各ブロックに必要な補正パラメータを画素データとともに順次取得させるようにした。このようにすることで、各画素データを異なる機能ブロックで補正する場合であっても、補正パラメータの選択などの制御にかかるカメラ制御部２１２の処理負荷を軽減し、撮像部２０１による出力信号で一元的な補正処理が可能になる。即ち、カメラ制御部２１２による複雑な制御を必要とすることなく、撮像センサが位相差検出用の画素を有する場合に、これに伴う補正処理を制御するための制御部の負荷を軽減することができる。

そして、付加情報には、複数の撮影条件に対応する補正パラメータを特定するインデックスを含むようにした。このようにすることで、補正処理に必要となる撮影条件の種類が増加する場合であっても、撮像部２０１から提供するフレーム情報の情報量の増加を抑制することができる。

また、付加情報には、補正処理を実行する機能ブロックごとにインデックス（即ち各機能ブロックに対する制御情報に相当）を区別して格納するようにした。このようにすることで、各機能ブロックが、画像情報３０３を受信するとともに各インデックスで特定される補正処理を各自で実行することが可能となる。従って、カメラ制御部２１２による撮影条件に応じた制御にかかる処理負荷を軽減することができる。

また、カメラ制御部２１２は、撮像部２０１に撮影条件に関する情報を与えるようにした。これにより、制御部が行うべき補正処理の制御指示を、画像情報と併せて信号処理部２０２に一括して提供することができる。また、撮像部２０１において撮影条件に基づいて補正パラメータを更新し、更新したパラメータを信号処理部２０２に一元的に提供できる。

また、本実施形態では、撮像部２０１の送信する付加情報の構成として、ＡＦ信号処理情報と位相差検出用の画素の位置情報とを含むようにした。このようにすることで、位相差検出用の画素の画素データに補正処理を行う際に、補正の対象となる画素と補正の内容が容易に特定できる。このため、カメラ制御部２１２からの位相差検出用の画素の位置情報についての指示を不要とするほか、信号処理部２０２における処理の負荷を軽減することができる。

（実施形態２）
次に、本発明の他の実施形態について説明する。本実施形態では、撮像部２０１が有する撮像素子が積層型である例を示す。図１０に示す様に、本実施形態の撮像素子１１０１は、イメージセンサ用チップ１３００と高速ロジックプロセス用チップ１３０１がチップレベルで積層されている。図１０（ａ）は斜投影図、図１０（ｂ）は各チップの上面図である。イメージセンサ用チップ１３００には、多数の画素を有する画素アレイ２０１０などが含まれる。また、高速ロジックプロセス用チップ１３０１には、読出回路２０１２、伝送回路２０１３、情報付加部２０１４、撮像記憶部２０１５、撮像通信部２０１６などデジタルデータを含む高速処理が可能な部分１３０２，１３０３が含まれる。

（実施形態３）
図１１は、本発明のさらに他の実施形態としての携帯電話機２０００の構成を示すブロック図である。本実施形態の携帯電話機２０００は、音声通話機能の他、電子メール機能や、インターネット接続機能、画像の撮影、再生機能等を有する。

図１１において、通信部１０１０は、ユーザが契約した通信キャリアに従う通信方式により他の電話機との間で音声データや画像データを通信する。音声処理部１０２０は、音声通話時において、マイクロフォン１０３０からの音声データを発信に適した形式に変換して通信部１０１０に送る。また、音声処理部１０２０は、通信部１０１０から送られた通話相手からの音声データを復号し、スピーカ１０４０に送る。撮像部１０５０は、実施形態１で説明した撮像部２０１と同等の構成を備えたものであり、被写体の画像を撮影し、画像データを出力する。画像処理部１０６０は、実施形態１で説明した信号処理部２０２の構成を含み、画像の撮影時においては、撮像部１０５０により撮影された画像データを処理し、記録に適した形式に変換して出力する。また、画像処理部１０６０は、記録された画像の再生時には、再生された画像を処理して表示部１０７０に送る。表示部１０７０は、数インチ程度の液晶表示パネルを備え、制御部１０９０からの指示に応じて各種の画面を表示する。不揮発メモリ１０８０は、アドレス帳の情報や、電子メールのデータ、撮像部１０５０により撮影された画像データ等のデータを記憶する。

制御部１０９０はＣＰＵやメモリ等を有し、不図示のメモリに記憶された制御プログラムに従って電話機２０００の各部を制御する。制御部１０９０は、実施形態１で説明したカメラ制御部２１２の構成を含む。操作部１１００は、電源ボタンや番号キー、その他ユーザがデータを入力するための各種の操作キーを備える。カードＩＦ１１１０は、メモリカード１１２０に対して各種のデータを記録再生する。外部ＩＦ１１３０は、不揮発メモリ１０８０やメモリカード１１２０に記憶されたデータを外部機器に送信し、また、外部機器から送信されたデータを受信する。外部ＩＦ１１３０は、ＵＳＢ等の有線の通信方式や、無線通信など、公知の通信方式により通信を行う。

次に、電話機２０００における音声通話機能を説明する。通話相手に対して電話をかける場合、ユーザが操作部１１００の番号キーを操作して通話相手の番号を入力するか、不揮発メモリ１０８０に記憶されたアドレス帳を表示部１０７０に表示し、通話相手を選択し、発信を指示する。発信が指示されると、制御部１０９０は通信部１０１０に対し、通話相手に発信する。通話相手に着信すると、通信部１０１０は音声処理部１０２０に対して相手の音声データを出力すると共に、ユーザの音声データを相手に送信する。

また、電子メールを送信する場合、ユーザは、操作部１１００を用いて、メール作成を指示する。メール作成が指示されると、制御部１０９０はメール作成用の画面を表示部１０７に表示する。ユーザは操作部１１００を用いて送信先アドレスや本文を入力し、送信を指示する。制御部１０９０はメール送信が指示されると、通信部１０１０に対しアドレスの情報とメール本文のデータを送る。通信部１０１０は、メールのデータを通信に適した形式に変換し、送信先に送る。また、通信部１０１０は、電子メールを受信すると、受信したメールのデータを表示に適した形式に変換し、表示部１０７０に表示する。

次に、電話機２０００における撮影機能について説明する。ユーザが操作部１１００を操作して撮影モードを設定した後、静止画或いは動画の撮影を指示すると、撮像部１０５０は、静止画データ或いは動画データを撮影して画像処理部１０６０に送る。画像処理部１０６０は撮影された静止画データや動画データを処理し、不揮発メモリ１０８０に記憶する。また、画像処理部１０６０は、撮影された静止画データや動画データをカードＩＦ１１１０に送る。カードＩＦ１１１０は静止画や動画データをメモリカード１１２０に記憶する。

また、電話機２０００は、この様に撮影された静止画や動画データを含むファイルを、電子メールの添付ファイルとして送信することができる。具体的には、電子メールを送信する際に、不揮発メモリ１０８０やメモリカード１１２０に記憶された画像ファイルを選択し、添付ファイルとして送信を指示する。

さらに、電話機２０００は、撮影された静止画や動画データを含むファイルを、外部ＩＦ１１３０によりＰＣや他の電話機等の外部機器に送信することもできる。ユーザは、操作部１１００を操作して、不揮発メモリ１０８０やメモリカード１１２０に記憶された画像ファイルを選択し、送信を指示する。制御部１０９０は、選択された画像ファイルを不揮発メモリ１０８０或いはメモリカード１１２０から読み出し、外部機器に送信するよう、外部ＩＦ１１３０を制御する。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０１…撮像部、２０１０…画素アレイ、２０１７…撮像用画素、２０１８…位相差検出用画素、２０１４…情報付加部、２０２１…画像処理部、２０２２…ＡＦ信号処理部

Claims (14)

1. 画像形成用画素と位相差検出用画素を含む画素配列と、
   外部の制御手段から受け取った補正処理情報を記憶する記憶手段と、
   前記記憶手段に記憶された前記補正処理情報および前記位相差検出用画素の位置情報を前記画素配列から得られる画像データに前記画像データのヘッダ情報として付加する情報付加手段と、
   前記補正処理情報および前記位相差検出用画素の前記位置情報を用いて前記画像データに所定の画像処理を施し、撮像画像を生成するために前記位相差検出用画素に係る画素データに所定の処理を施す第１の補正手段と、位相差検出用の信号を生成するために前記位相差検出用画素に係る画素データに所定の処理を施す第２の補正手段とを有する画像処理手段に対して前記ヘッダ情報を含む前記画像データを出力する出力手段と、を有し、
   前記情報付加手段は、前記第１の補正手段が用いる補正パラメータの識別情報と前記第２の補正手段が用いる補正パラメータの識別情報とを含む前記補正処理情報を前記画像データに付加することを特徴とする撮像素子。
2. 前記情報付加手段は、撮影条件に対応する前記補正処理情報を前記画像データに付加することを特徴とする請求項１に記載の撮像素子。
3. 前記情報付加手段は、撮影条件を含む前記補正処理情報を前記画像データに付加することを特徴とする請求項１に記載の撮像素子。
4. 前記撮影条件は、感度、絞りの大きさ、温度の１つ以上を含むことを特徴とする請求項２または３に記載の撮像素子。
5. 前記画素配列が第１の半導体チップ上に形成されるとともに、前記情報付加手段および前記出力手段が第２の半導体チップ上に形成され、前記第１の半導体チップおよび前記第２の半導体チップは互いに積層されることを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。
6. 画像形成用画素と位相差検出用画素を含む画素配列と、外部の制御手段から受け取った補正処理情報を記憶する記憶手段と、前記記憶手段に記憶された前記補正処理情報および前記位相差検出用画素の位置情報を前記画素配列から得られる画像データに前記画像データのヘッダ情報として付加する情報付加手段と、前記ヘッダ情報を含む前記画像データを出力する出力手段とを有する撮像素子と、
   前記補正処理情報および前記位相差検出用画素の前記位置情報を用いて前記画像データに所定の画像処理を施す画像処理手段と、を有し、
   前記画像処理手段は、撮像画像を生成するために前記位相差検出用画素に係る画素データに所定の処理を施す第１の補正手段と、位相差検出用の信号を生成するために前記位相差検出用画素に係る画素データに所定の処理を施す第２の補正手段とを有し、
   前記情報付加手段は、前記第１の補正手段が用いる補正パラメータの識別情報と前記第２の補正手段が用いる補正パラメータの識別情報とを含む前記補正処理情報を前記画像データに付加することを特徴とする撮像装置。
7. 前記情報付加手段は、撮影条件に対応する前記補正処理情報を前記画像データに付加することを特徴とする請求項６に記載の撮像装置。
8. 前記情報付加手段は、撮影条件を含む前記補正処理情報を前記画像データに付加することを特徴とする請求項６に記載の撮像装置。
9. 前記撮影条件は、感度、絞りの大きさ、温度の１つ以上を含むことを特徴とする請求項７または８に記載の撮像装置。
10. 前記画像処理手段は、前記位相差検出用画素に係る画素データと、前記画像形成用画素に係る画素データとのレベルの差を補正することを特徴とする請求項６乃至９のいずれか１項に記載の撮像装置。
11. 前記画像処理手段は、前記位相差検出用画素のクロストークの影響を補正することを特徴とする請求項６乃至１０のいずれか１項に記載の撮像装置。
12. 前記画像処理手段は、前記補正処理情報に含まれる、前記第１の補正手段および前記第２の補正手段が用いる前記補正パラメータの前記識別情報を前記第１の補正手段および前記第２の補正手段にそれぞれ分配する分配手段をさらに有することを特徴とする請求項６乃至１１のいずれか１項に記載の撮像装置。
13. 前記画素配列が第１の半導体チップ上に形成されるとともに、前記情報付加手段および前記出力手段が第２の半導体チップ上に形成され、前記第１の半導体チップおよび前記第２の半導体チップは互いに積層されることを特徴とする請求項６乃至１２のいずれか１項に記載の撮像装置。
14. 画像形成用画素と位相差検出用画素とを含む画素配列を有する撮像素子を備えた撮像装置の制御方法であって、
    画像処理手段が、外部の制御手段から受け取った補正処理情報を記憶する記憶工程と、
    情報付加手段が、前記記憶工程において記憶された前記補正処理情報および前記位相差検出用画素の位置情報を前記画素配列から得られる画像データに前記画像データのヘッダ情報として付加する情報付加工程と、
    出力手段が、前記ヘッダ情報を含む前記画像データを出力する出力工程と、
    画像処理手段が、前記補正処理情報および前記位相差検出用画素の前記位置情報を用いて前記画像データに所定の画像処理を施す画像処理工程と、
    を有し、
    前記画像処理工程では、撮像画像を生成するために前記位相差検出用画素に係る画素データに所定の処理を施す第１の補正工程と、位相差検出用の信号を生成するために前記位相差検出用画素に係る画素データに所定の処理を施す第２の補正工程とを有し、
    前記情報付加工程では、前記第１の補正工程で用いる補正パラメータの識別情報と前記第２の補正工程で用いる補正パラメータの識別情報とを含む前記補正処理情報を前記画像データに付加することを特徴とする撮像装置の制御方法。

Images