JP6703784B2 - 撮像装置およびその制御方法ならびに撮像素子 - Google Patents

Description

本発明は、撮像装置およびその制御方法ならびに撮像素子に関する。

従来、ＣＣＤやＣＭＯＳイメージセンサなどの撮像素子では、その撮像素子内において、例えば固定パタンノイズ、シェーディング、フリッカー、スミアなどの画質に影響を与える現象が発生することが知られている。このため、撮像装置には、撮像素子から出力される画像信号を用いて各現象に対する補正値を生成し、生成した補正値を用いて画像信号を補正するものがある。

ＣＭＯＳイメージセンサでは、同一ラインの水平方向に帯状の輝度変動を起こす場合がある。特許文献１では、当該水平方向のスミアを補正するために撮像素子のＨＯＢ領域の信号を用いてスミア量を求め、有効画素領域の信号値から減算する技術が提案されている。

また、特許文献２では、有効画像中に遮光されたダミー画素を配置し、ダミー画素から出力される信号を用いてスミア量を求め、有効画素の信号値からスミア量を減算することによりスミアを補正する技術が提案されている。

特開２００９−５１６９号公報 特開２０１１−１９９４２６号公報

しかしながら、特許文献１で提案された技術では、スミア成分が水平方向に一様でない場合にはＨＯＢ領域のスミア量と有効画像のスミア量が異なるため、スミアの発生状況に応じて精度よく補正することができない場合がある。

また、特許文献２で提案された技術では、全ての有効画素とダミー画素の信号が撮像素子から混在して出力される。そのため、出力された信号を処理する回路はダミー画素による信号を除外して信号処理を行う必要があり、処理が複雑になる場合がある。

本発明は、上述の従来技術の問題点に鑑みてなされたものであり、より容易に、分布が一様でないスミアを精度良く補正することが可能な撮像装置およびその制御方法ならびに撮像素子を提供することを目的とする。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、被写体からの光を受光する第１の画素と、スミアを検出するための第２の画素が配列された画素配列とを有し、第１の画素から読み出された第１の画像信号と、第２の画素から読み出された第２の画像信号とを分離して出力する出力部とを備えた撮像素子と、第２の画像信号に含まれる第２の画素の信号値を用いて、該第２の画素の位置に対応する第１の画素の信号値を補正する補正手段と、を有し、前記第２の画素は電荷の蓄積時間が０になるように制御されることを特徴とする。

本発明によれば、より容易に、分布が一様でないスミアを精度良く補正することが可能になる。

本発明の実施形態に係る撮像装置の一例としてのデジタルカメラ１００の機能構成例を示すブロック図 実施形態１に係る撮像素子１０２の構成例を示す図 実施形態１に係る撮像素子１０２のスミア検出画素と有効画素とを説明する図 実施形態１に係るスミア補正処理を説明する図 実施形態２に係るデジタルカメラ１００の機能構成例を示すブロック図 実施形態２に係る撮像素子１０２の構成例を示す図 実施形態３に係る積層式撮像素子の一例を説明する図 実施形態４に係る携帯電話機の一例としてのスマートフォン８００の機能構成例を示すブロック図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、撮像可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、デジタルカメラに限らず、撮像可能な任意の機器にも適用可能である。これらの機器には、例えばゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末、監視用機器又は医療用機器などが含まれてよい。

（デジタルカメラ１００の構成）
図１は、本実施形態の撮像装置の一例としてデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

撮影光学系１０１は、ズームレンズ、絞り、フォーカスレンズ、シフトレンズなどを含み、被写体からの光学像を撮像素子に結像させる。撮像素子１０２は、光電変換素子を有する画素が複数、２次元的に配列された構成を有する。図２を参照して後述するが、撮像素子１０２は、被写体光学像を受光する有効画素とスミア検出用の画素とをそれぞれ有し、有効画素から読み出された画像信号とスミア検出画素から読み出された補正用画像信号とを区別して読み出し可能に構成されている。

スミア検出部１０３、スミア補正値生成部１０４及びスミア補正部１０５は、信号処理回路又は信号処理モジュールを含む。スミア検出部１０３は、撮像素子１０２のスミア検出画素から読み出された補正用画像信号を用いて発生しているスミアを検出し、スミア情報を生成する。スミア情報は、スミアの有無や発生位置を示す情報である。スミア補正値生成部１０４は、補正用画像信号とスミア検出部１０３から出力されたスミア情報とを用いてスミア補正値を生成する。スミア補正部１０５は、撮像素子１０２の有効画素から出力された画像信号の信号値からスミア補正値生成部１０４により生成されたスミア補正値を減算して、画像信号を補正する。

信号処理部１０６は、信号処理回路又は信号処理モジュールを含み、スミア補正部１０５から出力された画像信号に対してホワイトバランス等の所定の信号処理を行う。表示部１０７は、ＬＣＤやＬＥＤ等により構成される表示パネルを含み、信号処理部１０６から出力された画像信号やデジタルカメラ１００を操作するための操作用画像等を表示する。

記録部１０８は、例えば不揮発性の半導体メモリやハードディスク等の記録媒体、或いはＳＤカードなどの記録メディアを含み、信号処理部１０６より出力された画像信号を記録する。

制御部１０９は、例えばＣＰＵあるいはＭＰＵを含み、例えばＲＯＭ等の不揮発性メモリに格納されたプログラムをＲＡＭ等の揮発性メモリの作業エリアに展開し、実行することにより、デジタルカメラ１００の全体を制御する。また、制御部１０９は、撮像素子１０２からの各信号の読み出しを制御する。

（撮像素子１０２の構成）
次に、図２（ａ）を参照して撮像素子１０２の詳細な構成について説明する。単位画素２０１は、図２（ｂ）に示す構成を１単位とする画素を含む。フローティングディフュージョンアンプ（ＦＤアンプ）２０２は、単位画素２０１の蓄積電荷量を電圧として検出する。

行読出制御線２０３ａ及び行読出制御線２０３ｂは、それぞれ所定の間隔（例えば１列ごと）の単位画素２０１に接続されており、垂直走査回路２０８ａ又は垂直走査回路２０８ｂから各単位画素に読み出し制御信号を伝送する。図２（ａ）は、２次元状に配置された単位画素２０１の例えば第２０行目〜２３行目の単位画素２０１に接続する行読出制御線を２０３ａ-２０〜２０３ａ-２３又は２０３ｂ-２０〜２０３ｂ-２３として示している。

また、行リセット制御線２０４ａ及び行リセット制御線２０４ｂは、それぞれ所定の間隔の単位画素２０１に接続されており、垂直走査回路２０８ａ又は垂直走査回路２０８ｂから各単位画素にリセット制御信号を伝送する。２次元状に配置された単位画素２０１の例えば第２０行目〜２３行目の単位画素２０１に接続する行リセット制御線を２０４ａ-２０〜２０４ａ-２３又は２０４ｂ-２０〜２０４ｂ-２３として示している。

更に、行選択線２０５ａ及び行選択線２０５ｂは、それぞれ所定の間隔の単位画素２０１に接続されており、垂直走査回路２０８ａ又は垂直走査回路２０８ｂから各単位画素に行選択制御信号を伝送する。２次元状に配置された単位画素２０１の例えば第２０行目〜２３行目の単位画素２０１に接続する行選択線を２０５ａ-２０〜２０５ａ-２３又は２０５ｂ-２０〜２０５ｂ-２３として示している。

列毎に設けられた列信号線２０６は、各列の単位画素２０１の出力信号を列回路２０７に伝送する。列回路２０７は、水平走査回路２０９の制御により各単位画素２０１から出力された画素信号を内蔵されたＡ/Ｄ変換回路によりアナログ・デジタル変換して出力する。列回路２０７から出力されたデジタル信号は、水平信号線２１０を介して画素信号選択回路２１１又は画素信号選択回路２１２に入力され、それぞれの画素信号選択回路の動作に従って信号出力端子２１３又は信号出力端子２１４から出力される。例えば画素信号選択回路２１１、画素信号選択回路２１２、信号出力端子２１３及び信号出力端子２１４はデジタル信号の出力部を構成する。

タイミングジェネレータ（ＴＧ）２１５は、設定に応じてリセットタイミング信号や読み出しタイミング信号を生成する。垂直同期信号入力端子２１６と水平同期信号入力端子２１７は、それぞれ外部から同期信号を入力する端子である。また、設定信号線２１８は外部からＴＧ２１５に対するリセットと読み出しのタイミングを設定するための設定信号を入力する。ＴＧ２１５から出力される読出行タイミング信号２１９は、垂直走査回路２０８ａ及び垂直走査回路２０８ｂに入力される。また、ＴＧ２１５から出力される読出列タイミング信号２２０は、水平走査回路２０９に入力される。

図２（ｂ）は、図２（ａ）に示した単位画素２０１の構成例を示している。光電変換素子であるフォトダイオード（ＰＤ）３０１は、光電変換により入射光量に応じた電荷を発生して蓄積する。転送トランジスタ３０３は、行読出制御線２０３ａ又は２０３ｂから入力される読み出し制御信号３０２に応じてオンオフ動作する。フローティングディフュージョン（ＦＤ）３０４は、所定の容量のキャパシタンスで構成されており、キャパシタンスに蓄積した電荷に応じた電圧を発生させる。リセットトランジスタ３０６は、行リセット読出制御線２０４ａ又は２０４ｂから入力されるリセット制御信号３０５に応じてオンオフ動作する。ＦＤ３０４は、リセットトランジスタ３０６の動作に伴い、リセットレベル入力部３０７から供給されるリセット電圧に応じて蓄積された電荷がリセットされる。そして、転送トランジスタ３０３がオンされることにより、ＰＤ３０１で発生した電荷が転送されて蓄積される。行選択トランジスタ３０９は、行選択線２０５ａ又は行選択線２０５から入力される行選択制御信号３０８に応じてオンオフ動作し、ＦＤ３０４に転送されて蓄積した電荷量に応じた電圧信号を画素出力３１０から出力する。ここで、図２（ａ）のＦＤアンプ２０２は、図２（ｂ）におけるＦＤ３０４および行選択トランジスタ３０９により構成される。

（スミア補正処理の概要）
図３は、スミア検出画素と有効画素とを含む撮像素子１０２の画素配列を模式的に示している。２次元状に配置された複数の画素のうち、例えば有効画素とスミア検出画素とが水平方向（行方向）に交互に配置されている。列４ａは有効画素が配列された列を示し、列４ｂはスミア検出画素が配置された列を示している。また、ＶＯＢ領域及びＨＯＢ領域に配置された複数の画素は遮光されており、被写体からの光が入射しないように構成されている。

図３では、高輝度被写体を撮影した際に行方向の横スミアが発生した状態を模式的に示しており、明るい色（すなわち白）で示す領域の画素ほど高輝度の信号を出力している様子をあらわしている。スミア領域として示される行において、高輝度被写体に対する水平方向（行方向）のスミアが発生し、垂直方向（列方向）における他の領域の画素と比較して高輝度の信号を出力している。また、水平方向には輝度のレベルが一様ではなく、各列ごとに輝度レベルが異なる。

次に、図４（ａ）〜（ｆ）を参照して、スミア検出とスミア補正処理について説明する。図４（ａ）は、有効画像４ａを構成する画素列を抽出して生成された画像信号を示し、図４（ｂ）は、スミア検出画素４ｂを構成する画素列を抽出して生成された補正用画像信号をそれぞれ示している。そして、図４（ｃ）は、スミア検出画素に基づいて得られた補正値を、有効画素の信号に適用してスミア補正を行った後の画像を示している。

図４（ｄ）は、図４（ａ）のスミア領域における画素の出力信号値を示すグラフであり、範囲Ａに含まれる画素が最も高い信号値を出力している。また、範囲Ａから離れるにつれて画素の出力は変化（低下）し、さらにＨＯＢ領域の画素は、暗電流に伴う所定のレベルの信号値を出力している。

図４（ｅ）は、スミア検出画素の出力信号値を示すグラフである。スミア検出画素は、ＨＯＢ領域の画素と同様に被写体からの光を受光しないように遮光されており、各画素に発生するスミア成分を検出することができる。図４（ｅ）に示す例では、範囲Ａで高く、この範囲を離れるほど低下するスミア成分を検出していることを示している。すなわち、高輝度被写体に対して水平方向（行方向）に一様でないスミアが発生していることを表している。

図４（ｆ）は、図４（ｄ）に示した有効画素の出力信号値から図４（ｅ）に示したスミア成分を減算した結果を示している。より具体的には、有効画素の信号値から、隣接するスミア検出画素の出力信号値を減算することにより、スミア検出画素に隣接する有効画素に発生したスミア成分を適切に補正することができることを示している。

（スミア補正処理に係る具体的動作）
次に、本実施形態のスミア補正処理に係る具体的動作について説明する。例えば、デジタルカメラ１００の不図示の入力部を介してユーザからの撮影指示があった場合に、撮影動作の開始と共に本処理が開始される。制御部１０９が不図示のＲＯＭに記憶されたプログラムを不図示のＲＡＭの作業用領域に展開し、実行することにより実現される。

制御部１０９は、撮像素子１０２内のＴＧ２１５に対して、フィールドまたはフレームごとに各画素群をリセットするタイミング及び各画素群から信号を読み出すタイミングを設定する。撮影光学系１０１を通過して撮像素子１０２の受光面上に被写体の光学像が結像されると、撮像素子１０２上の各単位画素２０１内のＰＤ（フォトダイオード）３０１には、各単位画素２０１に対する入射光量に応じた光電荷が発生する。

撮像素子１０２の各単位画素２０１内のＦＤ３０４には、所定の容量のキャパシタンスに蓄積された電荷に応じた電圧が発生している。リセット制御信号３０５が入力されるとリセットトランジスタ３０６が動作して、リセットレベル入力部３０７から入力される電源電圧ＶＤＤによりＦＤ３０４に蓄積された電荷がリセットされる。

一方、ＰＤ３０１には各々の単位画素２０１に入射した光量に応じて光電荷が蓄積されている。この状態で読み出し制御信号３０２のレベル変化により転送トランジスタ３０３がオンすると、ＰＤ３０１に蓄積された光電荷がＦＤ３０４に移動する。このときＦＤ３０４では、リセットレベルに対して移動した光電荷の分だけ電圧レベルが変化する。当該電圧レベルの変化は画素の信号レベルとなり、行選択制御信号３０８のレベル変化により行選択トランジスタ３０９がオンすると、ＦＤ３０４の電荷量に応じた電圧信号が出力される。出力されたアナログ画素信号は列信号線２０６を介して列回路２０７に伝送される。列回路２０７は、アナログ画素信号を増幅するとともにデジタル信号に変換する。

各列の列回路２０７によって変換されたデジタル信号は、水平走査回路２０９によって順次読み出され、水平信号線２１０を通じて画素信号選択回路２１１及び画素信号選択回路２１２に入力される。画素信号選択回路２１１は、制御部１０９からの指示に従って有効画素４ａから出力される画像信号を選択し、一方、画素信号選択回路２１２は、制御部１０９からの指示に従ってスミア検出画素４ｂから出力される補正用画像信号を選択する。その後、有効画素４ａの画像信号は信号出力端子２１３から、補正用画像信号は信号出力端子２１４からそれぞれ分離して出力される。

次に、スミア検出部１０３は、信号出力端子２１４から出力された補正用画像信号を用いてスミアを検出し、スミアの有無や発生位置などを示すスミア情報を生成する。より具体的には、高輝度被写体に対してスミアが水平方向（行方向）に発生するため、スミア検出部１０３は、スミア検出画素の垂直方向（列方向）の信号量の変化（すなわち信号量の差）を算出する。スミア検出部１０３は算出した変化量が所定の閾値以上である場合、スミアを検出する。なお、水平方向（行方向）のスミアの検出方法は有効画素の信号量の変化を用いる方法に限らず、例えばＨＯＢ領域におけるスミア検出画素の垂直方向（列方向）の変化量が所定の閾値以上である場合にスミアを検出するようにしてもよい。スミア検出部１０３は、スミアを検出した結果に基づいて、スミアの有無や発生位置（例えば座標位置或いは行番号）などを示すスミア情報をスミア補正値生成部１０４に出力する。

スミア補正値生成部１０４は、スミア検出部１０３により生成されたスミア情報と、補正用画像信号とを用いて画像信号に対するスミア補正値を生成する。具体的には、スミア補正値生成部１０４は、スミア情報からスミア位置を特定し、当該スミア位置に対応する補正用画像信号の信号値を用いて補正値を生成する。なお、スミア補正値生成部１０４は、スミア検出画素に隣接した有効画素に対する補正値を算出するため、補正用画像信号の間の水平方向（行方向）の変化を考慮して補正用画像信号を補間してもよい。すなわち、スミア検出画素の列と有効画素の列とが交互に配置されている場合、補正用画像信号の間の水平方向の変化を考慮して補正用画像信号を補間することにより、有効画素の列に適したスミア補正値を生成することができる。スミア補正部１０５は、スミア補正値生成部１０４より出力されたスミア補正値を、撮像素子１０２の信号出力端子２１３から出力された画像信号から減算することによってスミアを補正する。

信号処理部１０６は、スミア補正部１０５からスミア補正処理のなされた画像信号を取得して所定の画像処理を施し、制御部１０９の指示に応じて表示部１０７に表示させる、或いは記録部１０８に画像信号を記録させ、本処理に係る一連の動作を終了する。

なお、本実施形態では、スミア検出画素が有効画素と交互に配置される例について説明したが、スミア検出画素の配置を動的に変更可能にしてもよい。本実施形態で説明したスミア検出画素は単位画素２０１で構成されるため、当該画素を遮光するために電荷の蓄積時間を無くす（０にする）ことにより、有効画素とスミア検出用画素とを動的に切り替えて各画像信号を読み出すことができる。このようにすれば、被写体に応じてスミアの検出密度を変化させるなど状況に合わせて単位画素を有効に活用できる。

以上説明したように本実施形態では、有効画素とスミア検出用の画素とを列ごとに交互に配置した撮像素子１０２を用いて、有効画素から読み出された画像信号を、スミア検出画素から読み出された補正用画像信号から得られる補正値により補正するようにした。このとき、撮像素子は、有効画素から読み出された画像信号と、スミア検出画素から読み出された補正用画像信号とを分離して出力するようにした。このようにすることで、撮像素子からの信号を受信する回路は容易にスミアを検出できるうえ、水平方向にスミアが広がる場合にスミアの水平方向の変化に応じた補正処理が可能になる。すなわち、より容易に、分布が一様でないスミアを精度良く補正することが可能になる。

（実施形態２）
次に実施形態２について説明する。実施形態１では、撮像素子１０２の外部に設けられたスミア検出部１０３が、撮像素子１０２から出力された補正用画像信号を用いてスミアを検出するように構成した。本実施形態では、スミア検出部を撮像素子の内部に配置して撮像素子１０２からスミア情報を出力する。本実施形態の撮像素子及びスミア検出部に係る構成が実施形態１と異なるが、その他の構成は実施形態１と同一である。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

図５を参照して、撮像素子５０１がスミア検出部５０２を内部に備える、デジタルカメラ１００の機能構成例について説明する。

撮像素子５０１は、有効画素から読み出された画像信号を信号出力端子２１３から出力すると共に、スミア検出画素から読み出された補正用画像信号をスミア検出部５０２に入力する。撮像素子５０１は、スミア検出部５０２が生成するスミア情報を信号出力端子２１４から出力する。また、撮像素子５０１は、スミアの検出された位置に係る補正用画像信号を切り出して、スミア情報と共に信号出力端子２１４から出力する。

スミア検出部５０２は、撮像素子５０１内に配置されスミア検出画素から読み出された補正用画像信号に基づいてスミアを検出する。なお、スミア検出部５０２におけるスミア検出処理は、実施形態１において上述した処理と同様である。制御部１０９は、デジタルカメラ１００全体を制御するほか、撮像素子１０２の読み出し方法及びスミア検出部５０２を制御する。

更に、本実施形態に係るスミア補正処理の動作について説明する。例えば、デジタルカメラ１００の不図示の入力部を介してユーザからの撮影指示があった場合に、撮影動作の開始と共に本処理が開始される。撮像素子１０２の単位画素２０１の動作は実施形態１と同様であり、各単位画素２０１から出力された信号は列信号線２０６を経由して列回路２０７によりデジタル信号に変換される。変換されたデジタル信号は、図６に示すように画素信号選択回路２１１及び画素信号選択回路２１２に入力されると同時に、スミア検出部５０２に入力される。

スミア検出部５０２は、スミア検出画素の補正用画像信号を用いてスミアを検出し、当該検出結果に基づいて、スミアの有無や発生位置などを示すスミア情報を生成して信号出力端子２１４から出力する。

画素選択回路２１２は、スミア検出部５０２により生成されたスミア情報に基づいて、スミア検出画素４ｂのうちスミアの検出された位置の画像信号のみを取得し、補正用信号として信号出力端子２１４から出力させる。このようにすることで、スミアが発生していない領域の補正用画像信号を絶えず出力することが無くなるため、画素数の増加に伴う出力信号量の増大や受信側の処理負担の増大を防止することができる。換言すれば、撮像素子１０２から出力する補正用画像信号をスミアが発生している位置又は行に限定し、信号量を低減することができる。

その後、スミア補正値生成部１０４は、信号出力端子２１４から出力されたスミア情報と補正用画像信号とを取得し、上述した実施形態１と同様に補正用画像信号に対するスミア補正値を生成する。また、以降の処理についても実施形態１と同様に、スミア補正部１０５は、撮像素子１０２の信号出力端子２１３から出力された画像信号から、スミア補正値を減算することによりスミアを補正する。そして、制御部１０９は補正後の画像信号を例えば表示部１０７に表示させて本処理に係る一連の動作を終了する。

なお、本実施形態では、撮像素子５０１が内部にスミア検出部５０２を備え、スミア情報とスミアの発生した補正用画像信号を出力するようにしたが、更にスミア補正値生成部１０４及びスミア補正部１０５を撮像素子５０１内に備えるようにしてもよい。このようにすれば、スミア補正処理を撮像素子内で実現することができ、撮像素子はスミア補正の施された有効画像のみを出力でき、出力する信号量を削減することができる。

以上説明したように本実施形態では、撮像素子５０１が内部にスミア検出部５０２を備え、撮像素子５０１が内部でスミアを検出してスミアの有無や発生位置を出力すると共に、スミアの検出された位置の補正用画像信号のみを出力するようにした。このようにすることで、スミアの発生状況に応じて適応的に精度良くスミアを補正することが可能になると共に、撮像素子から出力される信号量を削減することが可能になる。

（実施形態３）
次に実施形態３について説明する。本実施形態では撮像素子が積層型に構成されている場合について説明する。なお、本実施形態では撮像素子が積層型である点以外は実施形態１と同一の構成である。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

図７は、本実施形態に係る撮像素子７００を示している。撮像素子７００には、単位画素２０１等の光電変換素子を含むイメージセンサ用チップ７１０と、列回路２０７等のデジタル処理を行う構成を含む高速ロジックプロセス用チップ７２０がチップレベルで積層されている。

図７（ａ）は撮像素子７００の斜投影図を、図７（ｂ）はチップ７１０及びチップ７２０の上面図をそれぞれ示している。イメージセンサ用チップ７１０の画素部７１１には、単位画素２０１、ＦＤアンプ２０２、ＴＧ２１５等の画素信号を読み出す構成が含まれる。また、高速ロジックプロセス用チップ７２０には列回路２０７、水平走査回路２０９、画素信号選択回路２１１及び画素信号選択回路２１２等のデジタルデータを含む処理が可能な構成が含まれる。

さらに、高速ロジックプロセス用チップ７２０にはスミア検出部１０３を含んでもよい。高速ロジックプロセス用チップ７２０では、スミア検出部１０３によりスミアを検出してスミア情報及び発生したスミアに係る補正用画像信号を出力する。

また、高速ロジックプロセス用チップ７２０には、スミア検出部１０３に加えてスミア補正値生成部１０４及びスミア補正部１０５を含んでもよく、スミア補正を行った補正後の画像信号を信号処理部１０６に出力するようにしてもよい。

以上説明したように本実施形態では、積層型の撮像素子を用いることにより信号処理回路に大きな面積を割くことができるため、上述したスミア補正処理に係る信号処理回路の少なくとも一部を容易に撮像素子に搭載することができる。

（実施形態４）
次に実施形態４について説明する。本実施形態では、携帯電話機８００においてスミア補正処理を行う例を説明する。図８は、本実施形態としての携帯電話機８００の機能構成例を示している。本実施形態の携帯電話機８００は、音声通話機能の他、電子メール機能や、インターネット接続機能、画像の撮影、再生機能等を有する。

図８において、通信部８０１は、ユーザが契約した通信キャリアに従った又は無線ＬＡＮ等の通信方式により他の携帯電話機や通信機能を有する装置との間で音声データや画像データを通信する。音声処理部８０２は、音声通話時において、マイクロフォン８０３からの音声データを発信に適した形式に変換して通信部８０１に送信する。また、音声処理部８０２は、通信部８０１から送信された通話相手からの音声データを復号し、スピーカ８０４に伝送する。

撮像部８０５は、上述した実施形態１〜３の撮像素子のいずれかを含み、被写体を撮影して画像信号を出力する。画像処理部８０６は、上述した実施形態におけるスミア検出部１０３、スミア補正値生成部１０４、スミア補正部１０５及び信号処理部１０６を含む。画像処理部８０６は、画像の撮影時においては、撮像部８０５により撮影された画像信号を処理し、記録に適した形式に変換して出力する。また、画像処理部８０６は、記録された画像の再生時には、再生された画像を処理して表示部８０７に送信する。表示部８０７は、例えば数インチ程度の液晶表示パネルを備え、制御部８０９からの指示に応じて各種の画面を表示する。不揮発メモリ８０８は、アドレス帳の情報、電子メールのデータ又は撮像部８０５により撮影された画像データ等のデータを記憶する。

制御部８０９は、ＣＰＵやメモリ等を含み、不図示のメモリに記憶された制御プログラムに従って携帯電話機８００の各部を制御する。制御部８０９は、上述した実施形態の制御部１０９を含む。操作部８１０は、電源ボタンや番号キー、その他ユーザがデータを入力するための各種の操作キーを備える。カードＩＦ８１１は、メモリカード８１２に対して各種のデータを記録再生する。外部ＩＦ８１３は、不揮発メモリ８０８やメモリカード８１２に記憶されたデータを外部機器に送信し、また、外部機器から送信されたデータを受信する。外部ＩＦ８１３は、ＵＳＢ等の有線の通信方式や、無線通信など、公知の通信方式により通信を行う。

次に、携帯電話機８００における音声通話機能を説明する。通話相手に対して電話をかける場合、ユーザが操作部８１０の番号キーを操作して通話相手の番号を入力するか、不揮発メモリ８０８に記憶されたアドレス帳を表示部８０７に表示し、通話相手を選択し、発信を指示する。発信が指示されると、制御部８０９は通信部８０１に対し、通話相手に発信する。通話相手に着信すると、通信部８０１は音声処理部８０２に対して相手の音声データを出力すると共に、ユーザの音声データを相手に送信する。

また、電子メールを送信する場合、ユーザは、操作部８１０を用いて、メール作成を指示する。メール作成が指示されると、制御部８０９はメール作成用の画面を表示部８０７に表示する。ユーザは操作部１８０を用いて送信先アドレスや本文を入力し、送信を指示する。制御部８０９はメール送信が指示されると、通信部８０１に対してアドレスの情報とメール本文のデータを送信する。通信部８０１は、メールのデータを通信に適した形式に変換して送信先に送信し、また、電子メールを受信すると、受信したメールのデータを表示に適した形式に変換して表示部８０７に表示する。

次に、携帯電話機８００における撮影機能について説明する。ユーザが操作部８１０を操作して撮影モードを設定した後、静止画或いは動画の撮影を指示すると、撮像部８０５は静止画データ或いは動画データを撮影して画像処理部８０６に送る。画像処理部８０６は撮影された静止画データや動画データに対して上述したスミア補正処理を実行すると共に符号化等の処理を行って、不揮発メモリ８０８に記憶する。また、画像処理部８０６は、撮影された静止画データや動画データをカードＩＦ８１１に送信する。カードＩＦ８１１は静止画や動画データをメモリカード８１２に記憶する。

また、携帯電話機８００は、撮影された静止画や動画データを含むファイルを、電子メールの添付ファイルとして送信することができる。具体的には、電子メールを送信する際に、不揮発メモリ８０８やメモリカード８１２に記憶された画像ファイルを選択し、添付ファイルとして送信を指示する。

また、携帯電話機８００は、撮影された静止画や動画データを含むファイルを、外部ＩＦ８１３によりＰＣや他の電話機等の外部機器に送信することもできる。ユーザは、操作部８１０を操作して、不揮発メモリ８０８やメモリカード８１２に記憶された画像ファイルを選択し、送信を指示する。制御部８０９は、選択された画像ファイルを不揮発メモリ８０８或いはメモリカード８１２から読み出し、外部機器に送信するよう、外部ＩＦ８１３を制御する。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２…撮像素子、１０３…スミア検出部、１０４…スミア補正値生成部、１０５…スミア補正部、２０１…単位画素

Claims (12)

1. 被写体からの光を受光する第１の画素と、スミアを検出するための第２の画素が配列された画素配列と、前記第１の画素から読み出された第１の画像信号と、前記第２の画素から読み出された第２の画像信号とを分離して出力する出力部とを備えた撮像素子と、
   前記第２の画像信号に含まれる前記第２の画素の信号値を用いて、該第２の画素の位置に対応する前記第１の画素の信号値を補正する補正手段と、を有し、
   前記第２の画素は電荷の蓄積時間が０になるように制御されることを特徴とする撮像装置。
2. 前記補正手段は、スミアによる信号値が蓄積した前記第２の画素の信号値を用いて、対応する前記第１の画素の信号値を補正する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子は、前記第２の画素がスミアの発生する方向に所定の間隔ごとに配置される場合に前記所定の間隔を変更可能である、
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記撮像素子は、スミアの発生する方向と垂直な方向について、前記第２の画素の信号値の変化が所定の閾値より大きい場合にスミアの発生を検出する検出手段をさらに有する、
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記撮像素子は、前記検出手段により検出された前記第２の画素のみを、前記第２の画像信号として出力する、
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記撮像素子は、前記画素配列が配置された第１のチップと、前記出力部が配置された第２のチップとを積層した構成を有する、
   ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記第２のチップは、前記スミアの発生する方向と垂直な方向について、前記第２の画素の信号値の変化が所定の閾値より大きい場合にスミアの発生を検出する検出手段をさらに有する、
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記第２のチップは、前記検出手段により検出された前記第２の画素のみの前記第２の画像信号を出力する、
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記補正手段は、スミアの発生する方向と垂直な方向について、前記第２の画素の信号値の変化が所定の閾値より大きい場合にスミアの発生を検出する検出手段をさらに有する、
   ことを特徴とする請求項２又は３に記載の撮像装置。
10. 被写体からの光を受光する第１の画素と、スミアを検出するための第２の画素が配列された画素配列を有する撮像素子を備えた撮像装置の制御方法であって、
    前記撮像素子が、前記第１の画素から読み出した第１の画像信号と、前記第２の画素から読み出した第２の画像信号とを分離して出力する出力工程と、
    補正手段が、入力した前記第２の画像信号に含まれる前記第２の画素の信号値を用いて、該第２の画素の位置に対応する前記第１の画素の値を補正する補正工程と、を有し、
    前記第２の画素は電荷の蓄積時間が０になるように制御されることを特徴とする撮像装置の制御方法。
11. 被写体からの光を受光する第１の画素と、スミアを検出するための第２の画素が配列された画素配列と、
    前記第１の画素から読み出された第１の画像信号と、前記第２の画素から読み出された第２の画像信号とを分離する分離手段と、
    前記第２の画像信号に含まれる前記第２の画素の信号値を用いて、該第２の画素の位置に対応する前記第１の画素の信号値を補正する補正手段と、
    前記補正手段により補正された前記第１の画素からなる第１の画像信号を出力する出力手段と、を有し、
    前記第２の画素は電荷の蓄積時間が０になるように制御されることを特徴とする撮像素子。
12. 前記撮像素子は、前記画素配列が配置された第１のチップと、前記分離手段と前記補正手段と前記出力手段とが配置され、前記第１のチップと積層された第２のチップを含む、
    ことを特徴とする請求項１１に記載の撮像素子。