JP7271131B2 - 撮像装置および撮像装置の制御方法 - Google Patents

Description

本発明は、撮像装置および撮像装置の制御方法に関するものである。

デジタルカメラやビデオカメラ等の撮像装置は、撮像素子を有する。撮像素子は、ＣＣＤに代わって、ＣＭＯＳイメージセンサが用いられるようになってきている。ＣＭＯＳイメージセンサでは、２次元行列状に配列された複数の画素を駆動する制御回路および増幅回路が、行方向および列方向で共有化されている。共有化構成のイメージセンサでは、信号読み出しの際に発生するノイズおよびＣＭＯＳイメージセンサごとの各回路のばらつきなどによって、縞状のノイズが発生する場合がある。

特許文献１には、縞状のノイズを補正するため、第Ｎ行目の信号を読み出す第１の読み出しモードと、同一行のリセットレベルを読み出す第２の読み出しモードを有し、信号出力を補正する撮像装置が開示されている。また、特許文献２には、同列の隣接行の暗出力信号を補正用信号に用いる撮像装置が開示されている。

特開２０１３－１５７８８１号公報 特開昭６１－２６４９７１号公報

しかしながら、特許文献１は、異なる列の信号を補正用信号に用いるので、列アンプのばらつきによる固定パターンノイズが残存してしまう。また、特許文献１は、水平方向の一部の画素を補正用画素として用いるため、高解像度の読み出しができなくなってしまうという課題がある。

特許文献２は、特許文献１のような列アンプのばらつきによる固定パターンノイズが解消されるものの、隣接行の読み出しが時間的に異なるため、時間依存性の外来ノイズの除去が困難であるという課題がある。

本発明は上記問題点を鑑みてなされたものであり、画像のノイズを低減することを目的とする。

本発明に係る撮像装置は、第１の光電変換部を有する第１の画素と、第２の光電変換部を有する第２の画素と、第１の期間では、前記第１の画素のリセット解除に基づく第１の信号と前記第２の画素のリセット解除に基づく第２の信号を出力し、第２の期間では、前記第１の画素の光電変換に基づく第３の信号と前記第２の画素のリセット解除に基づく第４の信号を出力するように制御する制御手段と、前記第３の信号と前記第１の信号との差分から、前記第４の信号と前記第２の信号との差分を減算することによって、前記第３の信号と前記第１の信号との差分を補正する補正手段とを有し、前記制御手段は、ノイズ源が動作するフレームでは、前記第１の期間では、前記第１の画素のリセット解除に基づく第１の信号と前記第２の画素のリセット解除に基づく第２の信号を出力し、前記第２の期間では、前記第１の画素の光電変換に基づく第３の信号と前記第２の画素のリセット解除に基づく第４の信号を出力するように制御し、ノイズ源が動作しないフレームでは、前記第１の期間では、前記第１の画素のリセット解除に基づく第１の信号を出力し、前記第２の期間では、前記第１の画素の光電変換に基づく第３の信号を出力するように制御し、動画撮影中に前記ノイズ源が動作するフレームと前記ノイズ源が動作しないフレームとで制御を切り替える。

本発明によれば、画像のノイズを低減することができる。

撮像装置の構成例を示すブロック図である。 撮像素子の構成例を示す回路図である。 撮像素子の動作タイミングを示すタイミングチャートである。 撮像素子の画素の構成例を示す図である。 撮像装置の動作状態を示すタイミングチャートである。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置１００の構成例を示すブロック図である。撮像装置１００は、撮像素子１０１と、タイミング発生回路１０２と、信号処理回路１０３と、全体制御・演算回路１０４と、メモリ１０５と、不揮発性メモリ１０６とを有する。さらに、撮像装置１００は、表示回路１０７と、記録回路１０８と、操作回路１０９と、レンズ駆動回路１１０と、撮影レンズ１１１とを有する。

撮影レンズ１１１は、被写体の光学像を撮像素子１０１上に結像させる。レンズ駆動回路１１０は、撮影レンズ１１１に対して、ズーム制御、フォーカス制御、絞り制御などを行う。撮像素子１０１は、行列状に配置された複数の画素２００ａ，２００ｂ等（図２）を有し、被写体の光像を電気的な画像信号に変換する。信号処理回路１０３は、撮像素子１０１から出力される画像信号に対して、各種の補正および圧縮を行う。信号処理回路１０３は、撮像素子１０１から出力される画像信号を一時的に保持するとともに、差分等の演算により補正画像信号を演算するための算術論理演算回路（ＡＬＵ）を有する。タイミング発生回路１０２は、撮像素子１０１を駆動するためのタイミング信号を出力する。全体制御・演算回路１０４は、各種演算を行うとともに、撮像素子１０１の動作を含む撮像装置１００の全体の動作を制御する。全体制御・演算回路１０４は、位相差検出方式の焦点検出動作やデフォーカス量の算出を行う。全体制御・演算回路１０４は、信号処理回路１０３が出力する画像データをメモリ１０５に一時的に記憶させる。不揮発性メモリ１０６は、プログラム、種々の閾値、撮像装置１００ごとに異なる調整値などを記憶する。表示回路１０７は、各種情報や撮影した画像を表示する。記録回路１０８は、画像データの記録または読み出しを行う。記録回路１０８は、例えば半導体メモリ等の着脱可能な記録媒体に対して読み書きする回路である。操作回路１０９は、スイッチ、ボタン、タッチパネルなどの入力デバイス群を含み、撮像装置１００に対するユーザ指示を受け付ける。

図２は、図１の撮像素子１０１の構成例を示す回路図である。撮像素子１０１は、行列状に配置された複数の画素２００ａ，２００ｂ等と、垂直走査回路２１７と、電流源２１１，２１２と、転送スイッチ２１３，２１４と、ＡＤ変換器２１５，２１６とを有する。以下、行列状に配置された画素２００ａ，２００ｂ等を画素２００という。

垂直走査回路２１７は、制御手段であり、転送パルス信号φＴＸａおよびφＴＸｂを基に、第ｍ行の転送パルス信号φＴＸ（ｍ）を第ｍ行の画素２００に出力し、第ｎ行の転送パルス信号φＴＸ（ｎ）を第ｎ行の画素２００に出力する。また、垂直走査回路２１７は、リセットパルス信号φＲＥＳａおよびφＲＥＳｂを基に、第ｍ行のリセットパルス信号φＲＥＳ（ｍ）を第ｍ行の画素２００に出力し、第ｎ行のリセットパルス信号φＲＥＳ（ｎ）を第ｎ行の画素２００に出力する。また、垂直走査回路２１７は、選択パルス信号φＳＥＬ１ａおよびφＳＥＬ１ｂを基に、第ｍ行の選択パルス信号φＳＥＬ１（ｍ）を第ｍ行の画素２００に出力し、第ｎ行の選択パルス信号φＳＥＬ１（ｎ）を第ｎ行の画素２００に出力する。また、垂直走査回路２１７は、選択パルス信号φＳＥＬ２ａおよびφＳＥＬ２ｂを基に、第ｍ行の選択パルス信号φＳＥＬ２（ｍ）を第ｍ行の画素２００に出力し、第ｎ行の選択パルス信号φＳＥＬ２（ｎ）を第ｎ行の画素２００に出力する。垂直走査回路２１７は、２行の転送スイッチ２０２ａ，２０２ｂ、リセットスイッチ２０３ａ，２０３ｂ、行選択スイッチ２０７ａ，２０７ｂ，２０８ａ，２０８ｂを独立して制御することができる。

第ｍ行の画素２００ａは、フォトダイオード２０１ａ、転送スイッチ２０２ａ、リセットスイッチ２０３ａ、フローティングディフュージョン（ＦＤ）２０４ａ、ソースフォロア（ＳＦ）トランジスタ２０６ａ、および行選択スイッチ２０７ａ，２０８ａを有する。

フォトダイオード２０１ａは、光電変換部であり、光を電荷に変換して蓄積する。転送スイッチ２０２ａは、転送パルス信号φＴＸ（ｍ）に応じて、フォトダイオード２０１ａにより変換された電荷をＦＤ２０４ａに転送する。ＦＤ２０４ａは、電荷を蓄積する蓄積部である。リセットスイッチ２０３ａは、リセットパルス信号φＲＥＳ（ｍ）に応じて、ＦＤ２０４ａを電源電位にリセットする。ＳＦトランジスタ２０６ａは、ＦＤ２０４ａに蓄積されている電荷量に応じた電圧を出力する。行選択スイッチ２０７ａは、選択パルス信号φＳＥＬ１（ｍ）に応じて、ＳＦトランジスタ２０６ａの出力ノードを出力線２０９に接続する。行選択スイッチ２０８ａは、選択パルス信号φＳＥＬ２（ｍ）に応じて、ＳＦトランジスタ２０６ａの出力ノードを出力線２１０に接続する。

第ｎ行の画素２００ｂは、フォトダイオード２０１ｂ、転送スイッチ２０２ｂ、リセットスイッチ２０３ｂ、ＦＤ２０４ｂ、ＳＦトランジスタ２０６ｂ、および行選択スイッチ２０７ｂ，２０８ｂを有する。

フォトダイオード２０１ｂは、光電変換部であり、光を電荷に変換して蓄積する。転送スイッチ２０２ｂは、転送パルス信号φＴＸ（ｎ）に応じて、フォトダイオード２０１ｂにより変換された電荷をＦＤ２０４ｂに転送する。ＦＤ２０４ｂは、電荷を蓄積する蓄積部である。リセットスイッチ２０３ｂは、リセットパルス信号φＲＥＳ（ｎ）に応じて、ＦＤ２０４ｂを電源電位にリセットする。ＳＦトランジスタ２０６ｂは、ＦＤ２０４ｂに蓄積されている電荷量に応じた電圧を出力する。行選択スイッチ２０７ｂは、選択パルス信号φＳＥＬ１（ｎ）に応じて、ＳＦトランジスタ２０６ｂの出力ノードを出力線２０９に接続する。行選択スイッチ２０８ｂは、選択パルス信号φＳＥＬ２（ｎ）に応じて、ＳＦトランジスタ２０６ｂの出力ノードを出力線２１０に接続する。

撮像素子１０１は、各列の画素２００ごとに、出力線２０９および２１０を有する。各列の画素２００は、各列の共通の出力線２０９および２１０に接続される。出力線２０９には、行選択スイッチ２０７ａ，２０７ｂと、電流源２１１と、転送スイッチ２１３と、ＡＤ変換器２１５が接続される。出力線２０９は、電流源２１１によって駆動される。出力線２１０には、行選択スイッチ２０８ａ，２０８ｂと、電流源２１２と、転送スイッチ２１４と、ＡＤ変換器２１６が接続される。出力線２１０は、電流源２１２によって駆動される。

転送スイッチ２１３は、転送パルス信号φＨＶ１に応じて、出力線２０９をＡＤ変換器２１５の入力ノードに接続する。ＡＤ変換器２１５は、出力線２０９のアナログの電圧をデジタルの電圧に変換する。転送スイッチ２１４は、転送パルス信号φＨＶ２に応じて、出力線２１０をＡＤ変換器２１６の入力ノードに接続する。ＡＤ変換器２１６は、出力線２１０のアナログの電圧をデジタルの電圧に変換する。

上記の各スイッチは、ＭＯＳトランジスタによって構成されている。ＭＯＳトランジスタのゲートにハイレベルの電圧が印加されると各スイッチはオン状態となり、ＭＯＳトランジスタのゲートにローレベルの電圧が印加されると各スイッチはオフ状態となる。

図３は、図２の撮像素子１０１の制御方法を示すタイミングチャートであり、動画撮影時の読み出し駆動方法を示す。時刻ｔ３０１～ｔ３０２は、リセット期間である。時刻ｔ３０１～ｔ３０２では、垂直走査回路２１７は、転送パルス信号φＴＸ（ｍ），φＴＸ（ｎ）およびリセットパルス信号φＲＥＳ（ｍ），φＲＥＳ（ｎ）をハイレベルにする。すると、転送スイッチ２０２ａおよび２０２ｂはオン状態になる。リセットスイッチ２０３ａは、フォトダイオード２０１ａおよびＦＤ２０４ａを電源電位にリセットする。リセットスイッチ２０３ｂは、フォトダイオード２０１ｂおよびＦＤ２０４ｂを電源電位にリセットする。

時刻ｔ３０２～ｔ３０７は、電荷蓄積期間である。垂直走査回路２１７は、時刻ｔ３０２～ｔ３０６では、転送パルス信号φＴＸ（ｍ）をローレベルにし、時刻ｔ３０２以降では、転送パルス信号φＴＸ（ｎ）をローレベルにする。すると、転送スイッチ２０２ａおよび２０２ｂはオフ状態になる。全画素のフォトダイオード２０１ａ，２０１ｂ等は、入射した光を電荷に変換して蓄積する。

時刻ｔ３０３～ｔ３０８は、読み出し期間である。時刻ｔ３０３～ｔ３０８では、垂直走査回路２１７は、選択パルス信号φＳＥＬ１（ｍ）およびφＳＥＬ２（ｎ）をハイレベルにする。すると、第ｍ行では、行選択スイッチ２０７ａは、ＳＦトランジスタ２０６ａの出力ノードを出力線２０９に接続する。第ｎ行では、行選択スイッチ２０８ｂは、ＳＦトランジスタ２０６ｂの出力ノードを出力線２１０に接続する。

また、時刻ｔ３０３～ｔ３０８では、垂直走査回路２１７は、リセットパルス信号φＲＥＳ（ｍ）およびφＲＥＳ（ｎ）をローレベルにする。すると、リセットスイッチ２０３ａは、ＦＤ２０４ａのリセットを解除する。リセットスイッチ２０３ｂは、ＦＤ２０４ｂのリセットを解除する。

時刻ｔ３０３～ｔ３０６の期間では、ＳＦトランジスタ２０６ａは、ＦＤ２０４ａのリセット解除に基づくＮ信号を出力線２０９に出力する。時刻ｔ３０３～ｔ３０６の期間では、ＳＦトランジスタ２０６ｂは、ＦＤ２０４ｂのリセット解除に基づくＮ信号を出力線２１０に出力する。

時刻ｔ３０３～ｔ３０４では、転送パルス信号φＨＶ１およびφＨＶ２がハイレベルになる。すると、転送スイッチ２１３は、出力線２０９のＮ信号をＡＤ変換器２１５に転送する。転送スイッチ２１４は、出力線２１０のＮ信号をＡＤ変換器２１６に転送する。

時刻ｔ３０４では、転送パルス信号φＨＶ１およびφＨＶ２がローレベルになる。すると、転送スイッチ２１３および２１４がオフ状態になり、ＡＤ変換器２１５および２１６の入力信号が固定される。

時刻ｔ３０４～ｔ３０５では、ＡＤ変換器２１５は、出力線２０９のＮ信号をアナログからデジタルに変換し、デジタルのＮ信号Ｎａ（ｔ１）を信号処理回路１０３に出力する。ＡＤ変換器２１６は、出力線２１０のＮ信号をアナログからデジタルに変換し、デジタルのＮ信号Ｎｂ（ｔ１）を信号処理回路１０３に出力する。

時刻ｔ３０６～ｔ３０７では、垂直走査回路２１７は、転送パルス信号φＴＸ（ｍ）をハイレベルにする。すると、転送スイッチ２０２ａは、オン状態になり、フォトダイオード２０１ａにより変換された電荷をＦＤ２０４ａに転送する。ＦＤ２０４ａは、フォトダイオード２０１ａの光電変換に基づく電荷を蓄積する。時刻ｔ３０６～ｔ３０８の期間では、ＳＦトランジスタ２０６ａは、フォトダイオード２０１ａの光電変換に基づくＳ信号を出力線２０９に出力する。時刻ｔ３０６～ｔ３０８の期間では、ＳＦトランジスタ２０６ｂは、ＦＤ２０４ｂのリセット解除に基づくＮ信号を出力線２１０に出力する。

時刻ｔ３０６～ｔ３０７では、転送パルス信号φＨＶ１およびφＨＶ２がハイレベルになる。すると、転送スイッチ２１３は、出力線２０９のＳ信号をＡＤ変換器２１５に転送する。転送スイッチ２１４は、出力線２１０のＮ信号をＡＤ変換器２１６に転送する。

時刻ｔ３０７では、転送パルス信号φＨＶ１およびφＨＶ２がローレベルになる。すると、転送スイッチ２１３および２１４がオフ状態になり、ＡＤ変換器２１５および２１６の入力信号が固定される。

時刻ｔ３０７～ｔ３０８では、ＡＤ変換器２１５は、出力線２０９のＳ信号をアナログからデジタルに変換し、デジタルのＳ信号Ｓａ（ｔ２）を信号処理回路１０３に出力する。ＡＤ変換器２１６は、出力線２１０のＮ信号をアナログからデジタルに変換し、デジタルのＮ信号Ｎｂ（ｔ２）を信号処理回路１０３に出力する。

Ｓ信号Ｓａ（ｔ２）は、Ｎ信号Ｎａ（ｔ１）に対して、フォトダイオード２０１ａにより変換された電荷に対応する信号が重畳された信号である。信号処理回路１０３は、Ｓ信号Ｓａ（ｔ２）とＮ信号Ｎａ（ｔ１）との差分Ｓａ（ｔ２）－Ｎａ（ｔ１）を画素２００ａの画素信号として求める。これにより、第ｍ行の各画素２００ａのノイズおよび固定パターンが低減された高品質な画素信号を得ることができる。

また、Ｎ信号Ｎｂ（ｔ２）は、画素２００ｂを遮光した場合の画素２００ｂのＳ信号と同等の信号である。信号処理回路１０３は、Ｎ信号Ｎｂ（ｔ１）とＮ信号Ｎｂ（ｔ２）との差分Ｎｂ（ｔ２）－Ｎｂ（ｔ１）を画素２００ｂの画素信号として求める。これにより、第ｎ行の各画素２００ｂを遮光した場合の画素信号と同等の画素信号を得ることができる。

ＡＤ変換器２１５は、出力線２０９のＮ信号およびＳ信号を時分割でアナログデジタル変換し、デジタルのＮ信号Ｎａ（ｔ１）およびデジタルのＳ信号Ｓａ（ｔ２）を出力する。そのため、画素２００ａの画素信号Ｓａ（ｔ２）－Ｎａ（ｔ１）は、Ｎ信号を読み出す時刻ｔ３０３～ｔ３０４の期間とＳ信号を読み出す時刻ｔ３０６～ｔ３０７の期間との時間差から生じる電源電圧の違いなどの影響を受ける。

画素２００ｂのＮ信号Ｎｂ（ｔ１）およびＮｂ（ｔ２）は、時間を変えて同一のＮ信号を読み出しているため、前述の時間差に起因するノイズのみが含まれている。そのため、画素２００ｂの画素信号Ｎｂ（ｔ２）－Ｎｂ（ｔ１）は、第ｍ行の画素２００ａのノイズ補正用信号として用いることができる。信号処理回路１０３は、補正手段であり、第ｎ行の画素２００ｂの画素信号（ノイズ補正用信号）Ｎｂ（ｔ２）－Ｎｂ（ｔ１）を用いて、第ｍ行の画素２００ａの画素信号Ｓａ（ｔ２）－Ｎａ（ｔ１）を補正する。具体的には、信号処理回路１０３は、第ｍ行の画素２００ａの画素信号Ｓａ（ｔ２）－Ｎａ（ｔ１）から第ｎ行の画素２００ｂの画素信号（ノイズ補正用信号）Ｎｂ（ｔ２）－Ｎｂ（ｔ１）を減算する。これにより、撮像装置１００は、Ｎ信号とＳ信号の読み出しタイミングに起因したノイズを低減した高品位の画像信号を得ることができる。

ここで、第ｍ行の各画素２００ａに関してはＳ信号を得るために、垂直走査回路２１７は、逐次走査しながらリセット解除および読み出しを行うスリットローリング方式による露光が必要である。第ｎ行の画素２００ｂは、各フレームにおいて同じ固定行でよい。

以上のように、撮像素子１０１は、画素２００ａの画素信号と画素２００ｂの画素信号を同時刻に読み出す。信号処理回路１０３は、画素２００ｂの画素信号を用いて、画素２００ａの画素信号を補正することにより、時間依存性のノイズが除去された高品位な画像を得ることができる。

（第２の実施形態）
図４は、本発明の第２の実施形態に係る撮像素子１０１の画素２００の配置例を示す図である。撮像素子１０１は、行列状に配列された複数の画素２００を有する。撮像素子１０１は、遮光された複数の画素２００のオプティカルブラック領域（ＯＢ領域）４０１と、遮光されていない複数の画素２００の有効領域４０２とを有する。ＯＢ領域４０１の画素２００はＯＢ画素であり、有効領域４０２の画素２００は有効画素である。撮像素子１０１では、画素信号を読み出すための画素２００ａの２行と、補正用信号を読み出すための画素２００ｂの２行とが交互に繰り返し配置されている。ＯＢ領域４０１および有効領域４０２は、それぞれ、画素信号を読み出すための画素２００ａと、補正用信号を読み出すための画素２００ｂとを有する。

信号処理回路１０３は、撮像素子１０１から、行単位で、全ての行の画素２００ａの画素信号および画素２００ｂの補正用信号を読み出す。具体的には、まず、信号処理回路１０３は、撮像素子１０１から第１行の画素２００ａの画素信号と第３行の画素２００ｂの補正用信号を読み出し、列ごとに、第３行の画素２００ｂの補正用信号を用いて、第１行の画素２００ａの画素信号の補正を行う。続いて、信号処理回路１０３は、撮像素子１０１から第２行の画素２００ａの画像信号と第４行の画素２００ｂの補正用信号を読み出し、列ごとに、第４行の画素２００ｂの補正用信号を用いて、第２行の画素２００ａの画素信号の補正を行う。以下、同様に、信号処理回路１０３は、第５行以降の処理を繰り返すことによって、画像全体の補正された画像信号が得られる。

以上のように、撮像装置１００は、一部の行の画素２００ａから画素信号を読み出し、他の行の画素２００ｂから補正用信号を読み出す。撮像装置１００は、画素信号を読み出す画素２００ａと補正用信号を読み出す画素２００ｂが互いに近接しているため、時間依存性と空間依存性の高いノイズが予想される場合に効果的に補正することができる。

（第３の実施形態）
第１および第２の実施形態では、撮像素子１０１は、常に画素信号と補正用信号を得るために複数の出力線２０９および２１０を駆動しているため、大きな電力を必要とする。本発明の第３の実施形態では、撮像装置１００は、ノイズ源の動作により、外来ノイズの混入が想定しうる場合においてのみ、前述の補正用信号を得るように撮像素子１０１を駆動する。例えば、ノイズ源の動作は、撮影レンズ１１１の駆動である。具体的には、撮像装置１００は、動画撮影中に撮影レンズ１１１のオートフォーカス（ＡＦ）動作により大きな電流変動を生じた場合に、撮影レンズ１１１内のコイルから漏れる交流磁界が画像に現れることを抑制する。交流磁界は誘導起電力を発生させるため、本来あるべき電圧が読み出されず、その結果、画像にノイズとして現れることがある。

図５は、本発明の第３の実施形態に係る撮像装置１００の制御方法を示すタイミングチャートである。撮像装置１００の構成は、図１および図２と同様である。以下、本実施形態が第１および第２の実施形態と異なる点を説明する。

全体制御・演算回路１０４は、ユーザの指示を受けて動画撮影を開始し、所定のフレームレートに応じた垂直同期信号Ｖｓｙｎｃを出力する。図５の例では、垂直同期信号Ｖｓｙｎｃは、立ち下がりエッジで定義している。動画のフレームは、垂直同期信号Ｖｓｙｎｃごとに生成される。

まず、第１フレームでは、全体制御・演算回路１０４は、ＡＦ評価値を算出できていないため、撮影レンズ１１１の駆動を停止している。この場合、タイミング発生回路１０２は、出力線２１０の電流源２１２を停止状態（オフ状態）にし、出力線２０９だけで全画素の読み出しを行うように撮像素子１０１を駆動する。第２フレームおよび第３フレームも第１フレームと同様である。

第１～第３フレームは、撮影レンズ１１１が駆動しないフレームであり、ノイズ源が動作しないフレームである。以下、第１～第３フレームの各々の動作を、図３を参照しながら、図３との相違点を説明する。画素２００ａの動作は、図３と同じである。画素２００ｂは、選択パルス信号φＳＥＬ２（ｎ）がローレベルであり、出力線２１０に信号を出力しない。電流源２１１はオン状態であり、電流源２１２はオフ状態である。時刻ｔ３０３～ｔ３０６の期間では、画素２００ａは、リセット解除に基づくＮ信号を出力線２０９に出力し、画素２００ｂは、信号を出力しない。時刻ｔ３０６～ｔ３０８の期間では、画素２００ａは、光電変換に基づくＳ信号を出力線２０９に出力し、画素２００ｂは、信号を出力しない。以上が第ｍ行の画素２００ａの処理である。

その後、第ｎ行の画素２００ｂは、第１～第３フレームの各々において、信号を出力してもよい。画素２００ｂは、図３の画素２００ａと同様の処理を行う。時刻ｔ３０３～ｔ３０６では、画素２００ｂは、行選択スイッチ２０７ｂを介して、リセット解除に基づくＮ信号を出力線２０９に出力することができる。時刻ｔ３０６～ｔ３０８では、画素２００ｂは、行選択スイッチ２０７ｂを介して、光電変換に基づくＳ信号を出力線２０９に出力することができる。

続いて、第３フレームの途中で、全体制御・演算回路１０４は、ＡＦ評価値に基づいて、撮影レンズ１１１を駆動するためのレンズ駆動命令を発行し、タイミング発生回路１０２およびレンズ駆動回路１１０はレンズ駆動命令を入力する。レンズ駆動回路１１０は、レンズ駆動命令を入力すると、次の垂直同期信号Ｖｓｙｎｃがローレベルとなる第４フレームのタイミングで、撮影レンズ１１１を駆動する。この際、レンズ駆動回路１１０は、撮影レンズ１１１を駆動するために大きな電流変動が生じるため、画像にノイズが現れる可能性がある。そこで、タイミング発生回路１０２は、レンズ駆動命令を入力すると、次の第４フレームで、第１の実施形態で示した複数の出力線２０９および２１０での読み出しを行うように撮像素子１０１を駆動する。

第４フレームでも、全体制御・演算回路１０４は、ＡＦ評価値に基づいて、撮影レンズ１１１を駆動するためのレンズ駆動命令を発行する。レンズ駆動回路１１０は、レンズ駆動命令を入力すると、次の第５フレームで、撮影レンズ１１１を駆動する。タイミング発生回路１０２は、レンズ駆動命令を入力すると、次の第５フレームで、第１の実施形態で示した複数の出力線２０９および２１０での読み出しを行うように撮像素子１０１を駆動する。

第５フレームでも、全体制御・演算回路１０４は、ＡＦ評価値に基づいて、撮影レンズ１１１を駆動するためのレンズ駆動命令を発行する。レンズ駆動回路１１０は、レンズ駆動命令を入力すると、次の第６フレームで、撮影レンズ１１１を駆動する。タイミング発生回路１０２は、レンズ駆動命令を入力すると、次の第６フレームで、第１の実施形態で示した複数の出力線２０９および２１０での読み出しを行うように撮像素子１０１を駆動する。

第４～第６フレームは、撮影レンズ１１１が駆動するフレームであり、ノイズ源が動作するフレームである。第４～第６フレームの各々では、撮像装置１００は、第１の実施形態（図３）と同じ動作を行う。電流源２１１および２１２は、オン状態である。時刻ｔ３０３～ｔ３０６の期間では、画素２００ａは、リセット解除に基づくＮ信号を出力線２０９に出力し、画素２００ｂは、リセット解除に基づくＮ信号を出力線２１０に出力する。時刻ｔ３０６～ｔ３０８の期間では、画素２００ａは、光電変換に基づくＳ信号を出力線２０９に出力し、画素２００ｂは、リセット解除に基づくＮ信号を出力線２１０に出力する。

第６フレームの途中で、全体制御・演算回路１０４は、ＡＦ評価値に基づいて、撮影レンズ１１１の駆動を停止するためのレンズ停止命令を発行する。レンズ駆動回路１１０は、レンズ停止命令を入力すると、次の第７フレームで、撮影レンズ１１１の駆動を停止する。タイミング発生回路１０２は、レンズ駆動命令を入力すると、次の第７フレームで、出力線２１０の電流源２１２を停止状態（オフ状態）にし、出力線２０９だけで全画素の読み出しを行うように撮像素子１０１を駆動する。これにより、撮像素子１０１の電力を低減する。

第７～第１０フレームでは、全体制御・演算回路１０４は、レンズ駆動命令もレンズ停止命令も発行しない。第８～第１０フレームでは、第７のフレームと同様に、レンズ駆動回路１１０は、撮影レンズ１１１の駆動を停止する。タイミング発生回路１０２は、出力線２１０の電流源２１２を停止状態（オフ状態）にし、出力線２０９だけで全画素の読み出しを行うように撮像素子１０１を駆動する。

第７～第１０フレームは、撮影レンズ１１１が駆動しないフレームであり、ノイズ源が動作しないフレームである。第７～第１０フレームの動作は、第１～第３フレームの動作と同様である。

以上のように、撮像装置１００は、ノイズ発生が見込まれる場合にのみ、複数の出力線２０９および２１０を用いた読み出しを行うことで、電力を抑えながら時間依存性のノイズが除去された高品位な画像を得ることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。撮像装置１００は、撮像素子１０１と信号処理回路１０３を別々の構成として説明したが、画像処理高速化のために撮像素子１０１に信号処理回路１０３を積層させた積層型の撮像素子でも実現可能である。撮像装置１００は、デジタルカメラ、ビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラ、車載カメラ等に適用可能である。

１１１ 撮影レンズ、２００ 画素、２０１ フォトダイオード、２０２ 転送スイッチ、２０３ リセットスイッチ、２０４ フローティングディフュージョン、２０５ 行選択スイッチ、２０６ ソースフォロアトランジスタ、２０９，２１０ 出力線、２１１，２１２ 電流源

Claims (9)

1. 第１の光電変換部を有する第１の画素と、
   第２の光電変換部を有する第２の画素と、
   第１の期間では、前記第１の画素のリセット解除に基づく第１の信号と前記第２の画素のリセット解除に基づく第２の信号を出力し、第２の期間では、前記第１の画素の光電変換に基づく第３の信号と前記第２の画素のリセット解除に基づく第４の信号を出力するように制御する制御手段と、
   前記第３の信号と前記第１の信号との差分から、前記第４の信号と前記第２の信号との差分を減算することによって、前記第３の信号と前記第１の信号との差分を補正する補正手段と
   を有し、
   前記制御手段は、
   ノイズ源が動作するフレームでは、前記第１の期間では、前記第１の画素のリセット解除に基づく第１の信号と前記第２の画素のリセット解除に基づく第２の信号を出力し、前記第２の期間では、前記第１の画素の光電変換に基づく第３の信号と前記第２の画素のリセット解除に基づく第４の信号を出力するように制御し、
   ノイズ源が動作しないフレームでは、前記第１の期間では、前記第１の画素のリセット解除に基づく第１の信号を出力し、前記第２の期間では、前記第１の画素の光電変換に基づく第３の信号を出力するように制御し、
   動画撮影中に前記ノイズ源が動作するフレームと前記ノイズ源が動作しないフレームとで制御を切り替えることを特徴とする撮像装置。
2. 前記第１の画素は、
   光を電荷に変換する前記第１の光電変換部と、
   第１の蓄積部と、
   前記第１の光電変換部により変換された電荷を前記第１の蓄積部に転送する第１の転送スイッチとを有し、
   前記第１の画素は、前記第１の蓄積部の電荷量に応じた信号を出力し、
   前記第２の画素は、
   光を電荷に変換する前記第２の光電変換部と、
   第２の蓄積部と、
   前記第２の光電変換部により変換された電荷を前記第２の蓄積部に転送する第２の転送スイッチとを有し、
   前記第２の画素は、前記第２の蓄積部の電荷量に応じた信号を出力することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、
   前記第１の期間では、前記第１の画素の前記第１の転送スイッチのオフ状態で前記第１の蓄積部のリセット解除に基づく第１の信号を出力し、前記第２の画素の前記第２の転送スイッチのオフ状態で前記第２の蓄積部のリセット解除に基づく第２の信号を出力し、
   前記第２の期間では、前記第１の画素の前記第１の転送スイッチのオン状態で前記第１の光電変換部の光電変換に基づく第３の信号を出力し、前記第２の画素の前記第２の転送スイッチのオフ状態で前記第２の蓄積部のリセット解除に基づく第４の信号を出力するように制御することを特徴とする請求項２に記載の撮像装置。
4. 第１の出力線と、
   第２の出力線とをさらに有し、
   前記制御手段は、
   ノイズ源が動作するフレームでは、前記第１の期間では、前記第１の画素のリセット解除に基づく第１の信号を前記第１の出力線に出力し、前記第２の画素のリセット解除に基づく第２の信号を前記第２の出力線に出力し、前記第２の期間では、前記第１の画素の光電変換に基づく第３の信号を前記第１の出力線に出力し、前記第２の画素のリセット解除に基づく第４の信号を前記第２の出力線に出力するように制御し、
   ノイズ源が動作しないフレームでは、前記第１の期間では、前記第１の画素のリセット解除に基づく第１の信号を前記第１の出力線に出力し、前記第２の期間では、前記第１の画素の光電変換に基づく第３の信号を前記第１の出力線に出力するように制御することを特徴とする請求項１～３のいずれか１項に記載の撮像装置。
5. 前記第１の光電変換部を含む前記第１の画素の行と、
   前記第２の光電変換部を含む前記第２の画素の行とを有し、
   前記補正手段は、列ごとに補正することを特徴とする請求項１～４のいずれか１項に記載の撮像装置。
6. 前記第１の画素の２行と前記第２の画素の２行とが交互に配置されていることを特徴とする請求項５に記載の撮像装置。
7. 前記第１の出力線に接続される第１の電流源と、
   前記第２の出力線に接続される第２の電流源とをさらに有し、
   前記ノイズ源が動作するフレームでは、前記第１の電流源と前記第２の電流源がオン状態になり、
   前記ノイズ源が動作しないフレームでは、前記第１の電流源がオン状態になり、前記第２の電流源がオフ状態になることを特徴とする請求項４に記載の撮像装置。
8. 前記ノイズ源が動作するフレームは、レンズが駆動するフレームであり、
   前記ノイズ源が動作しないフレームは、レンズが駆動しないフレームであることを特徴とする請求項１～７のいずれか１項に記載の撮像装置。
9. 第１の光電変換部を有する第１の画素と、
   第２の光電変換部を有する第２の画素とを有する撮像装置の制御方法であって、
   第１の期間では、前記第１の画素のリセット解除に基づく第１の信号と前記第２の画素のリセット解除に基づく第２の信号を出力し、第２の期間では、前記第１の画素の光電変換に基づく第３の信号と前記第２の画素のリセット解除に基づく第４の信号を出力するように制御する制御ステップと、
   前記第３の信号と前記第１の信号との差分から、前記第４の信号と前記第２の信号との差分を減算することによって、前記第３の信号と前記第１の信号との差分を補正するステップと
   を有し、
   前記制御ステップにおいては、
   ノイズ源が動作するフレームでは、前記第１の期間では、前記第１の画素のリセット解除に基づく第１の信号と前記第２の画素のリセット解除に基づく第２の信号を出力し、前記第２の期間では、前記第１の画素の光電変換に基づく第３の信号と前記第２の画素のリセット解除に基づく第４の信号を出力するように制御し、
   ノイズ源が動作しないフレームでは、前記第１の期間では、前記第１の画素のリセット解除に基づく第１の信号を出力し、前記第２の期間では、前記第１の画素の光電変換に基づく第３の信号を出力するように制御し、
   動画撮影中に前記ノイズ源が動作するフレームと前記ノイズ源が動作しないフレームとで制御を切り替えることを特徴とする撮像装置の制御方法。

Images