JP6010943B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

撮像装置の一例であるデジタルカメラは、静止画像の撮影機能の他、動画像の撮影機能を備えている。このデジタルカメラにおいては静止画像の画質向上を図るうえで、高画素化された固体撮像素子が搭載されている。この固体撮像素子として、赤（Ｒ）色、緑（Ｇ）色及び青（Ｂ）色を市松状に配置したベイヤー配列のカラーフィルタアレイを備えた単板式カラーセンサが用いられている。このようなデジタルカメラを用いて静止画像を撮影する場合には、固体撮像素子に配列される全ての画素に対して信号の読み出しを行っている。一方、動画像を撮影する場合には、動画像を取得する際のフレームレートや、動画像のファイルフォーマットに対応するために、固体撮像素子に配列される画素のうち、同色画素を、例えば間引き読出しなどの手法を用いて信号を読み出している。
ところで、上述した単板式カラーセンサからなる固体撮像素子から出力される各画素の信号は、赤（Ｒ）色、緑（Ｇ）色及び青（Ｂ）色のいずれかの色成分の信号である。このため、出力された信号に対して色補間処理を施し、Ｒ色、Ｇ色及びＢ色の全ての色成分の信号を生成している。例えば、撮像光学系が静止画像の解像感に最適化されているデジタルカメラを用いて動画像を撮影した場合には、撮像光学系が合焦に近い状態となっている時に、間引き読出しにより得られる信号に対して色補間処理を施すと、モアレや偽色が発生してしまう原因となる。これらモアレや偽色の発生を防止するために、例えば加算間引き読出し時に読み出す画素の範囲を広げることでローパスフィルタの効果を付与することも提案されている（特許文献１参照）。

特許３８７７６９５号公報

しかしながら、上述した特許文献１の発明では、モアレや偽色の発生は抑えられるものの、得られた動画像における解像感が低下してしまうという問題がある。

本発明は、モアレや偽色の発生を抑えつつ、動画像における解像感の低下を防止することができるようにした撮像装置を提供することを目的とする。

上述した課題を解決するために、本発明の撮像装置は、第１の色の光を受光する第１の受光部と前記第１の受光部からの信号を増幅する第１の増幅部を有する第１の画素と、第２の色の光を受光する第２の受光部と前記第２の受光部からの信号を増幅する第２の増幅部を有する第２の画素と、第１の位置から前記第１の画素の距離と前記第１の位置から前記第２の画素の距離とにより、前記第１の増幅部の増幅率と前記第２の増幅部の増幅率とを設定する増幅制御部と、複数の前記第１の画素からの信号を加算し、複数の前記第２の画素からの信号を加算する回路とを備える。

また、本発明の撮像装置は、第１の色の光を受光する第１の受光部と前記第１の受光部からの信号を増幅する第１の増幅部を有する第１の画素と、第２の色の光を受光する第２の受光部と前記第２の受光部からの信号を増幅する第２の増幅部を有する第２の画素と、第３の色の光を受光する第３の受光部と前記第３の受光部からの信号を増幅する第３の増幅部を有する第３の画素と、第１の位置から前記第１の画素の距離と、前記第１の位置から前記第２の画素の距離と第３の位置から前記第３の画素の距離とにより、前記第１の増幅部の増幅率と前記第２の増幅部の増幅率と前記第３の増幅部の増幅率とを設定する増幅制御部と、複数の前記第１の画素からの信号を加算し、複数の前記第２の画素からの信号を加算し、複数の前記第２の画素からの信号を加算する回路とを備える。

本発明によれば、モアレや偽色の発生を抑えつつ、動画像における解像感の低下を防止することができる。

撮像装置の一例を示す機能ブロック図である。 第１実施形態における撮像素子の構成を示す図である。 画素の構成を示す図である。 撮像素子上の画素と、加算間引き読出しにより読み出された動画像の画素との位置関係を示す図である。 読出範囲に含まれる各画素の重みを示す図である。 撮像素子上の座標（ｉ，ｊ）にあるＲ色画素を基準画素とした読出範囲を説明する図である。 撮像素子上の座標（ｉ＋３，ｊ）にあるＧｒ色画素を基準画素とした読出範囲を説明する図である。 撮像素子上の座標（ｉ，ｊ＋３）にあるＧｂ色画素を基準画素とした読出範囲を説明する図である。 撮像素子上の座標（ｉ＋３，ｊ＋３）にあるＢ色画素を基準画素とした読出範囲を説明する図である。 単純加算平均を用いた加算間引き読出しを行った動画像の各画素における色成分の重心位置と、撮像素子上の画素における重心位置とを示す図である。 第３実施形態における撮像素子の構成を示す図である。 第３実施形態における、撮像素子上の画素と、加算間引き読出しにより読み出された動画像の画素との位置関係を示す図である。 第４の実施形態における、撮像素子上の画素と、加算間引き読出しにより読み出された動画像の画素との位置関係を示す図である。 読出範囲に含まれる各画素の重みの例を示す図である。 読出範囲に含まれる各画素の重みの例を示す図である。 読出範囲に含まれる各画素の重みの例を示す図である。 画像処理装置の一例を示す図である。 画像処理プログラムにおける処理の一例を示すフローチャートである。

以下、本発明の実施の形態について説明する。図１は、本実施形態の撮像装置の一例を示す機能ブロック図である。撮像装置１０は、撮像光学系１５、撮像素子１６、操作部材１７、レンズ駆動回路１８、測光回路１９、ＣＰＵ２０、撮像素子駆動回路２１、Ａ／Ｄ変換器２２、画像処理回路２３、液晶モニタ２４、圧縮伸長処理回路２５、表示出力回路２６、記憶媒体２７を備えている。

不図示の被写体の像は、撮像光学系１５によって、撮像素子１６の撮像面上に結像される。撮像光学系１５は、複数枚のレンズで構成され、操作部材１７の操作などに基づいて、レンズ駆動回路１８を介して、フォーカス、ズームなどの調整が可能な構成とされている。

撮像素子１６は、例えばＣＭＯＳイメージセンサが用いられる。このＣＭＯＳイメージセンサは、例えば赤（Ｒ）色、緑（Ｇ）色及び青（Ｂ）色のカラーフィルタを市松状に配置したベイヤー配列のカラーフィルタアレイを備えた単板式カラーセンサが用いられる。この撮像素子１６は、静止画像の単写撮像とともに、静止画像の連続撮像、及び動画像の撮像が可能な撮像素子である。この撮像素子１６は、測光回路１９で得られた被写体の測光データに基づいて、ＣＰＵ２０の制御のもとで、撮像素子駆動回路２１によって駆動される。撮像素子１６により読み出された画像信号は、Ａ／Ｄ変換器２２に入力される。

Ａ／Ｄ変換器２２は、撮像素子１６から読み出されたアナログの画像信号に対してＡ／Ｄ変換処理を施し、デジタルの画像信号に変換する。デジタルの画像信号は、画像処理回路２３に入力される。

画像処理回路２３は、入力された画像信号に対して、ホワイトバランス処理、γ変換処理、エッジ強調処理などの画像処理を施す。この画像処理回路２３は、必要に応じて、入力される画像信号に対して、色空間変換処理を実行する。

また、画像処理回路２３は、液晶モニタ２４に表示を行うための解像度（画素数）変換処理を施し、圧縮伸長処理回路２５及び表示出力回路２６に出力する。表示出力回路２６は、画像処理回路２３から入力された画像信号に所定の信号処理を施し、液晶モニタ２４に出力する。なお、表示出力回路２６は、さらに、ＣＰＵ２０の制御に基づいて、必要に応じて、画像処理回路２３から出力された画像信号に、撮影メニュー、カーソルなどのオーバーレイ画像信号を重畳する処理を行う。これにより、液晶モニタ２４には、被写体画像にオーバーレイ画像が重畳されて表示される。

圧縮伸長処理回路２５は、入力された画像信号に対して圧縮処理を施し、記憶媒体２７に記憶する。また、この他に、圧縮伸長処理回路２５は、記憶媒体２７に記憶された画像信号が読み出されたときに、読み出された画像信号に対して復号化処理を施し、画像処理回路２３および表示出力回路２６を介して、液晶モニタ２４に供給する。

ＣＰＵ２０は、操作部材１７の一部を構成するレリーズボタンの操作に基づいて、撮像画面上に設定された領域（ＡＦエリア）の画像信号を抽出し、該領域のコントラスト値（もしくは、該領域の高空間周波数成分量）を算出し、算出結果をもとに、撮像素子１６の撮像面上における被写体像のフォーカス状態を調整する、いわゆるコントラストＡＦ動作を行う。

また、ＣＰＵ２０は、撮像光学系１５を駆動し、順次得られる画像信号を画像内の被写体毎に解析し、領域内のコントラスト値が最大となった際のレンズ位置をもとに、被写体毎の撮影距離情報を取得する。

なお、自動合焦動作として、コントラストＡＦ動作を例に挙げているが、これに限定される必要はなく、周知の瞳分割方式の位相差ＡＦ動作を用いることも可能である。この場合にも、自動合焦点動作によって、各領域の撮影距離情報を得ることができる。

ＣＰＵ２０は、操作部材１７の一部を構成するズーム操作部材の操作に基づいて、レンズ駆動回路１８を介して撮像光学系１５を駆動し、撮像素子１６の撮像面上に結像される被写体像を拡大、又は縮小する、光学的なズーム動作を実行する。さらに、ＣＰＵ２０は、操作部材１７の一部を構成するズーム操作部材の操作に基づいて、撮像素子１６により得られる画像信号、又は記憶媒体２７に記憶される画像信号を、画像処理回路２３による解像度（画素数）変換処理によって拡大または縮小する電気的なズーム動作を制御する。

次に、撮影により得られる動画像のサイズ（画像サイズ）が、静止画像の画像サイズに対して、水平方向及び垂直方向にそれぞれ１／３倍の画像サイズに設定される場合について、第１実施形態と称して説明する。

＜第１実施形態＞
まず、第１実施形態における撮像素子の構成について図２を用いて説明する。図２に示すように、撮像素子１６は、画素部４１、プリチャージ部４２ａ，４２ｂ、切替え部４３ａ，４３ｂ、垂直走査回路４４、水平走査回路４５ａ，４５ｂを備えている。

画素部４１は、複数の画素が水平方向である行方向と垂直方向である列方向とに２次元に配置される。なお、図２において、「Ｒ」は、赤（Ｒ）色のカラーフィルタが配置される画素、「Ｇ」は、緑（Ｇ）色のカラーフィルタが配置される画素、「Ｂ」は、青（Ｂ）色のカラーフィルタが配置される画素である。以下、赤（Ｒ）色のカラーフィルタが配置される画素をＲ色画素、緑（Ｇ）色のカラーフィルタが配置される画素をＧ色画素、青（Ｂ）色のカラーフィルタが配置される画素をＢ色画素と称して説明する。

この撮像素子１６においては、同一列に配置される画素に対して、２本の垂直信号線４７ａ，４７ｂが設けられている。各画素に設けられるカラーフィルタは、Ｒ色、Ｇ色、Ｂ色の各色カラーフィルタが２×２の配列パターンによるベイヤー配列にて配列された構成からなる。例えば、Ｒ色画素、Ｇ色画素が交互に配置される列（奇数の列）においては、垂直信号線４７ａはＲ色画素と接続され、垂直信号線４７ｂはＧ色画素と接続される。また、Ｇ色画素、Ｂ色画素が交互に配置される列（偶数の列）においては、垂直信号線４７ａはＢ色画素と接続され、垂直信号線４７ｂはＧ色画素と接続される。

プリチャージ部４２ａ，４２ｂは、各垂直信号線４７ａ，４７ｂにソース電極が接続されたプリチャージトランジスタＰＲＥと、プリチャージトランジスタＰＲＥのゲート電圧に制御信号φＰＲＥを供給する行信号線とを含む。各プリチャージトランジスタＰＲＥのドレイン電極には、プリチャージ電圧Ｖｐｒｅが供給される。各列に設けられる垂直信号線４７ａ，４７ｂは、各画素から電圧信号（画素信号）を読み出す前に、対応のプリチャージトランジスタＰＲＥを介して所定のプリチャージ電圧Ｖｐｒｅにプリチャージされる。

切替え部４３ａは、コンデンサＣＤ１、加算トランジスタＡＤＤ_１，ＡＤＤ_２，ＡＤＤ_３，ＡＤＤ_４，ＡＤＤ_５，ＡＤＤ_６、スイッチングトランジスタＳＷ１、制御信号φＡＤＤ_１、φＡＤＤ_２、φＡＤＤ_３，φＡＤＤ_４，φＡＤＤ_５，φＡＤＤ_６、制御信号φＬＩＮＥ１，φＬＩＮＥ２，φＬＩＮＥ３，φＬＩＮＥ４を供給する１０本の行信号線とから構成される。コンデンサＣＤ１は、画素部４１に設けられる複数の画素のうち、各列に配置されるＧ色画素から垂直信号線４７ｂに出力された電圧信号を保持する。

加算トランジスタＡＤＤ_１は、６Ｒ−５（Ｒ＝１，２，３・・）列目の垂直信号線４７ｂと、６Ｒ−４列目の垂直信号線４７ｂとのそれぞれに接続される。この加算トランジスタＡＤＤ_１は、制御信号φＡＤＤ_１が出力されることでオンとなり、６Ｒ−５列目の垂直信号線４７ｂと６Ｒ−４列目の垂直信号線４７ｂとを短絡させる。

加算トランジスタＡＤＤ_２は、６Ｒ−４列目の垂直信号線４７ｂと６Ｒ−３列目の垂直信号線４７ｂとのそれぞれに接続される。この加算トランジスタＡＤＤ_２は、制御信号φＡＤＤ_２が出力されることでオンとなり、６Ｒ−４列目の垂直信号線４７ｂと６Ｒ−３列目の垂直信号線４７ｂとを短絡させる。

加算トランジスタＡＤＤ_３は、６Ｒ−３列目の垂直信号線４７ｂと６Ｒ−２列目の垂直信号線４７ｂとのそれぞれに接続される。この加算トランジスタＡＤＤ_３は、制御信号φＡＤＤ_３が出力されることでオンとなり、６Ｒ−３列目の垂直信号線４７ｂと６Ｒ−２列目の垂直信号線４７ｂとを短絡させる。

加算トランジスタＡＤＤ_４は、６Ｒ−２列目の垂直信号線４７ｂと６Ｒ−１列目の垂直信号線４７ｂとのそれぞれに接続される。この加算トランジスタＡＤＤ_４は、制御信号φＡＤＤ_４が出力されることでオンとなり、６Ｒ−２列目の垂直信号線４７ｂと６Ｒ−１列目の垂直信号線４７ｂとを短絡させる。

加算トランジスタＡＤＤ_５は、６Ｒ−１列目の垂直信号線４７ｂと６Ｒ列目の垂直信号線４７ｂとのそれぞれに接続される。この加算トランジスタＡＤＤ_５は、制御信号φＡＤＤ_５が出力されることでオンとなり、６Ｒ−１列目の垂直信号線４７ｂと６Ｒ列目の垂直信号線４７ｂとを短絡させる。

加算トランジスタＡＤＤ_６は、６Ｒ列目の垂直信号線４７ｂと６Ｒ＋１列目の垂直信号線４７ｂとのそれぞれに接続される。この加算トランジスタＡＤＤ_６は、制御信号φＡＤＤ_６が出力されることでオンとなり、６Ｒ列目の垂直信号線４７ｂと６Ｒ＋１列目の垂直信号線４７ｂとを短絡させる。

スイッチングトランジスタＳＷ１は、列ごとに読み出した電圧信号を読み出す。例えば、４Ｓ−３（Ｓ＝１，２，３，・・・）列に配置されるスイッチトランジスタＳＷ１のゲート電極には信号φＬＩＮＥ１が入力され、４Ｓ−２列に配置されるスイッチトランジスタＳＷ１のゲート電極には信号φＬＩＮＥ２が入力される。また、４Ｓ−１列に配置されるスイッチトランジスタＳＷ１のゲート電極には信号φＬＩＮＥ３が入力され、４Ｓ列に配置されるスイッチトランジスタＳＷ１のゲート電極には信号φＬＩＮＥ４が入力される。このスイッチングトランジスタＳＷ１がオンとなることにより、対応する列のコンデンサＣＤ１に保持される電圧信号がカラムアンプＣＡＭＰ１に出力される。

切替え部４３ｂは、コンデンサＣＤ２、加算トランジスタＡＤＤ_７，ＡＤＤ_８，ＡＤＤ_９，ＡＤＤ_１０、スイッチングトランジスタＳＷ２、制御信号φＡＤＤ_７，φＡＤＤ_８，φＡＤＤ_９，φＡＤＤ_１０、制御信号φＬＩＮＥ５，φＬＩＮＥ６，φＬＩＮＥ７、φＬＩＮＥ８を供給する８本の行信号線とから構成される。コンデンサＣＤ２は、画素部４１に設けられる複数の画素のうち、各列に配置されるＲ色画素、又はＢ色画素から垂直信号線４７ａに出力された電圧信号を保持する。

加算トランジスタＡＤＤ_７は、６Ｒ−５列目の垂直信号線４７ａと、６Ｒ−３列目の垂直信号線４７ａとに接続される。この加算トランジスタＡＤＤ_７は、制御信号φＡＤＤ_７が出力されることでオンとなり、６Ｒ−５列目の垂直信号線４７ａと６Ｒ−３列目の垂直信号線４７ａとを短絡させる。

加算トランジスタＡＤＤ_８は、６Ｒ−４列目の垂直信号線４７ａと、６Ｒ−２列目の垂直信号線４７ａとに接続される。この加算トランジスタＡＤＤ_８は、制御信号φＡＤＤ_８が出力されることでオンとなり、６Ｒ−４列目の垂直信号線４７ａと６Ｒ−２列目の垂直信号線４７ａとを短絡させる。

加算トランジスタＡＤＤ_９は、６Ｒ−２列目の垂直信号線４７ａと、６Ｒ列目の垂直信号線４７ａとに接続される。この加算トランジスタＡＤＤ_９は、制御信号φＡＤＤ_９が出力されることでオンとなり、６Ｒ−２列目の垂直信号線４７ａ、６Ｒ列目の垂直信号線４７ａを短絡させる。

加算トランジスタＡＤＤ_１０は、６Ｒ−１列目の垂直信号線４７ａと、６Ｒ＋１列目の垂直信号線４７ａとに接続される。この加算トランジスタＡＤＤ_１０は、制御信号φＡＤＤ_１０が出力されることでオンとなり、６Ｒ−１列目の垂直信号線４７ａ、６Ｒ＋１列目の垂直信号線４７ａを短絡させる。

スイッチングトランジスタＳＷ２は、列ごとに読み出した電圧信号を読み出す。ここで、４Ｓ−３列に配置されるスイッチトランジスタＳＷ２のゲート電極には制御信号φＬＩＮＥ５が入力され、４Ｓ−２列に配置されるスイッチトランジスタＳＷ２のゲート電極には信号φＬＩＮＥ６が入力される。また、４Ｓ−１列に配置されるスイッチトランジスタＳＷ２のゲート電極には信号φＬＩＮＥ７が入力され、４Ｓ列に配置されるスイッチトランジスタＳＷ２のゲート電極には信号φＬＩＮＥ８が入力される。このスイッチングトランジスタＳＷ２がオンとなることにより、対応する列のコンデンサＣＤ２に保持される電圧信号がカラムアンプＣＡＭＰ２に出力される。

カラムアンプＣＡＭＰ１及びカラムアンプＣＡＭＰ２は、対応の垂直信号線に接続された各画素から出力された電圧信号を受ける。各画素からは、入射光を受光した際の光電変換によって得られる電荷量に応じた電圧信号（光信号）と、光電変換によって生成された電荷がリセットされたときの電圧信号（暗信号）とを出力する。これらカラムアンプＣＡＭＰ１，ＣＡＭＰ２は、光信号と暗信号とをサンプルホールドし、光信号と暗信号との差分を示す差分信号を増幅して出力する。

垂直走査回路４４は、図示を省略した信号生成回路とバッファ回路とを備え、制御信号φＴＸ、制御信号φＲＳＴ、制御信号φＳＷ３及び制御信号φＧＡＩＮの各信号や電源ＶＣＣを、画素部４１に２次元に配置される各画素に対して行毎に供給する。

水平走査回路４５ａは、プリチャージ部４２ａに対して制御信号φＰＲＥや、電源Ｖｐｒｅを供給する。また、水平走査回路４５ａは、切替え部４３ａに対して制御信号φＡＤＤ_１，φＡＤＤ_２，φＡＤＤ_３，φＡＤＤ_４，φＡＤＤ_５，φＡＤＤ_６，制御信号φＬＩＮＥ１，φＬＩＮＥ２，φＬＩＮＥ３，φＬＩＮＥ４の各信号を供給する。

同様にして、水平走査回路４５ｂは、プリチャージ部４２ｂに対して制御信号φＰＲＥや電源Ｖｐｒｅを供給する。また、水平走査回路４５ｂは、切替え部４３ｂに対して制御信号φＡＤＤ_７，φＡＤＤ_８，φＡＤＤ_９，φＡＤＤ_１０，制御信号φＬＩＮＥ５、φＬＩＮＥ６，φＬＩＮＥ７、φＬＩＮＥ８の各信号を供給する。

次に、撮像素子１６の画素部４１に配置される画素の構成について、図３を用いて説明する。撮像素子１６の画素Ｐは、フォトダイオードＰＤ、転送トランジスタＴＸ、フローティングディフュージョンＦＤ、増幅トランジスタＡＭＩ、リセットトランジスタＲＳＴ、電流源ＩＳＳ、スイッチングトランジスタＳＷ３、アンプＡＭＰを備えている。

フォトダイオードＰＤは、入射光を光電変換することにより、入射光の受光量に応じた電荷を生成する。転送トランジスタＴＸは、ゲート電極に供給される制御信号φＴＸに応答して、フォトダイオードＰＤにて生成された電荷をフローティングディフュージョンＦＤに転送する。フローティングディフュージョンＦＤは、転送トランジスタＴＸから転送された電荷を蓄積する。フローティングディフュージョンＦＤの電位は、蓄積された電荷量に応じて決まる。

増幅トランジスタＡＭＩは、そのドレイン電極が電源ノードＶＣＣに接続され、そのゲート電圧がフローティングディフュージョンＦＤに接続される。また、増幅トランジスタＡＭＩのソース電極は電流源ＩＳＳに接続される。この増幅トランジスタＡＭＩによりソースフォロアが構成される結果、増幅トランジスタＡＭＩのソース電極には、フローティングディフュージョンＦＤの電位に応じた電圧が生じる。

リセットトランジスタＲＳＴは、電源ノードＶＣＣとフローティングディフュージョンＦＤとの間に接続される。リセットトランジスタＲＳＴは、そのゲート電極に供給される制御信号φＲＳＴに応答してフローティングディフュージョンＦＤの電位をリセットする。

アンプＡＭＰは、増幅トランジスタＡＭＩにより生じる電圧に対して所定のゲインを乗算することで入力される電圧を増幅する。なお、入力される電圧に対して乗算されるゲインについては後述するが、アンプＡＭＰは、例えば撮像素子１６に配置される複数の画素を全て読み出す際に用いるゲインと、撮像素子１６に配置される複数の画素を間引きながら加算して読み出す際に用いるゲインとを切り替えることができるようになっている。なお、このゲインの切り替えは、制御信号φＧＡＩＮの出力の有無により実行される。スイッチングトランジスタＳＷ３は、信号φＳＷ３の出力によりオンとなる。このスイッチングトランジスタＳＷ３がオンとなることで、アンプＡＭＰにより増幅された電圧信号が垂直信号線４７に出力される。

次に、各画素におけるアンプＡＭＰのゲインについて説明する。なお、静止画像を撮影する場合には、全画素読み出しにより撮像素子１６を制御することから、各画素のアンプＡＭＰに対するゲインは１となる。

一方、動画像を撮影する場合には、加算間引き読出しにより撮像素子１６を制御する。上述したように、第１実施形態では、撮影により得られる動画像の画像サイズは、静止画像の画像サイズ（Ｗ×Ｈ）に対して、水平方向及び垂直方向にそれぞれ１／３倍に縮小した、Ｗ／３×Ｈ／３の画像サイズに設定される。

撮像素子１６における各画素の位置を、Ｒ（ｉ，ｊ）、Ｇ（ｉ＋１，ｊ）、Ｇ（ｉ，ｊ＋１）、Ｂ（ｉ＋１，ｊ＋１）等で表す。なお、ｉは水平方向の座標、ｊは垂直方向の座標である。一方、取得される動画像における各画素の位置を、Ｒ’（ｘ，ｙ）、Ｇ’（ｘ，ｙ）、Ｂ’（ｘ，ｙ）等で表す。なお、ｘは水平方向の座標、ｙは垂直方向の座標である。

図４は、加算間引き読出しにより読み出された動画像の画素と、撮像素子１６上の画素の位置関係を示している。図４においては、撮像素子１６の画素部４１に配置される各画素を薄線で示し、動画像の各画素を太線で示している。第１実施形態は、撮像素子１６の画素部４１に配置される画素のうち、４行４列の画素の範囲（ハッチングの範囲）に含まれる同色画素の信号値を加重加算することで、動画像の画素の各色成分の信号値を生成する場合を示す。以下、４行４列の画素の範囲を読出範囲と称し、符号６０を付与する。

読出範囲６０における同色画素の信号値を用いた加重加算は、動画像の画素における各色成分の重心位置が、読出範囲６０における重心位置と一致するように実行される。なお、図４においては、記号「○」で示す位置が読出範囲６０における重心位置である。

加算間引き読出しにより生成される画素における各色成分の重心位置を、読出範囲における重心位置と一致させる方法として、加重加算における各画素の加重係数をガウス分布に基づいて設定することが挙げられる。図５は、４行４列の画素の範囲を読出範囲とした場合に設定される各画素に対する重みの一例である。読出範囲に含まれる各画素の重みは、読出範囲６０の重心位置を中心とするガウス分布に基づいて設定される。

図６に示すように、左上隅にあるＲ色画素を基準にした４行４列の画素の範囲（ハッチングの領域）を読出範囲６０とした場合について考慮する。この読出範囲６０においては、撮像素子１６上の座標（ｉ，ｊ）にあるＲ色画素が基準となる画素（以下、基準画素）として設定される。この場合、動画像における座標（ｘ，ｙ）にある画素のＲ色成分、Ｇ色成分、Ｂ色成分の各信号値は（１）式で表わされる。なお、２×２画素のベイヤー配列においては、Ｇ色画素が２画素含まれることから、以下、Ｇ画素については、Ｇｒ画素、Ｇｂ画素と称する。

ここで、Ｒ’（ｘ，ｙ）、Ｇ’（ｘ，ｙ）、Ｂ’（ｘ，ｙ）はそれぞれ、動画像における座標（ｘ、ｙ）にある画素を示す。つまり、左上隅に位置するＲ色画素を基準画素とした読出範囲６０の場合、読出範囲６０に含まれる各画素のアンプＡＭＰのゲインは、上述した（１）式が成り立つように設定される。

次に、図７に示すように、左上隅にあるＧｒ色画素を基準にした４行４列の画素の範囲（ハッチングの領域）を読出範囲６０とした場合について考慮する。上述したように、撮像素子１６の画素部４１に配置される各色成分の画素は、２×２画素のベイヤー配列となる。一方、動画像においては、全画素読み出しにより読み出される画像のサイズに対して、水平方向及び垂直方向のそれぞれに縮小率が１／３倍の画像のサイズであることを考慮すると、読出範囲６０は図７に示すハッチングの領域となる。ここで、読出範囲６０に含まれる画素のうち、左上隅にあるＧｒ色画素、言い換えれば座標（ｉ＋３，ｊ）にあるＧｒ画素を基準画素としたときには、ｉ＋３列目に配置される画素が再度読み出される。この場合、動画像における座標（ｘ＋１，ｙ）にある画素のＲ色成分、Ｇ色成分、Ｂ色成分の各信号値は、（２）式で表すことができる。

つまり、左上隅にあるＧｒ色画素を基準画素とした読出範囲６０の場合、読出範囲６０に含まれる各画素のアンプＡＭＰのゲインは、上述した（２）式が成り立つように設定される。

次に、図８に示すように、左上隅にあるＧｂ色画素を基準画素とした４行４列の画素の範囲（ハッチングの領域）を読出範囲６０とした場合について考慮する。この場合、読出範囲６０が、図８に示すハッチングの領域となる。ここで、読出範囲６０に含まれる画素のうち、左上隅にあるＧｂ画素、言い換えれば座標（ｉ，ｊ＋３）にあるＧｂ画素を基準画素としたときには、ｊ＋３行目に配置される画素が再度読み出される。この場合、動画像における座標（ｘ、ｙ＋１）にある画素のＲ色成分、Ｇ色成分、Ｂ色成分の各信号値は、（３）式で表すことができる。

つまり、左上隅にあるＧｂ色画素を基準画素とした読出範囲６０の場合、読出範囲６０に含まれる各画素のアンプＡＭＰのゲインは、上述した（３）式が成り立つように設定される。

最後に、図９に示すように、左上隅にあるＢ色画素を基準にした４行４列の画素の範囲（ハッチングの領域）を読出範囲６０とした場合について考慮する。この場合、読出範囲６０が、図９に示すハッチングの領域となる。読出範囲６０に含まれる画素のうち、左上隅にあるＢ画素、言い換えれば座標（ｉ＋３，ｊ＋３）にあるＢ色画素を基準画素としたときには、ｉ＋３列目及びｉ＋３行目に配置される画素が再度読み出される。この場合、動画像における座標（ｘ＋１，ｙ＋１）にある画素のＲ色成分、Ｇ色成分、Ｂ色成分の各信号値は、（４）式で表すことができる。

つまり、左上隅にあるＢ色画素を基準画素とした読出範囲６０の場合、読出範囲６０に含まれる各画素のアンプＡＭＰのゲインは、上述した（４）式が成り立つように設定される。

次に、撮像素子１６から画像信号を読み出す場合の処理について説明する。静止画像の撮影においては、撮像素子１６の画素部４１に配置された複数の画素のそれぞれで蓄積された電荷を、画素毎に読み出す、全画素読み出しにて実行される。この全画素読み出しにおいては、複数の画素を行毎に読み出していく。この全画素読み出しでは、垂直走査回路４４は、制御信号φＧＡＩＮを出力しない。これにより、各画素に設けられたアンプＡＭＰのゲインが１となる。また、水平走査回路４５ａ及び水平走査回路４５ｂは、切替え部４３ａに設けられる各加算トランジスタに対しての制御信号を出力しない。この全画像読み出しにおいては、撮像素子１６から出力される画像信号は、各画素の色成分がＲ色、Ｇ色、Ｂ色のいずれかの色成分からなる画像信号となる。

一方、動画像の撮影においては、撮像素子１６の画素部４１に配置された複数の画素のうち、例えば４行４列の画素の範囲を読出範囲として色成分毎に加重加算により読み出す、加算間引き読出しが行われる。

まず、垂直走査回路４４は、読出範囲に含まれる４行に配置された各画素に対して制御信号φＧＡＩＮを出力する。この出力を受けて、各画素のアンプＡＭＰのゲインが１から加重加算を用いた加算間引き読出し時のゲインの値に切り替わる。なお、切り替わるゲインの値は、上述した（１）式から（４）式のいずれかの式を満たす値である。そして、垂直走査回路４４は、制御信号φＳＷ３を出力する。これにより、読出範囲に含まれる各画素から、アンプＡＭＰにより増幅された電圧信号が対応する垂直信号線に出力される。この垂直信号線に出力された電圧信号は、コンデンサＣＤ１に蓄積される。その後、垂直走査回路４４は、制御信号φＳＷ３の出力を停止する。

水平走査回路４５ａは、制御信号φＡＤＤ_１，φＡＤＤ_２，φＡＤＤ_３を出力する。これにより、加算トランジスタＡＤＤ_１，ＡＤＤ_２，ＡＤＤ_３がオンとなり、これら垂直信号線４７ｂがそれぞれ短絡する。これにより、６Ｒ−５列目、６Ｒ−４列目、６Ｒ−３列目及び６Ｒ−２列目の垂直信号線４７ｂにそれぞれ接続されるコンデンサＣＤ１の電荷量が同一となる。その後、水平走査回路４５ａは、制御信号φＡＤＤ_１、φＡＤＤ_２、φＡＤＤ_３の出力を停止する。そして、水平走査回路４５ａは、制御信号φＬＩＮＥ１を出力する。これにより、６Ｒ−５列目の垂直信号線４７ｂに接続されたスイッチトランジスタＳＷ１がオンとなり、対応する垂直信号線４７ｂに接続されたコンデンサＣＤ１に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ１に出力される。ここで、出力される電圧信号が、例えば動画像における座標（ｘ，ｙ）にある画素のＧ色成分の信号値となる。

水平走査回路４５ｂは、制御信号φＡＤＤ_７，φＡＤＤ_８を出力する。加算トランジスタＡＤＤ_７がオンとなると、６Ｒ−５列目及び６Ｒ−４列目の垂直信号線４７ａが短絡する。これにより、６Ｒ−５列目及び６Ｒ−４列目の垂直信号線４７ａに接続されるコンデンサＣＤ２の電荷量が同一となる。また、加算トランジスタＡＤＤ_８がオンとなると、６Ｒ−４列目及び６Ｒ−２列目の垂直信号線４７ａが短絡する。これにより、６Ｒ−４列目及び６Ｒ−２列目の垂直信号線４７ａに接続されるコンデンサＣＤ２の電荷量が同一となる。その後、水平走査回路４５ｂは、制御信号φＡＤＤ_７，φＡＤＤ_８の出力を停止する。そして、水平走査回路４５ｂは、制御信号φＬＩＮＥ５、φＬＩＮＥ６を出力する。これにより、６Ｒ−５列目及び６Ｒ−４列目の垂直信号線４７ａに接続されたスイッチトランジスタＳＷ２がそれぞれオンとなり、対応する垂直信号線４７ａに接続されたコンデンサＣＤ２に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ２に出力される。ここで、６Ｒ−５列目の垂直信号線４７ａから出力される電圧信号が、例えば動画像における座標（ｘ，ｙ）にある画素のＲ色成分の信号値となる。また、６Ｒ−４列目の垂直信号線４７ａから出力される電圧信号が、例えば動画像における座標（ｘ，ｙ）にある画素のＢ色成分の信号値となる。

この読み出しの後、垂直走査回路４４は、制御信号φＳＷ３を出力する。また、水平走査回路４５ａは、制御信号φＡＤＤ_４，φＡＤＤ_５，φＡＤＤ_６を出力する。これを受けて、加算トランジスタＡＤＤ_４，ＡＤＤ_５，ＡＤＤ_６がオンとなり、６Ｒ−２列目、６Ｒ−１列目、６Ｒ列目、６Ｒ＋１列目の垂直信号線４７ｂが短絡する。これにより、これら垂直信号線４７ａに接続されるコンデンサＣＤ２の電荷量が同一となる。その後、水平走査回路４５ａは、制御信号制御信号φＡＤＤ_４，φＡＤＤ_５，φＡＤＤ_６の出力を停止する。そして、水平走査回路４５ａは、制御信号φＬＩＮＥ４を出力する。これにより、６Ｒ−２列目の垂直信号線４７ｂに接続されたスイッチトランジスタＳＷ１がオンとなり、対応する垂直信号線４７ｂに接続されたコンデンサＣＤ１に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ１に出力される。ここで、出力される電圧信号が、例えば動画像における座標（ｘ＋１，ｙ）にある画素のＧ色成分の信号値となる。

水平走査回路４５ｂは、制御信号φＡＤＤ_９，φＡＤＤ_１０を出力する。加算トランジスタＡＤＤ_９がオンとなると、６Ｒ−２列目及び６Ｒ列目の垂直信号線４７ａが短絡する。これにより、６Ｒ−２列目及び６Ｒ列目の垂直信号線４７ａに接続されるコンデンサＣＤ２の電荷量が同一となる。また、加算トランジスタＡＤＤ_１０がオンとなると、６Ｒ−１列目及び６Ｒ＋１列目の垂直信号線４７ａが短絡する。これにより、６Ｒ−１列目及び６Ｒ＋１列目の垂直信号線４７ａに接続されるコンデンサＣＤ２の電荷量が同一となる。

その後、水平走査回路４５ｂは、制御信号φＡＤＤ_９，φＡＤＤ_１０の出力を停止する。そして、水平走査回路４５ｂは、制御信号φＬＩＮＥ８，φＬＩＮＥ５を出力する。これにより、６Ｒ−２列目及び６Ｒ−１列目の垂直信号線４７ａに接続されたスイッチトランジスタＳＷ２がそれぞれオンとなり、対応する垂直信号線４７ａに接続されたコンデンサＣＤ２に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ２に出力される。ここで、６Ｒ−２列目の垂直信号線４７ａから出力される電圧信号が、例えば動画像における座標（ｘ＋１，ｙ）にある画素のＢ色成分の信号値となる。また、６Ｒ−１列目の垂直信号線４７ａから出力される電圧信号が、例えば動画像における座標（ｘ＋１，ｙ）にある画素のＲ色成分の信号値となる。

上述した動作を行うことで、４行４列の範囲を読出範囲とし、この読出範囲を列方向に３画素ずつ移動させながらの画素信号の読み出しが行われる。そして、対象となる行の読み出しが行われた後、４行４列の範囲を行方向に３画素ずらして、再度上述した読み出しを行っていく。

このように、動画像を撮影した場合には、読出範囲に含まれる同一の色成分毎に加重加算による加算間引き読出しを行うことから、撮像素子１６から読み出される画像信号は、Ｒ色成分、Ｇ色成分、Ｂ色成分の全ての色成分を有する画像信号となる。この場合、読み出された画像信号のデータ量は、全画素読み出しにより読み出される画像信号におけるデータ量の１／３×１／３×３＝１／３倍のデータ量となり、高速の読み出しを行うことができる。

上述したように、動画像の撮影時に撮像素子１６から読み出される画像信号は、Ｒ色成分、Ｇ色成分、Ｂ色成分の全ての色成分を有する画像信号となるので、従来の加算間引き読出しにより読み出される画像信号において不足する色成分の信号値を色補間処理により求める必要がなくなる。また、読出範囲に含まれる同色画素の信号値を加重加算した状態で読み出すことで、読み出される画像においてモアレや偽色の発生を防止することができ、読み出された画像における解像感を損なわずに済む。

上述した第１実施形態では、読出範囲に含まれる画素のアンプＡＭＰのゲインを、ガウス分布に基づいて設定される重みに基づいた値とすることで、動画像の各画素の各色成分の重心位置が読出範囲における重心位置と一致させることが可能となる。しかしながら、読出範囲に含まれる画素のアンプＡＭＰのゲインを、ガウス分布に基づいて設定される重みに基づいた値とする必要はない。例えば、読出範囲に含まれる画素のそれぞれに対する重みを１とすることも可能である。以下、読出範囲に含まれる画素に対する重みを１とした場合について、第２実施形態として説明する。

＜第２実施形態＞
この第２実施形態では、第１実施形態と同様に、撮影により得られる動画像の画像サイズが、静止画像の画像サイズに対して、水平方向及び垂直方向にそれぞれ１／３倍のサイズに設定される場合について説明する。この場合、撮像素子１６の構成は、第１実施形態と同一の構成となることから、ここでは、撮像素子１６の構成については省略する。

上述したように、第２実施形態においては、読出範囲６０に含まれる画素に対する重みを１として、読出範囲６０に含まれる各画素のアンプＡＭＰのゲインを設定する。例えば図６に示すように、動画像における座標（ｘ，ｙ）にある画素のＲ色成分、Ｇ色成分、Ｂ色成分の各信号値は、撮像素子１６上の座標（ｉ，ｊ）にあるＲ色画素を左上隅とした基準範囲６０に含まれる画素を用いた同色画素毎の加重加算により求められる。
ここで、撮像素子１６上の座標（ｉ，ｊ）にあるＲ色画素を基準画素とした場合には、動画像において、座標（ｘ，ｙ）にある画素のＲ色成分、Ｇ色成分、Ｂ色成分の各信号値は（５）式で表すことができる。

ここで、（５）式に示すように、動画像において、座標（ｘ，ｙ）にある画素における各色成分の信号値は、図６に示す読出範囲６０に含まれる同色画素の信号値を単純加算平均した値となる。

また、動画像における座標（ｘ，ｙ）にある画素のＲ色成分、Ｇ色成分及びＢ色成分の信号値を読み出す際には、上述した（５）式が成り立つように、対象となる読出範囲に含まれるＲ色画素、Ｇ色画素、Ｂ色画素のそれぞれのアンプＡＭＰのゲインをそれぞれ設定する。

同様にして、動画像における座標（ｘ＋１，ｙ）にある画素のＲ色成分、Ｇ色成分、Ｂ色成分の各信号値を読み出す場合も、図７に示す読出範囲６０に含まれる同色画素の信号値を加算間引き読出しにより読み出す。さらに、動画像において座標（ｘ，ｙ＋１）にある画素や座標（ｘ＋１，ｙ＋１）にある画素のそれぞれの画素のＲ色成分、Ｇ色成分、Ｂ色成分の各信号値を読み出す場合も、対応する読出範囲に含まれる同色画素の信号値を加算間引き読出しにより読み出す。これら場合も、読出範囲６０に含まれる同色画素の単純加算平均によりを用いた加算間引き読出しにより各色成分の信号値が読み出される。

この場合、動画像における各画素において、各色成分の重心位置が一致しないという問題が生じる。図１０は、動画像の各画素におけるＲ色成分の重心位置を「△」、Ｇ色成分の重心位置を「○」、Ｂ色成分の重心位置を「×」とした場合を示す。図１０中、太線は動画像の画素を、実線は読出範囲６０、薄線は撮像素子１６の画素部４１の各画素を示している。図１０に示すように、Ｇ色成分の重心位置は、動画像の各画素の中心に位置しているのに対して、Ｒ色成分の重心位置及びＢ色成分の重心位置は、それぞれ動画像の各画素の中心からずれており、Ｒ色成分の重心位置とＢ色成分の重心位置ともずれた位置となる。また、Ｒ色成分の重心位置とＢ色成分の重心位置は、画素毎に異なる。このような重心位置のずれは、静止画像においては、偽色として見え画像劣化の原因となる。

ここで、動画像について考慮すると、撮影により得られる動画像は、その色空間フォーマットをＲＧＢ色空間からＹＵＶ４２０色空間に変換されて記憶するのが一般的である。つまり、この色空間を変換する際に、Ｒ色成分、Ｇ色成分、Ｂ色成分の重心位置が一致する箇所でＹＵＶ４２０色空間における色差信号を生成することで、動画像を読み出す際の重心位置のずれを補正する。

以下、得られた動画像の色空間フォーマットを、ＲＧＢ色空間からＹＵＶ４２０色空間に変換する処理について説明する。なお、この処理は、画像処理回路２３において色空間変換処理として実行される。

ここで、ＹＵＶ４２０色空間は、２×２画素に対して、輝度信号（Ｙ信号）を４画素、色差信号（Ｕ信号、及びＶ信号）をそれぞれ１画素とる色空間である。まず、画像処理回路２３は、ＹＵＶ色空間に変換するためのＲ色成分、Ｇ色成分及びＢ色成分の各信号値を（６）式を用いて生成する。

そして、画像処理回路２３は、（６）式により求めた値を用いて色空間変換処理を実行する。ここで、輝度信号（Ｙ信号）については、動画像における座標（ｘ，ｙ）、座標（ｘ＋１，ｙ）、座標（ｘ，ｙ＋１）、座標（ｘ＋１，ｙ＋１）にある各画素のＲ’色成分、Ｇ’色成分、Ｂ’色成分の信号値を用いて色空間を変換する。色差信号（Ｕ信号及びＶ信号）については、（６）式にて求めたＲ”色成分、Ｇ”色成分、Ｂ”色成分を用いて色空間を変換する。なお、色空間を変換する式は、下記の（７）式となる。

この色空間変換処理を行うことで、ＹＵＶ４２０色空間に変換された動画像の各画素の色成分の重心位置が、撮像素子１６の座標（ｉ＋３，ｊ＋３）の位置（動画像の座標（ｘ＋０．５，ｙ＋０．５）の位置）となる。なお、図１０中「☆」で示す位置が、ＹＵＶ４２０色空間に変換された動画像の各画素における重心位置である。

このように、読出範囲に含まれる同色画素の単純加算平均を用いた加算間引き読出しの場合には、読み出される動画像の各画素において、各色成分の重心位置が異なる。このような場合、画像処理回路２３により実行される色空間変換処理の際に、各色成分の重心位置が一致するように、動画像における色空間フォーマットを変換することにより、重心位置のズレを防止でき、その結果、動画像における偽色の発生を防止することができる。

なお、第２実施形態においても、第１実施形態と同様に、撮像素子１６から読み出される画像信号のデータ量は、静止画像のデータ量の１／３×１／３×３＝１／３倍のデータ量となり、高速での読み出しを行うことが可能となる。

なお、この第２実施形態においては、撮像素子１６から読み出された画像信号に対して画像処理回路２３による上記の色空間変換処理を行うことで、第１実施形態と同様の効果を得ることができる。

上述した第１実施形態及び第２実施形態においては、取得される動画像の画像サイズは、静止画像の画像サイズに対して水平方向に１／３倍、垂直方向に１／３倍の画像サイズとしているが、これに限定される必要はなく、動画像の画像サイズは、静止画像の画像サイズに対して水平方向に１／４倍、垂直方向に１／４倍となる画像サイズであってもよい。

以下、動画像の画像サイズが、静止画像の画像サイズに対して、水平方向に１／４倍、垂直方向に１／４倍の画像サイズとなる場合について、第３実施形態と称して説明する。

＜第３実施形態＞
この第３実施形態においては、Ｇ色画素を読み出すための切替え部、及びＲ色画素又はＢ色画素を読み出すための切替え部の構成が第１実施形態とは異なる。以下、Ｇ色画素を読み出すための切替え部に対して符号４３ａ’を付し、Ｒ色画素又はＢ色画素を読み出すための切替え部に対して符号４３ｂ’を付して説明する。なお、他の構成は第１実施形態と共通することから、第１実施形態と同一の符号を付して説明する。

図１１に示すように、切替え部４３ａ’は、コンデンサＣＤ３、加算トランジスタＡＤＤ_１１，ＡＤＤ_１２，ＡＤＤ_１３、スイッチングトランジスタＳＷ４の他、制御信号φＡＤＤ_１１，φＡＤＤ_１２，φＡＤＤ_１３及び制御信号φＬＩＮＥ９，φＬＩＮＥ１０，φＬＩＮＥ１１，φＬＩＮＥ１２を供給する７本の行信号線とから構成される。ここで、加算トランジスタＡＤＤ_１１は制御信号φＡＤＤ_１１が出力されることでオンとなり、４Ｔ−３（Ｔ＝１，２，３，・・・）列目の垂直信号線４７ｂと４Ｔ−２列目の垂直信号線４７ｂとが短絡する。また、加算トランジスタＡＤＤ_１２は制御信号φＡＤＤ_１２が出力されることでオンとなり、４Ｔ−２列目の垂直信号線４７ｂと４Ｔ−１列目の垂直信号線４７ｂが短絡する。また、加算トランジスタＡＤＤ_１３は制御信号φＡＤＤ_１３が出力されることでオンとなり、４Ｔ−１列目の垂直信号線４７ｂと４Ｔ列目の垂直信号線４７ｂとが短絡する。

切替え部４３ｂ’は、コンデンサＣＤ４、加算トランジスタＡＤＤ_１４、ＡＤＤ_１５と、スイッチングトランジスタＳＷ５の他、制御信号φＡＤＤ_１４，φＡＤＤ_１５及び制御信号φＬＩＮＥ１３，φＬＩＮＥ１４，φＬＩＮＥ１５，φＬＩＮＥ１６を供給する６本の行信号線とから構成される。ここで、加算トランジスタＡＤＤ_１４は制御信号φＡＤＤ_１４が出力されることでオンとなり、４Ｕ−３（Ｕ＝１，２，３，・・・）列目の垂直信号線４７ａと４Ｕ−１列目の垂直信号線が短絡する。また、加算トランジスタＡＤＤ_１５は制御信号φＡＤＤ_１５が出力されることでオンとなり、４Ｕ−２列の垂直信号線４７ａと４Ｕ列目の垂直信号線が短絡する。

上述したように、第３実施形態では、動画像の画像サイズを、静止画像の画像サイズに対して水平方向に１／４倍、垂直方向に１／４倍した画像サイズとすることを目的にしている。つまり、この第３実施形態の場合には、４行４列の画素の範囲を読出範囲する点では第１実施形態と同一であるが、この第３実施形態では、水平方向又は垂直方向に４画素ずつずらしながら、動画像における画素の各色成分を読み出す点で第１実施形態とは異なる。図１２は、撮像素子１６上の各画素の位置と、動画像における各画素の位置との関係を示している。ここで、ハッチングで示す４行４列の範囲が読出範囲６０である。また、この読出範囲と動画像の画素とが一致している。この場合、読出範囲６０に含まれる各画素の配置は同一の画素の配置となる。

この場合も、加重加算における各画素の加重係数は、図５に示すガウス分布に基づいた重みを用いて設定される。上述したように、読出範囲に含まれる各画素の配置は、読み出し位置に関わらず同一の配置となることから、各画素のアンプＡＭＰのゲインは、以下の（８）式を考慮して設定される。

ここで、Ｒ’（ｘ，ｙ），Ｇ’（ｘ，ｙ），Ｂ’（ｘ，ｙ）はそれぞれ、動画像における座標（ｘ，ｙ）にある画素の各色成分の信号値である。

次に、動画像の撮影時に撮像素子１６から画像信号を読み出す場合の処理について説明する。まず、垂直走査回路４４は、対象となる４行に配列される各画素に対して制御信号φＧＡＩＮを出力する。この出力を受けて、各画素のアンプＡＭＰのゲインが１から所定値に切り替わる。そして、制御信号φＳＷ３を出力することで、各画素から、アンプＡＭＰにより増幅された電圧信号が対応する垂直信号線に出力される。この垂直信号線に出力された電圧信号は、コンデンサＣＤ１に蓄積される。その後、垂直走査回路４４は、制御信号φＳＷ３の出力を停止する。

その後、水平走査回路４５ａは、制御信号φＡＤＤ_１１，φＡＤＤ_１２，φＡＤＤ_１３を出力する。これにより、加算トランジスタＡＤＤ_１１，ＡＤＤ_１２，ＡＤＤ_１３がオンとなり、４Ｔ−３列目、４Ｔ−２列目、４Ｔ−１列目及び４Ｔ列目の垂直信号線４７ｂが短絡する。これにより、４Ｔ−３列目、４Ｔ−２列目、４Ｔ−１列目及び４Ｔ列目の各垂直信号線４７ｂに接続されるコンデンサＣＤ３の電荷量が同一となる。その後、水平走査回路４５ａは、制御信号φＡＤＤ_１１，φＡＤＤ_１２，φＡＤＤ_１３の出力を停止する。そして、水平走査回路４５ａは、制御信号φＬＩＮＥ９を出力する。これにより、４Ｔ−３列目の垂直信号線４７ｂに接続されたスイッチトランジスタＳＷ４がオンとなり、対応する垂直信号線４７ｂに接続されたコンデンサＣＤ３に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ１に出力される。ここで、カラムアンプＣＡＭＰ１から出力される電圧信号が、動画像における座標（ｘ、ｙ）にある画素のＧ色成分の信号となる（図１１参照）。

同時に、水平走査回路４５ｂは、制御信号φＡＤＤ_１４，φＡＤＤ_１５を出力する。これにより、加算トランジスタＡＤＤ_１４，ＡＤＤ_１５がオンとなる。加算トランジスタＡＤＤ_１４がオンとなると、４Ｕ−３列目及び４Ｕ−１列目の垂直信号線４７ａが短絡する。これにより、４Ｕ−３列目及び４Ｕ−１列目の各垂直信号線４７ｂに接続されるコンデンサＣＤ４の電荷量が同一となる。また、加算トランジスタＡＤＤ_１４がオンとなると、４Ｕ−２列目及び４Ｕ列目の垂直信号線４７ａが短絡する。これにより、４Ｕ−２列目及び４Ｕ列目の各垂直信号線４７ａに接続されるコンデンサＣＤ４の電荷量が同一となる。その後、水平走査回路４５ａは、制御信号φＡＤＤ_１４，φＡＤＤ_１５の出力を停止する。そして、水平走査回路４５ａは、制御信号φＬＩＮＥ１３，φＬＩＮＥ１４を出力する。

制御信号φＬＩＮＥ１３が出力されることで、４Ｕ−３列目の垂直信号線４７ｂに接続されたスイッチトランジスタＳＷ５がオンとなり、対応する垂直信号線４７ｂに接続されたコンデンサＣＤ４に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ１に出力される。ここで、出力される電圧信号が、動画像における座標（ｘ，ｙ）にある画素のＲ色成分の信号となる。

また、制御信号φＬＩＮＥ１４が出力されることで、４Ｕ−２列目の垂直信号線４７ｂに接続されたスイッチトランジスタＳＷ４がオンとなり、対応する垂直信号線４７ｂに接続されたコンデンサＣＤ４に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ１に出力される。ここで、出力される電圧信号が、動画像における座標（ｘ，ｙ）にある画素のＢ色成分の信号となる。

上述した処理を行うことで、撮像素子１６の画素部４１に配置される各画素の信号値を用いた加算間引き読出しが繰り返される。このように、動画像を撮影した場合には、４行４列の範囲を基準範囲として、基準範囲に含まれる同色画素毎に加算間引き読出しを行うことから、撮像素子１６から読み出される画像信号は、各画素に対してＲ色、Ｇ色、Ｂ色の全ての色成分を備えた画像信号となる。この場合、読み出された画像信号のデータ量は、全画素読み出しにより読み出される画像信号におけるデータ量の１／４×１／４×３＝３／１６倍のデータ量となり、高速の読み出しを行うことが可能となる。この場合も、第１実施形態と同様の効果を得ることが可能となる。

第３実施形態においては、静止画像の画像サイズに対して、水平方向に１／４倍、垂直方向に１／４倍の画像サイズとなるように加算間引き読出しを行っている。この場合も、各画素のアンプＡＭＰのゲインは、ガウス分布に基づいた比率を用いて設定される。この場合、ガウス分布の半値全幅が縮小倍率より小さくなることから、読み出される画像において、折り返し歪みが発生しやすくなる。このような折り返し歪みの発生を抑制するために、加算間引き読出しを行う際の読出範囲を４行４列の画素の範囲よりも大きく設定することも可能である。以下、加算間引き読出しを行う際の読出範囲を４行４列の画素の範囲よりも大きく設定する場合について、第４実施形態と称して説明する。

＜第４実施形態＞
第４実施形態では、加算間引き読出しを行う際の読出範囲を６行６列の画素の範囲とする場合について説明する。撮像素子１６における各画素と、動画像における各画素との関係を図１３に示す。図１３においては、加算間引き読出しを行う６行６列の画素の範囲（太点線で囲まれる範囲）をハッチングの範囲６１で示している。また、動画像の各画素を細線、撮像素子１６の画素部４１に配列される画素を薄線にて示している。この場合も、加算間引き読出しを行う６行６列の画素の範囲における重心位置と、読み出した動画像の各画素における各色成分の重心位置が一致するように、各画素のアンプＡＭＰのゲインを設定する。

この場合も、読出範囲に含まれる各画素の重みの値を、ガウス分布に基づいて設定される値とする。図１４は、６行６列の画素の範囲を読出範囲とした場合に、ガウス分布に基づいて設定される各画素の重みを示している。この重みに基づいて、読出範囲６１に含まれる各画素のアンプＡＭＰのゲインが設定される。
例えば動画像における座標（ｘ，ｙ）にある画素のＲ色成分、Ｇ色成分、Ｂ色成分の各信号値は、（９）式で表すことができる。

図１３に示すように、ｉ＋４列目、ｉ＋５列目、ｉ＋８列目、ｉ＋９列目に配列される画素、及びｊ＋４行目、ｊ＋５行目、ｉ＋８列目、ｉ＋９列目に配列される画素は、重複して読み出される。また、これら画素においては、読み出す際に用いられる加重係数が異なる。この場合、図示は省略するが、各画素に設けられるアンプＡＭＰを複数のゲインに調整可能なアンプを用いて、読出範囲に対する画素の位置に応じてゲインを調整する。或いは、各画素にゲインが異なるアンプを複数設け、読出範囲に対する画素の位置に応じて、いずれかのアンプを使用するように切り替える。

このような処理を行うことで、第３実施形態と同様の効果を得ることができる。また、予め加算間引き読出しに用いる読出範囲を、縮小率に基づく画素の範囲よりも大きく設定することで、折り返し歪みの発生を抑えることが可能となる。

この第４実施形態では、各画素に設けられるアンプＡＭＰのゲインとして、６行６列の画素の範囲に対してガウス分布を適用した場合の各画素の重みに基づいて設定している。読出範囲における各画素の重みは、図１４に示す重み（水平・垂直方向比率１：３：４：４：３：１）に限定されるものではなく、図１５に示す重み（水平・垂直方向比率１：４：７：７：４：１）や、図１６に示す重み（水平・垂直方向比率１：５：１０：１００：５：１）を用いることも可能である。

上述した第３実施形態及び第４実施形態においては、動画像の画像サイズが、静止画像の画像サイズに対して水平方向に１／４倍、垂直方向に１／４倍の画像サイズの場合を示している。しかしながら、例えばアスペクト比３：２となる撮像素子が搭載された撮像装置において、ＨＤ動画に必要な水平方向の画素数１９２０を満たす画像サイズとする場合には、撮像素子の画素数が、水平方向（１９２０×４）、垂直方向（１９２０×２／３×４）の計３７．５Ｍとなる。ここで、撮像装置に搭載される撮像素子の画素数が３７．５Ｍ画素を満足していない場合には、加算間引き読出しにより読み出した動画像は、ＨＤ動画における画像サイズを満足していない。このような場合には、得られる動画像に対して超解像度処理を施すことも可能である。

上述した第１及び第２実施形態では、動画像の画像サイズが、静止画像の画像サイズに対して、水平方向に１／３倍、垂直方向に１／３倍の画像サイズに設定される場合について説明している。また、第３及び第４実施形態では、動画像の画像サイズが、静止画像の画像サイズに対して、水平方向に１／４倍、垂直方向に１／４倍の画像サイズに設定される場合について説明している。しかしながら、水平方向の縮小率や垂直方向の縮小率は、その一例を示したものであり、これら縮小率は適宜設定してよい。また、上述した各実施形態では、水平方向の縮小率と垂直方向の縮小率とを同一の縮小率としているが、これに限定される必要はなく、水平方向の縮小率と垂直方向の縮小率とを異なる縮小率とすることも可能である。

上述した第１から第４実施形態においては、撮像素子の各画素に配置されるカラーフィルタを、Ｒ色、Ｇ色、Ｂ色としているが、これに限定される必要はなく、シアン（Ｃ）、イエロー（Ｙ）、マゼンタ（Ｍ）のカラーフィルタであってもよい。

上述した第１から第４実施形態においては、Ｒ色画素、Ｇ色画素及びＢ色画素を２行２列で配置したベイヤー配列としているが、これに限定される必要はなく、他の配列にて各色成分の画素を配置することも可能である。

上述した第１から第４実施形態においては、動画像の撮影時に、加算間引き読出しを行うことを前提に説明しているが、これに限定される必要はなく、静止画像の撮影時に、第１から第４実施形態のいずれかの手法を用いることも可能である。

上述した第１実施形態から第４実施形態においては、撮像装置を例に取り上げて説明しているが、これに限定される必要はなく、画像処理装置の場合であってもよい。図１７に示すように、画像処理装置６０は、縮小画像生成部６１を備えている。この画像処理装置６０には、例えば撮像素子から全画素読み出しにて読み出された動画像が、直接、或いは、バッファメモリや記憶媒体を介して入力される。縮小画像生成部６１は、入力される画像に対して、（１）式から（４）式を用いて縮小画像を生成する。または、縮小画像生成部６１は、入力される画像に対して、（５）式を用いて縮小画像を生成する。または、（８ｓ）式或いは（９）式を用いて縮小画像を生成する。なお、（５）式を用いて縮小画像を生成した場合には、（６）式及び（７）式を用いた色空間フォーマットを変換する処理も併せて実行される。

また、画像処理装置の他に、画像処理プログラムであってもよい。この場合、図１８に示すフローチャートの処理をコンピュータにて実行することができる画像処理プログラムであればよい。

以下、画像処理プログラムにおける処理の手順について説明する。

ステップＳ１０１は、動画像を入力する処理である。この処理を行うことで、例えば全画素読み出しにて読み出された動画像をコンピュータが受け付ける。

ステップＳ１０２は、縮小画像の生成処理である。ステップＳ１０１にて受け付けた働画像に対して、縮小画像生成処理を実行する。なお、この縮小画像生成処理は、（１）式から（４）式、（５）式、（８）式或いは（９）式のいずれかを用いて実行する。これら式のいずれかを用いることで、縮小された動画像が生成される。なお、（５）式を用いた場合には、（６）式及び（７）式を用いた色空間フォーマットを変換する処理も併せて実行される。

ステップＳ１０３は、縮小画像の生成処理が終了したか否かを判定する処理である。この画像処理プログラムを実行するコンピュータのＣＰＵは、ステップＳ１０２における縮小画像の生成処理が終了したか否かにより、このステップＳ１０３の判定処理を実行する。縮小画像の生成処理が終了している場合には、このステップＳ１０３の判定処理がＹｅｓとなり、ステップＳ１０４に進む。一方、縮小画像の生成処理が終了していない場合には、ステップＳ１０３の判定処理がＮｏとなり、ステップＳ１０２に戻る。

ステップＳ１０４は、縮小された動画像を出力する処理である。上述したコンピュータのＣＰＵは、縮小された動画像を、例えば記憶媒体に出力する。

なお、この画像処理プログラムは、メモリカード、磁気ディスク、光学ディスクなど、コンピュータにより読み取り可能な記憶媒体に記憶されていることが好ましい。

１０…撮像装置、１６…撮像素子、４１…画素部、４２ａ，４２ｂ…プリチャージ部、４３ａ，４３ｂ…切替え部、４４…垂直走査回路、４５ａ，４５ｂ…水平走査回路

Claims (6)

1. 第１の色の光を受光する第１の受光部と前記第１の受光部からの信号を増幅する第１の増幅部を有する第１の画素と、
   第２の色の光を受光する第２の受光部と前記第２の受光部からの信号を増幅する第２の増幅部を有する第２の画素と、
   第１の位置から前記第１の画素の距離と前記第１の位置から前記第２の画素の距離とにより、前記第１の増幅部の増幅率と前記第２の増幅部の増幅率とを設定する増幅制御部と、
   複数の前記第１の画素からの信号を加算し、複数の前記第２の画素からの信号を加算する回路と
   を備える撮像装置。
2. 請求項１に記載の撮像装置において、
   前記増幅制御部は、前記第１の位置から前記第１の画素の距離が短いと前記第１の増幅部の増幅率を高く設定し、前記第１の位置から前記第２の画素の距離が短いと前記第２の増幅部の増幅率を高く設定する撮像装置。
3. 第１の色の光を受光する第１の受光部と前記第１の受光部からの信号を増幅する第１の増幅部を有する第１の画素と、
   第２の色の光を受光する第２の受光部と前記第２の受光部からの信号を増幅する第２の増幅部を有する第２の画素と、
   第３の色の光を受光する第３の受光部と前記第３の受光部からの信号を増幅する第３の増幅部を有する第３の画素と、
   第１の位置から前記第１の画素の距離と、前記第１の位置から前記第２の画素の距離と第３の位置から前記第３の画素の距離とにより、前記第１の増幅部の増幅率と前記第２の増幅部の増幅率と前記第３の増幅部の増幅率とを設定する増幅制御部と、
   複数の前記第１の画素からの信号を加算し、複数の前記第２の画素からの信号を加算し、複数の前記第３の画素からの信号を加算する回路と
   を備える撮像装置。
4. 請求項３に記載の撮像装置において、
   前記増幅制御部は、前記第１の位置から前記第１の画素の距離が短いと前記第１の増幅部の増幅率を高く設定し、前記第１の位置から前記第２の画素の距離が短いと前記第２の増幅部の増幅率を高く設定し、前記第１の位置から前記第３の画素の距離が短いと前記第３の増幅部の増幅率を高く設定する撮像装置。
5. 請求項３または４に記載の撮像装置において、
   前記第１の色の光は緑色の光であり、前記第２の色の光は赤色の光であり、前記第３の色の光は青色の光である撮像装置。
6. 請求項５に記載の撮像装置において、
   複数の前記第１の画素と複数の前記第２の画素と複数の前記第３の画素とはベイヤー配列により配置されている撮像装置。

Images