JP2017073687A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】データ量の増加を抑制し得る撮像装置及び撮像方法を提供する。
【解決手段】第１の光電変換部と第２の光電変換部とをそれぞれ含む複数の単位画素を含む画素アレイと、前記第１の光電変換部からの信号に基づいて第１のビット数の第１の信号を生成し、前記第１の光電変換部と前記第２光電変換部とからの信号に基づいて前記第１のビット数とは異なる第２のビット数の第２の信号を生成する信号生成手段とを有することを特徴とする撮像装置。
【選択図】図５

Description

本発明は、撮像装置及び撮像方法に関する。

近年、ＣＭＯＳセンサ等の撮像素子によって得られた信号を用いて焦点検出等を行う撮像装置が提案されている。
特許文献１では、撮像素子から得られた信号を用いて瞳分割方式の焦点検出を行う技術が提案されている。特許文献１では、撮像素子の画素毎に１つのマイクロレンズと２つのフォトダイオードとが設けられており、それぞれのフォトダイオードは、撮影レンズの互いに異なる瞳領域を通過した光を受光する。引用文献１では、２つのフォトダイオードからの出力信号を比較することによって焦点検出が行われ、２つのフォトダイオードからの出力信号を加算することによって撮像画像の生成が行われる。

特開２００１−１２４９８４号公報

しかしながら、特許文献１に記載された技術では、２つのフォトダイオードからの信号を読み出すことになるため、データ量が増加し、データの読み出し時間が長くなり、ひいてはフレームレートの低下を招く。フレームレートを高く維持するためには、データ伝送レート等を向上させる必要があり、回路規模や消費電力の増大等を招くこととなる。
本発明の目的は、データ量の増加を抑制し得る撮像装置及び撮像方法を提供することにある。

本発明の一態様によれば、第１の光電変換部と第２の光電変換部とをそれぞれ含む複数の単位画素を含む画素アレイと、前記第１の光電変換部からの信号に基づいて第１のビット数の第１の信号を生成し、前記第１の光電変換部と前記第２光電変換部とからの信号に基づいて前記第１のビット数とは異なる第２のビット数の第２の信号を生成する信号生成手段とを有することを特徴とする撮像装置が提供される。

本発明によれば、データ量の増加を抑制し得る撮像装置及び撮像方法を提供することができる。

本発明の第１実施形態による撮像装置を示すブロック図である。 撮像素子の画素配置を示す平面図である。 撮影光学系の射出瞳を通過する光束と単位画素との関係を示す模式図である。 副画素ａ，ｂから得られる像信号の波形を示す模式図である。 撮像素子の全体的な構成を示すブロック図である。 撮像素子の単位画素を示す回路図である。 本発明の第１実施形態による撮像装置の動作を示すタイミングチャートである。 本発明の第１実施形態による撮像装置において行われるビット数削減処理を示す模式図である。 パラレル／シリアル変換のフォーマットを示す模式図である。 本発明の第１実施形態による撮像装置における撮像素子のコード付加部から出力される１ライン分のデータを示す模式図である。 本発明の第２実施形態による撮像装置における撮像素子のコード付加部から出力される１ライン分のデータを示す模式図である。 本発明の第３実施形態による撮像装置の動作を示すタイミングチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

［第１実施形態］
第１実施形態による撮像装置及び撮像方法について図１乃至図１０を用いて説明する。図１は、本実施形態による撮像装置１００を示すブロック図である。
図１に示すように、撮像光学系１０７の先端部には、第１のレンズ群１０１が配され、第１のレンズ群１０１は光軸方向に進退可能に保持される。絞り１０２は、その開口径を調節することによって撮影時の光量調節を行う。第２のレンズ群１０３は、第１のレンズ群１０１の進退動作と連動することによって、変倍動作、即ち、ズーム動作を行う。第３のレンズ群１０４は、光軸方向の進退によって焦点調節を行う。光学的ローパスフィルタ１０５は、撮影画像の偽色やモアレを軽減するための光学素子である。これらのレンズ群１０１，１０３，１０４と絞り１０２とマイクロレンズ２０２（図３参照）とによって撮像光学系１０７が構成されている。本実施形態では、撮像光学系１０７の一部を含むレンズ装置１２０と撮像装置１００の本体とが一体的に構成されている場合を例に説明するが、これに限定されるものではない。撮像光学系１０７の一部を含むレンズ装置１２０は、撮像装置１００本体から着脱可能であってもよい。

撮像素子１０６は、撮像光学系１０７によって撮像素子１０６の撮像面に結像された被写体像（光学像）を光電変換する。撮像素子１０６としては、例えば、ベイヤー配列のＣＭＯＳイメージセンサが用いられる。撮像素子１０６からは、デジタル値の画像信号がデジタルフロントエンド１０８（ＤＦＥ：Ｄｉｇｉｔａｌ Ｆｒｏｎｔ Ｅｎｄ）に出力される。デジタルフロントエンド１０８は、撮像素子１０６からの画像信号に対して、所定の演算処理を行う。

デジタルシグナルプロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｅｒ）１０９は、デジタルフロントエンド１０８から出力されるデジタル値の画像信号に対して、補正処理や現像処理等を行う。また、ＤＳＰ１０９は、デジタル値の画像信号に基づいて、焦点ずれ量を算出するとともに、ＡＦ（オートフォーカス）演算を行う。

記録媒体１１０は、画像データを記録するものであり、ＤＳＰ１０９に接続されている。表示部１１１は、撮影画像や各種のメニュー画面等を表示するためのものであり、液晶ディスプレイ（ＬＣＤ）等が用いられており、ＤＳＰ１０９に接続されている。ＲＡＭ１１２は、画像データ等を一時的に記憶するものであり、ＤＳＰ１０９に接続されている。タイミングジェネレータ（ＴＧ）１１３は、撮像素子１０６に駆動信号を供給する。

ＣＰＵ１１４は、デジタルフロントエンド１０８、ＤＳＰ１０９、タイミングジェネレータ１１３、及び、絞り駆動部（絞り駆動回路）１１５の制御を行う。また、ＣＰＵ１１４は、ＤＳＰ１０９のＡＦ演算結果に基づいて、フォーカス駆動部（フォーカス駆動回路）１１６を制御する。絞り駆動部１１５は、絞りアクチュエータ１１７を制御することによって、絞り１０２を調整する。フォーカス駆動部１１６は、フォーカスアクチュエータ１１８を制御することによって、第３のレンズ群１０４を光軸方向に進退させ、即ち、第３のレンズ群１０４を駆動させ、これにより焦点調節を行う。ＲＯＭ１１９は、各種の補正データ等を記憶するものであり、ＤＳＰ１０９に接続されている。

次に、本実施形態における撮像素子１０６の画素配置について図２を用いて説明する。図２は、撮像素子１０６の画素配置を示す平面図である。
図２に示すように、撮像素子１０６には、複数の単位画素３００が２次元状（行列状）に配列されており、各々の単位画素３００上には、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）のカラーフィルタがベイヤー配列で配置されている。単位画素３００は、１つの画素を構成している。また、各々の単位画素３００内には、副画素ａと、副画素ｂとがそれぞれ配置されている。副画素ａ、ｂには、フォトダイオード（光電変換部）４０１ａ，４０１ｂがそれぞれ設けられている。副画素ａ、ｂの各々の出力信号は、焦点検出に用いられる。また、副画素ａ、ｂの出力信号を加算することにより得られる信号は、撮像画像の生成に用いられる。なお、副画素ｂの出力信号の値は、例えば、副画素ａ，ｂの出力信号の加算値から副画素ａの出力信号の値を減算することによって算出される。

次に、撮像光学系１０７と単位画素３００との関係について図３を用いて説明する。図３は、撮像光学系１０７の射出瞳２０３を通過する光束と単位画素３００との関係を示す模式図である。
図３に示すように、カラーフィルタ２０１及びマイクロレンズ２０２が、単位画素３００上、即ち、フォトダイオード４０１ａ、４０１ｂ上にそれぞれ形成されている。撮像光学系１０７の射出瞳２０３を通過する光束の中心と光軸２０４とが一致している。射出瞳２０３を通過した光束は、光軸２０４を中心として単位画素３００に入射する。

撮像光学系１０７の射出瞳２０３には、互いに異なる瞳領域２０５、２０６が位置している。図３に示すように、瞳領域２０５を通過する光束は、マイクロレンズ２０２を介して、副画素ａ、即ち、フォトダイオード４０１ａによって受光される。一方、瞳領域２０６を通過する光束は、マイクロレンズ２０２を介して、副画素ｂ、即ち、フォトダイオード４０１ｂによって受光される。このように、副画素ａ、ｂは、撮像光学系１０７の射出瞳２０３の別個の瞳領域２０５，２０６からの光をそれぞれ受光する。このため、副画素ａ、ｂの出力信号を比較することによって、位相差方式の焦点検出が可能となる。

次に、撮像素子１０６の副画素ａ、ｂから得られる像信号の波形について図４を用いて説明する。図４は、副画素ａ、ｂから得られる像信号の波形を示す模式図である。図４（ａ）は、合焦状態から外れている場合、即ち、非合焦状態を示している。図４（ｂ）は、合焦状態、より具体的には、略合焦状態を示している。図４（ａ）及び図４（ｂ）において、縦軸は信号の大きさを示しており、横軸は、単位画素３００の位置、即ち、水平方向における単位画素３００の位置を示している。

図４（ａ）に示すように、合焦状態から外れている場合、即ち、非合焦状態の場合には、副画素ａ、ｂからそれぞれ得られる像信号の波形（副画素ａ信号、副画素ｂ信号）は互いに一致せず、互いに大きくずれた状態となる。非合焦状態から合焦状態に近づくと、図４（ｂ）に示すように、副画素ａ、ｂからそれぞれ得られる像信号の波形のずれは小さくなる。そして、合焦状態においては、副画素ａから得られる像信号の波形と、副画素ｂから得られる像信号の波形とが、互いに重なる。このように、副画素ａ、ｂからそれぞれ得られる像信号の波形のずれ量から焦点のずれ量、即ち、デフォーカス量を検出することによって、焦点調節を行うことが可能となる。

次に、撮像素子１０６の全体的な構成について図５を用いて説明する。図５は、撮像素子１０６の全体的な構成を示すブロック図である。
図５に示すように、撮像素子１０６の画素領域（画素アレイ）ＰＡには、単位画素３００が２次元状（行列状）に配置されている。図５においては、各々の単位画素３００に符号ｐ１１，・・・，ｐｋｎが付されている。ｋは当該単位画素３００が何列目に位置しているかを示しており、ｎは当該単位画素３００が何行目に位置しているかを示している。

ここで、１つの単位画素（画素）３００の回路構成について図６を用いて説明する。図６は、撮像素子１０６の単位画素３００を示す回路図である。
副画素ａ、ｂにそれぞれ設けられたフォトダイオード４０１ａ、４０１ｂは、入射される光（光学像）を光電変換し、露光量に応じた電荷を蓄積する。転送スイッチ４０２ａ、４０２ｂのゲートに印加される信号ｔｘａ、ｔｘｂをＨｉｇｈレベルに設定することにより、フォトダイオード４０１ａ、４０１ｂに蓄積されているそれぞれの電荷がフローティングディフュージョン部４０３に転送される。フローティングディフュージョン部４０３は、増幅トランジスタ４０４のゲートに接続されており、増幅トランジスタ４０４のゲートの電位は、フォトダイオード４０１ａ、４０１ｂから転送された電荷量に応じた電位となる。増幅トランジスタ４０４のドレインは、電源電位Ｖｄｄに接続されている。増幅トランジスタ４０４の出力は、垂直出力線３０２（図５参照）を介して電流源３０４（図５参照）に接続されている。増幅トランジスタ４０４と電流源３０４とによって、ソースフォロワ回路が構成されている。

フローティングディフュージョン部４０３をリセットするためのリセットスイッチ（リセットトランジスタ）４０５のドレインは、電源電位Ｖｄｄに接続されている。リセットスイッチ４０５のゲートに印加される信号ｒｅｓをＨｉｇｈレベルに設定することにより、フローティングディフュージョン部４０３がリセットされる。フォトダイオード４０１ａ、４０１ｂの電荷をリセットする場合には、信号ｒｅｓと信号ｔｘａ、ｔｘｂとを同時にＨｉｇｈレベルに設定することにより、転送スイッチ（転送ゲート）４０２ａ、４０２ｂとリセットスイッチ４０５の両方をオンにする。そして、フローティングディフュージョン部４０３を経由して、フォトダイオード４０１ａ、４０１ｂのリセットを行う。選択スイッチ（選択トランジスタ）４０６のゲートに印加される信号ｓｅｌをＨｉｇｈレベルに設定することにより、増幅トランジスタ４０４のゲートの電位に応じた画素信号が単位画素３００の出力ｖｏｕｔに出力される。

垂直走査回路３０１（図５参照）は、上述した信号ｒｅｓ、ｔｘａ、ｔｘｂ、ｓｅｌ、即ち、駆動信号を、単位画素３００に供給する。これらの駆動信号は、画素アレイＰＡの行ごとに共通となっている。各単位画素３００の出力ｖｏｕｔは、垂直出力線３０２を介して列共通読み出し回路（ＣＬＭ）３０３に接続される。垂直出力線３０２は、列ごとに共通となっている。列共通読み出し回路３０３内では、ＣＤＳ（相関二重サンプリング）動作によるノイズ除去やカラムアンプによる信号増幅等が行われる。

列共通読み出し回路３０３の出力は、アナログ−デジタル変換器（ＡＤＣ：Ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）３０５に接続されている。アナログ−デジタル変換器（アナログデジタル変換部）３０５は、例えばランプ方式等のＡ／Ｄ変換方法によって、アナログ値の信号である画素信号やノイズ信号をデジタル値の信号に変換する。アナログ−デジタル変換器３０５によってアナログ−デジタル変換を行うことによって得られたデータ、即ち、変換結果は、ラインメモリ（ＭＥＭ）３０６に格納される。アナログ−デジタル変換器３０５と後述するビット数調整部３０９とが相俟って、後述する１２ビットの像信号Ａと後述する１６ビットの像信号ＡＢとを生成する信号生成手段の一部として機能する。

水平出力回路３０７からの制御によって、ラインメモリ３０６に格納されたデータが出力される。この際、後述するノイズ信号Ｎと、画素信号Ｓａ又は画素信号Ｓａｂとがラインメモリ３０６から同時に出力され、Ｓ−Ｎ処理部（Ｓ−Ｎ回路）３０８に入力される。Ｓ−Ｎ処理部３０８は、画素信号Ｓａ又は画素信号Ｓａｂからノイズ信号Ｎを減算する回路である。Ｓ−Ｎ処理部３０８によって、画素信号Ｓａ又は画素信号Ｓａｂからノイズ信号Ｎが減算され、これによって信号成分が得られる。

ビット数調整部（ビット数調整回路）３０９は、後述する像信号Ａのビット数を調整する。第１のパラレル／シリアル変換部（第１のパラレル／シリアル変換回路）３１０Ａは、ビット数調整部３０９でビット数が調整された像信号Ａに対してパラレル／シリアル変換処理を行う。第２のパラレル／シリアル変換部（第２のパラレル／シリアル変換回路）３１０Ｂは、後述する像信号ＡＢに対してパラレル／シリアル（Ｐ／Ｓ）変換処理を行う。セレクタ３１１は、第１のパラレル／シリアル変換部３１０Ａの出力と第２のパラレル／シリアル変換部３１０Ｂの出力とのうちいずれかを選択してコード（Ｃｏｄｅ）付加部（コード付加回路）３１２に出力する。具体的には、セレクタ３１１は、像信号Ａの出力期間においては、第１のパラレル／シリアル変換部３１０Ａから出力されるデータを選択するように動作し、像信号ＡＢの出力期間においては、パラレル／シリアル変換部３１０Ｂから出力されるデータを選択する。

コード付加部３１２は、各ラインの出力データの境界を示す同期コードと、後続のデータが像信号Ａであるか像信号ＡＢであるかを示す識別コードとを、像信号Ａや像信号ＡＢの出力データに適宜付加する。コード付加部３１２は、像信号Ａの出力データと像信号ＡＢの出力データとにそれぞれ識別コードを付加する識別コード付加手段として機能する。また、コード付加部３１２は、像信号Ａの出力データと像信号ＡＢの出力データとにそれぞれ同期コード付加する同期コード付加手段として機能する。コード付加部３１２によって同期コードと識別コードとが付加された信号は、ＬＶＤＳ出力部（ＬＶＤＳ出力回路）３１３に入力される。ＬＶＤＳ出力部３１３では、入力された信号を低電圧差動伝送（ＬＶＤＳ：Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｃｅ ｓｉｇｎａｌ）の伝送形態に沿って、撮像素子１０６の外部に出力する（ＯＵＴ）。このように、ＬＤＶＳ３１３は、像信号Ａを含む出力データと像信号ＡＢを含む出力データとを時分割で共通の信号線に出力する出力手段として機能する。
なお、セレクタ３１１及びコード付加部３１２は、像信号Ａと像信号ＡＢとのうちのいずれを出力するかを、水平出力回路３０７からの情報に基づいて識別して動作する。

次に、本実施形態による撮像装置１００における読出し動作について図７を用いて説明する。図７は、本実施形態による撮像装置１００の動作を示すタイミングチャートである。具体的には、図７は、撮像素子１０６の読み出し動作を示している。ここでは、ｉ行目の読み出しを例として説明する。

まず、信号ｓｅｌをＨｉｇｈレベルに設定することにより、単位画素３００の選択スイッチ４０６をオン状態にする。この後、信号ｒｅｓをＬｏｗレベルに設定することにより、リセットスイッチ４０５をオフ状態に設定し、フローティングディフュージョン部４０３のリセットを解除する。アナログ−デジタル変換器３０５は、この際にアナログ−デジタル変換器３０５に入力された信号、即ち、フローティングディフュージョン部４０３のリセットが解除された直後の信号を、ノイズ信号ＮとしてＡ／Ｄ変換する（Ｎ変換）。

次に、信号ｔｘａをＨｉｇｈレベルに設定することにより、転送スイッチ（転送トランジスタ）４０２ａをオン状態にする。これにより、副画素ａのフォトダイオード４０１ａに蓄積されていた電荷がフローティングディフュージョン部４０３に転送される。フォトダイオード４０１ａに蓄積されていた電荷に応じた信号が、選択スイッチ４０６を介して、垂直出力線３０２へ出力される。アナログ−デジタル変換器３０５は、この際にアナログ−デジタル変換器３０５に入力された信号を画素信号ＳａとしてＡ／Ｄ変換する（Ｓａ変換）。

Ｓａ変換が終了すると、ラインメモリ３０６に格納されている画素信号Ｓａとノイズ信号Ｎとが、水平出力回路３０７からの制御によって、ラインメモリ３０６からＳ−Ｎ処理部３０８に出力される。Ｓ−Ｎ処理部３０８は、Ｓａ信号からＮ信号を減算する処理を行うことにより、像信号Ａを生成する。像信号Ａが出力されている期間においては、第１のパラレル／シリアル変換部３１０Ａの出力がセレクタ３１１によって選択される。このため、像信号Ａは、ビット数調整部３０９、第１のパラレル／シリアル変換部３１０Ａ、セレクタ３１１、コード付加部３１２及びＬＶＤＳ出力部３１３を経由して撮像素子１０６の外部に出力される。像信号Ａの先頭には、同期コード及び識別コードが、コード付加部３１２によって付加される。なお、ビット数調整部３０９とコード付加部３１２の動作については、後述することとする。

像信号Ａの出力と並行して、信号ｔｘａ、ｔｘｂをＨｉｇｈレベルに設定することにより、転送スイッチ４０２ａ、４０２ｂをオン状態にする。これにより、副画素ｂのフォトダイオード４０１ｂに蓄積されていた電荷がフローティングディフュージョン部４０３に転送される。そして、副画素ａのフォトダイオード４０１ａに蓄積されていた電荷と副画素ｂのフォトダイオード４０１ｂに蓄積されていた電荷の総和に応じた信号、即ち、加算信号が、選択スイッチ４０６を介して、垂直出力線３０２へ出力される。アナログ−デジタル変換器３０５は、この際の信号を画素信号ＳａｂとしてＡ／Ｄ変換する（Ｓａｂ変換）。

Ｓａｂ変換が終了した後、像信号Ａの出力が完了するまで待つ。Ｓａｂ変換が終了した後、像信号Ａの出力が完了するまでの間に、信号ｒｅｓをＨｉｇｈレベルに設定することによりリセットスイッチ４０５をオン状態にし、フローティングディフュージョン部４０３をリセットしてもよい。

像信号Ａの出力が完了すると、ラインメモリ３０６に格納されている画素信号Ｓａｂとノイズ信号Ｎとが、水平出力回路３０７からの制御によって、水平出力回路３０７からＳ−Ｎ処理部３０８に出力される。Ｓ−Ｎ処理部３０８は、Ｓａｂ信号からＮ信号を減算する処理を行うことにより、像信号ＡＢを生成する。像信号ＡＢが出力されている期間においては、第２のパラレル／シリアル変換部３１０Ｂの出力がセレクタ３１１によって選択される。このため、像信号ＡＢは、第２のパラレル／シリアル変換部３１０Ｂ、セレクタ３１１、コード付加部３１２及びＬＶＤＳ出力部３１３を介して撮像素子１０６の外部に出力される。ＬＶＤＳ出力部３１３から出力される像信号のデータは、画素アレイＰＡの１ラインに対する読み出し期間内において、像信号Ａのデータから像信号ＡＢのデータに切り替わる。像信号ＡＢの先頭には、同期コード及び識別コードが、コード付加部３１２によって付加される。像信号ＡＢの識別コードは、上述した像信号Ａの識別コードとは異なっている。このため、撮像素子１０６から出力される信号を受信するデジタルフロントエンド（受信部）１０８は、受信した信号が像信号Ａであるのか像信号ＡＢであるのかを判別することができる。また、デジタルフロントエンド１０８から出力される信号を受信するＤＳＰ（受信部）１０９は、受信した信号が像信号Ａであるのか像信号ＡＢであるのかを判別することができる。

像信号ＡＢが出力されている期間中に、垂直走査回路３０１は、次の行（ｉ＋１行目）についての信号ｓｅｌ及び信号ｒｅｓを制御し、ｉ＋１行目の信号の読み出し動作を開始する。
こうして、撮像素子１０６の各行について読み出しが順次行われる。

次に、本実施形態による撮像装置において行われるビット数削減処理について図８を用いて説明する。図８は、本実施形態による撮像装置において行われるビット数削減処理を示す模式図である。ビット数削減処理は、入力されるデータに対してビット（ｂｉｔ）数を削減する処理を行うビット数調整部３０９によって行われる。ここでは、Ｓ−Ｎ処理部３０８から出力されるデータが１画素あたり１６ビットのパラレルデータであり、ビット数調整部３０９から出力されるデータが１画素あたり１２ビットのパラレルデータである場合を例に説明する。

図８（ａ）は、常に、１６ビットの入力データのうちの例えば下位４ビットを削って１２ｂｉｔにして出力する例を示している。ＡＦ演算用のデータは、分解能が比較的低い場合であっても、十分な焦点調節精度を得られることが多い。これは、ＡＦ演算においては、補間処理等が行われるためである。このため、図８（ａ）では、ＡＦ演算にしか使用されない像信号である像信号Ａを、画像データにも使用される像信号である像信号ＡＢに比べて分解能を落として出力する。

図８（ｂ）は、被写体の輝度に応じた態様で像信号Ａのビット数の削減処理を行う例を示している。図８（ｂ）のうちの左側の図は、被写体が高輝度である場合を示している。被写体が高輝度である場合には、下位ビット側の分解能は不要であるため、図８（ａ）と同様に、例えば下位４ビットを削る。図８（ｂ）のうちの中央の図は、被写体が低輝度である場合を示している。被写体が低輝度である場合には、下位ビット側の分解能が重要である。一方、被写体が低輝度である場合には、上位ビットには有効な情報が存在しない。このため、被写体が低輝度である場合には、例えば上位４ビットを削る。図８（ｂ）のうちの右側の図は、被写体が中間輝度である場合を示している。被写体が中間輝度である場合においては、例えば、上位２ビットと下位２ビットとを削るようにする。被写体の輝度は、例えば、直前のフレームにおける被写体の輝度に基づいて設定することができる。また、撮像素子１０６とは別個のセンサを用いて被写体の輝度を検出し、検出された被写体の輝度についての情報を、ＣＰＵ１１４が撮像素子１０６に送信するようにしてもよい。なお、上位ビットを削る場合には、クリップ機能、即ち、上位ビットの一部に有効な情報が存在している場合には、当該有効な情報が存在しているビットについては削除しないような機能を設けることが好ましい。

次に、パラレル／シリアル変換のフォーマットについて図９を用いて説明する。図９は、パラレル／シリアル変換のフォーマットを示す図である。
図９（ａ）は、第１のパラレル／シリアル変換部３１０Ａにおける像信号Ａのシリアル／パラレル変換を示している。上述したように、ビット数調整部３０９から出力されるデータは、１画素あたり１２ビットのパラレルデータである。このため、第１のパラレル／シリアル変換部３０１Ａには、１２ビットのパラレルデータが入力される。図９（ａ）においては、１２ビットのパラレルデータが、ｂ０〜ｂ１１で示されている。第１のパラレル／シリアル変換部３０１Ａは、１２ビットのパラレルデータを、６ビットずつのシリアルデータにする。そして、第１のパラレル／シリアル変換部３０１Ａは、ｂ０〜ｂ５の６ビットのシリアルデータを、第１のレーンＬａｎｅ１を用いて出力し、ｂ６〜ｂ１１の６ビットのシリアルデータを第２のレーンＬａｎｅ２を用いて出力する。

図９（ｂ）は、第２のパラレル／シリアル変換部３１０Ｂにおける像信号ＡＢのパラレル／シリアル変換を示している。上述したように、Ｓ−Ｎ処理部３０８から出力されるデータは、１画素あたり１６ビットのパラレルデータである。このため、第２のパラレル／シリアル変換部３１０Ｂには、１６ビットのパラレルデータが入力される。図９（ｂ）においては、１６ビットのパラレルデータが、ｂ０〜ｂ１５を用いて示されている。第２のパラレル／シリアル変換部３０１Ｂは、１６ビットのパラレルデータを、８ビットずつのシリアルデータにする。そして、第２のパラレル／シリアル変換部３０１Ｂは、ｂ０〜ｂ７の８ビットのシリアルデータを、第１のレーンＬａｎｅ１を用いて出力し、ｂ９〜ｂ１５の８ビットのシリアルデータを、第２のレーンＬａｎｅ２を用いて出力する。

このように、像信号ＡＢは１６ビットであるのに対し、像信号Ａは１２ビットとなる。即ち、像信号Ａのデータ量は、像信号ＡＢの３／４倍となる。像信号Ａと像信号ＡＢを合わせたデータの総量は、像信号Ａのビット数の調整を行わなかった場合と比較して、７／８倍となる。このように、本実施形態によれば、１６ビットの像信号Ａと１６ビットの像信号Ａとを単に読み出す場合と比較して、読み出されるデータ量を削減することができる。データ量を削減することができるため、本実施形態によれば、データの読み出し時間を短縮することができ、ひいてはフレームレートを向上させることができる。また、フレームレートを高く維持するために、データ伝送レートを向上させることを要せず、回路規模や消費電力の増大等を防止することができる。

図１０は、コード付加部３１２から出力される１ライン分のデータ、即ち、出力データを示す模式図である。図１０における「１２ｂ」は、１画素分のデータが１２ビットであることを示している。また、図１０における「１６ｂ」は、１画素分のデータが１６ビットであることを示している。

コード付加部３１２は、データの先頭部分に同期コードを付加する。同期コードとしては、例えば所定の値が用いられ、同期コードのビット数は適宜設定することができる。デジタルフロントエンド１０８やＤＳＰ１０９は、同期コードに基づいて一連のデータの先頭を認識し、同期コードに続くデータのデコードを行う。像信号Ａの先頭に付加される同期コードと、像信号ＡＢの先頭に付加される同期コードとは、同一の値であってもよいし、異なった値であってよい。但し、像信号Ａの先頭に付加される同期コードのビット数と、像信号ＡＢの先頭に付加される同期コードのビット数とは、同一とすることが好ましい。

コード付加部３１２は、同期コードの後に識別コードを付加する。識別コードは、当該データが、像信号Ａについてのデータであるのか、像信号ＡＢについてのデータであるのかを、デジタルフロントエンド１０８やＤＳＰ１０９が識別することを可能とするためのものである。上述したように、像信号Ａの１画素あたりのビット数は１２ビットであり、像信号ＡＢの１画素あたりのビット数は１６ビットである。即ち、像信号Ａのフォーマットと像信号ＡＢのフォーマットとは互いに異なっている。このため、デジタルフロントエンド１０８やＤＳＰ１０９は、当該像信号が像信号Ａと像信号ＡＢのいずれであるのかを識別コードに基づいて適宜認識し、デコードフォーマットを適宜切り替え、デコードを行う。このため、像信号Ａの識別コードと像信号ＡＢの識別コードとには、それぞれ異なった値が用いられている。また、像信号Ａの識別コードのビット数と像信号ＡＢのビット数とは、例えば等しく設定されている。ここでは、像信号Ａの識別コードのビット数と像信号ＡＢのビット数とをいずれも１６ビットに設定している。また、識別コードは、同期コードと隣接していることが好ましい。このように、コード付加部３１２は、第１のパラレル／シリアル変換部３１０Ａや第２のパラレル／シリアル変換部３１０Ｂと相俟って、出力データ生成手段として機能する。

このように、本実施形態によれば、１６ビットの像信号Ａと１６ビットの像信号Ａとを単に読み出す場合と比較して、データ量を削減することができる。データ量を削減することができるため、本実施形態によれば、データの読み出し時間を短縮することができ、ひいてはフレームレートを向上させることができる。また、フレームレートを高く維持するために、データ伝送レートを向上させることを要せず、回路規模や消費電力の増大等を防止することができる。

なお、本実施形態では、像信号Ａのビット数を１２ビットとし、像信号ＡＢのビット数を１６ビットとする場合を例に説明したが、像信号Ａと像信号ＡＢの各々のビット数は、これに限定されるものではない。

また、本実施形態では、像信号Ａのビット数の調整を撮像素子１０６内で行う場合を例に説明したが、これに限定されるものではない。例えば、撮像素子１０６とＤＳＰ１０９との中間に位置するデバイス（中継デバイス）、即ち、本実施形態の場合には、デジタルフロントエンド１０８において、像信号Ａのビット数の調整を行うようにしてもよい。但し、この場合には、撮像素子１０６においては、読み出し時間の短縮等の効果は得られず、ＤＦＥ（中継デバイス）１０８とＤＳＰ１０９との間におけるデータ量の増加が抑制されるに留まる。

［第２実施形態］
第２実施形態による撮像装置及び撮像方法について図１１を用いて説明する。図１乃至図１０に示す第１実施形態による撮像装置及び撮像方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。

第１実施形態においては、像信号Ａを焦点検出処理にのみ用いる場合を例に説明した。しかしながら、撮影モードによっては、像信号Ａを焦点検出処理以外の用途で用いる場合、例えば、像信号Ａを画像に用いる場合も考えられる。
例えば、像信号Ａと像信号ＡＢとを取得しておき、後から焦点位置を調整することによって、所望の焦点位置の画像を生成する処理、即ち、リフォーカスと称される処理を行う場合が、これに該当する。例えば、像信号ＡＢから像信号Ａを減算することによって、副画素ｂの信号に相当する像信号Ｂが生成される。そして、像信号Ａと像信号Ｂとを空間的な位置をシフトしつつ加算することによって、所望の位置で合焦した画像を生成することができる。

本実施形態による撮像装置は、このようなモードでの撮影も可能である。即ち、本実施形態による撮像装置では、像信号Ａを画像に用いないモードである第１の撮影モードと、像信号Ａを画像に用いるモードである第２の撮影モードとのうちのいずれかを選択し得る。いずれの撮影モードで撮影を行うかは、不図示の操作部材等をユーザが操作することによって設定される。ＣＰＵ１１４は、ユーザによって行われる設定に基づいて、タイミングジェネレータ１１３を介して撮像素子１０６を駆動する。第１の撮影モードにおける動作は、第１実施形態において説明した通りであるため、ここでは説明を省略する。

本実施形態では、第２の撮影モードにおいては、像信号Ａと像信号ＡＢのいずれについても、１画素あたりのビット数を１６ビットとする。即ち、本実施形態では、第２の撮影モードにおいては、１６ビットの像信号Ａと１６ビットの像信号ＡＢとが撮像素子１０６から出力される。

図１１は、コード付加部３１２から出力される１ライン分のデータ、即ち、１ライン分の出力データを示す模式図である。図１１（ａ）は、第１の撮影モードの場合を示しており、図１０を用いて上述した第１実施形態の場合と同様である。図１１（ｂ）は、第２の撮影モードの場合を示しており、像信号Ａの１画素あたりのビット数も１６ビットとなっている。このように、本実施形態では、第２の撮影モードで動作させる場合には、データ量を低減しない。

第２の撮影モードにおいては、デジタルフロントエンド１０８やＤＳＰ１０９は、像信号Ａと像信号ＡＢとでデコードフォーマットを切り替える必要はない。このため、デコードを行うという観点においては、像信号Ａの識別コードと像信号ＡＢの識別コードとを異ならせる必要はない。しかし、その他の画像処理等において識別コードは有用であるため、ここでは像信号Ａの識別コードと像信号ＡＢの識別コードとを異ならせている。

第２の撮影モードにおいては、１６ビットの像信号Ａを出力するため、セレクタ３１１は、像信号Ａが出力される期間においても像信号ＡＢが出力される期間においても、第２のパラレル／シリアル変換部３１０Ｂから出力されるデータを選択する。従って、第２の撮影モードにおいては、水平出力回路３０７はセレクタ３１１に対する制御信号を切替えない。

このように、本実施形態によれば、像信号Ａのビット数を削減して出力する第１の撮影モードと、像信号Ａのビット数を削減することなく出力する第２の撮影モードとを備えた撮像装置が提供される。
なお、本実施形態では、第２の撮影モードにおける像信号Ａのビット数を、像信号ＡＢのビット数と同一の１６ビットとする場合を例に説明したが、これに限定されるものではない。加算信号である像信号ＡＢの大きさに対して、像信号Ａの大きさは小さいはずである。このため、例えば、像信号Ａの上位１ビットを削って１５ビットにするようにしてもよい。

［第３実施形態］
第３実施形態による撮像装置及び撮像方法を図１２用いて説明する。図１乃至図１１に示す第１又は第２実施形態による撮像装置及び撮像方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。

上記実施形態では、像信号Ａのビット数の削減がビット数調整部３０９によって行われる場合を例に説明した。また、上記実施形態では、アナログ−デジタル変換器３０５が画素信号Ｓａと画素信号Ｓａｂとを同一のビット数のデータにＡ／Ｄ変換していた。
これに対し、本実施形態による撮像装置は、画素信号Ｓａをアナログ−デジタル変換器３０５によってＡ／Ｄ変換する段階で、像信号Ａのビット数を像信号ＡＢのビット数よりも小さく設定する。

図１２は、本実施形態による撮像装置における読み出し動作を示すタイミングチャートである。
図１２において“Ｒａｍｐ”は、ランプ方式のＡ／Ｄ変換を行うアナログ−デジタル変換器３０５におけるランプ信号を示している。ランプ信号は、アナログ−デジタル変換器３０５内で発生される。アナログ−デジタル変換器３０５内に配された各列のコンパレータが、各々の列の画素信号（又はノイズ信号）とランプ信号とを比較し、コンパレータの出力が反転するまでの時間がカウンタ（図示せず）によってカウントされる。カウンタによってカウントされた時間に対応するランプ信号の大きさ（電圧）が、画素信号（又はノイズ信号）の大きさである。従って、カウンタによってカウントされた時間に基づいて、画素信号の大きさを求めることができる。こうして、Ａ／Ｄ変換が行われる。

画素信号ＳａをＡ／Ｄ変換する際、即ち、Ｓａ変換の際においては、ランプ信号の傾き、即ち、単位時間あたりのランプ信号の電圧の変化量を大きくし、ランプ信号を急峻に変化させる。そうすると、Ａ／Ｄ変換における実効的な分解能が低下する。本実施形態では、画素信号ＳａをＡ／Ｄ変換する際のランプ信号の傾きを、画素信号ＳａｂをＡ／Ｄ変換する際のランプ信号の傾きの例えば１６倍とする。ランプ信号の傾きを１６倍にした場合には、ランプ信号の傾きが通常通りである場合と比較して、コンパレータが反転するまでの時間が１／１６となる。このため、ランプ信号の傾きを１６倍にした場合における像信号Ａの値は、ランプ信号の傾きを１６倍にしなかった場合における像信号Ａの値の１／１６となる。像信号Ａの値が１／１６となるため、像信号Ａのビット数を例えば４ビット削減することができる。

ノイズ信号Ｎの分解能は、画素信号Ｓａｂの分解能と同じに設定されている。このため、Ｓ−Ｎ処理部３０８が画素信号Ｓａからノイズ信号Ｎを減算する際には、ノイズ信号Ｎを１／１６倍し、１／１６倍したノイズ信号Ｎを画素信号Ｓａから減算する。

ビット数調整部３０９は、像信号Ａに対してビットの削減を行うことなく、入力された像信号Ａをそのまま出力すればよい。従って、本実施形態では、ビット数調整部３０９を省略することも可能である。

本実施形態では、画素信号ＳａをＡ／Ｄ変換する際の分解能を低下させるため、画素信号ＳａをＡ／Ｄ変換する際に要する時間をも短縮することができる。このため、本実施形態によれば、撮像素子１０６の読み出し時間を更に短縮することができる。

なお、像信号ＡＢから像信号Ａを減算することにより像信号Ｂを算出する際には、像信号ＡＢを１／１６倍し、１／１６倍した像信号ＡＢから像信号Ａを減算することにより、像信号Ｂを得るようにしてもよい。また、像信号Ａを１６倍し、像信号ＡＢから１６倍した像信号Ａを減算することにより、像信号Ｂを得るようにしてもよい。

上記の例においては、画素信号ＳａをＡ／Ｄ変換する際のランプ信号の傾きを、画素信号ＳａｂをＡ／Ｄ変換する際のランプ信号の傾きの１６倍とし、カウント時間を、ランプ信号の傾きが通常通りである場合の１／１６としている。画素信号ＳａをＡ／Ｄ変換する際のランプ信号の振幅は、画素信号ＳａｂをＡ／Ｄ変換する際の振幅と同じである。このため、こうして得られた像信号Ａは、像信号ＡＢに対し、下位４ビットが削減されたことと等価となる。しかし、上記のような例に限定されるものではない。例えば、上位ビット側と下位ビット側の両方が削減されたことと等価になるようにしてもよい。例えば、画素信号ＳａをＡ／Ｄ変換する際のランプ信号の傾きを、画素信号ＳａｂをＡ／Ｄ変換する際のランプ信号の傾きの８倍とする一方、カウント時間については、ランプ信号の傾きが通常通りである場合の１／１６とするようにしてもよい。この場合には、像信号Ａは、像信号ＡＢに対し、上位１ビットが削減され、下位３ビットが削減されたことと等価となる。このようにした場合にも、像信号Ａのデータ量を、像信号ＡＢのデータ量よりも小さくすることができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

上記実施形態では、同じ画素数分の像信号Ａと像信号ＡＢとを取得する場合を例に説明したが、これに限定されるものではない。例えば、一部の領域についてのみ像信号Ａを取得するようにしたり、加算平均合成した像信号Ａを取得するようにしたりすることによって、像信号Ａが出力される画素数を削減するようにしてもよい。これにより、データ量の増加を更に抑制することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置
１０６…撮像素子
１０８…デジタルフロントエンド
１０９…デジタルシグナルプロセッサ
３０５…アナログ−デジタル変換器
３０６…ラインメモリ
３０７…水平走査回路
３０９…ビット数調整部
３１０Ａ…パラレル／シリアル変換部
３１０Ｂ…パラレル／シリアル変換部
３１１…セレクタ
３１２…コード付加部

Claims (17)

1. 第１の光電変換部と第２の光電変換部とをそれぞれ含む複数の単位画素を含む画素アレイと、
   前記第１の光電変換部からの信号に基づいて第１のビット数の第１の信号を生成し、前記第１の光電変換部と前記第２の光電変換部とからの信号に基づいて前記第１のビット数とは異なる第２のビット数の第２の信号を生成する信号生成手段と
   を有することを特徴とする撮像装置。
2. 前記第１の信号のビット数は、前記第２の信号のビット数より小さい
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記信号生成手段は、前記第１の光電変換部からの信号に基づいて前記第２のビット数の前記第１の信号を生成し、前記第１の光電変換部と前記第２の光電変換部とからの信号とに基づいて前記第２のビット数の前記第２の信号を生成するアナログ−デジタル変換部と、前記アナログ−デジタル変換部により生成された前記第２のビット数の前記第１の信号に基づいて前記第１のビット数の前記第１の信号を生成するビット数調整部とを含む
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記ビット数調整部は、第１の撮影モードにおいては、前記第１のビット数の前記第１の信号を出力し、前記第１の撮影モードと異なる第２の撮影モードにおいては、前記第２のビット数の前記第１の信号を出力する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記信号生成手段は、前記第１の光電変換部からの信号に基づいて前記第１のビット数の前記第１の信号を生成し、前記第１の光電変換部と前記第２の光電変換部とからの信号とに基づいて前記第２のビット数の前記第２の信号を生成するアナログ−デジタル変換部を含む
   ことを特徴とする請求項１又は２に記載の撮像装置。
6. 前記アナログ−デジタル変換部は、前記第１の光電変換部からの信号と、単位時間あたりの電圧の変化量が第１の変化量である第１のランプ信号とを、コンパレータにより比較し、前記コンパレータの出力が反転するまでの時間に基づいて前記第１の信号を生成し、前記第１の光電変換部と前記第２の光電変換部とからの信号と、単位時間あたりの電圧の変化量が前記第１の変化量よりも小さい第２の変化量である第２のランプ信号とを、前記コンパレータにより比較し、前記コンパレータの出力が反転するまでの時間に基づいて前記第２の信号を生成する
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記信号生成手段によって生成された前記第１の信号を第１のフォーマットで配列にすることにより第１の出力データを生成し、前記信号生成手段によって生成された前記第２の信号を第２のフォーマットで配列することにより第２の出力データを生成する出力データ生成手段と、前記第１の出力データと前記第２の出力データとを時分割で共通の信号線に出力する出力手段とを更に有する
   ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記画素アレイの１ラインに対する読み出し期間内に、前記出力手段からの出力を、前記第１の出力データから前記第２の出力データに切り替える
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記第１の出力データに基づいて焦点検出を行う焦点検出手段を更に有する
   ことを特徴とする請求項７又は８に記載の撮像装置。
10. 前記第１の出力データと前記第２の出力データとにそれぞれ異なる値の識別コードを付加する識別コード付加手段を更に有する
    ことを特徴とする請求項７から９のいずれか１項に記載の撮像装置。
11. 前記第１の出力データに付加される前記識別コードのビット数と、前記第２の出力データに付加される前記識別コードのビット数とが、等しい
    ことを特徴とする請求項１０に記載の撮像装置。
12. 前記第１の出力データと前記第２の出力データとを受信する受信部であって、前記第１の出力データをデコードする際のフォーマットと、前記第２の出力データをデコードする際のフォーマットとを、前記識別コードに基づいて切り替える受信部を更に有する
    ことを特徴とする請求項１０又は１１に記載の撮像装置。
13. 前記第１の出力データの先頭と前記第２の出力データの先頭とをそれぞれ示す同期コードを、前記第１の出力データと前記第２の出力データとにそれぞれ付加する同期コード付加手段を更に有する
    ことを特徴とする請求項７から１２のいずれか１項に記載の撮像装置。
14. 前記第１の出力データの前記同期コードの値と、前記第２の出力データの前記同期コードの値とが、等しい
    ことを特徴とする請求項１３に記載の撮像装置。
15. 前記信号生成手段は、被写体の輝度に応じた態様で前記第１の信号を生成する
    ことを特徴とする請求項１から１４のいずれか１項に記載の撮像装置。
16. 第１の光電変換部と第２の光電変換部とをそれぞれ含む複数の単位画素を含む画素アレイの前記第１の光電変換部からの信号に基づいて第１のビット数の第１の信号を生成するステップと、
    前記第１の光電変換部と前記第２の光電変換部とからの信号に基づいて前記第１のビット数とは異なる第２のビット数の第２の信号を生成するステップと
    を有することを特徴とする撮像方法。
17. コンピュータに、
    第１の光電変換部と第２の光電変換部とをそれぞれ含む複数の単位画素を含む画素アレイの前記第１の光電変換部からの信号に基づいて第１のビット数の第１の信号を生成するステップと、
    前記第１の光電変換部と前記第２の光電変換部とからの信号に基づいて前記第１のビット数とは異なる第２のビット数の第２の信号を生成するステップと
    を実行させるためのプログラム。

Images