JP2018186388A - 撮像装置および制御方法 - Google Patents

Abstract

【課題】撮像素子から射出瞳を分割した状態で画素信号を読み出す第１の駆動と、撮像素子の画素部から一度に画像信号を読み出す第２の駆動によって得られる画像信号に基づいて、高品質の画像信号を生成することができる撮像装置を提供する。
【解決手段】撮像装置が、撮像光学系の異なる瞳領域を通過した光を受光する複数の光電変換部のそれぞれから画像信号を読み出す第１の駆動と、複数の光電変換部から同時に画像信号を読み出す第２の駆動とを行う。撮像装置は、第１の駆動と第２の駆動のそれぞれについて、読み出された画像信号に対して、光電変換部に入射する光量と画像信号の明るさの線型性を補償する処理を行う。そして、撮像装置が、線形性が補償された画像信号を加算して、記録用の画像信号を生成する。
【選択図】図１

Description

本発明は、撮像装置および制御方法に関する。

特許文献１は、マイクロレンズに対して複数の光電変換部が設けられた画素部を有する撮像素子を備え、撮像光学系の射出瞳を分割した状態で画像信号を読み出して焦点検出をする撮像装置を開示している。以下では、射出瞳を分割して画像信号を読み出すことを「分割読み」とも記述する。

特開２００１−１２４９８４号公報

撮像素子の読み出し回路を構成するトランジスタなどの電気素子の特性に起因して、被写体像の明るさに比例した電気信号が得られない場合がある。これにより、画像信号として見たときに、明るさや色の線型性（リニアリティ）が失われてしまう。また、マイクロレンズに対して複数の光電変換部が設けられた画素部を有する撮像素子を備え、射出瞳を分割して画像信号を読み出す撮像装置では、分割読みした画像信号を加算して、記録用の画像信号を生成する場合に、以下の問題がある。この撮像装置では、上述した線型性が失われることに起因して、分割読みした画像信号を加算して得られる画像信号と、分割読みをせずに画素部から一度に読み出した画像信号とで、信号レベルに差異が生じてしまう。したがって、分割読みした画像信号を加算した後に線型性を補償しようとしても、正しい補償値を決められない。その結果、出力される画像信号をフレーム画像として見ると、高品質の画像が得られない。本発明は、撮像素子から射出瞳を分割した状態で画素信号を読み出す第１の駆動と、撮像素子の画素部から一度に画像信号を読み出す第２の駆動によって得られる画像信号に基づいて、高品質の画像信号を生成することができる撮像装置の提供を目的とする。

本発明の一実施形態の撮像装置は、撮像光学系の異なる瞳領域を通過した光を受光する複数の光電変換部のそれぞれから画像信号を読み出す第１の駆動と、前記複数の光電変換部から同時に画像信号を読み出す第２の駆動とを行う読み出し手段と、前記第１の駆動と前記第２の駆動のそれぞれについて、前記読み出し手段により読み出された画像信号に対して、前記光電変換部に入射する光量と画像信号の明るさの線型性を補償する処理を行う補償手段と、前記入出力線形性が補償された画像信号を加算して、記録用の画像信号を生成する生成手段とを備える。

本発明の撮像装置によれば、撮像素子から射出瞳を分割した状態で画素信号を読み出す第１の駆動と、撮像素子の画素部から一度に画像信号を読み出す第２の駆動によって得られる画像信号に基づいて、高品質の画像信号を生成することができる。

撮像装置の構成例を示す図である。 撮像装置の動作処理の一例を説明するフローチャートである。 撮像素子の構成の一例を示す図である。 画素アレイが有する画素部の構成例を示す図である。 画素アレイの読み出し回路の一部を示す図である。 被写体の明るさと、線型性補償部に入力される画像信号の信号レベルとの関係を説明する図である。 非線型な特性を持った画像信号に対する、信号補正処理後の画像信号の信号レベルを示す図である。 分離部による画像信号の分離を示すタイミングチャートである。 記録用画像信号の生成のタイミングを示すタイミングチャートである。

図１は、本実施形態の撮像装置の構成例を示す図である。
撮像光学系１０１は、不図示の被写体から放射された光線を被写体像として結像させる。撮像光学系１０１は、被写体にピントを合わせるためのフォーカスレンズとその制御機構、焦点距離を変更するためのズームレンズとその制御機構、入射光量を調節するための絞り機構のうち、少なくとも１つ以上を備える。

撮像素子１０２は、被写体像を光電変換により電気信号に変換して、画像信号として出力する。撮像素子１０２は、後述する制御部１１１からの制御信号である撮像素子駆動情報に従って制御される。光電変換部１０３は、光学系１０１から得られた被写体像を被写体像の明るさに応じた電気信号に変換する。読み出し部１０４は、光電変換部１０３で変換された電気信号を撮像素子１０２から順に出力する。

線型性補償部１０５は、撮像素子１０２から出力された画像信号に対して、被写体像に含まれる光量とそれに対応した画像信号の明るさの線型性を補償する処理（信号補正処理）を行う。線型性補償部１０５は、後述する記憶部１０６に記憶されたパラメータ（以下、「補正パラメータ」と記述）に基づいて、画像信号に対して信号補正処理を行う。

記憶部１０６には、線型性補償部１０５が信号補正処理に使用する補正パラメータが予め記録される。分離部１０７は、制御部１１１からの分離制御信号に基づいて、線型性補償部１０５によって線形性が補償された画像信号を、記録用画像生成部１０９への入力信号と、測距部１０８への入力信号とに分離する。測距部１０８への入力信号は、測距用の画像信号（以下、「測距用画像信号」とも記述）である。

測距部１０８は、分離部１０７によって分離および出力された測距用画像信号に基づいて、撮像装置から被写体までの距離情報を算出する。制御部１１１が、算出された距離に対応するデフォーカス量に基づいて、フォーカスレンズを制御することで、自動焦点調節動作を実行する。記録用画像生成部１０９は、分離部１０７から入力された画像信号に基づいて、記録用の画像信号（以下、「記録用画像信号」とも記述）を生成する。後述する制御部１１１からの制御信号である加算制御信号に基づいて、画像信号生成のタイミングが制御される。画像信号記憶部１１０は、記録用画像生成部１０９が画像信号を生成する際にラインメモリとして画像信号をバッファリングするために用いる記憶手段である。制御部１１１は、撮像装置全体を制御する。制御部１１１は、撮像素子１０２、分離部１０７、記録用画像生成部１０９を制御するための制御信号を出力する。

図２は、撮像装置の動作処理の一例を説明するフローチャートである。
Ｓ２０１において、制御部１１１が、撮像素子１０２を駆動する。撮像素子１０２は、制御部１１１からの撮像素子駆動情報に基づいて、撮像光学系１０１からの被写体像を電気信号に変換して出力する。ここで、図３、図４、図５を用いて、撮像素子１０２からの画像信号の読み出し方法について説明する。

図３は、撮像素子の構成の一例を示す図である。
垂直走査部３０１は、制御部１１１からの撮像素子駆動情報に基づき、行単位で出力する画像信号を決定し、画素アレイ３０２に対して画像信号を読み出す制御信号を出力する。画素アレイ３０２は、垂直走査部３０１からの制御信号に基づいて、画像信号を読み出す。列ＡＤ変換部３０３は、画素アレイ３０２から列方向に読み出された信号をデジタル信号に変換する。列ＡＤ変換部３０３は、各列に電圧比較器（コンパレータ）とカウンタを備えている。コンパレータの一端には、画素からの信号がアナログ信号として入力される。コンパレータの他端には、ランプ波形が印加され、各列の比較器が反転した時のカウンタの値で、デジタル信号への変換が実現される。ラインメモリ３０４は、列ＡＤ変換部から出力されたデジタル化された画像信号を一時的に記憶する。

水平走査部３０５は、ラインメモリ３０４に記憶された画像信号を順番に読み出す。これにより、水平走査部３０５は、画素アレイ３０２から行単位で読み出された画像信号を順に出力する。出力部３０６は、水平走査部３０５から出力された画像信号を、所定のフォーマットに変換する。出力部３０６は、画像信号を、例えば、標準規格として良く知られているＬＶＤＳなどの差動伝送フォーマットに変換する。これにより、デジタル信号を小振幅電圧で伝送することで、撮像装置の消費電力を抑えることができる。続いて、画素アレイ３０２の詳細に関して、図４および図５を用いて以下に説明する。

図４は、画素アレイが有する画素部の構成例を示す図である。
画素部４０３は、入射光を電荷に変換するフォトダイオードに代表される複数の光電変換部を有する。図４に示す例では、画素部４０３が２つの光電変換部４０１、４０２を有している。光電変換部４０１、４０２は、図１の光電変換部１０３に対応する。画素部４０３は、複数の光電変換部に共通で１つのマイクロレンズ４０４を備える構造を有する。光電変換部４０１と光電変換部４０２は、撮像光学系の異なる瞳領域（射出瞳）を通過した光を受光する。この構造により、射出瞳を分割した状態で、視差のある画像（視差画像）に対応する画像信号を取得することが可能となる。また、撮像素子１０２上に存在する他の画素部についても、図示した位置関係に光電変換部が存在している。

図５は、画素アレイの読み出し回路の一部を示す図である。
フローティングデフュージョン部（以下、ＦＤ）５０３は、光電変換部４０１と４０２で発生した電荷を一時的に蓄積しておく蓄積領域である。第１の転送スイッチ５０１は、光電変換部４０１で発生した電荷を転送パルスｐＴＸ＿ＡによってＦＤ５０３に転送する。第２の転送スイッチ５０２は、光電変換部４０２で発生した電荷を転送パルスｐＴＸ＿ＢによってＦＤ５０３に転送する。

リセットスイッチ５０４は、リセットパルスｐＲＥＳによってＦＤ５０３に蓄積された電荷を除去する。増幅ＭＯＳアンプ５０５は、ソースフォロアアンプとして機能する。電源ライン５０６には、リセットスイッチ５０４と増幅ＭＯＳアンプ５０５が接続されている。選択スイッチ５０７は、画素アレイの行単位で読み出す画像信号を選択するためのスイッチである。第１の転送スイッチ５０１、第２の転送スイッチ５０２、リセットスイッチ５０４、選択スイッチ５０７のゲート電極は、行単位で、それぞれｐＴＸ＿Ａ、ｐＴＸ＿Ｂ、ｐＲＥＳ、ｐＳＥＬを供給する信号線に接続される。そして、撮像素子に設けられた垂直走査部３０１によって選択走査される。

垂直出力線５０８は、各画素部からの出力信号を撮像素子の列方向に出力する。読み出し部５０９は、図１の読み出し部１０４に対応する。読み出し部５０９は、光電変換部４０１および４０２で変換された電気信号を増幅し、撮像素子１０２から画像信号として出力する。また、撮像素子１０２からの画像信号の読み出しのときには、読み出し部５０９は、撮像素子１０２上を水平方向に並んでいる複数の画素部４０３を順にライン単位で読み出す。読み出された画像信号は、垂直出力線５０８を経て画素アレイ３０２から出力される。以上説明した構成により、読み出し部５０９は、例えば、ある行では、光電変換部４０１と光電変換部４０２に蓄積された電荷をそれぞれ読み出す第１の駆動を行う。第１の駆動は、射出瞳を分割して画像信号を読み出す動作である。光電変換部４０１から読み出された電荷に対応する画像信号（例えば、図８のＤ０（Ａ））と、光電変換部４０２から読み出された電荷に対応する画像信号（例えば、図８のＤ１（Ｂ））のそれぞれを、第１の画像信号と記述する。光電変換部４０１、光電変換部４０２のそれぞれから読み出された画像信号は、視差画像に対応する。別の行では、読み出し部５０９は、光電変換部４０１と光電変換部４０２に蓄積された電荷を同時に（一度に）読み出す第２の駆動を行う。第２の駆動によって光電変換部４０１および光電変換部４０２から読み出される画像信号を、第２の画像信号と記述する。

図２の説明に戻る。Ｓ２０２において、線型性補償部１０５が、前述した第１の駆動と第２の駆動のそれぞれについて、読み出し部５０９により読み出された画像信号に対して、光電変換部に入射する光量と画像信号の明るさの線型性を補償する処理を行う。具体的には、線型性補償部１０５は、記憶部１０６に記憶されている補正パラメータを読み出して画像信号に対して適用する。

図６は、被写体の明るさと、線型性補償部に入力される画像信号の信号レベルとの関係を説明する図である。
図６に示すグラフの横軸は、被写体像の明るさを示す。縦軸は、画像信号の信号レベルを示す。本来であれば、６０１に示すように、被写体像の明るさに対して得られる画像信号の信号レベルは線型（比例関係）であるべきである。しかし、撮像素子１０２に形成された読み出し部１０４を構成するトランジスタなどの電気素子の特性に起因して、被写体像の明るさに比例した電気信号が得られない場合がある。この場合には、例えば６０２で示すように、非線型な特性をもった画像信号が得られる。ある明るさ６０３の被写体像に対して、本来であれば６０４で示す信号レベルが画像信号として得られるところ、図６の例では、非線型性な特性により６０５で示すように低いレベルの信号レベルになってしまう。そこで、線型性補償部１０５は、記憶部１０６に記憶されている補正パラメータを用いて画像信号に対して線型性を補償する処理（信号補正処理）を行う。

図７は、図６に示した非線型な特性を持った画像信号に対する、信号補正処理後の画像信号の信号レベルを示す図である。
線型性補償部１０５は、入力された画像信号の信号レベルに応じて、被写体像の明るさに比例した関係を持つ画像信号となるように信号補正処理を行う。７０１は、信号補正処理をしていない場合の入力画像信号レベルと出力画像信号レベルの関係を示す。線形性補償部１０５は、７０２で示すように、入力画像の信号レベルが増幅するように信号補正処理をする。これにより、図６に示した被写体像の明るさに対する画像信号の線型性が補償される。例えば、７０３に示す入力画像の信号レベルの場合、信号補正処理をする前は、信号レベルは７０５で示す信号レベルのままだが、信号補正処理をすることで、信号レベルが７０４で示す信号レベルに補償される。線型性補償手段１０５は、補正パラメータを記憶部１０６から読み出し、補正パラメータを用いて、入力画像の信号レベルを増幅する。

記憶部１０６に記憶される補正パラメータの数が入力画像の信号レベルの階調に依存しないようにするため、７０６等の黒点で示すように、補正パラメータを入力画像の信号レベルの階調より少ない個数で離散的に記憶部１０６に記憶してもよい。線型性補償部１０５は、補正パラメータが存在しない区間に対応する補正パラメータを、記憶部１０６に記憶された補正パラメータに基づいて補間処理などで生成する。これにより、記憶部１０６に記憶しておく補正パラメータの個数を削減することが可能である。

図２の説明に戻る。Ｓ２０３において、分離部１０７が、線型性補償手段１０５から出力された信号補正処理後の画像信号を、記録用画像生成部１０９への出力と、測距部１０６への出力（測距用画像信号）とに分離する。分離部１０７は、制御部１１１から送信される分離制御信号に基づいて、後段の処理回路への画像信号の分離を行う。

図８は、分離部による入力された画像信号の分離を示すタイミングチャートである。
画像信号８０１は、入力画像信号つまり線型性補償部１０５によって信号補正処理が行われた画像信号である。図中の点線の間隔が１ライン分の画像信号が出力される期間を示している。

分離制御信号８０２は、制御部１１１から出力される、測距用画像信号を選択するための制御信号である。分離制御信号８０２は、射出瞳分割して読み出された画像信号をライン単位で選択するように制御する。出力画像信号８０３は、分離部１０７から記録用画像生成部１０９に出力されて、記録用画像信号の生成に用いられる。出力画像信号８０３については全てのライン分が出力される。

出力画像信号８０４は、測距用画像信号を示す。出力画像信号８０４は、測距部１０８に入力される。分離部１０７は、分離制御信号８０２に従って、射出瞳を分割して読み出す第１の駆動により読み出された第１の画像信号（Ｄ０（Ａ），Ｄ１（Ｂ））を測距用画像信号として出力する。測距部１０８は、測距用画像信号に基づいて、撮像装置から被写体までの距離を算出する。具体的には、測距部１０８は、２像すなわちＤ０（Ａ）とＤ１（Ｂ）の相関を取得する。相関の数値化は差分絶対値和の算出により行われる。測距部１０８は、算出された相関値から２像のズレ量を算出し、算出したズレ量に基づいて、被写体までの距離を算出する。そして、制御部１１１が、算出された被写体までの距離に基づき、撮像光学系１０１を構成するレンズの一部を調整することにより、被写体へのピント合わせを行う。

図２の説明に戻る。Ｓ２０４において、記録用画像信号生成部１０９が、分離部１０７から出力された分離後の画像信号（図８の出力画像信号８０３）に基づいて、記録用画像信号を生成する。

図９は、記録用画像信号生成部による記録用画像信号の生成のタイミングを示すタイミングチャートである。
入力画像信号９０１は、分離部１０７から出力された分離後の画像信号を示す。図中の点線の間隔が１ライン分の画像信号が出力される期間を示している。入力画像信号９０１には、射出瞳を分割して読み出す第１の駆動により読み出された第１の画像信号（Ｄ０（Ａ），Ｄ１（Ｂ））と、第２の駆動で読み出された第２の画像信号（Ｄ２（Ａ＋Ｂ），Ｄ３（Ａ＋Ｂ））とが混在している。書き込み制御信号９０２は、第１の画像信号を加算処理するために、入力画像信号の一部を選択して一時的に画像信号記憶部１１０に記憶するための制御信号である。書き込み制御信号９０２は、制御部１１１から送信される加算制御信号のうちの１つである。メモリ画像９０３は、画像信号記憶部１１０に記憶された画像信号に係る画像である。書き込み制御信号９０２がＨｉのタイミングで書き込まれた画像信号がメモリ画像９０３として画像信号記憶部１１０に記憶される。

読み出し制御信号９０４は、第１の画像信号を加算処理するために、一時的に画像信号記憶手段１１０に記録された画像信号を読み出すための制御信号である。読み出し制御信号９０４も制御部１１１からの加算制御信号のうちの１つである。出力画像信号９０５は、記録用画像生成部１０９から出力される記録用画像信号である。記録用画像生成部１０９は、読み出し制御信号９０４がＨｉになったタイミングで読み出される画像信号Ｄ０（Ａ）と、入力画像信号９０１のＤ１（Ｂ）とを加算して、新たな画像信号（Ｄ０（Ａ）＋Ｄ１（Ｂ））を生成する。記録用画像生成部１０９は、生成した画像信号（Ｄ０（Ａ）＋Ｄ１（Ｂ））と、第２の画像信号（Ｄ２（Ａ＋Ｂ），Ｄ３（Ａ＋Ｂ））とを記録用画像信号として出力する。

本実施形態の撮像装置は、射出瞳を分割して撮像素子から画素信号を読み出して、測距用と記録用の画像信号をそれぞれ生成する際に、記録用の画像信号を生成するより前に線型性を補償し、補償後に測距用と記録用の画像信号に分離して各々処理する。これにより、記録用画像信号の画質劣化の影響を低減することが可能となる。本実施形態では、撮像素子１０２において、一部の画像信号について射出瞳を分割して読み出す例を説明したが、同じ構成において、全部の画像信号について射出瞳を分割して読み出し、記録用画像信号と測距用画像信号を生成することも可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２ 撮像素子
１０５ 線形性補償部
１０７ 分離部
１０９ 記録用画像生成部
１１１ 制御部

Claims (9)

1. 撮像光学系の異なる瞳領域を通過した光を受光する複数の光電変換部のそれぞれから画像信号を読み出す第１の駆動と、前記複数の光電変換部から同時に画像信号を読み出す第２の駆動とを行う読み出し手段と、
   前記第１の駆動と前記第２の駆動のそれぞれについて、前記読み出し手段により読み出された画像信号に対して、前記光電変換部に入射する光量と画像信号の明るさの線型性を補償する処理を行う補償手段と、
   前記線形性が補償された画像信号を加算して、記録用の画像信号を生成する生成手段とを備える
   ことを特徴とする撮像装置。
2. 前記線形性を補償するためのパラメータを記憶する記憶手段を備え、
   前記補償手段は、前記記憶手段に記憶されたパラメータに基づいて、前記画像信号に対して前記線形性を補償する処理を行う
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記記憶手段には、前記画像信号の信号レベルの階調よりも少ない階調の前記パラメータが記憶されており、
   前記補償手段は、前記記憶手段に記憶された前記パラメータに基づく補間処理によって、前記線形性の補償に用いるパラメータを生成する
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 被写体までの距離情報を算出する算出手段と、
   前記線形性を補償する処理が行われた画像信号を、前記算出手段への入力信号と前記生成手段への入力信号とに分離する分離手段とを備える
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記分離手段は、前記第１の駆動により読み出され、前記線形性を補償する処理が行われた画像信号を、前記算出手段への入力信号として出力し、
   前記算出手段は、デフォーカス量に対応する情報として前記距離情報を算出する
   ことを特徴とする請求項５に記載の撮像装置。
6. 前記デフォーカス量に基づいて、前記撮像光学系が有するフォーカスレンズを制御する制御手段を備える
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記生成手段への入力信号には、前記第１の駆動により読み出された第１の画像信号と、前記第２の駆動で読み出された第２の画像信号とが混在しており、
   前記生成手段は、前記第１の画像信号を加算し、前記加算により得られる画像信号と、前記第２の画像信号とを前記記録用の画像信号として出力する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. １つのマイクロレンズに対して複数の光電変換部を有する画素部と、前記読み出し手段とを有する撮像素子を備える
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 撮像光学系の異なる瞳領域を通過した光を受光する複数の光電変換部のそれぞれから画像信号を読み出す第１の駆動と、前記複数の光電変換部から同時に画像信号を読み出す第２の駆動とを行う読み出し工程と、
   前記第１の駆動と前記第２の駆動のそれぞれについて、前記読み出し工程により読み出された画像信号に対して、前記光電変換部に入射する光量と画像信号の明るさの線型性を補償する処理を行う補償工程と、
   前記線形性が補償された画像信号を加算して、記録用の画像信号を生成する生成工程とを有する
   ことを特徴とする制御方法。

Images