JP2018019296A - Imaging apparatus and control method therefor - Google Patents
Imaging apparatus and control method therefor Download PDFInfo
- Publication number
- JP2018019296A JP2018019296A JP2016148997A JP2016148997A JP2018019296A JP 2018019296 A JP2018019296 A JP 2018019296A JP 2016148997 A JP2016148997 A JP 2016148997A JP 2016148997 A JP2016148997 A JP 2016148997A JP 2018019296 A JP2018019296 A JP 2018019296A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixel
- image
- sub
- exposure condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置およびその制御方法に関する。 The present invention relates to an imaging apparatus and a control method thereof.
露出の異なる画像を合成することにより、撮像素子のダイナミックレンジを超えるダイナミックレンジを有する画像（ＨＤＲ画像）を生成する技術が知られている。異なるタイミングで撮影した画像からＨＤＲ画像を生成すると、動きのある被写体はＨＤＲ画像においてブレた状態になる。そのため、１回の撮影で露出の異なる画像を得るための構成が提案されている（特許文献１）。 A technique for generating an image (HDR image) having a dynamic range that exceeds the dynamic range of the image sensor by combining images with different exposures is known. When an HDR image is generated from images taken at different timings, a moving subject is blurred in the HDR image. For this reason, a configuration has been proposed for obtaining images with different exposures in one shooting (Patent Document 1).
特許文献１には、１つのマイクロレンズに複数の画素が割り当てられた撮像素子を用いてＨＤＲ画像を生成することが開示されている。１つのマイクロレンズに複数の画素が割り当てられた撮像素子では、マイクロレンズに対する画素の相対位置は視点に相当し、１つのマイクロレンズに割り当てられた画素の数に等しい視差画像を１回の露光によって得ることができる。特許文献１では、このような視差画像のうち、マイクロレンズのケラレが大きな視点位置の画像を低露出の画像、ケラレが小さな視点位置の画像を高露出の画像として用いてＨＤＲ画像を生成している。
１対の視差画像の像ずれ量は位相差検出方式の焦点検出に用いることができるが、１対の視差画像のケラレの差が大きい場合、焦点検出領域で得られる画素信号波形の相関が低下し、位相差の検出精度が低下するという問題が生じる。従って、特許文献１の構成では、ＨＤＲ画像の生成と精度の良い位相差検出の両立が容易でないという課題が生じる。
The image shift amount of a pair of parallax images can be used for focus detection in the phase difference detection method. However, when the difference in vignetting between a pair of parallax images is large, the correlation of pixel signal waveforms obtained in the focus detection region is reduced. However, there arises a problem that the detection accuracy of the phase difference is lowered. Therefore, in the configuration of
本発明はこのような従来技術の課題に鑑みてなされたものであり、１回の撮影で露出量の異なる画像を得るとともに、得られた画像から精度の良い位相差検出が可能な撮像装置およびその制御方法を提供することを目的とする。 The present invention has been made in view of the above-described problems of the prior art, and provides an imaging device capable of obtaining images with different exposure amounts in one shooting and capable of detecting phase differences with high accuracy from the obtained images. An object is to provide a control method thereof.
上述の目的は、複数の副画素を有する画素が行列状に配置された撮像素子と、複数の副画素に異なる露出条件を設定する設定手段と、異なる露出条件のうち、第１の露出条件が設定された副画素から得られる信号と、第２の露出条件が設定された副画素から得られる信号とから、ダイナミックレンジを拡大した信号を生成する処理手段と、複数の副画素で得られる信号から生成される、結像光学系の射出瞳の第１の領域を出射する光束による第１の像信号と、射出瞳の第２の領域を出射する光束による第２の像信号との位相差を検出する検出手段と、位相差に基づいて結像光学系のデフォーカス量を求める算出手段と、を有することを特徴とする撮像装置によって達成される。 The above-described object is to provide an imaging device in which pixels having a plurality of sub-pixels are arranged in a matrix, setting means for setting different exposure conditions for the plurality of sub-pixels, and the first exposure condition among the different exposure conditions. Processing means for generating a signal with an expanded dynamic range from a signal obtained from the set subpixel and a signal obtained from the subpixel for which the second exposure condition is set, and a signal obtained from the plurality of subpixels The phase difference between the first image signal generated by the light beam emitted from the first region of the exit pupil of the imaging optical system and the second image signal generated by the light beam emitted from the second region of the exit pupil. This is achieved by an imaging apparatus comprising: a detecting means for detecting the image and a calculating means for obtaining a defocus amount of the imaging optical system based on the phase difference.
本発明によれば、１回の撮影で露出量の異なる画像を得るとともに、得られた画像から精度の良い位相差検出が可能な撮像装置およびその制御方法を提供することができる。 According to the present invention, it is possible to provide an imaging apparatus capable of obtaining images with different exposure amounts in one shooting and capable of detecting phase differences with high accuracy from the obtained images, and a control method thereof.
以下、本発明の例示的な実施形態について添付図面に基づいて詳細に説明する。なお、以下の実施形態においては、本発明に係る撮像装置の一例としてのデジタルカメラに関して説明する。しかしながら、本発明は固体撮像素子を用いる任意の電子機器に適用可能である。このような電子機器にはデジタルカメラをはじめ、パーソナルコンピュータ、タブレットコンピュータ、携帯電話機、スマートフォン、ＰＤＡ、ゲーム機、ドライブレコーダ、ロボットなどが含まれるが、これらに限定されない。 Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following embodiments, a digital camera as an example of an imaging apparatus according to the present invention will be described. However, the present invention is applicable to any electronic device that uses a solid-state image sensor. Such electronic devices include, but are not limited to, digital cameras, personal computers, tablet computers, mobile phones, smartphones, PDAs, game machines, drive recorders, robots, and the like.
●（第１実施形態）
図１（ａ）は、本実施形態に係るデジタルカメラの機能構成例を示すブロック図である。デジタルカメラは、鏡筒１０１、撮像素子１０２、ＨＤＲ処理部１０３、画像処理部１０４、圧縮伸長部１０５、信号処理部１０６、制御部１０７、発光部１０８、操作部１０９、表示部１１０、記録部１１１を備える。なお、図において点線矢印は被写体光、実線矢印は制御信号や画像信号以外の信号、一点鎖線矢印は画像信号を表している。
● (First embodiment)
FIG. 1A is a block diagram illustrating a functional configuration example of the digital camera according to the present embodiment. The digital camera includes a
鏡筒１０１はレンズユニット（結像光学系）であり、着脱可能であっても、固定されていてもよい。フォーカス機構部１０１１は、フォーカスレンズとその駆動機構を有する。ズーム機構部１０１２は、レンズの焦点距離（画角）を変更するズームレンズとその駆動機構を有する。絞り機構部１０３は、撮像素子１０２に入射する光量を調整する絞り羽根とその駆動機構を有する。シャッタ機構部１０１４はシャッターとその駆動機構を有する。なお、絞りがシャッターを兼ねる場合、絞り機構部１０１３とシャッタ機構部１０１４は統合される。フォーカス機構部１０１１、ズーム機構部１０１２、絞り機構部１０１３、シャッタ機構部１０１４の動作は制御部１０７によって制御される。
The
撮像素子１０２は、マイクロレンズごとに複数の光電変換部またはフォトダイオードが割り当てられた画素部や、アナログ・デジタル（ＡＤ）コンバータなどを有し、画像信号を出力する。なお、撮像素子１０２は、光電変換部を単位とした読み出しや、マイクロレンズを単位とした読み出しなど、複数の読み出しモードを有する。撮像素子１０２の電荷蓄積やリセット動作のタイミングは制御部１０７によって制御される。
The
ＨＤＲ処理部１０３は、撮像素子１０２が出力する画像信号に基づいてダイナミックレンジを拡張するための合成処理を行う。ＨＤＲ処理部１０３の処理の詳細は後述する。
The
画像処理部１０４は図１（ｂ）に示すように信号生成部１０４１、色補正処理部１０４２、ＡＥ（Auto Exposure）処理部１０４３、およびホワイトバランス調整処理部１０４４を有する。
画像処理部１０４は、ＨＤＲ処理部１０３から、ＨＤＲ処理後の視差画像信号（Ａ像信号群およびＢ像信号群（後述））を信号生成部１０４１で受信する。信号生成部１０４１はＡ像信号群にＢ像信号群を加算して１フレームの画像信号として、もしくは加算せずに１対の視差画像信号として出力する。色補正処理部１０４２は、信号生成部１０４１が出力する画像信号に色補正処理を適用して制御部１０７、ＡＥ処理部１０４３、およびホワイトバランス調整処理部１０４４に出力する。
As shown in FIG. 1B, the
The
制御部１０７は、色補正処理部１０４２から受信した画像信号を内部のＲＡＭ（Random Access Memory）に格納する。
The
ＡＥ処理部１０４３は色補正処理部１０４２から受信した画像信号から例えば輝度情報を生成し、絞り値、シャッタースピード、感度などの露出条件を決定し、制御部１０７に出力する。ＡＥ処理部１０４３はまた、輝度情報に基づいて発光部１０８の発光要否を判定し、制御部１０７に出力する。
ホワイトバランス調整処理部１０４４は色補正処理部１０４２から受信した画像信号にオートホワイトバランス調整処理を適用して制御部１０７に出力する。
The AE processing unit 1043 generates, for example, luminance information from the image signal received from the color
The white balance
圧縮伸長部１０５は、制御部１０７内のＲＡＭに格納された画像信号を読み出し、ＪＰＥＧ（Joint Photographic Coding Experts Group）方式などの所定の静止画像データフォーマットに準拠した符号化処理を適用して符号化画像データを生成する。また、圧縮伸長部１０５は、制御部１０７から供給された符号化画像データに復号処理を適用する。なお、圧縮伸長部１０５は、ＭＰＥＧ（Moving Picture Experts Group）方式などに準拠した動画の符号化や復号を実行してもよい。
The compression /
信号処理部１０６は、ＨＤＲ処理部１０３から受信する、ＨＤＲ処理されたＡ像信号とＢ像信号（後述）から、Ａ像とＢ像の位相差（像ずれ量）を検出し、制御部１０７に送信する。算出手段としての制御部１０７は位相差を撮像光学系の焦点状態を示すデフォーカス量に変換し、デフォーカス量からフォーカスレンズの駆動量および駆動方向を決定する。制御部１０７は決定した駆動方向および駆動量を表す制御信号をフォーカス機構部１０１１に送信する。フォーカス機構部１０１１は制御部１０７から受信した制御信号に従ってフォーカスレンズの駆動機構を動作させる。
The
制御部１０７は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭなどから構成されるプログラマブルコントローラである。制御部１０７は、ＲＯＭに記憶されたプログラムをＲＡＭにロードしてＣＰＵで実行することにより、デジタルカメラの各部の動作を制御し、デジタルカメラの各機能を実現する。
The
発光部１０８は、画像処理部１０４でのＡＥ処理によって被写体輝度が低いと判断された場合、撮影時に発光させる補助光源であり、キセノン管やＬＥＤなどを光源として用いることができる。
操作部１０９は、例えばボタン、キー、レバー、ダイヤル、タッチパネルなどを有し、ユーザ操作に応じた制御信号を制御部１０７に出力する。操作部１０９には例えばシャッタレリーズボタン、メニューボタン、撮影モードダイヤル、再生／撮影モード切替ボタン、ズームレバー、方向キー、決定ボタンなどが含まれる。
The
The
表示部１１０は、ＬＣＤ（Liquid Crystal Display）などの表示デバイスとそのインタフェース回路などを有する。表示部１１０は、制御部１０７から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。
The
記録部１１１は、例えば、着脱可能な半導体メモリ、光ディスク、ＨＤＤ（Hard Disk Drive）、磁気テープなどを記録媒体とする記憶装置である。記録部１１１は例えば圧縮伸長部１０５が生成する符号化画像データを制御部１０７を通じて受け取り、記録する。記録部１１１はまた、制御部１０７から要求されたデータを記録媒体から読み出し、制御部１０７に出力する。
The
図２は撮像素子１０２の構成例を示す模式図である。撮像素子１０２は、例えばシリコン(Si)を用いた半導体基板に、複数の画素２０１が行列状に配列された画素アレイ部２０２と、周辺回路部とを有する。周辺回路部には、垂直駆動回路２０３、カラム信号処理回路２０４、水平駆動回路２０５、タイミング制御回路２０６などが含まれる。
FIG. 2 is a schematic diagram illustrating a configuration example of the
画素２０１は、光電変換部としてのフォトダイオードを複数有する。また、画素２０１は、例えば、転送トランジスタ、増幅トランジスタ、選択トランジスタ、リセットトランジスタなどを含む、複数の画素トランジスタを有する。画素２０１については図３、図６を用いて後で詳細に説明する。
The
垂直駆動回路２０３は、例えばシフトレジスタを有し、画素駆動線２０８を選択し、選択された画素駆動線２０８に画素２０１を駆動するためのパルスを供給し、行単位で画素２０１を駆動する。すなわち、垂直駆動回路２０３は、画素アレイ部２０２の画素２０１を行単位で垂直方向に順次選択し、選択した行の画素２０１で生成された信号電荷に基づく画素信号を、垂直信号線２０７を通してカラム信号処理回路２０４に供給する。
The
カラム信号処理回路２０４は、画素２０１の列ごとに配置され、垂直駆動回路２０３で選択された行の画素２０１から出力される画素信号に対してノイズ除去などの信号処理を行う。例えば、カラム信号処理回路２０４が行う信号処理は、画素固有の固定パターンノイズを除去するための相関２重サンプリング(Correlated Double Sampling)や、増幅、ＡＤ変換などであってよい。
The column
水平駆動回路２０５は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、カラム信号処理回路２０４を順番に選択し、カラム信号処理回路２０４の各々から画素信号を水平信号線２０９に出力させる。
The
タイミング制御回路２０６は、垂直同期信号、水平同期信号、およびマスタクロックに基づいて、垂直駆動回路２０３、カラム信号処理回路２０４、および水平駆動回路２０５などの動作の基準となるクロック信号や制御信号を生成する。マスタクロックは例えば制御部１０７からタイミング制御回路２０６に供給される。また、タイミング制御回路２０６は、制御部１０７から受信するデータに基づく動作モードで動作する。
The
図３は、撮像素子１０２の画素２０１の構成例と画素アレイ部２０２とを模式的に示す平面図である。
画素２０１は、図３（ａ）に示すように、１つのマイクロレンズ２１０と、同様の構成を有する２つの副画素２０１Ｌ、２０１Ｒとを有する。副画素２０１Ｌにはフォトダイオード（ＰＤ）２１１と、ＰＤ２１１が発生する電荷を読み出す転送トランジスタ２１３と、転送トランジスタ２１３で読み出した電荷を一時的に蓄積するフローティングディフュージョン（ＦＤ）２１５が設けられている。副画素２０１Ｒにも同様に、ＰＤ２１２、転送トランジスタ２１４、ＦＤ２１６が設けられている。このように、副画素２０１Ｌ、２０１Ｒは、独立した信号を生成および出力することができる。
FIG. 3 is a plan view schematically showing a configuration example of the
As shown in FIG. 3A, the
ＰＤ２１１とＰＤ２１２には結像光学系（鏡筒１０１）の射出瞳のうち、互いに異なる部分領域から光が入射する。そのため、画素アレイ部２０２に含まれる複数の画素２０１について、副画素２０１Ｌから得られる画素信号で形成される画像と、副画素２０１Ｒから得られる画素信号で形成される画像とは、視点が異なる画像（視差画像）となる。
なお、画素２０１ごとに、ＰＤ２１１とＰＤ２１２から得られる画素信号を加算すると、画素またはマイクロレンズ単位の画素信号が得られる。
Light enters the
For each
図３（ｂ）は、図２の画素アレイ部２０２における画素の配列を模式的に示している。画素３０１、３０２、３０３、３０４を例にとって説明すると、３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌは図３（ａ）のＰＤ２１１に対応し、３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒは図３（ａ）のＰＤ２１２に対応している。
FIG. 3B schematically shows an arrangement of pixels in the
図３（ｂ）のような画素配列を有する撮像素子１０２における、ＰＤ２１１、２１２と結像光学系の射出瞳との関係を図４を用いて説明する。
図４において、４０１は図３（ａ）における画素２０１が３つ並んだ状態の断面構成を模式的に示している。画素２０１の各々は、マイクロレンズ２１０、ＰＤ２１１、ＰＤ２１２の他に、所定の色パターンのカラーフィルタ４０３を有する。また、中央のマイクロレンズ２１０を有する画素に対して、射出瞳４０６から出射する光束の中心を光軸４０９とする。射出瞳４０６から出射した光束は、光軸４０９を中心として撮像素子１０２に入射する。４０７、４０８は射出瞳４０６の部分領域（瞳領域）を表す。瞳領域４０７（第１の領域）を出射する光束の最外周の光線を４１０、４１１で示し、瞳領域４０８（第２の領域）を出射する光束の最外周の光線を４１２、４１３で示す。図４からわかるように、射出瞳４０６を出射する光束のうち、光軸４０９を境にして、瞳領域４０７を出射する光束はＰＤ２１２に入射し、瞳領域４０８を出射する光束はＰＤ２１１に入射する。つまり、ＰＤ２１１とＰＤ２１２は、各々、射出瞳４０６の瞳領域４０７、４０８を出射した光束を受光する。
The relationship between the PDs 211 and 212 and the exit pupil of the imaging optical system in the
In FIG. 4, 401 schematically shows a cross-sectional configuration in which three
以下では、ＰＤ２１１で得られる信号をＡ像信号、ＰＤ２１２で得られる信号をＢ像信号と呼ぶ。また、Ａ像信号列で形成される像をＡ像、Ｂ像信号列で形成される像をＢ像と呼ぶ。図３（ｂ）の行３０５に含まれる画素３０１、３０２、３０３、３０４から得られる信号の場合、３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌから得られるＡ像信号で形成される像（信号列）がＡ像（第１の像信号）である。また、ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒから得られるＢ像信号で形成される像（信号列）がＢ像（第２の像信号）である。Ａ像およびＢ像は、信号処理部１０６で位相差を検出する対象であり、まとめて焦点検出用信号と呼ぶ。また、Ａ像信号を出力するＰＤもしくは副画素をＡ像用副画素、Ｂ像信号を出力するＰＤもしくは副画素をＢ像用副画素と呼ぶ。
Hereinafter, a signal obtained from the
図５は、図３（ｂ）に示した画素配列の一部について、原色ベイヤー配列のカラーフィルタが設けられている状態を示している。本実施形態においては、１度の撮影でＨＤＲ画像を生成するため、異なる露出条件（第１および第２の露出条件）を副画素に設定する。 FIG. 5 shows a state in which a color filter of the primary color Bayer array is provided for a part of the pixel array shown in FIG. In the present embodiment, different exposure conditions (first and second exposure conditions) are set for the sub-pixels in order to generate an HDR image by one shooting.
図５において、ｎ，ｎ＋２，ｎ＋４行目は、赤（Ｒ）と緑（Ｇｒ）のカラーフィルタが交互に配置され、ｎ＋１，ｎ＋３，ｎ＋５行目は緑（Ｇｂ）と青（ＢＬ）のカラーフィルタが交互に配置されている。そして、ｎ行目でＡ像信号を読み出す光電変換部（例えばＰＤ３０１Ｌ）と、Ｂ像信号を読み出す光電変換部（例えばＰＤ３０１Ｒ）との電荷蓄積時間を異ならせる（例えばＰＤ３０１Ｌの電荷蓄積時間をＰＤ３０１Ｒの電荷蓄積時間より短くする。逆でもよい）。また、ｎ行目とカラーフィルタの配列が同じで、ｎ行目とは電荷蓄積時間の関係を逆転させた行を設ける。図５の例では、ｎ＋２行目のＰＤ３０１Ｒ’の電荷蓄積時間はＰＤ３０１Ｌの電荷蓄積時間と等しく、ＰＤ３０１Ｌ’の電荷蓄積時間はＰＤ３０１Ｒの電荷蓄積時間と等しい。 In FIG. 5, red (R) and green (Gr) color filters are alternately arranged in the n, n + 2, and n + 4 rows, and green (Gb) and blue (BL) colors are arranged in the n + 1, n + 3, and n + 5 rows. Filters are arranged alternately. Then, the charge accumulation time of the photoelectric conversion unit (for example, PD301L) that reads the A image signal in the n-th row is different from that of the photoelectric conversion unit (for example, PD301R) that reads the B image signal (for example, the charge accumulation time of PD301L is different from that of PD301R). Shorten the charge accumulation time or vice versa. Further, the arrangement of the color filters is the same as that of the n-th row, and a row in which the relationship of the charge accumulation time is reversed with respect to the n-th row is provided. In the example of FIG. 5, the charge accumulation time of the PD301R ′ in the (n + 2) th row is equal to the charge accumulation time of the PD301L, and the charge accumulation time of the PD301L ′ is equal to the charge accumulation time of the PD301R.
同様に、ｎ＋３行目においては、ＰＤ３１０Ｌの電荷蓄積時間をＰＤ３１０Ｒの電荷蓄積時間より短く（または長く）する。また、ｎ＋５行目のＰＤ３１０Ｒ’の電荷蓄積時間はＰＤ３１０Ｌの電荷蓄積時間と等しく、ＰＤ３１０Ｌ’の電荷蓄積時間はＰＤ３１０Ｒの電荷蓄積時間と等しい。
なお、後述するように、異なる露出条件は、実質的に露出量が異なる信号が得られれば電荷蓄積時間の長さを異ならせることに限らない。
また、ＨＤＲ画像を生成する場合、ｎ＋１行目とｎ＋４行目については画素信号の読み出しを行わない。
Similarly, in the (n + 3) th row, the charge accumulation time of the
As will be described later, the different exposure conditions are not limited to changing the length of the charge accumulation time if signals having substantially different exposure amounts are obtained.
Further, when generating an HDR image, pixel signals are not read out for the (n + 1) th row and the (n + 4) th row.
このように、ＨＤＲ画像を生成する場合に読み出す画素行（読み出し行）において、行内で露出の異なるＡ像信号とＢ像信号を読み出す。また、Ａ像信号とＢ像信号の露出量の大小関係を隣接す読み出し行で逆転させる。そのため、高露出の副画素が飽和するなどして画素信号が使用できない場合においても、行間が間引かれたり、Ａ像用副画素とＢ像用副画素の一方だけ画素信号が用いられたりされないようにしている。 As described above, in the pixel row (reading row) read out when generating the HDR image, the A image signal and the B image signal having different exposure in the row are read out. Further, the magnitude relationship between the exposure amounts of the A image signal and the B image signal is reversed between adjacent readout rows. For this reason, even when the pixel signal cannot be used due to saturation of the highly exposed sub-pixel, the row spacing is not thinned, or only one of the A image sub-pixel and the B image sub-pixel is not used. I am doing so.
読み出し行のＡ像信号とＢ像信号ついて露出差が出るように撮影を実施し、露出差の関係が逆転している異なる読み出し行の同種の像信号と組み合わせて用いることでＨＤＲ処理を実施する。つまり、ＨＤＲ処理部１０３は、高露出のＡ像信号と低露出のＡ像信号との組み合わせ、高露出のＢ像信号と低露出のＢ像信号との組み合わせを用いてＨＤＲ処理を実施する。
Photographing is performed so that an exposure difference is generated with respect to the A image signal and the B image signal of the readout row, and HDR processing is performed by using in combination with the same type of image signal of different readout rows in which the relationship of the exposure difference is reversed. . That is, the
副画素間で露出差を生じさせる手法に制限は無いが、例えば、電荷蓄積時間を異ならせてもよいし、電荷蓄積時間は共通とし、画素信号に対してカラム信号処理回路２０４で適用する信号増幅率（ゲイン）を異ならせてもよい。なお、以下では電荷蓄積時間を異ならせるものとし、図５で斜線を付したＰＤ（例えばＰＤ３０１Ｌ）には低露出の露出条件、縦線を付したＰＤ（例えばＰＤ３０１Ｒ）が高露出の露出条件にそれぞれ設定されるものとして説明する。
There is no limitation on the method for causing the exposure difference between the sub-pixels. For example, the charge accumulation time may be different, or the charge accumulation time may be common, and the signal applied by the column
図５の例では、カラーフィルタの配列が等しい隣接する２行を１組として、垂直方向に隣接する組のカラーフィルタの配列が異なるようにＨＤＲモードにおける読み出し行を設定している。
なお、読み出し行内の副画素の露出量は共通として、行単位で露出量を異ならせてもよい。例えば図５のｎ行目の副画素は全て高露出に設定し、ｎ＋２行目の副画素を全て低露出に設定してもよい。
In the example of FIG. 5, readout rows in the HDR mode are set so that two adjacent rows having the same color filter arrangement are set as one set, and the arrangement of the color filters adjacent in the vertical direction is different.
Note that the exposure amount of the sub-pixels in the readout row may be common, and the exposure amount may be different for each row. For example, all the subpixels in the nth row in FIG. 5 may be set to high exposure, and all the subpixels in the (n + 2) th row may be set to low exposure.
また、ここではＡ像とＢ像の水平方向の位相差を検出するため、位相差検出方向である水平方向に並んだ同種の副画素に対しては同一の露出条件を設定し、位相差検出方向に直交する垂直方向に並んだ同種の副画素に対しては異なる露出条件を設定した。しかし、位相差検出方向が垂直方向の場合には、上下に分割された副画素について、位相差検出方向とそれに直交する方向とで露出条件の設定を異ならせればよい。 Here, in order to detect the horizontal phase difference between the A image and the B image, the same exposure condition is set for the same type of sub-pixels arranged in the horizontal direction, which is the phase difference detection direction, and the phase difference detection is performed. Different exposure conditions were set for the same type of sub-pixels arranged in the vertical direction orthogonal to the direction. However, when the phase difference detection direction is the vertical direction, for the sub-pixels divided vertically, the exposure condition may be set differently in the phase difference detection direction and the direction orthogonal thereto.
このような露出設定および読み出し行の設定によって読み出された１画面分の画素信号は、ＨＤＲ処理部１０３で後述するＨＤＲ処理が行われた後、画像処理部１０４と、信号処理部１０６へそれぞれ供給される。
The pixel signal for one screen read out by such exposure setting and readout row setting is subjected to HDR processing described later in the
次に図６を用いて、画素２０１の回路構成と動作について説明する。図６は画素２０１が有する副画素２０１Ｌ、２０１Ｒのうち、副画素２０１Ｌに関する回路構成を示す図である。副画素２０１Ｒも同様の回路構成を有する。
Next, the circuit configuration and operation of the
図６に示すように、副画素２０１Ｌには、フォトダイオードＰＤ２１１、転送トランジスタ２１３、増幅トランジスタ６１０、選択トランジスタ６１１、およびリセットトランジスタ６１２が設けられている。なおここでは、各トランジスタはｎチャネルＭＯＳＦＥＴ（MOS Field-Effect Transistor）である。
As shown in FIG. 6, the sub-pixel 201L is provided with a photodiode PD211, a
また、転送トランジスタ２１３、選択トランジスタ６１１およびリセットトランジスタ６１２の各ゲートには、画素駆動線２０８に含まれる転送信号線６１３、行選択信号線６１４、リセット信号線６１５が接続されている。これらの信号線は同一行に含まれる副画素に共通であり、行順次動作型のローリングシャッタや、全行同時動作型のグローバルリセット動作を制御することが可能である。また、転送信号線６１３を副画素２０１Ｌ、２０１Ｒで別個とすることにより、副画素２０１Ｌ、２０１Ｒに別個の露出時間（露出量）を設定することが可能になる。さらに、選択トランジスタ６１１のソースには垂直信号線２０７が接続され、垂直信号線２０７の一方の端部は、定電流源６１６を介して接地されている。
In addition, a
ＰＤ２１１は、光電変換により電荷を生成する。ＰＤ２１１のＰ側は接地され、Ｎ側が転送トランジスタ２１３のソースに接続されている。転送トランジスタ２１３がＯＮすると、ＰＤ２１１で生成および蓄積された電荷がＦＤ２１５に転送され、ＦＤ２１５の寄生容量Ｃ６１に電荷が蓄積される。
The
増幅トランジスタ６１０のドレインは電源電圧Ｖｄｄとされ、ゲートはＦＤ２１５に接続されている。この増幅トランジスタ６１０は、ＦＤ２１５の電圧を電気信号に変換する。選択トランジスタ６１１は、信号を読み出す画素を行単位で選択するためのものであり、そのドレインは増幅トランジスタ６１０のソースに、ソースは垂直信号線２０７に接続されている。この選択トランジスタ６１１がＯＮしたときには、増幅トランジスタ６１０と定電流源６１６とがソースフォロアを構成するので、ＦＤ２１５の電圧に対応する電圧が垂直信号線２０７に出力される。リセットトランジスタ６１２のドレインは電源電圧Ｖｄｄとされ、ソースはＦＤ２１５に接続されている。このリセットトランジスタ６１２は、ＦＤ２１５の電圧を電源電圧Ｖｄｄにリセットする。
The drain of the
図７は、ＨＤＲ処理部１０３が実行するＨＤＲ処理に関する模式図であり、入射光量と信号量の関係を示している。
高露出量が設定される副画素（高露出副画素）では、入射光量がP2となった時点で飽和信号量Q2に到達し、低露出量が設定される副画素（低露出副画素）では、入射光量がP3となった時点で飽和信号量Q2に到達するものとする。一方、ノイズレベルQ1以下の信号量の画素信号は利用することができない。この場合、高露出副画素のダイナミックレンジは入射光量P0からP2までの範囲となり、低露出副画素のダイナミックレンジは入射光量P1からP3までの範囲となる。
FIG. 7 is a schematic diagram related to the HDR processing executed by the
For sub-pixels with high exposure (high-exposure sub-pixel), the saturation signal amount Q2 is reached when the incident light quantity reaches P2, and for sub-pixels with low exposure (low-exposure sub-pixel) Assume that the saturation signal amount Q2 is reached when the incident light quantity reaches P3. On the other hand, a pixel signal having a signal amount equal to or lower than the noise level Q1 cannot be used. In this case, the dynamic range of the high exposure sub-pixel is in the range from the incident light amount P0 to P2, and the dynamic range of the low exposure sub-pixel is in the range from the incident light amount P1 to P3.
低露出副画素と高露出副画素の露出量の比が１：３（低露出副画素の露出量：高露出副画素の露出量＝１：３）であるとする。この場合、ＨＤＲ処理部１０３は、低露出副画素と高露出副画素を１つずつ有する画素について、Ｐ０＜入射光量≦Ｐ１の範囲の入射光量Ａについて、以下の式（１）により、ＨＤＲ処理後の画素信号HDL_Aを求める。
画素信号HDL_A＝高露出副画素信号×１＋低露出副画素信号×０・・・（１）
Assume that the ratio of the exposure amount of the low exposure subpixel and the high exposure subpixel is 1: 3 (exposure amount of the low exposure subpixel: exposure amount of the high exposure subpixel = 1: 3). In this case, the
Pixel signal HDL_A = high exposure subpixel signal × 1 + low exposure subpixel signal × 0 (1)
また、ＨＤＲ処理部１０３は、Ｐ１＜入射光量≦Ｐ２の範囲の入射光量Ｂについて、以下の式（２）により、ＨＤＲ処理後の画素信号HDL_Bを求める。
画素信号HDL_B＝高露出副画素信号×（１-α）＋低露出副画素信号×α×３・・・（２）
さらに、ＨＤＲ処理部１０３は、Ｐ２＜入射光量の範囲の入射光量Ｃについて、以下の式（３）により、ＨＤＲ処理後の画素信号HDL_Cを求める。
画素信号HDL_C＝高露出副画素信号×０＋低露出副画素信号×３・・・（３）
Also, the
Pixel signal HDL_B = high exposure subpixel signal × (1−α) + low exposure subpixel signal × α × 3 (2)
Further, the
Pixel signal HDL_C = high exposure subpixel signal × 0 + low exposure subpixel signal × 3 (3)
ＨＤＲ処理部１０３は、読み出し行に含まれる各画素２０１について、画素の信号量を、低レベル（入射光量Ａに対応）、中レベル（入射光量Ｂに対応）、高レベル（入射光量Ｃに対応）に分類する。分類は、同一画素が有する低露出副画素（例えば３０１Ｌ）の信号量と高露出副画素（例えば３０１Ｒ）の信号量の関係に基づいて行うことができる。
For each
そして、ＨＤＲ処理部１０３は、信号量が低レベルの画素２０１については、高露出副画素の画素信号のみを用いた式（１）により、ＨＤＲ処理後の画素信号を求める。また、ＨＤＲ処理部１０３は、信号量が中レベルの画素２０１については、高露出副画素の画素信号と低露出の画素信号を（１−α）：αの比率で合成した式（２）により、ＨＤＲ処理後の画素信号を求める。ここで、α（αは０以上１以下）は合成比率を表す。さらに、ＨＤＲ処理部１０３は、信号量が高レベルの画素２０１については、低露出の光電変換部信号のみを用いた式（３）により、ＨＤＲ処理後の画素信号を求める。
Then, the
このようなＨＤＲ処理により、図７に示されるように、各画素のダイナミックレンジが入射光量Ｐ０〜Ｐ３に対応する信号量Ｑ１からＱ３に拡張されら高ダイナミックレンジの画像（ＨＤＲ画像）が得られる。
なお、信号量レベルの低レベル、中レベル、及び高レベルの区分（図７における入射光量Ｐ０、Ｐ１、Ｐ２に相当する信号量）については予め定めておくことができる。
By such HDR processing, as shown in FIG. 7, the dynamic range of each pixel is expanded from the signal amount Q1 corresponding to the incident light quantity P0 to P3 to Q3, and an image with a high dynamic range (HDR image) is obtained. .
Note that low, medium, and high levels of signal amount levels (signal amounts corresponding to the incident light amounts P0, P1, and P2 in FIG. 7) can be determined in advance.
なお、式（１）〜式（３）で用いる高露出副画素、低露出副画素は、隣接する読み出し行内の、水平位置が同一の画素に含まれる同種の副画素である。例えば、画素の信号量を低露出副画素３０１Ｌと高露出副画素３０１Ｒの出力に基づいて分類したとする。この場合、式（１）〜式（３）を用いて低露出副画素３０１Ｌの出力と合成されるのは、高露出副画素３０１Ｌ’の出力である。同様に、高露出副画素３０１Ｒの出力と合成されるのは低露出副画素３０１Ｒ’の出力である。
Note that the high-exposure subpixel and the low-exposure subpixel used in Expressions (1) to (3) are the same type of subpixels included in the same horizontal position in adjacent readout rows. For example, assume that pixel signal amounts are classified based on the outputs of the low-
従って、ｍ行目のＣフィルタ（ＣはＲ、Ｇｒ、Ｇｂ、ＢＬのいずれか）が設けられたｎ像信号（ｎはＡまたはＢ）用の副画素の出力をＣ(m)nと表すと、例えば図５のｎ行目とｎ＋２行目の読み出し行からは、
R(n)A+R(n+2)A, Gr(n)A+Gr(n+2)A, R(n)A+R(n+2)A,...というＡ像信号と、
R(n)B+R(n+2)B, Gr(n)B+Gr(n+2)B, R(n)B+R(n+2)B,...というＢ像信号とがＨＤＲ処理後の画素信号として得られる。
Therefore, the output of the sub-pixel for the n image signal (n is A or B) provided with the C filter in the m-th row (C is any of R, Gr, Gb, and BL) is expressed as C (m) n. For example, from the read lines of the nth line and the n + 2th line in FIG.
R (n) A + R (n + 2) A, Gr (n) A + Gr (n + 2) A, R (n) A + R (n + 2) A, ... ,
B image signals R (n) B + R (n + 2) B, Gr (n) B + Gr (n + 2) B, R (n) B + R (n + 2) B,. Is obtained as a pixel signal after HDR processing.
ＨＤＲ処理後の１画面分のＡ像信号とＢ像信号はそれぞれ異なる視点で撮影したＨＤＲ画像である。また、焦点検出領域内で得られるＡ像信号から生成したＡ像と、焦点検出領域内で得られるＢ像信号から生成したＢ像との位相差を信号処理部１０６で検出し、デフォーカス量に変換することで、自動焦点検出を行うことができる。なお、１画面分のＡ像信号とＢ像信号は、加算して記録してもよいし、別々に記録してもよい。
The A image signal and B image signal for one screen after HDR processing are HDR images taken from different viewpoints. The phase difference between the A image generated from the A image signal obtained in the focus detection area and the B image generated from the B image signal obtained in the focus detection area is detected by the
図８は本実施形態のデジタルカメラのＨＤＲ撮影時の動作に関するフローチャートである。このフローチャートに示す動作は、例えばＨＤＲ撮影モードが設定されている際に操作部１０９から撮影指示が入力されたことによって実行されてよい。なお、撮影準備動作中にＡＥ処理部１０４３によって適性な露出条件が決定されているものとする。また、ＨＤＲモードでの露光時間は電子シャッター（電荷蓄積時間の設定）によって制御するものとする。
FIG. 8 is a flowchart regarding the operation at the time of HDR shooting of the digital camera of the present embodiment. The operation shown in this flowchart may be executed when a shooting instruction is input from the
Ｓ８０１で制御部１０７は、ＡＥ処理部１０４３が決定した撮影条件に応じて、高露出条件と低露出条件を決定し、所定の撮影条件に設定する。例えば、ＡＥ処理部１０４３が決定した撮影条件を基準として、＋ｎ段と−ｎ段の撮影条件を高露出条件と低露出条件として決定することができる。
In step S801, the
Ｓ８０２で制御部１０７は、Ｓ８０１で決定した撮影条件と、ＨＤＲモードでの読み出し行に関する設定を撮像素子１０２のタイミング制御回路２０６に行い、撮影を実行する。これにより、例えば図５に示したような副画素単位の露出量制御と読み出しが実行される。
In step S <b> 802, the
Ｓ８０３でＨＤＲ処理部１０３は、図５および図７を用いて説明したように、各画素の信号量を複数のレベルに分類する。そしてＨＤＲ処理部１０３は、分類に応じた式（１）〜（３）によって、低露出量の副画素と高露出量の副画素の出力を加算することにより、ＨＤＲ処理されたＡ像信号とＢ像信号とを生成し、画像処理部１０４および信号処理部１０６に出力する。
In step S803, the
Ｓ８０４では画像処理部１０４内の信号生成部１０４１で、受信したＨＤＲ処理後のＡ像信号群およびＢ像信号群のそれぞれについて、色補間やホワイトバランス調整処理などを行い、１対のＨＤＲ画像を生成する。なお、信号生成部１０４１は、Ａ像信号群とＢ像信号群を加算して１フレーム分のＨＤＲ画像としてから色補間やホワイトバランス調整処理などを行ってもよい。また、画像処理部１０４は、１対のＨＤＲ画像を加算してもよい。画像処理部１０４は、処理をＳ８０６へ移行する。
In step S804, the
一方、Ｓ８０５では信号処理部１０６が、焦点検出領域内のＨＤＲ処理後のＡ像信号およびＢ像信号からＡ像とＢ像を生成し、Ａ像とＢ像との位相差（像ずれ量）を例えば相関量に基づいて検出し、処理をＳ８０６へ移行する。
On the other hand, in S805, the
Ｓ８０６で制御部１０７は撮影処理を終了するか否かを判断し、終了する場合は待機状態へと遷移する。一方、終了しない場合は、処理をＳ８０１へ戻して次の撮影処理を実行する。
In step S <b> 806, the
本実施形態によれば、１つのマイクロレンズに複数の副画素が割り当てられた撮像素子を用い、副画素間で露出量の大小関係を異ならせるとともに、副画素間の露出量の大小関係を逆転させた画素行を設ける。そして、マイクロレンズに対する相対位置が同じで、露出量の設定が異なる副画素の出力を用いてダイナミックレンジを拡大した像信号を生成し、この像信号を用いてＨＤＲ画像を生成したり、位相差を検出したりする。そのため、１回の撮影で得られる１フレームの画像信号から、ＨＤＲ画像の生成と、焦点検出用の位相差検出とを行うことができる。そして、位相差検出を行う１対の像信号の相関にケラレの差が与える影響は少ないため、ケラレの差を露出量の差として用いる構成に対して良好な位相差検出精度を得ることができる。 According to this embodiment, an imaging device in which a plurality of subpixels are assigned to one microlens is used, and the magnitude relationship of the exposure amount is varied between the subpixels, and the magnitude relationship of the exposure amount between the subpixels is reversed. Provided pixel rows. Then, an image signal with an expanded dynamic range is generated using the output of sub-pixels having the same relative position with respect to the micro lens and different exposure settings, and an HDR image is generated using this image signal, or a phase difference is generated. Is detected. Therefore, it is possible to perform generation of an HDR image and detection of a phase difference for focus detection from one frame of image signal obtained by one shooting. Further, since the vignetting difference has little influence on the correlation between the pair of image signals for performing the phase difference detection, it is possible to obtain good phase difference detection accuracy for a configuration using the vignetting difference as the exposure amount difference. .
●（第２実施形態）
図９は第２実施形態に係るデジタルカメラの機能構成例を示すブロック図である。図９において、第１実施形態のデジタルカメラと同様の構成には同様の参照数字を付してある。以下、第１実施形態と同一の構成や動作に関する説明は省略し、第１実施形態と異なる点を重点的に説明する。
● (Second Embodiment)
FIG. 9 is a block diagram illustrating a functional configuration example of a digital camera according to the second embodiment. In FIG. 9, the same reference numerals are attached to the same components as those of the digital camera of the first embodiment. Hereinafter, descriptions regarding the same configurations and operations as those in the first embodiment will be omitted, and differences from the first embodiment will be mainly described.
第１実施形態と異なる点は、撮像素子１０２で得られた撮像信号をＨＤＲ処理部１０３と信号処理部１０６のそれぞれへ入力することである。すなわち、信号処理部１０６で位相差検出を行う焦点検出用信号が、第１実施形態ではＨＤＲ処理後の信号であったのに対し、本実施形態ではＨＤＲ処理されていない点で異なる。
The difference from the first embodiment is that an image signal obtained by the
図９（ｂ）は信号処理部１０６の機能構成例を示すブロック図である。信号処理部１０６は、加算処理部１０６１と位相差検出部１０６２とを有する。加算処理部１０６１は、撮像素子１０２の異なる読み出し行のＡ像用副画素間およびＢ像用副画素間で露出量を異ならせた撮影によって得られた撮像信号に対し、同色のカラーフィルタに対応する同種の副画素の出力を加算して加算信号を生成する。具体的には加算処理部１０６１は図５におけるｎ行目とｎ＋２行目の同じ水平位置のＡ像用副画素の出力を加算し、またＢ像用副画素の出力を加算する。加算処理部１０６１は、ｎ＋３行目とｎ＋５行目、ｎ＋６行目とｎ＋７行目、・・・についても同様に加算する。なお、加算処理部１０６１が加算処理するのは、Ａ像およびＢ像の生成に用いる画素についてだけでよい。
FIG. 9B is a block diagram illustrating a functional configuration example of the
ＨＤＲ処理では画素の入射光量のレベルによって低露出副画素と高露出副画素の一方の出力しか用いられない場合があった。しかし、本実施形態では低露出副画素と高露出副画素の出力の両方を常に用いてＡ像信号およびＢ像信号を生成する。そのため、位相差検出に用いるＡ像およびＢ像において空間周波数帯域の欠損を防ぐことができ、位相差検出の精度を落とさないようにすることができる。 In HDR processing, only one output of the low exposure subpixel and the high exposure subpixel may be used depending on the level of incident light quantity of the pixel. However, in this embodiment, the A image signal and the B image signal are generated by always using both the outputs of the low exposure subpixel and the high exposure subpixel. Therefore, it is possible to prevent the loss of the spatial frequency band in the A image and the B image used for the phase difference detection, and it is possible to prevent the accuracy of the phase difference detection from being deteriorated.
なお、加算処理については同色画素同士に限らず、異色画素同士で加算してもよい。この場合には、加算後の信号を輝度信号として取り扱う。 Note that the addition processing is not limited to the same color pixels but may be performed between different color pixels. In this case, the signal after addition is handled as a luminance signal.
加算処理部１０６１で加算処理して得られた複数のＡ像信号からＡ像を、複数のＢ像信号からＢ像を生成したのち、位相差検出部１０６２でＡ像とＢ像の位相差を検出し、制御部１０７に出力する。
After generating an A image from a plurality of A image signals obtained by the
図１０は図５と同様のカラーフィルタ配列および露出量の設定を行った場合のＨＤＲ処理後の信号と、加算処理後の信号を模式的に示している。斜線が付された副画素は低露出副画素、縦線が付された副画素は高露出副画素である。 FIG. 10 schematically shows a signal after HDR processing and a signal after addition processing when the same color filter arrangement and exposure amount as in FIG. 5 are set. The subpixels with diagonal lines are low exposure subpixels, and the subpixels with vertical lines are high exposure subpixels.
図示の通り、異なる読み出し行の同色フィルタに対応する同種の副画素（露出量が異なる同種の副画素）の出力を用いてＨＤＲ処理と加算処理をそれぞれ実施する。具体的にはＨＤＲ処理部１０３は、ｎ行目とｎ＋２行目、ｎ＋３行目とｎ＋５行目、ｎ＋６行目とｎ＋８行目、ｎ＋９行目とｎ＋１１行目、・・・の組み合わせでＨＤＲ処理を行う。
As shown in the figure, HDR processing and addition processing are performed using outputs of the same type of subpixels (same type of subpixels with different exposure amounts) corresponding to the same color filters in different readout rows. Specifically, the
一方、位相差処理部１０６の加算処理部１０６１は、位相差検出に用いる１対の像信号（Ａ像およびＢ像）を生成するため、ｎ行目とｎ＋２行目、ｎ＋３行目とｎ＋５行目、ｎ＋６行目とｎ＋８行目、ｎ＋９行目とｎ＋１１行目・・の組み合わせで加算処理を行う。このように、ＨＤＲ処理と加算処理とで用いる読み出し行の組み合わせは同じだが、ＨＤＲ処理では画素の入射光量によって高露出副画素と低露出副画素の一方が用いられない場合がある点で異なる。
On the other hand, the
図１１は本実施形態のデジタルカメラのＨＤＲ撮影時の動作に関するフローチャートであり、第１実施形態と同じ処理ステップについては図８と同じ参照数字を付してある。図８との比較から明らかなように、本実施形態ではＳ８０５の位相差検出処理の前にＳ８０３のＨＤＲ処理はなくＳ１２０５の加算処理を実行することが第１実施形態と異なる。Ｓ１２０５では加算処理部１０６１が上述した加算処理を実行する。
FIG. 11 is a flowchart regarding the operation of the digital camera according to the present embodiment during HDR shooting. The same processing steps as those in the first embodiment are denoted by the same reference numerals as in FIG. As is clear from the comparison with FIG. 8, the present embodiment differs from the first embodiment in that there is no HDR processing in S803 and the addition processing in S1205 is executed before the phase difference detection processing in S805. In step S1205, the
以上説明したように本実施形態によれば、位相差検出に用いる像信号についてはＨＤＲ処理前の画素信号に基づいて生成することにより、第１実施形態の効果に加え、第１実施形態よりも位相差検出精度を向上させることができる。 As described above, according to the present embodiment, the image signal used for phase difference detection is generated based on the pixel signal before HDR processing, so that in addition to the effects of the first embodiment, the image signal used for phase difference detection is more effective than the first embodiment. The phase difference detection accuracy can be improved.
●（第３実施形態）
次に、本発明の第３実施形態について説明する。第１および第２実施形態では、１つのマイクロレンズに対して２つの光電変換部もしくは副画素が割り当てられた構成を有する撮像素子を用いていた。しかし、第１および第２実施形態の手法は、１つのマイクロレンズに３つ以上の光電変換部もしくは副画素が割り当てられた構成の撮像素子を用いる場合にも適用可能である。本実施形態では一例として、第１実施形態の手法を１つのマイクロレンズに水平垂直方向に２つずつの光電変換部もしくは副画素が割り当てられた撮像素子に適用する場合について説明する。
● (Third embodiment)
Next, a third embodiment of the present invention will be described. In the first and second embodiments, an image sensor having a configuration in which two photoelectric conversion units or sub-pixels are assigned to one microlens is used. However, the methods of the first and second embodiments can also be applied when using an imaging device having a configuration in which three or more photoelectric conversion units or sub-pixels are assigned to one microlens. In this embodiment, as an example, a case will be described in which the method of the first embodiment is applied to an image sensor in which two photoelectric conversion units or subpixels are assigned to one microlens in the horizontal and vertical directions.
図１２は第３実施形態における撮像素子１０２の画素アレイ部２０２に配列される画素２０１’の構成例を図３（ａ）と同様に模式的に示した平面図である。画素アレイ部２０２に配列されるすべての画素２０１’が、同一のマイクロレンズ２１０に割り当てられた４つの副画素１３０１ａ〜１３０１ｄを有する。
FIG. 12 is a plan view schematically showing a configuration example of the
副画素１３０１ａ〜１３０１ｄは、第１実施形態の副画素２０１Ｌや２０１Ｒと同様、ＰＤ１３１０ａ〜１３１０ｄ、転送トランジスタ１３１１ａ〜１３１１ｄ、およびＦＤ１３１２ａ〜１３１２ｄをそれぞれ有する。
ＦＤ１３１２ａ〜１３１２ｄに蓄積された電荷が表す信号は、それぞれ独立して垂直信号線２０７、カラム信号処理回路２０４を通り、水平駆動回路２０５によって行単位で水平信号線２０９へ読みだされる。
Similar to the
Signals represented by charges accumulated in the
図１３（ａ）は図３（ｂ）と同様に、本実施形態における撮像素子１０２の画素アレイ部２０２における画素の配列を模式的に示す図である。また、図１３（ｂ）は図１３（ａ）で示す画素配列に設けられるカラーフィルタのパターンおよび副画素に設定する露出量と、ＨＤＲ処理によって得られる信号列とを模式的示す図である。図１３（ｂ）においては上述の実施形態と同様に、低露出副画素には斜線を、高露出副画素には縦線を付している。
FIG. 13A is a diagram schematically illustrating the arrangement of pixels in the
本実施形態では同一画素内にＡ像用副画素とＢ像用副画素がそれぞれ複数存在するため、同一画素内に高露出副画素のＡ像用副画素と低露出副画素のＡ像用副画素、高露出副画素のＢ像用副画素と低露出副画素のＢ像用副画素を設定可能である。そのため、同一画素で得られる副画素の信号を用いてＨＤＲ処理が可能であり、全ての画素行から信号を読み出すことができる。 In this embodiment, since there are a plurality of A image subpixels and a plurality of B image subpixels in the same pixel, the A image subpixel of the high exposure subpixel and the A image subpixel of the low exposure subpixel in the same pixel. It is possible to set a pixel, a B image subpixel of a high exposure subpixel, and a B image subpixel of a low exposure subpixel. Therefore, HDR processing can be performed using subpixel signals obtained from the same pixel, and signals can be read from all pixel rows.
本実施形態では、同一画素内において同じ露出量が設定される同種の副画素の水平方向の位置が異なるように、副画素の露出量を設定している。すなわち、図１３（ｂ）に示すように、Ａ像用副画素１３０１ａを低露出副画素、１３０１ｂを高露出副画素と設定した場合、Ａ像用副画素１３０１ａと水平方向で隣接するＢ像用副画素１３０１ｃは高露出副画素（従って１３０１ｄは低露出副画素）に設定する。これは、白飛びを起こした場合など、高露出副画素の信号が使用できない場合においても、Ａ像、Ｂ像それぞれ同一の位相を持った信号が失われることを防止するためである。これにより、ＨＤＲ処理後の信号の欠落や解像度の低下などの影響を減らすことができる。
In the present embodiment, the exposure amount of the sub-pixel is set so that the horizontal position of the same type of sub-pixel in which the same exposure amount is set in the same pixel is different. That is, as shown in FIG. 13B, when the
本実施形態において、ＨＤＲ処理部１０３は、各画素において、副画素１３０１ａと副画素１３０１ｂの組み合わせと、副画素１３０１ｃと副画素１３０１ｄの組み合わせそれぞれでＨＤＲ処理を行い、Ａ像信号とＢ像信号のダイナミックレンジの拡大を実現する。これにより、図１３（ｂ）の右側に示すように、各行でダイナミックレンジが拡大されたＡ像信号とＢ像信号が得られる。以後の処理は第１実施形態と同様でよい。
In the present embodiment, the
また、第２実施形態の構成の場合、信号処理部１０６は、各画素において、副画素１３０１ａと副画素１３０１ｂの出力を加算し、副画素１３０１ｃと副画素１３０１ｄの出力を加算して、Ａ像信号およびＢ像信号を生成する（図１４）。そして、信号処理部１０６は、複数のＡ像信号からＡ像を、複数のＢ像信号からＢ像を生成し、Ａ像とＢ像の位相差を検出する。
In the case of the configuration of the second embodiment, the
なお、本実施形態では水平方向の位相差検出を行う構成について説明したが、縦方向もしくは斜め方向の位相差を検出する構成にも同様の考え方を適用できる。例えば垂直方向の位相差を検出する場合には低露出副画素と高露出副画素の配置と組み合わせを９０度帰ればよい。 In the present embodiment, the configuration for detecting the phase difference in the horizontal direction has been described. However, the same concept can be applied to the configuration for detecting the phase difference in the vertical direction or the oblique direction. For example, when detecting the phase difference in the vertical direction, the arrangement and combination of the low exposure subpixel and the high exposure subpixel may be returned by 90 degrees.
本実施形態によれば、第１または第２実施形態の効果に加え、１つの画素内に同種の副画素が複数存在するので、全ての行の信号を用いることができる。また、垂直および水平方向の両方に複数の副画素を設けた場合、位相差検出方向を変更することも容易であるという効果がある。 According to the present embodiment, in addition to the effects of the first or second embodiment, a plurality of the same kind of sub-pixels exist in one pixel, so that signals of all rows can be used. Further, when a plurality of subpixels are provided in both the vertical and horizontal directions, there is an effect that it is easy to change the phase difference detection direction.
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１０１…鏡筒、１０２…撮像素子、１０３…ＨＤＲ処理部、１０４…画像処理部、１０５…圧縮伸長部、１０６…処理部、１０７…制御部、１０８…発光部、１０９…操作部、１１０…表示部、１１１…記録部
DESCRIPTION OF
Claims (12)
前記複数の副画素に異なる露出条件を設定する設定手段と、
前記異なる露出条件のうち、第１の露出条件が設定された副画素から得られる信号と、第２の露出条件が設定された副画素から得られる信号とから、ダイナミックレンジを拡大した信号を生成する処理手段と、
前記複数の副画素で得られる信号から生成される、結像光学系の射出瞳の第１の領域を出射する光束による第１の像信号と、前記射出瞳の第２の領域を出射する光束による第２の像信号との位相差を検出する検出手段と、
前記位相差に基づいて前記結像光学系のデフォーカス量を求める算出手段と、を有することを特徴とする撮像装置。 An image sensor in which pixels having a plurality of sub-pixels are arranged in a matrix;
Setting means for setting different exposure conditions for the plurality of sub-pixels;
Of the different exposure conditions, a signal with an expanded dynamic range is generated from a signal obtained from a subpixel for which the first exposure condition is set and a signal obtained from a subpixel for which the second exposure condition is set. Processing means to
A first image signal generated from a signal obtained from the plurality of sub-pixels and emitted from a first region of the exit pupil of the imaging optical system and a light beam emitted from the second region of the exit pupil Detecting means for detecting a phase difference from the second image signal by
An imaging apparatus comprising: a calculating unit that obtains a defocus amount of the imaging optical system based on the phase difference.
前記処理手段は、同色のフィルタが設けられた画素が有する副画素のうち、前記第１の露出条件が設定された副画素と、前記第２の露出条件が設定された副画素とから得られる信号から前記ダイナミックレンジを拡大した信号を生成することを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。 The image sensor has a color filter of a predetermined color pattern,
The processing means is obtained from subpixels set with the first exposure condition and subpixels set with the second exposure condition among subpixels of a pixel provided with a filter of the same color. 5. The imaging apparatus according to claim 1, wherein a signal in which the dynamic range is expanded is generated from a signal. 6.
前記第１の露出条件が設定された副画素から得られる信号と、前記第２の露出条件が設定された副画素から得られる信号との加算信号を生成する加算手段を有し、
前記加算信号から前記第１の像信号と前記第２の像信号を生成し、前記位相差を検出することを特徴とする請求項１から請求項８のいずれか１項に記載の撮像装置。 The detection means includes
Adding means for generating an addition signal of a signal obtained from the sub-pixel for which the first exposure condition is set and a signal obtained from the sub-pixel for which the second exposure condition is set;
The imaging apparatus according to any one of claims 1 to 8, wherein the first image signal and the second image signal are generated from the addition signal, and the phase difference is detected.
設定手段が、前記複数の副画素に異なる露出条件を設定する設定工程と、
処理手段が、前記異なる露出条件のうち、第１の露出条件が設定された副画素から得られる信号と、第２の露出条件が設定された副画素から得られる信号とから、ダイナミックレンジを拡大した信号を生成する処理工程と、
検出手段が、前記複数の副画素で得られる信号から生成される、結像光学系の射出瞳の第１の領域を出射する光束による第１の像信号と、前記射出瞳の第２の領域を出射する光束による第２の像信号との位相差を検出する検出工程と、
算出手段が、前記位相差に基づいて前記結像光学系のデフォーカス量を求める算出工程と、を有することを特徴とする撮像装置の制御方法。 A method for controlling an imaging apparatus having an imaging device in which pixels having a plurality of subpixels are arranged in a matrix,
A setting step in which setting means sets different exposure conditions for the plurality of sub-pixels;
The processing means expands the dynamic range from the signal obtained from the sub-pixel for which the first exposure condition is set and the signal obtained from the sub-pixel for which the second exposure condition is set, among the different exposure conditions. Processing steps to generate
The detection means generates a first image signal by a light beam emitted from a first region of the exit pupil of the imaging optical system, which is generated from signals obtained from the plurality of sub-pixels, and a second region of the exit pupil. A detection step of detecting a phase difference from the second image signal due to the light beam emitted from
And a calculating step of calculating a defocus amount of the imaging optical system based on the phase difference.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016148997A JP2018019296A (en) | 2016-07-28 | 2016-07-28 | Imaging apparatus and control method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016148997A JP2018019296A (en) | 2016-07-28 | 2016-07-28 | Imaging apparatus and control method therefor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018019296A true JP2018019296A (en) | 2018-02-01 |
Family
ID=61082124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016148997A Pending JP2018019296A (en) | 2016-07-28 | 2016-07-28 | Imaging apparatus and control method therefor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018019296A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020129755A (en) * | 2019-02-08 | 2020-08-27 | キヤノン株式会社 | Image processing device and method, and imaging device |
| CN113316929A (en) * | 2019-02-19 | 2021-08-27 | 索尼半导体解决方案公司 | Signal processing method and imaging apparatus |
| WO2023020532A1 (en) * | 2021-08-19 | 2023-02-23 | 维沃移动通信（杭州）有限公司 | Image processing method and apparatus, electronic device, and readable storage medium |
| US11646338B2 (en) | 2020-01-23 | 2023-05-09 | Samsung Electronics Co., Ltd. | Imaging device including shared pixels and operating method thereof |
| JP7414538B2 (en) | 2020-01-14 | 2024-01-16 | キヤノン株式会社 | Imaging device and its control method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013228692A (en) * | 2012-03-29 | 2013-11-07 | Canon Inc | Image capturing device and camera system |
| JP2015201834A (en) * | 2014-03-31 | 2015-11-12 | ソニー株式会社 | Solid-state imaging apparatus, drive control method and image processing method of the same, and electronic apparatus |
-
2016
- 2016-07-28 JP JP2016148997A patent/JP2018019296A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013228692A (en) * | 2012-03-29 | 2013-11-07 | Canon Inc | Image capturing device and camera system |
| JP2015201834A (en) * | 2014-03-31 | 2015-11-12 | ソニー株式会社 | Solid-state imaging apparatus, drive control method and image processing method of the same, and electronic apparatus |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020129755A (en) * | 2019-02-08 | 2020-08-27 | キヤノン株式会社 | Image processing device and method, and imaging device |
| JP7236282B2 (en) | 2019-02-08 | 2023-03-09 | キヤノン株式会社 | Image processing device and method, and imaging device |
| CN113316929A (en) * | 2019-02-19 | 2021-08-27 | 索尼半导体解决方案公司 | Signal processing method and imaging apparatus |
| JP7414538B2 (en) | 2020-01-14 | 2024-01-16 | キヤノン株式会社 | Imaging device and its control method |
| US11646338B2 (en) | 2020-01-23 | 2023-05-09 | Samsung Electronics Co., Ltd. | Imaging device including shared pixels and operating method thereof |
| WO2023020532A1 (en) * | 2021-08-19 | 2023-02-23 | 维沃移动通信（杭州）有限公司 | Image processing method and apparatus, electronic device, and readable storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6765860B2 (en) | Image sensor, image sensor, and image signal processing method | |
| JP5038188B2 (en) | Imaging apparatus and imaging system using the same | |
| US10270990B2 (en) | Imaging element, imaging apparatus, and imaging signal processing method | |
| JP5241454B2 (en) | Solid-state imaging device and imaging system using the same | |
| JP5850680B2 (en) | Imaging apparatus and control method thereof | |
| US9535193B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP2018019296A (en) | Imaging apparatus and control method therefor | |
| US10063762B2 (en) | Image sensor and driving method thereof, and image capturing apparatus with output signal control according to color | |
| JP2005106994A (en) | Focal point detecting device, imaging device, and method for controlling them | |
| US10827141B2 (en) | Image pickup device and and image pickup method having capability of adding additional information indicating the characteristic of a pixel data sequence to the pixel data sequence | |
| US10645320B2 (en) | Image pickup apparatus, control method for image pickup apparatus, and computer-readable non-transitory recording medium in which control program for image pickup apparatus is recorded | |
| JP2015049402A (en) | Defocus-amount detection device, and control method of the same, and imaging device | |
| US10277853B2 (en) | Image capturing apparatus and control method of the same | |
| US20160353043A1 (en) | Image sensor and image apparatus | |
| JP2021176211A (en) | Photoelectric conversion device and photoelectric conversion system | |
| JP2018056703A (en) | Imaging device and imaging apparatus | |
| JP6762767B2 (en) | Image sensor, image sensor, and image signal processing method | |
| JP6239026B2 (en) | Imaging device and imaging apparatus | |
| JP2014165778A (en) | Solid state image sensor, imaging device and focus detector | |
| JP6127368B2 (en) | Imaging device | |
| US10283538B2 (en) | Imaging device and method of driving imaging device | |
| JP6545013B2 (en) | Image forming method, image forming apparatus, and image forming program | |
| US11310410B2 (en) | Image capturing apparatus, method of controlling same, and storage medium | |
| JP6368125B2 (en) | Imaging device | |
| JP2021013117A (en) | Integrated circuit chip and imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190626 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200124 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200713 |