JP2016220037A - High dynamic range imaging device and imaging method - Google Patents
High dynamic range imaging device and imaging method Download PDFInfo
- Publication number
- JP2016220037A JP2016220037A JP2015103084A JP2015103084A JP2016220037A JP 2016220037 A JP2016220037 A JP 2016220037A JP 2015103084 A JP2015103084 A JP 2015103084A JP 2015103084 A JP2015103084 A JP 2015103084A JP 2016220037 A JP2016220037 A JP 2016220037A
- Authority
- JP
- Japan
- Prior art keywords
- row
- color
- signal
- exposure time
- green
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000012937 correction Methods 0.000 claims abstract description 51
- 230000008859 change Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 35
- 238000009792 diffusion process Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 23
- 238000012546 transfer Methods 0.000 description 16
- 230000003321 amplification Effects 0.000 description 12
- 238000003199 nucleic acid amplification method Methods 0.000 description 12
- 229920006395 saturated elastomer Polymers 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000009416 shuttering Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Landscapes
- Processing Of Color Television Signals (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
本発明は、入射光を光電変換して映像信号として取り出す撮像装置と撮像方法に関するものであり、特に、受光強度に対するダイナミックレンジを広くした高ダイナミックレンジ撮像装置及び撮像方法に関する。 The present invention relates to an imaging apparatus and an imaging method for photoelectrically converting incident light as a video signal, and more particularly to a high dynamic range imaging apparatus and an imaging method with a wide dynamic range with respect to received light intensity.
固体撮像素子を用いた撮像装置には、大きく分けて、三板式と単板式がある。三板式はレンズを通した被写体の光をプリズム等で分光し、赤、緑、青のそれぞれの光を撮像する３つのセンサー（固体撮像素子）により画像を得るものであって、全画素の色情報が正確に得られる利点があるが、センサーが３つ必要であり、分光のための構成も必要であるため、装置が大きくなり、コストも高くなる。これに対して、単板式は、一つのセンサー（固体撮像素子）の各画素の上に赤（Ｒ）、緑（Ｇ）、青（Ｂ）それぞれの色のみを通すカラーフィルタを設け、画像を撮影後、各画素のＲ，Ｇ，Ｂの輝度値を演算処理してカラー画像を作成するものであり、装置の小型化・低コスト化が可能であるので、近年、広く利用されている。 Imaging devices using a solid-state imaging device are roughly classified into a three-plate type and a single-plate type. In the three-plate type, the light of the subject that has passed through the lens is split by a prism or the like, and images are obtained by three sensors (solid-state image sensors) that capture red, green, and blue light. Although there is an advantage that information can be obtained accurately, since three sensors are required and a configuration for spectroscopy is also required, the apparatus becomes large and the cost increases. On the other hand, in the single-plate type, a color filter that passes only each color of red (R), green (G), and blue (B) is provided on each pixel of one sensor (solid-state imaging device), and an image is displayed. After shooting, the color values of R, G, and B of each pixel are calculated and processed to create a color image. Since the apparatus can be reduced in size and cost, it has been widely used in recent years.
単板式の撮像装置は、センサーの各画素が特定の色の光を受光するため、各画素において周囲の画素から色情報を補完する必要があり、より十分な色情報を得るためには画素数を多くする必要があるが、センサー全体の大きさは一定の制限があるため、画素数を多くするためには、必然的に、個々の画素サイズを小さくしなければならない。しかし、画素サイズを縮小した場合、各画素の受光部（フォトサイト）に蓄積可能な電荷量は画素サイズと共に小さくなるため、受光部で光電変換可能な光量が減少し、入射光量に対して出力が飽和しやすくなる。すなわち、受光強度に対するダイナミックレンジが小さくなる。 In a single-plate imaging device, each pixel of the sensor receives light of a specific color, so it is necessary to complement color information from surrounding pixels in each pixel, and in order to obtain more sufficient color information, the number of pixels However, in order to increase the number of pixels, the size of each pixel must be reduced. However, when the pixel size is reduced, the amount of charge that can be accumulated in the light receiving portion (photosite) of each pixel decreases with the pixel size, so the amount of light that can be photoelectrically converted by the light receiving portion is reduced and output relative to the incident light amount Tends to saturate. That is, the dynamic range with respect to the received light intensity is reduced.
この問題に対して、電子シャッターを利用して画素の露光時間を短くし、出力が飽和する光の入力強度を実質的に大きくする（受光強度のダイナミックレンジを広くする）試みがなされている。以下に、固体撮像素子の画素構造及び動作と、電子シャッターについて説明する。 To solve this problem, attempts have been made to shorten the pixel exposure time by using an electronic shutter and substantially increase the input intensity of light whose output is saturated (to widen the dynamic range of the received light intensity). Hereinafter, the pixel structure and operation of the solid-state imaging device and the electronic shutter will be described.
図８に、固体撮像素子の画素構造の例を示す。図８（ａ）は、４トランジスタ構造の画素回路２００の例である。
FIG. 8 shows an example of the pixel structure of the solid-state image sensor. FIG. 8A shows an example of a
各画素は、フォトダイオード（Photo Diode：ＰＤ）２１０、転送ゲート（Transfer Gate：ＴＧ）２２０、増幅トランジスタ２３０、リセットゲート（Reset Gate：ＲＧ）２４０、選択ゲート（Select Gate：ＳＧ）２５０を、備えている。また、バイアスゲート（Bias Gate：ＢＧ）２６０が、各信号線に設けられている。
Each pixel includes a photodiode (PD) 210, a transfer gate (TG) 220, an
図８（ｂ）は、フォトダイオード２１０、及び転送ゲート２２０のデバイス構造の一例を断面図で示したものであり、例えば、フォトダイオード２１０は、Ｐ型半導体基板に形成されたＮ型領域２１１から形成される。さらに、このＮ型領域２１１と、同じくＮ型領域からなるフローティング・ディフュージョン（Floating Diffusion：ＦＤ）領域２２３（図８（ａ）の回路図では接続点２２３で表示）、ゲート絶縁膜２２２、及びゲート電極２２１は、ＭＯＳ（Metal Oxide Semiconductor）トランジスタを構成し、転送ゲート（ＴＧ）２２０として機能する。
FIG. 8B is a cross-sectional view showing an example of the device structure of the
図８（ａ）において、画素が受光すると、光電変換によりフォトダイオード（ＰＤ）２１０に信号電荷が蓄えられる。転送ゲート（ＴＧ）２２０に電圧が印加されると、蓄積された電荷がフローティング・ディフュージョン（ＦＤ）２２３に転送される。このフローティング・ディフュージョン（ＦＤ）２２３の電位は、増幅トランジスタ２３０のゲート電極に印加され、フローティング・ディフュージョン（ＦＤ）２２３の電位に対応した電圧が増幅トランジスタ２３０から出力される。選択ゲート（ＳＧ）２５０に電圧が印加されると、増幅トランジスタ２３０の出力電圧、すなわち、フローティング・ディフュージョン（ＦＤ）２２３の電位に対応した電圧が信号線に印加されて、画素からの出力Ｖoutとして取り出される。なお、リセットゲート（ＲＧ）２４０に電圧がかかればフローティング・ディフュージョン（ＦＤ）２２３の電荷はリセットされる。信号線の電圧は、バイアスゲート（ＢＧ）に電圧を加えることにより、接地電位に戻る。
In FIG. 8A, when the pixel receives light, signal charge is stored in the photodiode (PD) 210 by photoelectric conversion. When a voltage is applied to the transfer gate (TG) 220, the accumulated charge is transferred to the floating diffusion (FD) 223. The potential of the floating diffusion (FD) 223 is applied to the gate electrode of the
次に、映像信号の取り出しと、電子シャッターについて、図９のタイミングチャートに基づいて説明する。 Next, the extraction of the video signal and the electronic shutter will be described based on the timing chart of FIG.
図９は、図８の画素回路の制御方法を示しており、転送ゲート２２０、リセットゲート２４０、選択ゲート２５０のそれぞれに印加される制御電圧パルスと、フローティング・ディフュージョン（ＦＤ）２２３及び信号線出力Ｖoutの電位変化を示している。
FIG. 9 shows a control method of the pixel circuit of FIG. 8. Control voltage pulses applied to the
図９（ａ）は、電子シャッターを行わない場合の制御である。映像信号は、出力Ｖoutを相関二重サンプリング（Correlated Double Sampling：ＣＤＳ）することによってＶFDとして取り出される。 FIG. 9A shows control when the electronic shutter is not performed. The video signal is extracted as V FD by performing correlated double sampling (CDS) on the output V out .
パルス電圧３０１によりリセットゲート２４０がＯＮ（導通）し、フローティング・ディフュージョン２２３の電荷が全て排除されるとともに、電源電圧が印加されることにより、フローティング・ディフュージョン２２３の電位が一時的に３０３となる。このとき、制御電圧３０６により選択ゲート２５０がＯＮ（導通）しており、増幅トランジスタ２３０の出力Ｖoutは、電圧３０７となる。
The
リセットゲート２４０がＯＦＦ（遮断）すると、フローティング・ディフュージョン２２３は、フローティングの状態となって電位３０４となり、出力Ｖoutは、電圧３０８となり、後段の回路によってフローティング・ディフュージョン２２３に信号電荷がないときの基準電圧としてサンプルホールドされる。サンプルホールド回路について様々な構成があり、本件の本質ではないので説明は割愛する。
When the
次いで、パルス電圧３０２により転送ゲート２２０がＯＮ（導通）し、フォトダイオード２１０で光電変換され、蓄積されていた信号電荷が、フローティング・ディフュージョン２２３に移送される。これにより、フローティング・ディフュージョン２２３の電位は、蓄積された電荷量に対応する電位３０５となり、この電位が増幅トランジスタ２３０のゲートに印加される。これにより、増幅トランジスタ２３０の出力としての信号線の出力Ｖoutは、電圧３０９となる。これが、フローティング・ディフュージョン２２３に信号電荷が蓄積されたときの電圧である。なお、選択ゲート２５０は、適切なタイミングでＯＦＦ（非導通）となり、信号線は電圧３０９を維持する。
Next, the
サンプルホールドされていたフローティング・ディフュージョン２２３に信号電荷のない時の出力電圧３０８と、信号電荷が蓄積されたときの出力電圧３０９との差分の電圧ＶFDが、フローティング・ディフュージョン２２３に蓄積される電荷量に比例している。したがって、後段の回路によってこの二つの差分電圧ＶFDを取り出し、受光量に対応する情報として、信号処理に用いる。
The differential voltage V FD between the
図９（ａ）においては、転送ゲートに印加されるパルス電圧３０２の間隔が露光時間に対応し、露光時間は１フレームの長さと等しい（電子シャッターは行われていない）。パルス電圧３０２で区切られた露光時間にフォトダイオードで受光した光量の全てが信号電荷となり、電圧ＶFDに寄与している。
In FIG. 9A, the interval of the
これに対して、フォトダイオード２１０で光電変換されて蓄積される電荷量は、照射光強度（受光強度）・受光面積・露光時間に比例するから、電圧ＶFDは露光時間によって線形的に制御することが可能である。１フレームの途中にリセットゲート・転送ゲート等への制御電圧パルスにより、この露光時間（信号電荷を生成する実質的な露光時間）を制御することを電子シャッターという。
On the other hand, the amount of charge accumulated by photoelectric conversion by the
図９（ｂ）に、電子シャッターを行う場合の各ゲートへの電圧印加タイミングと出力電圧の例を示す。転送ゲート２２０とリセットゲート２４０に印加される制御電圧パルスが図９（ａ）と異なっており、１フレーム間隔で印加されるリセットゲートのパルス電圧３０１の間に新たなパルス電圧３１１が印加され、また、図９（ａ）では１フレーム中に一度印加されていた転送ゲートのパルス電圧３０２に、新たなパルス電圧３１２が加わっている。後述のように、転送ゲートのパルス電圧３０２とパルス電圧３１２との間にフォトダイオード２１０に蓄積されるエネルギーはリセットされ、転送ゲートのパルス電圧３１２と次のパルス電圧との間が露光時間となる。
FIG. 9B shows an example of voltage application timing and output voltage to each gate when electronic shuttering is performed. The control voltage pulse applied to the
パルス電圧３０１によりリセットゲート２４０がＯＮ（導通）し、フローティング・ディフュージョン２２３の電荷が全て排除されて電位が一時的に３０３となり、このとき、制御電圧３０６により選択ゲート２５０がＯＮ（導通）しており、増幅トランジスタ２３０の出力としての信号線の出力Ｖoutは、電圧３０７となる。次いで、リセットゲート２４０がＯＦＦ（遮断）すると、フローティング・ディフュージョン２２３は、フローティングの状態となって電位３０４となり、出力Ｖoutは電圧３０８となる。この出力電圧３０８は、後段の回路によってフローティング・ディフュージョン２２３に信号電荷がないときの基準電圧としてサンプルホールドされる。ここまでは、図９（ａ）と同じである。
The
次いで、パルス電圧３０２により転送ゲート２２０がＯＮ（導通）し、露光時間にフォトダイオード２１０で生成した信号電荷が、フローティング・ディフュージョン２２３に移送される。これにより、フローティング・ディフュージョンＦＤ２２３の電位は電位３０５となり、この電位が増幅トランジスタ２３０のゲートに印加される。これにより、増幅トランジスタ２３０の出力として信号線の出力Ｖoutは、電圧３０９となる。
Next, the
サンプルホールドされていた出力電圧３０８と、フローティング・ディフュージョン２２３に信号電荷が蓄積されたときの出力電圧３０９との差分の電圧ＶFDが、フローティング・ディフュージョン２２３に蓄積される電荷量（露光時間に生成された信号電荷）に比例する。後段の回路によってこの差分電圧ＶFDを取り出し、受光量に対応する情報として、信号処理に用いる。ただし、図９（ｂ）では、このときフローティング・ディフュージョン２２３に蓄積される信号電荷は、１フレームの全期間中に光電変換された電荷量ではなく、パルス電圧３０２と次のパルス電圧３１２の間の期間に蓄積されたエネルギーはリセットされ使われない点が、図９（ａ）と異なる。
The difference voltage V FD between the sampled and held
次いで、リセットゲート２４０にパルス電圧３１１が印加され、リセットゲート２４０がＯＮ（導通）し、フローティング・ディフュージョン２２３の電荷が全て排除される。次いで、パルス電圧３１２により転送ゲート２２０がＯＮ（導通）し、パルス電圧３０２とパルス電圧３１２の間の期間にフォトダイオード２１０で生成し蓄積された電荷が、フローティング・ディフュージョン２２３に移送される。これにより、フローティング・ディフュージョンＦＤ２２３の電位は電位３１５となるが、このとき選択ゲート２５０は閉じているため、増幅トランジスタ２３０の出力電圧変化が信号線の出力Ｖoutに影響を及ぼすことはない。
Next, a
パルス電圧３０２とパルス電圧３１２の間にフォトダイオード２１０に蓄積される電荷は、信号としては利用しない。よって、リセットゲートに印加される次のパルス電圧によりリセットゲート２４０をＯＮ（導通）し、フローティング・ディフュージョン２２３に蓄積されている不要な電荷を全て排除（リセット）する。この動作は、フォトダイオードの露光期間中に行うことができる。その後は、パルス電圧３１２と次のパルス電圧の間の期間（露光時間）に、フォトダイオード２１０で光電変換され蓄積された電荷を信号電荷として読み出すために、上述の動作を繰り返す。
The charge accumulated in the
このように、転送ゲート２２０とリセットゲート２４０に印加される制御電圧パルスにより、フォトダイオード２１０に溜まっている電荷を一度捨てる（露光時間を短くする）ことができる。受光強度が一定とするとフォトダイオード（ＰＤ）が飽和するまで、露光時間と出力電圧ＶFDは線形の関係となる。また、１フレーム中の露光時間を短くすることにより、フォトダイオード（ＰＤ）の出力が飽和する受光強度（照射光強度）が大きくなり、受光感度のダイナミックレンジが拡大する。このように、電子シャッターを利用して、ダイナミックレンジを広くする方法が知られている。
Thus, the charge accumulated in the
さらに、撮像装置のダイナミックレンジを拡大するために、これまで、様々な手法が検討されており、例えば、１フレーム期間中に異なる２回の露光を行う方式等が報告されている。特許文献１では、画素内に受光面積の異なる２つのフォトダイオードを持ち、２種類の感度の異なる画素出力を利用して、信号のダイナミックレンジを広くする方法が開示されている。また、非特許文献１には、露光時間の異なる複数の画素出力を得る方法が開示されている。さらに、特許文献２には、カラーフィルタ配列を改良して各色が２画素隣接するように配列し、それぞれを異なる露光時間で撮影する方法などがある。
Furthermore, various methods have been studied so far in order to expand the dynamic range of the imaging apparatus. For example, a method of performing two different exposures during one frame period has been reported. Japanese Patent Application Laid-Open No. 2004-228561 discloses a method of widening a signal dynamic range by using two photodiodes having different light receiving areas in a pixel and using two types of pixel outputs having different sensitivities.
特許文献１では、サイズ／受光感度の異なる複数の画素を製作する必要があり、撮像素子の作製・制御が困難である。また、非特許文献１では、読み出し速度を２倍以上に高速度化する必要がある。また、特許文献３では、同色の２つの画素がペアを構成して同色のカラーフィルタが積層され、全体としてベイヤー配列となる特殊なカラーフィルタ配列が必要となる。したがって、先行技術文献に記載されたものは、いずれもの特殊な撮像素子構造を必要とし、撮像素子の製造が複雑なものとなっていた。また、これまで、電子シャッターは行われていたが、その制御の最適な条件は十分に検討されていない。
In
上記のような問題点に鑑みてなされた本発明の目的は、通常のベイヤー配列のカラー撮像素子を用いて、受光強度に対するダイナミックレンジを拡大することができる撮像装置、及び最適な条件で露光時間を制御し、受光強度に対するダイナミックレンジを拡大することができる撮像方法を提供することにある。 An object of the present invention, which has been made in view of the above problems, is to provide an imaging apparatus capable of expanding a dynamic range with respect to received light intensity using an ordinary Bayer color image sensor, and an exposure time under optimum conditions. It is an object to provide an imaging method capable of controlling the above and expanding the dynamic range with respect to the received light intensity.
上記課題を解決するために本発明に係る撮像装置は、第１の行に緑（Ｇ１）と赤（Ｒ）のフィルタを有し、第２の行に青（Ｂ）と緑（Ｇ２）のフィルタを有するベイヤー配列のカラー撮像素子を備えた撮像装置において、入射光の色温度に基づいて、前記第１の行と前記第２の行の露光時間を異ならせ、露光時間の短い行から得られた緑の映像信号を利用して、受光強度に対するダイナミックレンジを拡張したことを特徴とする。 In order to solve the above problems, an imaging apparatus according to the present invention has green (G1) and red (R) filters in a first row, and blue (B) and green (G2) in a second row. In an imaging apparatus including a Bayer array color imaging device having a filter, the exposure time of the first row and the second row is made different based on the color temperature of incident light, and is obtained from a row with a short exposure time. The dynamic range for the received light intensity is expanded by using the obtained green video signal.
また、前記撮像装置は、ホワイトバランスのＲ，Ｂの補正ゲインを比較し、前記補正ゲインが小さい色を含む行の露光時間と前記補正ゲインが大きい色を含む行の露光時間の比率が、前記補正ゲインのうち大きい補正ゲインの逆数に等しくなるように、電子シャッター制御を行うことが望ましい。 In addition, the imaging apparatus compares R and B correction gains of white balance, and a ratio of an exposure time of a row including a color with a small correction gain and an exposure time of a row including a color with a large correction gain is It is desirable to perform electronic shutter control so as to be equal to the reciprocal of a large correction gain among the correction gains.
また、前記撮像装置は、前記第１の行と前記第２の行の緑の映像信号を加算（Ｇ１＋Ｇ２）するデジタル信号処理を行い、赤及び青の映像信号については、それぞれ緑の加算された映像信号に合わせてデジタル信号処理を行うことが望ましい。 The image pickup apparatus performs digital signal processing for adding (G1 + G2) the green video signals of the first row and the second row, and green and red are added to each of the video signals. It is desirable to perform digital signal processing in accordance with the video signal.
また、前記撮像装置は、緑の映像信号については、露光時間の短い行から得られた緑の映像信号をゲイン補正するのと等価なデジタル信号処理を行い、赤及び青の映像信号については、それぞれ補正された緑の映像信号に合わせてデジタル信号処理を行うことが望ましい。 The imaging device performs digital signal processing equivalent to gain correction of a green video signal obtained from a row with a short exposure time for a green video signal, and for red and blue video signals, It is desirable to perform digital signal processing in accordance with each corrected green video signal.
上記課題を解決するために本発明に係る撮像方法は、第１の行に緑（Ｇ１）と赤（Ｒ）のフィルタを有し、第２の行に青（Ｂ）と緑（Ｇ２）のフィルタを有するベイヤー配列のカラー撮像素子を用いた撮像方法において、ホワイトバランスのＲ，Ｂの補正ゲインを比較し、前記補正ゲインが小さい色を含む行の露光時間を前記補正ゲインが大きい色を含む行の露光時間より短くし、露光時間の短い行から得られた緑の映像信号を利用して、受光強度に対するダイナミックレンジを拡張したことを特徴とする。 In order to solve the above problems, an imaging method according to the present invention has green (G1) and red (R) filters in the first row, and blue (B) and green (G2) in the second row. In an imaging method using a Bayer array color imaging device having a filter, the R and B correction gains of white balance are compared, and the exposure time of a row including a color with a small correction gain includes a color with a large correction gain. It is characterized in that the dynamic range with respect to the received light intensity is expanded by using a green video signal obtained from a line having a shorter exposure time than a line exposure time.
また、前記撮像方法は、前記補正ゲインが小さい色を含む行の露光時間と前記補正ゲインが大きい色を含む行の露光時間の比率が、前記補正ゲインのうち大きい補正ゲインの逆数に等しくなるように、電子シャッター制御を行うことが望ましい。 In the imaging method, the ratio of the exposure time of a row including a color with a small correction gain and the exposure time of a row including a color with a large correction gain is equal to the reciprocal of the large correction gain among the correction gains. In addition, it is desirable to perform electronic shutter control.
本発明における撮像装置及び撮像方法によれば、通常のベイヤー配列のカラー撮像素子を用いて、従来よりも受光強度に対するダイナミックレンジを拡大することができる。また、どちらの行の露光時間を短時間にすべきかを入射光の色温度によって決定するため、露光時間を短くすることによる出力信号レベルの低下に伴うＳＮ比の劣化を低減することができる。さらに、ホワイトバランスの補正ゲインに基づいて、ダイナミックレンジの拡大幅が最大となる露光時間を容易に設定することができる。 According to the image pickup apparatus and the image pickup method of the present invention, the dynamic range with respect to the received light intensity can be expanded as compared with the conventional case using a color image pickup element having a normal Bayer array. Further, since which line should have a shorter exposure time is determined by the color temperature of the incident light, it is possible to reduce the degradation of the SN ratio accompanying a decrease in the output signal level due to the shorter exposure time. Furthermore, the exposure time that maximizes the expansion range of the dynamic range can be easily set based on the white balance correction gain.
以下、本発明を実施するための形態について、実施例に基づいて説明する。 Hereinafter, modes for carrying out the present invention will be described based on examples.
図１に、本発明の高ダイナミックレンジ撮像装置における、ベイヤー配列のカラー撮像素子１００の構成例を示す。
FIG. 1 shows a configuration example of a
撮像素子１００の画素部（撮像領域）１０には、ベイヤー配列のフィルタが設けられている。ベイヤー配列では、第１の行（実施例では、奇数行）の緑（Ｇodd又はＧ１）２１と赤（Ｒ）２２、第２の行（実施例では、偶数行）の青（Ｂ）２３と緑（Ｇeven又はＧ２）２４の４画素で表示系１画素２０を構成する色成分となる。なお、本実施例では、奇数行をＧＲＧＲ・・・、偶数行をＢＧＢＧ・・・と配列しているが、奇数行と偶数行の配列が反対であっても構わない。
The pixel portion (imaging region) 10 of the
図１の垂直走査回路３０によって各配線（奇数行：Ｗodd、又は偶数行：Ｗeven）３１〜３４につながるゲート電圧印加タイミングをコントロールすることができ、奇数行配線Ｗoddにつながる画素の露光時間をＴodd、偶数行配線Ｗevenにつながる画素の露光時間をＴevenとして制御する電子シャッターを行う。各画素から読み出された信号電荷は、列並列アナログ／デジタル変換回路（ＡＤＣ）４０、及び水平読み出し回路５０により、読み出し処理がなされる。
The vertical scanning circuit 30 of FIG. 1 can control the gate voltage application timing connected to each wiring (odd row: W odd , or even row: W even ) 31 to 34, and exposure of pixels connected to the odd row wiring W odd. An electronic shutter that controls the time as T odd and the exposure time of pixels connected to the even- numbered wiring W even as T even is performed. The signal charges read from each pixel are read out by a column parallel analog / digital conversion circuit (ADC) 40 and a
図２に、本発明の信号処理プロセスのフローチャートを示す。このプロセスの目的は、適切な行に電子シャッターをかけ、露光時間の異なるＧodd（Ｇ１）とＧeven（Ｇ２）の出力を加算することで、Ｇ信号のダイナミックレンジを広げ、他成分はＲ，Ｇ，Ｂがバランスをとれるように調整することにある。フローチャートの各ステップを説明する。 FIG. 2 shows a flowchart of the signal processing process of the present invention. The purpose of this process is to widen the dynamic range of the G signal by applying an electronic shutter to the appropriate row and adding the outputs of G odd (G1) and G even (G2) with different exposure times, and other components are R , G, and B are adjusted so as to be balanced. Each step of the flowchart will be described.
ステップ１（以下、Ｓ１のように表記する。）では、映像のホワイトバランス調整を行う。ホワイトバランスとは、白い被写体が白く映るように色の補正を行う機能である。例えば、理想的な白色の被写体があったとしても、照明が白熱電球だと赤みがかった白、曇天下では青みがかった白に見える。これは照明光源のスペクトル分布の違いによるもので、その違いは色温度によって表現される。一般に色温度は低ければ赤成分が強く、高ければ青成分が強い。ホワイトバランス調整は、白色の被写体を撮影時の各色の信号をＲw，Ｇw，Ｂwとして、
本件のプロセスでは、先ずＳ１において、カメラでホワイトバランス調整を行い、赤色と青色への補正ゲインｇR，ｇBを取得する。 In this process, first, in S1, white balance adjustment is performed by the camera to obtain correction gains g R and g B for red and blue.
次に、Ｓ２では、Ｓ１で得られた補正ゲインｇR，ｇBを評価する。もし１＞ｇR，及び１＞ｇBの様にＧ信号よりもＲ，Ｂの両方の元信号が強い場合、若しくは、０．５＞ｇR，又は０．５＞ｇB の様にＲ，Ｂ信号がＧ信号の入力より２倍以上高い場合は、本方式による効果はあまり得られないため、この後は、Ｓ６に進み、デジタル信号処理部で一般的なホワイトバランス調整に基づく画像作成処理を行う。また、Ｓ２の条件を満たさないときは、Ｓ３に進む。なお、効果が比較的小さい場合を含んでも良いときは、この評価ステップ（Ｓ２）を省略してＳ３に進むこともできる。 Next, in S2, the correction gains g R and g B obtained in S1 are evaluated. If the original signals of both R and B are stronger than the G signal as 1> g R and 1> g B , or R as 0.5> g R or 0.5> g B , B signal is more than twice as high as the G signal input, the effect of this method is not obtained so much, so that the process proceeds to S6, and the digital signal processing unit generates an image based on general white balance adjustment. Process. If the condition of S2 is not satisfied, the process proceeds to S3. If the effect may be relatively small, the evaluation step (S2) may be omitted and the process may proceed to S3.
次に、Ｓ３では、補正ゲインｇR，ｇBを比較する。そして、ｇR＜ｇBの条件（受光した光の赤成分が青成分より強い）を満たす場合はＳ４に進み、満たさない場合はＳ５に進む。 Next, in S3, the correction gains g R and g B are compared. If the condition of g R <g B (the red component of the received light is stronger than the blue component) is satisfied, the process proceeds to S4. Otherwise, the process proceeds to S5.
Ｓ４では、奇数行（Ｒを含む行）に電子シャッターをかけ、Ｓ５では、偶数行（Ｂを含む行）に電子シャッターをかける。 In S4, an electronic shutter is applied to odd-numbered rows (rows including R), and in S5, an electronic shutter is applied to even-numbered rows (rows including B).
すなわち、Ｓ３〜Ｓ５では、ｇR，ｇBを比較して値の小さい方（色成分が強い方）の色が含まれるセンサーの行に電子シャッターをかける。こうすることにより、色成分の強い方の光は、露光時間を短くしても必要な受光量を確保でき、信号電荷を十分得ることができるため、全体としてノイズに強い画像が得られるとともに、ダイナミックレンジを拡げることができる。 That is, in S3 to S5, g R and g B are compared, and an electronic shutter is applied to the row of the sensor that includes the color with the smaller value (the color component is stronger). By doing this, the light with the stronger color component can secure the necessary amount of received light even if the exposure time is shortened, and a sufficient signal charge can be obtained. The dynamic range can be expanded.
なお、後述のように、電子シャッター（露光時間）の設定は、ｇR，ｇBを比較して、大きい方（色成分が弱い方）の係数によって、ダイナミックレンジの拡大幅が最大となるシャッタータイミングを決定することができる。 As will be described later, the electronic shutter (exposure time) is set by comparing the shutter speeds g R and g B with the largest dynamic range (the weaker color component) coefficient that maximizes the dynamic range expansion width. Timing can be determined.
その後、Ｓ６においてデジタル信号処理を行う。具体的には、デジタル信号処理部では各色のセンサー出力に対して、Ｇ信号はダイナミックレンジを広げるため奇数行と偶数行の出力を加算してＧodd＋Ｇevenとし、他成分はＲ，Ｇ，Ｂがバランスをとれるように調整する。以下に電子シャッター制御とデジタル信号処理部の処理内容を示す。 Thereafter, digital signal processing is performed in S6. Specifically, in the digital signal processing unit, for the sensor output of each color, the G signal increases the dynamic range so that the outputs of the odd and even rows are added to give G odd + G even , and the other components are R, G, Adjust so that B is balanced. The processing contents of the electronic shutter control and digital signal processing unit are shown below.
［１］色温度が低い（ｇR＜ｇB）場合のデジタル信号処理
色温度が低い（ｇR＜ｇB）場合のデジタル信号処理について説明する。この場合は図２のフローチャートに従い、奇数行（Ｇodd，Ｒ）に電子シャッターをかける。各画素Ｇodd，Ｇeven，Ｂ，Ｒのセンサー出力電圧をそれぞれＶGodd，ＶGeven，ＶB，ＶR、各画素センサーの受光量が飽和する白色光入力強度をそれぞれｘodd，ｘeven，ｘB，ｘRとして、飽和時の出力電圧をＶmaxとする。
[1] Color temperature is low (g R <g B) digital signal processing color temperature is low in the case (g R <g B) for digital signal processing in this case will be described. In this case, an electronic shutter is applied to odd rows (G odd , R) according to the flowchart of FIG. The sensor output voltages of the pixels G odd , G even , B, and R are V Godd , V Geven , V B , and V R , respectively, and the white light input intensity at which the received light amount of each pixel sensor is saturated is x odd , x even , As x B and x R , the output voltage at saturation is V max .
図３に、色温度が低い（赤色成分が強い）ときの白色光入力に対するセンサー出力電圧のグラフの例を示す。横軸は白色光入力強度であり、縦軸はセンサー出力電圧である。グラフ１は偶数行の緑（Ｇeven）の光入力強度とセンサー出力電圧の関係を示しており、同様に、グラフ２は奇数行の緑（Ｇodd）、グラフ３は青（Ｂ）、グラフ４は赤（Ｒ）のセンサーの入出力関係をそれぞれ示している。各画素のセンサー出力は、いずれも出力電圧Ｖmaxで飽和する。
FIG. 3 shows an example of a graph of the sensor output voltage with respect to white light input when the color temperature is low (red component is strong). The horizontal axis is the white light input intensity, and the vertical axis is the sensor output voltage.
図３は、電子シャッターをＴodd／Ｔeven＜１／ｇBの条件（Ｇodd のダイナミックレンジをＢのダイナミックレンジよりも広く取る条件）で設定した場合である。各センサー信号入出力のグラフ１〜４に加えて、デジタル信号処理による補正後のＧ信号（Ｇodd＋Ｇeven）のグラフ５と、デジタル信号処理による補正後のＢ信号（Ｂ補正信号）のグラフ６も示されている。Ｇ信号（Ｇodd＋Ｇeven）のグラフ５から、従来のベイヤー配列のカラー撮像素子を用いて、電子シャッターによりダイナミックレンジをｘevenからｘoddに拡大できることがわかる。
FIG. 3 shows a case where the electronic shutter is set under the condition of T odd / T even <1 / g B (the condition in which the dynamic range of G odd is wider than the dynamic range of B). In addition to
しかし、Ｇ信号（Ｇodd＋Ｇeven）は、電子シャッターによりダイナミックレンジがｘevenからｘoddに拡大されているが、Ｂ信号はｘBで飽和状態に至っているため、Ｂ補正信号はｘB以上の強度の入力があっても、Ｇ信号とバランスを取ることができない。この場合ｘB以上の強度があると、白がＢ成分の不足から黄色（Ｇ＋Ｒ）がかってくる。 However, the dynamic range of the G signal (G odd + G even ) is expanded from x even to x odd by the electronic shutter, but the B signal reaches saturation at x B , so the B correction signal is greater than x B. Even if there is an input of the intensity, it is impossible to balance with the G signal. In this case there is more strength x B, white come tinged yellow (G + R) lack of B component.
このようにＢ成分によってＧの拡大可能な（有効な）ダイナミックレンジは制限されるから、電子シャッターのタイミングは、Ｂ成分（色成分が弱い方）によって制限される。この条件から、ダイナミックレンジの拡大幅が最大となるシャッタータイミングを設定することができる。 As described above, since the dynamic range in which G can be expanded is limited by the B component, the timing of the electronic shutter is limited by the B component (which has a weaker color component). From this condition, it is possible to set the shutter timing at which the expansion range of the dynamic range is maximized.
（１）電子シャッター制御
図３に基づく考察によれば、Ｂ成分（色成分が弱い方）が飽和する白色光入力強度（ｘB）よりも、ＧやＲのダイナミックレンジを広くしても、Ｂ成分が飽和する領域は有効活用することができない。また、色温度が低い（Ｒ成分が強い）場合であっても、必要以上にＲ成分の露光時間を短くすることは、信号電荷が小さくなり、ノイズに弱い画像となるから、各画素の露光時間はできるだけ長くすることが望ましい。したがって、Ｂ信号が飽和する入力光強度（ｘB）と、Ｇodd信号が飽和する入力光強度（ｘodd）とが等しくなる条件で、シャッタータイミングを調整すれば、各センサーの信号電荷を有効に活用でき、ダイナミックレンジの拡大幅が最大となる。
(1) Electronic shutter control According to the consideration based on FIG. 3, even if the dynamic range of G or R is made wider than the white light input intensity (x B ) at which the B component (the color component is weaker) is saturated, The region where the B component is saturated cannot be used effectively. Even when the color temperature is low (the R component is strong), if the exposure time of the R component is shortened more than necessary, the signal charge is reduced and the image is susceptible to noise. It is desirable to make the time as long as possible. Thus, an input light intensity B signal is saturated (x B), the input light intensity (x odd) and equals condition G odd signal is saturated, by adjusting the shutter timing, the signal charges of each sensor effective The maximum dynamic range is maximized.
すなわち、ダイナミックレンジを最大にする条件は、次式（２）となる。 That is, the condition for maximizing the dynamic range is the following equation (2).
図４に、この条件時の各センサー信号出力と補正後の出力の関係の例を示す。式（２）の条件により、Ｇodd信号のグラフ２と、Ｂ信号のグラフ３とが重なる。Ｂ，ＲともにダイナミックレンジがＧodd以上なので、Ｇ信号に合わせてデジタル信号処理による補正が可能であり、ダイナミックレンジは電子シャッターをかけない場合のｘevenからｘB （ｘodd）へ拡大される。なお、これまでの説明では、偶数行には電子シャッターをかけず、奇数行のみ電子シャッターをかけて、上記式（２）を満足するように露光時間を調整するとしたが、奇数行と偶数行の両方に電子シャッターをかけて、式（２）を満足するように露光時間を調整しても、本発明のダイナミックレンジの拡大は実現できる。ただし、色成分が弱い青色については、電子シャッターをかけるとノイズに弱くなるため、撮像条件（受光強度等）に応じて適宜設定すれば良い。
FIG. 4 shows an example of the relationship between each sensor signal output under this condition and the corrected output. The
次に、式（２）の条件を満たした時の、Ｇ，Ｒ，Ｂ信号それぞれのデジタル信号処理について以下に示す。 Next, digital signal processing for each of the G, R, and B signals when the condition of Expression (2) is satisfied will be described below.
（２）Ｇ信号のデジタル信号処理について
本実施例においては、デジタル信号処理による補正後のＧ信号は、奇数行の緑（Ｇodd）と偶数行の緑（Ｇeven）から得られた映像信号を加算（Ｇodd＋Ｇeven）する。すなわち、デジタル信号処理後のＧ信号をＶG’として、次式（３）により求める。
(2) Regarding digital signal processing of G signal In this embodiment, the G signal after the correction by the digital signal processing is a video signal obtained from green (G odd ) of odd rows and green (G even ) of even rows. Are added (G odd + G even ). That is, the G signal after the digital signal processing is obtained as V G ′ by the following equation (3).
グラフ５からわかるように、飽和光入力強度がｘevenからｘodd となり、ダイナミックレンジを拡大することができる。
As can be seen from the
（３）Ｒ信号のデジタル信号処理について
Ｒ信号のセンサー出力はＧ信号がＶG’となったため、出力信号に単純にホワイトバランス取得時のゲインｇRをかけてもホワイトバランスを調整することはできない。ところでＧ信号について、グラフから、次式（４）（５）の関係を読み取ることができる。
(3) Digital signal processing of R signal Since the G signal becomes V G 'in the R signal sensor output, it is not possible to adjust the white balance even if the output signal is simply multiplied by the gain g R during white balance acquisition. Can not. By the way, the relationship of the following formulas (4) and (5) can be read from the graph for the G signal.
また、フォトダイオード（ＰＤ）の飽和に至る光量（受光強度×露光時間×受光面積）が一定であり、ここでは受光面積が一定であること、及び式（２）の関係から、次式（６）が成立する。 Further, the amount of light that reaches the saturation of the photodiode (PD) (light receiving intensity × exposure time × light receiving area) is constant, and here the light receiving area is constant, and from the relationship of Expression (2), the following expression (6 ) Holds.
ここで、式（６）を式（５）に代入すれば、
電子シャッターを掛けられている奇数行の画素（Ｇodd，Ｒ）の出力は、次式（９）の関係が成り立つ。 The output of the pixels (G odd , R) in the odd rows where the electronic shutter is applied satisfies the relationship of the following equation (9).
したがって、この関係を利用してＲ信号を補正されたＧ信号に一致させる。すなわち、ホワイトバランス調整のためにＲ信号の出力をＶR’とすると、次式（１０）の条件でＶRを補正すれば良い。 Therefore, the R signal is matched with the corrected G signal using this relationship. That is, if the output of the R signal is V R ′ for white balance adjustment, V R may be corrected under the condition of the following equation (10).
（４）Ｂ信号のデジタル信号処理について
電子シャッターを掛けられていない偶数行の画素（Ｂ）の出力は、次式（１１）の関係が成り立つ。
(4) Digital signal processing of B signal The output of the pixels (B) in the even-numbered rows that are not electronically shuttered has the relationship of the following equation (11).
したがって、ホワイトバランス調整のためにＢ信号の出力をＶB’とすると、次式（１２）の条件でＶBを補正すれば良い。 Therefore, if the output of the B signal is V B ′ for white balance adjustment, V B may be corrected under the condition of the following equation (12).
なお、上記において１＞ｇR＞０．５の場合はＲ信号が先に飽和に至るので、ＶR’の飽和電圧でホワイトクリップを行う必要があるが、Ｇ信号のダイナミックレンジは電子シャッター後のＲ信号の飽和露光量まで広げることができる。 In the above case, when 1> g R > 0.5, the R signal reaches saturation first, so it is necessary to perform white clipping with a saturation voltage of V R ′, but the dynamic range of the G signal is after the electronic shutter. Can be expanded to the saturation exposure amount of the R signal.
［２］色温度が高い（ｇR＞ｇB）場合のデジタル信号処理
色温度が高い（ｇR＞ｇB）場合のデジタル信号処理について説明する。なお、中間（ｇR＝ｇB）の場合の処理は、色温度が高い場合と低い場合のどちらに従ってもよい。色温度が高い場合は、図２のフローチャートに従って、偶数行（Ｇeven，Ｂ）に電子シャッターをかける。色温度が高い場合と同様に考えて、電子シャッター制御、デジタル信号処理プロセスは以下のようになる。
[2] a high color temperature (g R> g B) digital signal processing color temperature is high in the case (g R> g B) for digital signal processing in this case will be described. Note that the processing in the middle (g R = g B ) may be performed according to either the case where the color temperature is high or the case where the color temperature is low. When the color temperature is high, an electronic shutter is applied to even rows (G even , B) according to the flowchart of FIG. Considering the same as when the color temperature is high, the electronic shutter control and digital signal processing processes are as follows.
（１）電子シャッター制御
電子シャッターのタイミングは、Ｒ成分（色成分が弱い方）によって制限される。色温度が低い場合と同様に考えて、ダイナミックレンジを最大にする条件は、次式（１３）となる。
(1) Electronic shutter control The timing of the electronic shutter is limited by the R component (the color component is weaker). Considering the same as when the color temperature is low, the condition for maximizing the dynamic range is expressed by the following equation (13).
図５に、この条件時のセンサー信号出力と補正後の出力の関係の例を示す。式（１３）の条件により、Ｇeven信号のグラフ１と、Ｒ信号のグラフ４とが重なる。Ｂ，ＲともにダイナミックレンジがＧeven以上なので、Ｇ信号に合わせてデジタル信号処理による補正が可能であり、ダイナミックレンジは電子シャッターをかけない場合のｘoddからｘR （ｘeven）へ拡大される。なお、これまで、奇数行には電子シャッターをかけず、偶数行のみ電子シャッターをかけて、上記式（１３）を満足するように露光時間を調整するとしたが、この場合も色温度が低い場合と同様に、奇数行と偶数行の両方に電子シャッターをかけて、式（１３）を満足するように露光時間を調整しても、本発明のダイナミックレンジの拡大は実現できる。
FIG. 5 shows an example of the relationship between the sensor signal output under this condition and the corrected output. The
次に、式（１３）の条件を満たした時の、Ｇ，Ｒ，Ｂ信号それぞれのデジタル信号処理について以下に示す。 Next, digital signal processing for each of the G, R, and B signals when the condition of Expression (13) is satisfied will be described below.
（２）Ｇ信号のデジタル信号処理について
色温度が低い場合と同様に、デジタル信号処理後のＧ信号をＶG’として、次式（１４）により求める。
(2) Digital signal processing of G signal As in the case where the color temperature is low, the G signal after digital signal processing is determined as V G ′ by the following equation (14).
グラフ５からわかるように飽和光入力強度をｘoddからｘevenへとダイナミックレンジを拡大することができる。
As can be seen from the
（３）Ｂ信号のデジタル信号処理について
色温度が低い場合のＲ信号（式（１０）を参照。）との対称性から、ホワイトバランスの調整には、Ｂ信号の出力をＶB’とすると、次式（１５）の条件でＶBを補正すれば良い。
(3) Digital signal processing of B signal Due to the symmetry with the R signal (see equation (10)) when the color temperature is low, the white signal is adjusted by setting the output of the B signal to V B ′. V B may be corrected under the condition of the following equation (15).
（４）Ｒ信号のデジタル信号処理について
電子シャッターを掛けられていない奇数行の画素（Ｒ）の出力は、色温度が低い場合のＢ信号（式（１２）を参照。）との対称性から、ホワイトバランスの調整には、Ｒ信号の出力をＶR’とすると、次式（１６）の条件でＶRを補正すれば良い。
(4) Digital signal processing of R signal The output of the pixels (R) in the odd-numbered rows that are not electronically shuttered is symmetric with the B signal (see equation (12)) when the color temperature is low. For the white balance adjustment, assuming that the output of the R signal is V R ′, V R may be corrected under the condition of the following equation (16).
なお、上記において１＞ｇB＞０．５の場合はＢ信号が先に飽和に至るので、ＶB’の飽和電圧でホワイトクリップを行う必要があるが、Ｇ信号のダイナミックレンジは電子シャッター後のＢ信号の飽和露光量まで広げることができる。 In the above case, when 1> g B > 0.5, the B signal reaches saturation first, so it is necessary to perform white clipping with a saturation voltage of V B ′, but the dynamic range of the G signal is after the electronic shutter. Can be expanded to the saturation exposure amount of the B signal.
以上のようなホワイトバランス調整を行うことで電子シャッターを用いてダイナミックレンジを拡大しつつＲＧＢの色信号のバランスを取ることが可能である。また、本方式ではダイナミックレンジ拡大をしてもＧ信号のＳＮ比がほぼ劣化しないため、Ｙ信号（輝度）の劣化を低減することが可能である。 By performing white balance adjustment as described above, it is possible to balance RGB color signals while expanding the dynamic range using an electronic shutter. Further, in this method, since the SN ratio of the G signal is not substantially deteriorated even when the dynamic range is expanded, the deterioration of the Y signal (luminance) can be reduced.
実施例１では、Ｇodd＋Ｇevenは入力に対して完全な線形ではなく、knee処理のようなグラフ５となってしまう。そこで電子シャッター無しのＧ信号が飽和した場合、電子シャッター有りのＧ信号のみを補正した値を出力として取り出せば、Ｇ信号にＳＮ比の劣化があるものの簡単に入出力を完全な線形にすることが可能である。
In the first embodiment, G odd + G even is not completely linear with respect to the input, and becomes a
実施例２では、Ｇ信号を完全に線形にした場合のダイナミックレンジ拡大プロセスを示す。実施例１と各色のデジタル信号処理プロセス以外はすべて共通であるので、色温度が低い場合と高い場合のＲ，Ｇ，Ｂの信号補正プロセスを中心に説明する。 Example 2 shows a dynamic range expansion process when the G signal is completely linear. Since the first embodiment is the same as the first embodiment except for the digital signal processing for each color, the R, G, and B signal correction processes when the color temperature is low and high will be mainly described.
［１］色温度が低い（ｇR＜ｇB）場合のデジタル信号処理
色温度が低い場合の信号補正プロセスを示す。色温度が低い場合は、図２のフローチャートに従って、奇数行（Ｇodd，Ｒ）に電子シャッターをかける。
[1] Digital signal processing when color temperature is low (g R <g B ) A signal correction process when the color temperature is low is shown. When the color temperature is low, an electronic shutter is applied to odd rows (G odd , R) according to the flowchart of FIG.
（１）電子シャッター制御
色温度が低い場合の電子シャッター制御は、実施例１と同様に、Ｇ信号のダイナミックレンジが最大となるように、次式（１７）の条件にすれば良い。なお、撮像条件によっては、奇数行と偶数行の両方に電子シャッターをかけて、式（１７）を満足するように露光時間を調整してもよい。
(1) Electronic shutter control The electronic shutter control when the color temperature is low may be made the condition of the following equation (17) so that the dynamic range of the G signal is maximized, as in the first embodiment. Depending on the imaging conditions, the exposure time may be adjusted so as to satisfy Equation (17) by applying electronic shutters to both odd and even rows.
次に、式（１７）の条件を満たした時の、Ｇ，Ｒ，Ｂ信号それぞれのデジタル信号処理について以下に示す。 Next, digital signal processing for each of the G, R, and B signals when the condition of Expression (17) is satisfied will be described below.
（２）Ｇ信号のデジタル処理プロセスについて
デジタル信号処理の後のＧ信号をＶG’とすると、
（３）Ｒ信号のデジタル処理プロセスについて
ホワイトバランスの定義から、次式（１９）が成立する。
(3) R signal digital processing process From the definition of white balance, the following equation (19) is established.
よって、デジタル信号処理の後のＲ信号をＶR’とすると、次式（２０）の条件でＶRを補正すれば良い。 Therefore, if the R signal after digital signal processing is V R ′, V R may be corrected under the condition of the following equation (20).
（４）Ｂ信号のデジタル処理プロセスについて
デジタル信号処理の後のＢ信号をＶB’とすると、次式（２１）の条件でＶBを補正すれば良い。
(4) B signal digital processing process When the B signal after digital signal processing is V B ′, V B may be corrected under the condition of the following equation (21).
なお、上記において１＞ｇR＞０．５の場合はＲ信号が先に飽和に至るので、ＶR’の飽和電圧でホワイトクリップを行う必要があるが、Ｇ信号のダイナミックレンジは電子シャッター後のＲ信号の飽和露光量まで広げることができる。 In the above case, when 1> g R > 0.5, the R signal reaches saturation first, so it is necessary to perform white clipping with a saturation voltage of V R ′, but the dynamic range of the G signal is after the electronic shutter. Can be expanded to the saturation exposure amount of the R signal.
［２］色温度が高い（ｇR＞ｇB）場合のデジタル信号処理
色温度が高い場合の信号補正プロセスを示す。なお、中間（ｇR＝ｇB）の場合の処理は、色温度が高い場合と低い場合のどちらに従ってもよい。色温度が高い場合は、図２のフローチャートに従って、偶数行（Ｇeven，Ｂ）に電子シャッターをかける。
[2] Digital signal processing when color temperature is high (g R > g B ) A signal correction process when the color temperature is high is shown. Note that the processing in the middle (g R = g B ) may be performed according to either the case where the color temperature is high or the case where the color temperature is low. When the color temperature is high, an electronic shutter is applied to even rows (G even , B) according to the flowchart of FIG.
（１）電子シャッター制御
電子シャッター制御は実施例１と同様に、Ｇ信号のダイナミックレンジが最大となるように、次式（２２）の条件にすれば良い。なお、撮像条件によっては、奇数行と偶数行の両方に電子シャッターをかけて、式（２２）を満足するように露光時間を調整してもよい。
(1) Electronic shutter control As in the first embodiment, the electronic shutter control may be performed under the condition of the following expression (22) so that the dynamic range of the G signal is maximized. Depending on the imaging conditions, the exposure time may be adjusted so as to satisfy Equation (22) by applying electronic shutters to both odd and even rows.
次に、式（２２）の条件を満たした時の、Ｇ，Ｒ，Ｂ信号それぞれのデジタル信号処理について以下に示す。 Next, digital signal processing for each of the G, R, and B signals when the condition of Expression (22) is satisfied will be described below.
（２）Ｇ信号のデジタル処理プロセスについて
デジタル信号処理の後のＧ信号をＶG’とすると、
（３）Ｂ信号のデジタル処理プロセスについて
色温度が低い場合のＲ信号（式（２０）を参照。）との対称性から、デジタル信号処理の後のＢ信号をＶB’とすると、次式（２４）の条件でＶBを補正すれば良い。
(3) B signal digital processing process From the symmetry with the R signal (see equation (20)) when the color temperature is low, if the B signal after digital signal processing is V B ′, the following equation: V B may be corrected under the condition (24).
（４）Ｒ信号のデジタル処理プロセスについて
色温度が低い場合のＢ信号（式（２１）を参照。）との対称性から、デジタル信号処理の後のＲ信号をＶR’とすると、次式（２５）の条件でＶRを補正すれば良い。
(4) R signal digital processing process From the symmetry with the B signal (see equation (21)) when the color temperature is low, if the R signal after digital signal processing is V R ′, the following equation: V R may be corrected under the condition (25).
なお、上記において１＞ｇB＞０．５の場合は、Ｂ信号が先に飽和に至るので、ＶB’の飽和電圧でホワイトクリップを行う必要があるが、Ｇ信号のダイナミックレンジは電子シャッター後のＢ信号の飽和露光量まで広げることができる。 In the above, when 1> g B > 0.5, the B signal reaches saturation first, so it is necessary to perform white clipping with a saturation voltage of V B ′. However, the dynamic range of the G signal is an electronic shutter. The saturation exposure amount of the later B signal can be expanded.
以上のようなホワイトバランス調整を行うことで、実施例２では、出力信号が完全な線形を保ったままダイナミックレンジを広げることが可能である。 By performing the white balance adjustment as described above, in the second embodiment, it is possible to widen the dynamic range while keeping the output signal perfectly linear.
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各ブロック、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成ブロックやステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。 Although the present invention has been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various modifications and corrections based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention. For example, the functions included in each block, step, etc. can be rearranged so as not to be logically contradictory, and a plurality of constituent blocks, steps, etc. can be combined into one or divided. is there.
１ 偶数行の緑（Ｇeven）の光入力強度とセンサー出力電圧のグラフ
２ 奇数行の緑（Ｇodd）の光入力強度とセンサー出力電圧のグラフ
３ 青（Ｂ）の光入力強度とセンサー出力電圧のグラフ
４ 赤（Ｒ）の光入力強度とセンサー出力電圧のグラフ
５ 補正後のＧ信号（Ｇodd＋Ｇeven）の光入力強度と出力電圧のグラフ
６ 補正後のＢ信号の光入力強度と出力電圧のグラフ
７ 線形補正後の各信号の光入力強度と出力電圧のグラフ
１０ 画素部
２０ 表示系１画素
２１ 緑（Ｇodd）画素
２２ 赤（Ｒ）画素
２３ 青（Ｂ）画素
２４ 緑（Ｇeven）画素
３０ 垂直走査回路
４０ 列並列アナログ／デジタル変換回路（ＡＤＣ）
５０ 水平読み出し回路
１００ 撮像素子
２００ 画素回路
２１０ フォトダイオード
２２０ 転送ゲート
２３０ 増幅トランジスタ
２４０ リセットゲート
２５０ 選択ゲート
２６０ バイアスゲート
1 Graph of light input intensity and sensor output voltage for green (G even ) in even
50
Claims (6)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015103084A JP6564239B2 (en) | 2015-05-20 | 2015-05-20 | High dynamic range imaging apparatus and imaging method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015103084A JP6564239B2 (en) | 2015-05-20 | 2015-05-20 | High dynamic range imaging apparatus and imaging method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016220037A true JP2016220037A (en) | 2016-12-22 |
| JP6564239B2 JP6564239B2 (en) | 2019-08-21 |
Family
ID=57579215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015103084A Expired - Fee Related JP6564239B2 (en) | 2015-05-20 | 2015-05-20 | High dynamic range imaging apparatus and imaging method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6564239B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023085826A1 (en) * | 2021-11-12 | 2023-05-19 | 삼성전자 주식회사 | Electronic device for generating image and method thereof |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01151891A (en) * | 1987-12-09 | 1989-06-14 | Fuji Photo Film Co Ltd | Color solid-state image pickup element |
| JP2003324747A (en) * | 2002-05-07 | 2003-11-14 | Ricoh Co Ltd | Digital camera |
| JP2015070369A (en) * | 2013-09-27 | 2015-04-13 | 富士フイルム株式会社 | Method of driving imaging device, and imaging apparatus, endoscope apparatus |
-
2015
- 2015-05-20 JP JP2015103084A patent/JP6564239B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01151891A (en) * | 1987-12-09 | 1989-06-14 | Fuji Photo Film Co Ltd | Color solid-state image pickup element |
| JP2003324747A (en) * | 2002-05-07 | 2003-11-14 | Ricoh Co Ltd | Digital camera |
| JP2015070369A (en) * | 2013-09-27 | 2015-04-13 | 富士フイルム株式会社 | Method of driving imaging device, and imaging apparatus, endoscope apparatus |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023085826A1 (en) * | 2021-11-12 | 2023-05-19 | 삼성전자 주식회사 | Electronic device for generating image and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6564239B2 (en) | 2019-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9357137B2 (en) | Imaging apparatus, signal processing method, and program | |
| US8222709B2 (en) | Solid-state imaging device, method of driving solid-state imaging device and imaging apparatus | |
| US8456546B2 (en) | Solid-state imaging device, signal processing device and signal processing method for solid-state imaging device, and imaging apparatus | |
| KR100617781B1 (en) | Apparatus and method for improving image quality in a image sensor | |
| US20100309340A1 (en) | Image sensor having global and rolling shutter processes for respective sets of pixels of a pixel array | |
| US20110074993A1 (en) | Image pickup device, its control method, and camera | |
| JP4745876B2 (en) | Image processing apparatus and image processing method | |
| US7807952B2 (en) | Gain calibration in EMCCD cameras | |
| JP5223953B2 (en) | Solid-state imaging device, driving method of solid-state imaging device, and imaging device | |
| JP4745735B2 (en) | Image input apparatus and control method thereof | |
| JP2008288815A (en) | Image sensor | |
| KR20090023186A (en) | Imaging apparatus and method for driving solid-state imaging device | |
| US7102680B2 (en) | Image pickup device capable of adjusting the overflow level of the sensor based on the read out mode | |
| US20040239790A1 (en) | Image capturing apparatus | |
| JP2008271123A (en) | Imaging device | |
| JP2011055351A (en) | Photographing device and control method thereof | |
| JP5917160B2 (en) | Imaging apparatus, image processing apparatus, image processing method, and program | |
| JP6564239B2 (en) | High dynamic range imaging apparatus and imaging method | |
| JP2005223133A (en) | Solid state imaging device and imaging system using the same | |
| JP3542320B2 (en) | Imaging device | |
| JP2016019232A (en) | Imaging element and imaging device | |
| US7911523B2 (en) | Automatic adjuster for image capture circuit | |
| WO2023162483A1 (en) | Imaging device and method for controlling same | |
| JP5528094B2 (en) | Imaging method and imaging apparatus | |
| Anzagira et al. | Lag-Induced Image Artifacts in Still Imaging with CIS |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180403 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190319 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190516 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190702 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190726 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6564239 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |