JP6190243B2 - Imaging apparatus and control method thereof - Google Patents
Imaging apparatus and control method thereof Download PDFInfo
- Publication number
- JP6190243B2 JP6190243B2 JP2013217863A JP2013217863A JP6190243B2 JP 6190243 B2 JP6190243 B2 JP 6190243B2 JP 2013217863 A JP2013217863 A JP 2013217863A JP 2013217863 A JP2013217863 A JP 2013217863A JP 6190243 B2 JP6190243 B2 JP 6190243B2
- Authority
- JP
- Japan
- Prior art keywords
- exposure
- short
- long
- time
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は、撮像装置及びその制御方法に関する。 The present invention relates to an imaging apparatus and a control method thereof.
撮像装置に用いられる撮像素子としては、CCD(Charge Coupled Device)型イメージセンサ(以下「CCDセンサ」という。)が一般的であった。しかし近年では、撮像素子の多画素化が進むにつれ、CMOS(Complementary Metal Oxide Semiconductor)型イメージセンサ(以下「CMOSセンサ」という。)が注目されている。 A CCD (Charge Coupled Device) type image sensor (hereinafter referred to as “CCD sensor”) is generally used as an image pickup element used in the image pickup apparatus. However, in recent years, CMOS (Complementary Metal Oxide Semiconductor) type image sensors (hereinafter referred to as “CMOS sensors”) are attracting attention as the number of pixels of an image pickup device increases.
CMOSセンサなどの撮像素子は、画素の光電変換素子が入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。また、CMOSセンサなどの撮像素子は、電子シャッタ機能を備えている。電子シャッタ機能は、画素の光電変換素子をリセットすることにより露光を開始し、光電変換素子に蓄積した電荷を読み出すことにより露光を終了させる。このように、撮像素子の機能だけで露光の始まりと終わりを制御するので、低速シャッタから高速シャッタまで、正確な露光時間の制御を実現することが可能である。 An imaging element such as a CMOS sensor performs photoelectric conversion in which a photoelectric conversion element of a pixel accumulates charges corresponding to the amount of incident light and outputs an electrical signal corresponding to the accumulated charges. An image sensor such as a CMOS sensor has an electronic shutter function. The electronic shutter function starts exposure by resetting the photoelectric conversion element of the pixel, and ends exposure by reading out the electric charge accumulated in the photoelectric conversion element. Thus, since the start and end of exposure are controlled only by the function of the image sensor, accurate exposure time control from a low-speed shutter to a high-speed shutter can be realized.
さらに、CMOSセンサの特徴の一つに、ローリングシャッタ動作(フォーカルプレーンシャッタ動作とも呼ばれる。)がある。ローリングシャッタ動作では、CCDセンサと異なり、2次元配列された複数の画素を1ライン毎に順次走査して画素の電荷のリセットを実施する。そして所定の露光時間経過後に、1ライン毎に順次走査して、蓄積した電荷の読み出しと信号の出力を行う。 Further, one of the features of the CMOS sensor is a rolling shutter operation (also called a focal plane shutter operation). In the rolling shutter operation, unlike the CCD sensor, a plurality of two-dimensionally arranged pixels are sequentially scanned for each line to reset the charge of the pixels. Then, after a predetermined exposure time has elapsed, scanning is sequentially performed for each line, and the accumulated charges are read and signals are output.
このように、ローリングシャッタ動作は、ライン毎に電荷読み出しと信号出力のための時間差を持った動作となっている。これにより、1回の撮像動作の中で、ライン毎に露光時間がずれてしまうことになる。 As described above, the rolling shutter operation is an operation having a time difference between charge readout and signal output for each line. As a result, the exposure time is shifted for each line in one imaging operation.
ところで、このようなCMOSセンサなどの撮像素子を用いた撮像装置においては、明るいところと暗いところが混在するような被写体の撮像を行う場合に、ダイナミックレンジが不足しがちであるという問題がある。例えば、明るいところに合わせて露光時間を短く制御すると、暗い部分で十分な露光時間がとれないために、黒つぶれやS/Nの劣化による画質の低下が発生する。逆に、暗いところに合わせて露光時間を長く制御すると、光電変換素子の蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域が飽和した輝度レベルに設定される白とびが発生する。 By the way, in such an imaging apparatus using an imaging element such as a CMOS sensor, there is a problem that the dynamic range tends to be insufficient when imaging a subject in which a bright place and a dark place are mixed. For example, if the exposure time is controlled to be short in accordance with a bright place, a sufficient exposure time cannot be obtained in a dark part, and therefore, the image quality is deteriorated due to blackout or S / N deterioration. Conversely, if the exposure time is controlled to be longer in a dark place, the accumulated charge amount of the photoelectric conversion element reaches a saturation level, and overexposure occurs when the subject area with a certain brightness or more is set to a saturated luminance level. Occur.
明るい部分、暗い部分の階調を正確に再現する手法として、ダイナミックレンジ拡大処理がある。ダイナミックレンジ拡大処理は、撮像素子上での入射光量が少ない画素では露光時間を長く制御して高いS/Nを実現し、入射光量が多い画素では飽和を回避する。 A dynamic range expansion process is a method for accurately reproducing the gradation of bright and dark areas. The dynamic range expansion process realizes a high S / N by controlling the exposure time long for pixels with a small amount of incident light on the image sensor, and avoids saturation for pixels with a large amount of incident light.
ダイナミックレンジ拡大処理の一方式として、同一の撮像素子で連続的に露光時間の異なる複数の画像を撮像して合成する複数回露光方式が知られている。複数回露光方式では、長時間露光画像と短時間露光画像が連続的に個別に撮影される。暗い画像領域には長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域には短時間露光画像を利用して、合成処理が行われる。こうして、ダイナミックレンジが拡大された1つの画像が生成される。 As one method of dynamic range expansion processing, a multiple exposure method is known in which a plurality of images having different exposure times are continuously captured by the same image sensor and combined. In the multiple exposure method, a long-exposure image and a short-exposure image are taken separately and continuously. A long exposure image is used for a dark image region, and a short exposure image is used for a bright image region that is overexposed in a long exposure image, and then the composition processing is performed. Thus, one image with an expanded dynamic range is generated.
しかしながら、複数回露光方式では、長時間露光と短時間露光を交互に行い、それぞれの露光から得られた信号を交互に読み出す必要がある。また、複数回露光方式を動画撮影に応用した場合には、フレームレートを均一にするために長時間露光時の1フレーム期間と短時間露光時の1フレーム期間を同一にする必要がある。すると、長時間露光の露光時間が最大で1フレーム期間となり、通常の撮像素子の動作においても、露光時間は最大で1フレーム期間に設定できるため、長時間露光によるS/Nの改善効果は期待できない。さらに、短時間露光の露光時間は、露光時間の比を2:1とした場合では、最大で1フレーム期間の半分に設定されてしまうため、露光に寄与しない無駄時間も発生してしまう。 However, in the multiple exposure method, it is necessary to alternately perform long-time exposure and short-time exposure and alternately read out signals obtained from the respective exposures. Further, when the multiple exposure method is applied to moving image shooting, in order to make the frame rate uniform, it is necessary to make the one frame period in the long exposure and the one frame period in the short exposure the same. Then, the exposure time of long exposure is 1 frame period at the maximum, and the exposure time can be set to 1 frame period at the maximum even in the operation of a normal image sensor, so the effect of improving the S / N by long exposure is expected. Can not. Furthermore, since the exposure time for short exposure is set to a maximum of half of one frame period when the exposure time ratio is 2: 1, a waste time that does not contribute to exposure also occurs.
また、複数回露光方式では、長時間露光と短時間露光の間に1フレーム期間の時間差が生じている。そのため、移動する被写体が存在すると、長時間露光の画像と短時間露光の画像が同一にならない。その結果、ダイナミックレンジを拡大処理された画像において、移動する被写体がぶれたり、偽色が発生するという問題もある。 In the multiple exposure method, a time difference of one frame period occurs between the long exposure and the short exposure. Therefore, if there is a moving subject, the long exposure image and the short exposure image are not the same. As a result, there is a problem that a moving subject is blurred or a false color is generated in an image whose dynamic range is enlarged.
こうした複数回露光方式の問題に対応して、ダイナミックレンジ拡大処理の別の手法が、特許文献1、2に開示されている。特許文献1、2では、2ライン毎に2つにグループ化した画素に対して、それぞれ異なる露光時間が設定される。そして、例えば長時間露光画素から高感度画素情報を取得し、短時間露光画素から低感度画素情報を取得し、これらの異なる感度の画素情報に基づいてダイナミックレンジを拡大した画像を生成する。この方法によれば、1つの撮影画像に基づいてダイナミックレンジを拡大した画像を生成することができる。
In response to such a problem of the multiple exposure method, another method of dynamic range expansion processing is disclosed in
また、特許文献2は、長時間露光と短時間露光の露光時間の中心を合わせることで、複数回露光方式の問題である移動する被写体のぶれを解消する手法も提案している(特許文献2の図13)。
しかしながら、特許文献1の図6や特許文献2の図9に記載された方法においては、2ライン毎に露光時間の異なる画素の信号を、同時期に全ライン読み出すことになる。そのため、長時間露光画素に対する補正処理及び信号処理と、短時間露光画素に対する補正処理及び信号処理とを、2ライン毎に切り換えて実施する必要がある。このような処理では、信号処理回路の負担が大きい。
However, in the method described in FIG. 6 of
また、特許文献2の図13に記載された方法では、短時間露光の中心が常に長時間露光の中心に合っていることが必要である。そうすると、露光時間が変更されることによって長時間露光のリセット及び読み出しのタイミングが変更されるたびに、短時間露光の中心を合わせるためのリセット及び読み出しのタイミングを変更する必要がある。したがってこのような手法では、タイミング制御が複雑になるという課題がある。
In the method described in FIG. 13 of
本発明は、ダイナミックレンジ拡大処理のためのローリングシャッタ動作の改良であり、画素信号の読み出しにかかる処理負荷の平準化とタイミング制御の単純化を両立した手法を実現する。 The present invention is an improvement of a rolling shutter operation for dynamic range expansion processing, and realizes a technique that achieves both leveling of processing load for pixel signal readout and simplification of timing control.
本発明の一側面によれば、光電変換素子を持つ複数の画素がマトリクス状に配置された撮像素子と、短時間露光用の垂直同期信号である短期垂直同期信号と、1周期が前記短期垂直同期信号の所定周期分に等しい長時間露光用の長期垂直同期信号とを発生する同期信号発生手段と、前記長期垂直同期信号に従い、前記撮像素子の所定ライン間隔で設定した長時間露光用のラインで長時間露光を実施するとともに、前記短期垂直同期信号に従い、前記撮像素子のその他のラインでそれぞれ短時間露光及び中時間露光を実施する露光制御手段とを有し、前記露光制御手段は、前記長時間露光用のラインについては、前記長期垂直同期信号に同期して前記長時間露光で得られた画素信号の読み出しを開始し、前記その他のラインについては、前記長時間露光用のラインの画素信号の読み出し期間と重複しない短期垂直同期信号に同期して前記短時間露光で得られた画素信号の読み出しを開始し、前記長時間露光で得られた画素信号の読み出しの期間及び前記短時間露光で得られた画素信号の読み出しの期間と重複しない短期垂直同期信号に同期して前記中時間露光で得られた画素信号の読み出しを開始することを特徴とする撮像装置が提供される。 According to an aspect of the present invention, an imaging device in which a plurality of pixels having photoelectric conversion elements are arranged in a matrix, a short-term vertical synchronization signal that is a vertical synchronization signal for short-time exposure, and one cycle of the short-term vertical Synchronization signal generating means for generating a long-term vertical synchronization signal for long exposure equal to a predetermined period of the synchronization signal, and a long-exposure line set at a predetermined line interval of the image sensor in accordance with the long-term vertical synchronization signal Exposure control means for performing short-time exposure and medium-time exposure on each of the other lines of the image sensor according to the short-term vertical synchronization signal, and the exposure control means, For the long exposure line, readout of the pixel signal obtained by the long exposure is started in synchronization with the long vertical synchronization signal, and for the other lines, the long The readout of the pixel signal obtained by the short-time exposure is started in synchronization with a short-term vertical synchronization signal that does not overlap with the readout period of the pixel signal of the line for intermediate exposure, and the readout of the pixel signal obtained by the long-time exposure is started. And readout of the pixel signal obtained by the medium-time exposure in synchronization with a short-term vertical synchronization signal that does not overlap with the period of readout and the readout period of the pixel signal obtained by the short-time exposure. Is provided.
本発明によれば、ダイナミックレンジ拡大処理のためのローリングシャッタ動作における画素信号の読み出しにかかる処理負荷の平準化とタイミング制御の単純化が図られる。 According to the present invention, it is possible to level the processing load and simplify the timing control for reading out pixel signals in the rolling shutter operation for dynamic range expansion processing.
以下、添付の図面を参照して、本発明の実施形態を詳しく説明する。なお、以下に説明する実施形態は、本発明の実施構成の一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。 Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. The embodiment described below is an example of the configuration of the present invention, and should be appropriately modified or changed depending on the configuration of the apparatus to which the present invention is applied and various conditions. The present invention is described below. The form is not limited.
<第1の実施形態>
第1の実施形態においては、ダイナミックレンジ拡大処理(以下「HDR処理」という。)に用いるために、2ライン毎に露光時間の異なる画素の信号を出力するように制御された撮像素子の動作について説明する。
<First Embodiment>
In the first embodiment, for use in dynamic range expansion processing (hereinafter referred to as “HDR processing”), the operation of the image sensor controlled to output signals of pixels having different exposure times for every two lines. explain.
図1は、本実施形態に係る撮像装置の構成を示す図である。本実施形態の撮像装置は、デジタルスチルカメラやデジタルビデオカメラなどに応用可能である。図1に示す撮像装置は、光学系11、撮像素子12、信号処理部13、圧縮伸張部14、同期制御部15、操作部16、画像表示部17、及び画像記録部18を備えている。光学系11は、被写体からの光を撮像素子12に集光するためのレンズ、レンズを移動させてズームや合焦を行うための駆動機構、メカニカルシャッタ機構、絞り機構などを備えている。これらのうちの可動部は、同期制御部15からの制御信号に基づいて駆動される。
FIG. 1 is a diagram illustrating a configuration of an imaging apparatus according to the present embodiment. The imaging device of this embodiment can be applied to a digital still camera, a digital video camera, and the like. The imaging apparatus shown in FIG. 1 includes an
撮像素子12は、光電変換素子を持つ複数の画素がマトリクス状に配置されたXYアドレス方式のCMOSセンサである。撮像素子12は、CDS(Correlated Double Sampling)回路、AGC(Auto Gain Control)回路、A/D変換器等を含み、同期制御部15からの制御信号により制御される。ここで、CMOSセンサは、同期制御部15からの制御信号に応じて、露光や信号読み出し、リセットなどの撮像動作を実施する。そして、CDS回路によるノイズ除去、AGC回路による利得制御、及び、A/D変換器によるアナログ−デジタル変換を経て、デジタル化された画像信号を出力する。
The
信号処理部13は、同期制御部15の制御の下で、撮像素子12から入力されるデジタル化された画像信号に対して、ホワイトバランス調整、色補正、ガンマ補正、AF(Auto Focus)、AE(Auto Exposure)等の信号処理を施す。本実施形態においては、この信号処理部13において、HDR処理を実施する。
The
HDR処理の方法としては、例えば、特許文献1の図4のように、感度比を補償するゲイン値と明るさに応じた重み付け係数を用いて、長時間露光画素の信号と短時間露光画素の信号を合成する方法がある。あるいは、特許文献2の図7のように、明るさに応じて、長時間露光画素の信号と短時間露光画素の信号のどちらかを選択する方法を採用してもよい。
As a method of HDR processing, for example, as shown in FIG. 4 of
圧縮伸張部14は、同期制御部15の制御の下で、信号処理部13からの画像信号に対して、JPEG(Joint Photographic Coding Experts Group)等の所定の静止画像データフォーマットで圧縮符号化処理を行う。また、圧縮伸張部14は、同期制御部15から供給された静止画像の符号化データを伸張復号化処理も行う。さらに、圧縮伸張部14は、MPEG(Moving Picture Experts Group)等により動画像の圧縮符号化/伸張復号化処理も実行可能となっている。
The compression /
同期制御部15は、例えば、CPU、ROM、RAM等から構成されるマイクロコントローラであり、ROM等に記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。
The
操作部16は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤル等から構成され、ユーザによる入力操作に応じた制御信号を同期制御部15に出力する。
The
画像表示部17は、LCD(Liquid Crystal Display)等の表示デバイスや、これに対するインタフェース回路等を含む。画像表示部17は、同期制御部15から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。
The
画像記録部18は、例えば、可搬型の半導体メモリや、光ディスク、HDD(Hard Disk Drive)、磁気テープなどとして実現される。画像記録部18は、圧縮伸張部14により符号化された画像データファイルを同期制御部15から受け取って記憶する。画像記録部18はまた、同期制御部15からの制御信号を基に指定されたデータを読み出し、同期制御部15に出力する。
The
本実施形態における撮像装置の構成は概ね以上のようなものである。次に、本実施形態における撮像装置の基本的な動作について説明する。 The configuration of the imaging apparatus in the present embodiment is generally as described above. Next, a basic operation of the imaging apparatus in the present embodiment will be described.
静止画像の撮像前には、撮像素子12から出力された画像信号が信号処理部13に順次供給される。信号処理部13は、撮像素子12からのデジタル画像信号に対して画質補正処理を施し、カメラスルー画像の信号として、同期制御部15を通じて画像表示部17に供給する。これにより、カメラスルー画像が表示され、ユーザは表示画像を見て画角合わせを行うことが可能となる。この状態で、操作部16のシャッタレリーズボタンが押下されると、同期制御部15の制御により、撮像素子12からの1フレーム分の撮像信号が、信号処理部13に取り込まれる。信号処理部13は、取り込んだ1フレーム分の画像信号に画質補正処理を施し、処理後の画像信号を圧縮伸張部14に供給する。圧縮伸張部14は、入力された画像信号を圧縮符号化し、生成した符号化データを同期制御部15を通じて画像記録部18に供給する。これにより、撮像された静止画像のデータファイルが画像記録部18に記録される。
Prior to capturing a still image, image signals output from the
一方、画像記録部18に記録された静止画像のデータファイルを再生する場合には、同期制御部15は、操作部16からの操作入力に応じて、選択されたデータファイルを画像記録部18から読み込み、圧縮伸張部14に供給して伸張復号化処理を実行させる。復号化された画像信号は同期制御部15を介して画像表示部17に供給され、これにより静止画像が再生表示される。
On the other hand, when playing back a still image data file recorded in the
また、動画像を記録する場合には、信号処理部13で順次処理された画像信号に圧縮伸張部14で圧縮符号化処理を施し、生成された動画像の符号化データを順次画像記録部18に転送して記録する。また、画像記録部18から動画像のデータファイルを読み出して圧縮伸張部14に供給し、伸張復号化処理させて、画像表示部17に供給することで、動画像が表示される。
When recording a moving image, the image signal sequentially processed by the
図2は、本実施形態に係る撮像素子12の構成を示す図である。図2に示す撮像素子12(CMOSセンサ)は、複数の画素からなる画素領域200を備える。撮像素子12はまた、垂直選択部220、画素それぞれに接続する画素制御線230及び垂直信号線240を有する。撮像素子12は更に、列信号処理部250、水平メモリ部260、水平選択部270、出力部280、及び、TG290(Timing Generator)を備える。
FIG. 2 is a diagram illustrating a configuration of the
画素領域200は、不図示の光電変換素子とトランジスタを持つCMOSセンサの画素で構成され、各画素は、水平方向・垂直方向にマトリクス状に配置されている。図2において、各画素は、上位2ケタを行番号、下位2ケタを列番号として、P(0101)からP(1616)で示される。図2には、16×16配列の例が示されているが本発明は特定の行列数に限定されるものではない。
The
垂直選択部220は、画素領域200の画素配列を1行ずつ選択し、選択した画素行のリセット動作や読み出し動作を制御する。画素制御線230は、画素行毎に共通に接続され、垂直選択部220による行単位の制御信号を伝達する。垂直信号線240は、画素列毎に共通に接続され、画素制御線230により選択された行の画素の信号がそれぞれ対応する垂直信号線240に読み出される。列信号処理部250は、垂直信号線240の各々に設けられる不図示のCDS回路、AGC回路、及びA/D変換器を含む。垂直信号線240を通して送られてくる行単位の画素の信号それぞれに対して、CDS回路は、画素回路内のトランジスタのしきい値のばらつきに起因する固定パターンノイズを除去して、S/Nを良好に保つようにサンプルホールドを行う。AGC回路は利得制御を実施する。A/D変換器はアナログ−デジタル変換を実施する。
The
水平メモリ部260は、垂直信号線240毎に設けられ、それぞれ対応する列信号処理部250においてデジタル化された行単位の画素信号を記憶する。水平選択部270は、それぞれ対応する水平メモリ部260を列毎に選択し、記憶しているデジタル化された画素信号を出力部280を介して信号処理部13へ出力する。TG290は、同期制御部15からの制御信号に基づいて、撮像素子12の各部の動作に必要な各種のクロック信号や制御信号などを出力する。
The
以下、実施形態における撮像素子12の露光及び読み出しタイミングの制御について詳しく説明する。前述したように、特許文献1の図6や特許文献2の図9に記載された方法においては、2ライン毎に露光時間の異なる画素の信号を、同時期に全ライン読み出すことになる。そのため、長時間露光画素に対する補正処理及び信号処理と、短時間露光画素に対する補正処理及び信号処理とを、2ライン毎に切り換えて実施する必要がある。このような処理では、信号処理回路の負担が大きい。
Hereinafter, the exposure and read timing control of the
加えて、HDR処理を行う場合には、上記画素に対する補正処理及び信号処理と同時に、2ライン毎の長時間露光画素と短時間露光画素との位置ずれ補正処理とともにHDR処理を実施することになる。そうすると、撮像装置全体のシステムへの負担は更に大きくなる。 In addition, when performing HDR processing, simultaneously with the correction processing and signal processing for the pixels, HDR processing is performed together with the positional deviation correction processing between the long exposure pixels and the short exposure pixels for every two lines. . This further increases the burden on the system of the entire imaging apparatus.
さらに、この方法では、ローリングシャッタ動作を用いて、2ライン毎に露光時間の異なる画素の信号を全ライン読み出すため、最初のラインから最後のラインまで読み出す時間がかかる。このため、ライン毎に露光時間がずれた分だけ移動する被写体が歪んでしまう、ローリング歪という現象が発生しやすくなるという課題もある。 Further, in this method, since all the lines of pixel signals having different exposure times are read every two lines using a rolling shutter operation, it takes time to read from the first line to the last line. For this reason, there is also a problem that a phenomenon called rolling distortion is likely to occur, in which a moving subject is distorted by the amount of exposure time shifted for each line.
また、特許文献2の図13に記載された方法では、短時間露光の中心が常に長時間露光の中心に合っていることが必要である。そうすると、露光時間が変更されることによって長時間露光のリセット及び読み出しのタイミングが変更されるたびに、短時間露光の中心を合わせるためのリセット及び読み出しのタイミングを変更する必要がある。したがってこのような手法では、タイミング制御が複雑になるという課題がある。
In the method described in FIG. 13 of
さらに、この方法では、露光時間が短くなった場合、短時間露光を行うラインを全て読み出すことにかかる時間が、長時間露光と短時間露光の差の半分を超える場合が考えられる。この場合、短時間露光を行うラインの読み出し終了が、長時間露光を行うラインの読み出し開始とぶつかってしまうため、ライン毎に読み出すことができなくなるという課題もある。 Further, in this method, when the exposure time is shortened, it may be considered that the time taken to read all the lines to be exposed for a short time exceeds half of the difference between the long time exposure and the short time exposure. In this case, since the end of reading of a line that performs short-time exposure collides with the start of reading of a line that performs long-time exposure, there is also a problem that reading cannot be performed for each line.
そこで本実施形態では、以下に説明する処理によって、タイミング制御の単純化を図りつつ、画素信号の読み出しにかかる処理負荷の平準化を実現する。 Therefore, in the present embodiment, the processing described below will be performed to achieve leveling of the processing load required for reading out pixel signals while simplifying timing control.
図3は、本実施形態に係る撮像素子12の制御タイミングを示す図である。本実施形態では、HDR処理のために、画素領域200の画素行は、所定ライン間隔(例えば2ライン間隔)で、長時間露光用のライン(以下「長時間露光ライン」という。)が設定される。その他のラインはそれぞれ、短時間露光及び中時間露光が実施される。図3において、VDLは長時間露光用の垂直同期信号(長期垂直同期信号)、VDSは短時間露光用の垂直同期信号(短期垂直同期信号)である。長時間露光フレームの垂直同期期間はTfrl、短時間露光フレームの垂直同期期間はTfrsで示される。長期垂直同期信号の1周期にあたる垂直同期期間Tfrlは、短期垂直同期信号の所定周期分、例えばN周期分(=N・Tfrs。ただしNは2以上の自然数)に等しい。図3の例では、N=2、すなわち2周期分である。本実施形態では、これらの短期垂直同期信号、長期垂直同期信号は、同期信号発生手段としてのTG290によって発生される。HDは、水平同期信号を示し、画素のリセット動作や読み出し動作を行単位で実施する期間となる。
FIG. 3 is a diagram illustrating the control timing of the
Line01からLine16は、画素領域200の画素行P(01−−)からP(16−−)の動作の状態を示す。行番号で画素行を表すために列番号は「−−」と表示している。2ライン毎に露光時間が異なるように、長時間露光ラインを01、02、05、06、09、10、13、14ラインとし、短時間露光ラインを03、04、07、08、11、12、15、16ラインとする。
本実施形態においては更に、短時間露光と長時間露光の中間となる中時間露光を設定し、短時間露光ラインに対して実施する。そして、各ラインの画素の信号を列信号処理部250に読み出した後、1ライン分の画素の信号を出力部280から出力する期間として、対応する1HD期間をROと表示する。ここで、各ラインの画素の信号を列信号処理部250に読み出す期間は、1ライン分の画素の信号を出力部280から出力する期間に比べて十分短いので、次の露光フレームはRO期間から始まるものとする。また、2ライン毎に露光時間が異なる信号からダイナミックレンジの拡大処理を実施しやすいように、それぞれの画素はベイヤ配列のような2x2配列の色フィルタを備えているものとする。
In the present embodiment, a medium-time exposure that is intermediate between the short-time exposure and the long-time exposure is further set and executed for the short-time exposure line. Then, after reading the pixel signals of each line to the column
ReadOutは、読み出した長時間露光フレームの出力信号Fr_L Readout、中時間露光フレームの出力信号Fr_M Readout、短時間露光フレームの出力信号Fr_S Readoutが出力部280から出力されるタイミングを示す。
ReadOut indicates the timing at which the
まず、タイミングt00において、第1の長期垂直同期信号VDLに同期して、01ラインの読み出しを実施することで、画素をリセットし、01ラインの露光を開始する。続いてタイミングt01において、02ラインの読み出しを実施することで、画素をリセットし、02ラインの露光を開始する。t02以降も同様の方法で、05ライン、06ライン、09ライン、10ライン、13ライン及び14ラインをリセットして、それぞれのラインの露光を開始する。 First, at the timing t00, the 01 line is read out in synchronization with the first long-term vertical synchronization signal VDL, thereby resetting the pixels and starting the 01 line exposure. Subsequently, at timing t01, the 02 lines are read to reset the pixels and start the 02 lines. In the same manner after t02, the 05 line, 06 line, 09 line, 10 line, 13 line and 14 line are reset, and exposure of each line is started.
このように、1HD経過する毎に、長時間露光ラインである01、02、05、06、09、10、13、14ラインをリセットすることで、長時間露光フレームのライン順次のローリングシャッタ動作を開始することができる。
In this way, every
次に、タイミングt00からTfrs経過後のt05において、VDLの次の第1の短期垂直同期信号VDSに同期して03ラインの読み出しを実施することで画素をリセットし、03ラインの露光を開始する。続いてタイミングt06において、04ラインの読み出しを実施することで画素をリセットし、04ラインの露光を開始する。t07以降も同様の方法で、07ライン、08ライン、11ライン、12ライン、15ライン及び16ラインをリセットして、それぞれのラインの露光を開始する。 Next, at time t05 after the elapse of Tfrs from timing t00, readout of 03 lines is performed in synchronization with the first short-term vertical synchronization signal VDS next to VDL, thereby resetting the pixels and starting exposure of 03 lines. . Subsequently, at timing t06, the pixels are reset by reading 04 lines, and exposure of 04 lines is started. In the same way after t07, the 07 line, 08 line, 11 line, 12 line, 15 line and 16 line are reset, and the exposure of each line is started.
このように、1HD経過する毎に、短時間露光ラインである03、04、07、08、11、12、15、16ラインをリセットすることで、短時間露光フレームのライン順次のローリングシャッタ動作を開始することができる。そして、タイミングt00から2Tfrs経過後のt10において、第2の短期垂直同期信号VDSに同期して、03ラインの画素の信号をRO期間に出力する。これにより、画素がリセットされ、03ラインの中時間露光が開始される。続いてタイミングt11において、04ラインの画素の信号をRO期間に出力する。これにより、画素がリセットされ、04ラインの中時間露光が開始される。t12以降も同様の方法で、07ライン、08ライン、11ライン、12ライン、15ライン及び16ラインの画素の信号をそれぞれのRO期間で出力する。これにより、それぞれの画素がリセットされ、07ライン、08ライン、11ライン、12ライン、15ライン及び16ラインの中時間露光が開始される。
Thus, every
このように、1HD経過する毎に、短時間露光ラインである03、04、07、08、11、12、15、16ラインを読み出すことで、短時間露光フレームのライン順次のローリングシャッタ動作が終了する。これとともに、短時間露光ラインに対して中時間露光を実施する中時間露光フレームのライン順次のローリングシャッタ動作を開始することができる。この時に、長時間露光ラインである01、02、05、06、09、10、13、14ラインは露光を継続している。この時の短時間露光フレームの出力信号がFr_S Readoutとなる。ここで、この短時間露光フレームにおいては、画素の読み出しをすることで、画素をリセットしているので、最長の露光時間は、短時間露光フレームの垂直同期期間(短期垂直同期期間)のTfrsとなっている。
Thus, every
次に、タイミングt00からTfrl(=3Tfrs)経過後のt15において、第2の長期垂直同期信号VDLに同期して、01ラインの画素の信号をRO期間に出力する。続いてタイミングt16において、02ラインの画素の信号をRO期間に出力する。t17以降も同様の方法で、05ライン、06ライン、09ライン、10ライン、13ライン及び14ラインの画素の信号をそれぞれのRO期間で出力する。 Next, at t15 after Tfrl (= 3Tfrs) has elapsed from timing t00, the pixel signal of the 01 line is output in the RO period in synchronization with the second long-term vertical synchronization signal VDL. Subsequently, at timing t16, the pixel signals of the 02 line are output in the RO period. In the same manner after t17, pixel signals of 05 line, 06 line, 09 line, 10 line, 13 line and 14 line are output in each RO period.
このように、1HD経過する毎に、長時間露光ラインである01、02、05、06、09、10、13、14ラインを読み出すことで、長時間露光フレームのライン順次のローリングシャッタ動作を終了する。この時に、中時間露光を実施している短時間露光ラインである03、04、07、08、11、12、15、16ラインは露光を継続している。この時の長時間露光フレームの出力信号がFr_L Readoutとなる。ここで、この長時間露光フレームにおいては、画素の読み出しをすることで、画素をリセットしているので、最長の露光時間は、長時間露光フレームの垂直同期期間のTfrlとなっている。
In this way, every
さらに、タイミングt00から4Tfrs経過後のt20において、第2の長期垂直同期信号VDLの次の第3の短期垂直同期信号VDSに同期して、03ラインの画素の信号をRO期間に出力する。続いてタイミングt21において、04ラインの画素の信号をRO期間に出力する。t22以降も同様の方法で、07ライン、08ライン、11ライン、12ライン、15ライン及び16ラインの画素の信号をそれぞれのRO期間で出力する。 Further, at t20 after the elapse of 4 Tfrs from timing t00, the pixel signal of the 03 line is output in the RO period in synchronization with the third short-term vertical synchronization signal VDS next to the second long-term vertical synchronization signal VDL. Subsequently, at timing t21, the pixel signals of the 04 line are output in the RO period. In the same way after t22, pixel signals of 07 line, 08 line, 11 line, 12 line, 15 line and 16 line are output in each RO period.
このように、1HD経過する毎に、中時間露光を実施している短時間露光ラインである03、04、07、08、11、12、15、16ラインを読み出すことで、中時間露光フレームのライン順次のローリングシャッタ動作を終了する。この時の中時間露光フレームの出力信号がFr_S Readoutとなる。ここで、この中時間露光フレームにおいては、画素の読み出しをすることで、画素をリセットしているので、最長の露光時間は、短時間露光フレームの垂直同期期間の2TfrsであるTfrmとなっている。
In this way, every
図3の動作においては、長時間露光フレームの最長の露光時間Tfrlは、短時間露光フレームの最長の露光時間Tfrsの3倍の期間となっている。また、中時間露光フレームの最長の露光時間Tfrmは、短時間露光フレームの最長の露光時間Tfrsの2倍の期間となっている。 In the operation of FIG. 3, the longest exposure time Tfrl of the long exposure frame is three times longer than the longest exposure time Tfrs of the short exposure frame. Further, the longest exposure time Tfrm of the medium-time exposure frame is twice as long as the longest exposure time Tfrs of the short-time exposure frame.
また、図3の動作においては、短時間露光ラインを用いた中時間露光が、短時間露光の空き時間に実施されるように制御されていることがわかる。さらに、2ライン毎に短時間露光ラインと長時間露光ラインに分けて読み出しているので、全ラインを一度に読み出す動作に比べて、それぞれのフレームの読み出し時間は約半分になっている。 In addition, in the operation of FIG. 3, it is understood that the medium time exposure using the short time exposure line is controlled so as to be executed in the idle time of the short time exposure. Further, since the readout is performed separately for the short exposure line and the long exposure line every two lines, the readout time of each frame is about half that of the operation of reading all the lines at once.
図4は、本実施形態に係る長時間露光フレーム、中時間露光フレーム及び短時間露光フレームの制御タイミングを示す図である。図4においては、図3のライン毎の動作をフレーム毎の動作で示すとともに、動画撮影に応用するために、連続撮影が可能な制御タイミングとなっている。連続撮影を可能にするためには、タイミングt36以降の制御タイミングは、t30に戻って繰り返すものとする。また、図3と同じ動作や構成のものは、同じ符号で示すものとする。 FIG. 4 is a diagram illustrating control timings of the long exposure frame, the medium exposure frame, and the short exposure frame according to the present embodiment. In FIG. 4, the operation for each line in FIG. 3 is shown by the operation for each frame, and in order to apply it to moving image shooting, the control timing enables continuous shooting. In order to enable continuous shooting, the control timing after timing t36 returns to t30 and is repeated. The same operations and configurations as those in FIG. 3 are denoted by the same reference numerals.
タイミングt30からt36まで、及び、タイミングt36以降がそれぞれ、第1の長期垂直同期期間Tfrl1及び第2の長期垂直同期期間Tfrl2である。タイミングt30からt32までが、第1の短期垂直同期期間Tfrs1である。タイミングt32からt34までが、第2の短期垂直同期期間Tfrs2である。タイミングt34からt36までが、第3の短期垂直同期期間Tfrs3である。タイミングt36からt38までが、第4の短期垂直同期期間Tfrs4である。そして、タイミングt38からt40までが、第5の短期垂直同期期間Tfrs5である。 From the timing t30 to t36 and after the timing t36 are the first long-term vertical synchronization period Tfrl1 and the second long-term vertical synchronization period Tfrl2, respectively. The timing t30 to t32 is the first short-term vertical synchronization period Tfrs1. From the timing t32 to t34 is the second short-term vertical synchronization period Tfrs2. The timing t34 to t36 is the third short-term vertical synchronization period Tfrs3. The timing t36 to t38 is the fourth short-term vertical synchronization period Tfrs4. The period from timing t38 to t40 is the fifth short-term vertical synchronization period Tfrs5.
Fr_Lが、長時間露光フレームを構成する01、02、05、06、09、10、13、14ラインの動作の状態を示す。Fr_M及びFr_Sが、それぞれ中時間露光フレーム及び短時間露光フレームを構成する短時間露光ラインである03、04、07、08、11、12、15、16ラインの動作の状態を示す。 Fr_L indicates the operation state of the 01, 02, 05, 06, 09, 10, 13, and 14 lines constituting the long exposure frame. Fr_M and Fr_S indicate the operation states of the 03, 04, 07, 08, 11, 12, 15, and 16 lines, which are the short-time exposure lines constituting the medium-time exposure frame and the short-time exposure frame, respectively.
ここで、Fr_Lでは、VDLに同期して、長期垂直同期期間Tfrl毎に連続してローリングシャッタ動作が実施される。
また、Fr_Sでは、VDLからTfrs後のVDSに同期してローリングシャッタ動作の露光が開始され、そのTfrs後のVDSに同期してローリングシャッタ動作の読み出しが開始される。
さらに、Fr_Mでは、Fr_Sの空き時間となるVDLから2Tfrs後のVDSに同期してローリングシャッタ動作の露光が開始され、その2Tfrs後のVDSに同期してローリングシャッタ動作の読み出しが開始される。
そして、この動作が、VDLに同期して繰り返し実施される。
Here, in Fr_L, a rolling shutter operation is performed continuously every long vertical synchronization period Tfrl in synchronization with VDL.
In Fr_S, the exposure of the rolling shutter operation is started in synchronization with the VDS after Tfrs from the VDL, and the reading of the rolling shutter operation is started in synchronization with the VDS after Tfrs.
Further, in Fr_M, exposure of the rolling shutter operation is started in synchronization with VDS after 2 Tfrs from VDL, which is the free time of Fr_S, and reading of the rolling shutter operation is started in synchronization with VDS after 2 Tfrs.
This operation is repeatedly performed in synchronization with the VDL.
すなわち、短時間露光ラインについては、長時間露光で得られた画素信号の読み出し期間と重複しないVDSに同期して画素信号の読み出しを開始する。また、長時間露光で得られた画素信号の読み出し期間及び短時間露光で得られた画素信号の読み出し期間と重複しないVDSに同期して中時間露光で得られた画素信号の読み出しを開始する。 That is, for the short exposure line, reading of the pixel signal is started in synchronization with the VDS that does not overlap with the reading period of the pixel signal obtained by the long exposure. In addition, readout of the pixel signal obtained by the medium-time exposure is started in synchronization with the VDS that does not overlap with the readout period of the pixel signal obtained by the long-time exposure and the readout period of the pixel signal obtained by the short-time exposure.
具体的には、第1の長期垂直同期期間Tfrl1を構成する第1の短期垂直同期期間Tfrs1において、一巡前に露光を開始した長時間露光フレームの出力信号Fr_L Readout1を出力する。次に、第2の短期垂直同期期間Tfrs2において、一巡前に露光を開始した中時間露光フレームの出力信号Fr_M Readout2を出力する。その後、第3の短期垂直同期期間Tfrs3において、短時間露光フレームの出力信号Fr_S Readout3を出力する。 Specifically, in the first short-term vertical synchronization period Tfrs1 constituting the first long-term vertical synchronization period Tfrl1, the output signal Fr_L Readout1 of the long-time exposure frame in which exposure is started one round before is output. Next, in the second short-term vertical synchronization period Tfrs2, the output signal Fr_M Readout2 of the medium time exposure frame in which the exposure is started one round before is output. Thereafter, in the third short-term vertical synchronization period Tfrs3, the short-exposure frame output signal Fr_S Readout3 is output.
同様に、第2の長期垂直同期期間Tfrl2を構成する第4の短期垂直同期期間Tfrs4において、長時間露光フレームの出力信号Fr_L Readout4を出力する。次に、第5の短期垂直同期期間Tfrs5において、中時間露光フレームの出力信号Fr_M Readout5を出力する。 Similarly, in the fourth short-term vertical synchronization period Tfrs4 constituting the second long-term vertical synchronization period Tfr12, the long-exposure frame output signal Fr_L Readout4 is output. Next, in the fifth short-term vertical synchronization period Tfrs5, an output signal Fr_M Readout5 of the medium time exposure frame is output.
これにより、短期垂直同期信号VDSに同期して、長時間露光フレームの出力信号Fr_L Readout、中時間露光フレームの出力信号Fr_M Readout、及び短時間露光フレームの出力信号Fr_S Readoutが繰り返し出力される。そのため、長時間露光終了後に、全ラインを一度に読み出す動作に比べて、撮像素子からの出力信号の読み出しが平準化される。 Accordingly, the output signal Fr_L Readout of the long exposure frame, the output signal Fr_M Readout of the medium exposure frame, and the output signal Fr_S Readout of the short exposure frame are repeatedly output in synchronization with the short-term vertical synchronization signal VDS. For this reason, the reading of the output signal from the image sensor is leveled compared to the operation of reading all lines at once after the long exposure.
次に、電子シャッタを用いた露光制御について説明する。
まず、第1の長期垂直同期期間Tfrl1における長時間露光フレームFr_Lにおいては、タイミングt31において、水平同期信号HDに同期して、01ラインの画素をリセットし、01ラインの露光を開始する。この時のリセット動作は破線310で示されている。続けて、1HD経過する毎に、02、05、06、09、10、13、14ラインをそれぞれリセットすることで、長時間露光フレームFr_Lのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示されている。
Next, exposure control using an electronic shutter will be described.
First, in the long-time exposure frame Fr_L in the first long-term vertical synchronization period Tfrl1, the 01-line pixels are reset and the 01-line exposure is started in synchronization with the horizontal synchronization signal HD at the timing t31. The reset operation at this time is indicated by a
次に、タイミングt31からTfrl_exp経過後のt36において、VDLに同期して、01ラインの読み出しを実施する。連続撮影では、タイミングt36以降はt30に戻って繰り返すが、ここでは長時間露光フレームFr_Lの動作終了まで連続して表示する。この時、露光時間となるTfrl_expは、21HDとなっている。続けて、1HD経過する毎に、02、05、06、09、10、13、14ラインをそれぞれ読み出すことで、長時間露光フレームFr_Lのライン順次のローリングシャッタ動作を終了する。これにより、長時間露光フレームFr_Lは、すべてのラインで露光時間Tfrl_expとなる信号を出力することになる。この時の長時間露光フレームFr_Lの出力信号が、第4の短期垂直同期期間Tfrs4におけるFr_L Readout4となる。
Next, at t36 after Tfrl_exp has elapsed from timing t31, the 01 line is read in synchronization with VDL. In the continuous shooting, after timing t36, the process returns to t30 and repeats, but here, it is continuously displayed until the operation of the long exposure frame Fr_L is completed. At this time, Tfrl_exp serving as the exposure time is 21 HD. Subsequently, every
以上が、第1の長期垂直同期期間Tfrl1に実施される電子シャッタを用いた露光制御の動作となる。 The above is the operation of the exposure control using the electronic shutter that is performed in the first long-term vertical synchronization period Tfrl1.
また、第1の長期垂直同期期間Tfrl1における短時間露光フレームFr_Sにおいては、タイミングt33において、水平同期信号HDに同期して、03ラインの画素をリセットし、03ラインの露光を開始する。この時のリセット動作は破線320で示されている。続けて、1HD経過する毎に、04、07、08、11、12、15、16ラインをそれぞれリセットすることで、短時間露光フレームFr_Sのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示されている。
In the short exposure frame Fr_S in the first long-term vertical synchronization period Tfrl1, at the timing t33, the 03-line pixels are reset in synchronization with the horizontal synchronization signal HD, and the 03-line exposure is started. The reset operation at this time is indicated by a
次に、タイミングt33からTfrs_exp経過後のt34において、VDSに同期して、03ラインの読み出しを実施する。この時、露光時間となるTfrs_expは、7HDとなっている。続けて、1HD経過する毎に、04、07、08、11、12、15、16ラインをそれぞれ読み出すことで、短時間露光フレームFr_Sのライン順次のローリングシャッタ動作を終了する。これにより、短時間露光フレームFr_Sは、すべてのラインで露光時間Tfrs_expとなる信号を出力することになる。この時の短時間露光フレームFr_Sの出力信号が、短時間露光フレームの第3の短期垂直同期期間Tfrs3におけるFr_S Readout3となる。
Next, at time t34 after the elapse of Tfrs_exp from timing t33, reading of the 03 line is performed in synchronization with VDS. At this time, Tfrs_exp serving as the exposure time is 7HD. Subsequently, every
そして、中時間露光フレームFr_Mにおいては、タイミングt35において、水平同期信号HDに同期して、03ラインの画素をリセットし、03ラインの露光を開始する。この時のリセット動作は破線330で示されている。続けて、1HD経過する毎に、04、07、08、11、12、15、16ラインをそれぞれリセットすることで、中時間露光フレームFr_Mのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示されている。次に、タイミングt35からTfrm_exp経過後のt38において、VDSに同期して、03ラインの読み出しを実施する。連続撮影では、タイミングt36以降はt30に戻って繰り返すが、ここでは中時間露光フレームFr_Mの動作終了まで連続して表示する。この時、露光時間となるTfrm_expは、14HDとなっている。続けて、1HD経過する毎に、04、07、08、11、12、15、16ラインをそれぞれ読み出すことで、中時間露光フレームFr_Mのライン順次のローリングシャッタ動作を終了する。これにより、中時間露光フレームFr_Mは、すべてのラインで露光時間Tfrm_expとなる信号を出力することになる。この時の中時間露光フレームFr_Mの出力信号が、短時間露光フレームの第5の短期垂直同期期間Tfrs5におけるFr_M Readout5となる。
In the middle time exposure frame Fr_M, at the timing t35, the pixels on the 03 line are reset in synchronization with the horizontal synchronization signal HD, and the exposure on the 03 line is started. The reset operation at this time is indicated by a
以上が、長期垂直同期信号VDLに同期して実施される電子シャッタを用いた露光制御の動作である。 The above is the exposure control operation using the electronic shutter, which is performed in synchronization with the long-term vertical synchronization signal VDL.
ここで、短時間露光フレームの露光時間Tfrs_exp、中時間露光フレームの露光時間Tfrm_exp、及び長時間露光フレームの露光時間Tfrl_expの比は、7HD:14HD:21HD=1:2:3となっている。これらの電子シャッタ動作により、短時間露光フレーム、中時間露光フレーム及び長時間露光フレームの露光時間の比が1:2:3となるように制御される。このため、感度比を補償するゲイン値をそれぞれ3倍、3/2倍、1倍として、短時間露光画素の信号、中時間露光画素の信号及び長時間露光画素の信号を合成することでダイナミックレンジの拡大処理を実行すればよい。 Here, the ratio of the exposure time Tfrs_exp for the short exposure frame, the exposure time Tfrm_exp for the medium exposure frame, and the exposure time Tfrl_exp for the long exposure frame is 7HD: 14HD: 21HD = 1: 2: 3. By these electronic shutter operations, the exposure time ratio of the short exposure frame, the medium exposure frame, and the long exposure frame is controlled to be 1: 2: 3. Therefore, the gain value for compensating the sensitivity ratio is set to 3 times, 3/2 times, and 1 time, respectively, and the dynamic exposure is performed by synthesizing the short exposure pixel signal, the medium exposure pixel signal, and the long exposure pixel signal. A range expansion process may be executed.
図5は、本実施形態に係る長時間露光フレーム、中時間露光フレーム及び短時間露光フレームの制御タイミングを示す図である。図5においては、図4のフレーム毎の動作が簡略化して示されている。図5を参照して、電子シャッタによる露光時間を変更する場合について説明する。なお、図4と同じ動作や構成には、同じ符号で示される。 FIG. 5 is a diagram showing control timings of the long exposure frame, the medium exposure frame, and the short exposure frame according to the present embodiment. In FIG. 5, the operation for each frame in FIG. 4 is shown in a simplified manner. With reference to FIG. 5, the case where the exposure time by an electronic shutter is changed will be described. The same operations and configurations as those in FIG. 4 are denoted by the same reference numerals.
まず、長時間露光フレームFr_Lにおいては、タイミングt51において、01ラインからライン毎に順に画素をリセットすることで露光を開始して、ローリングシャッタ動作を開始する。この時のリセット動作が破線410で示されている。次に、タイミングt51からTfrl_expl経過後のt55において、01ラインからライン毎に画素の信号の読み出しを実施して、ローリングシャッタ動作を終了する。この時、露光時間となるTfrl_explは、12HDとなっている。この時の長時間露光フレームFr_Lの出力信号は、Fr_L Readout4となる。
First, in the long exposure frame Fr_L, at timing t51, the exposure is started by resetting the pixels in order from the 01th line, and the rolling shutter operation is started. The reset operation at this time is indicated by a
また、短時間露光フレームFr_Sにおいては、タイミングt52において、03ラインの画素をリセットし、03ラインからライン毎に順に画素をリセットすることで露光を開始して、ローリングシャッタ動作を開始する。この時のリセット動作が破線420で示されている。次に、タイミングt52からTfrs_expl経過後のt53において、03ラインからライン毎に画素の信号の読み出しを実施して、ローリングシャッタ動作を終了する。この時、露光時間となるTfrs_explは、4HDとなっている。この時の短時間露光フレームFr_Sの出力信号は、Fr_S Readout3となる。
Further, in the short exposure frame Fr_S, at the timing t52, the pixels of the 03 line are reset, the pixels are sequentially reset from the 03 line to start the exposure, and the rolling shutter operation is started. The reset operation at this time is indicated by a broken line 420. Next, at t53 after the elapse of Tfrs_expl from timing t52, the pixel signal is read out line by line from
そして、中時間露光フレームFr_Mにおいては、タイミングt54において、03ラインの画素をリセットし、03ラインからライン毎に順に画素をリセットすることで露光を開始して、ローリングシャッタ動作を開始する。この時のリセット動作が破線430で示されている。次に、タイミングt54からTfrm_expl経過後のt56において、03ラインからライン毎に画素の信号の読み出しを実施して、ローリングシャッタ動作を終了する。この時、露光時間となるTfrm_explは、8HDとなっている。この時の中時間露光フレームFr_Mの出力信号は、Fr_M Readout5となる。
Then, in the medium time exposure frame Fr_M, at the timing t54, the pixels of the 03 line are reset, the pixels are sequentially reset from the 03 line to start the exposure, and the rolling shutter operation is started. The reset operation at this time is indicated by a
以上が、露光時間を変更する前の動作である。ここで、短時間露光フレームの露光時間Tfrs_expl、中時間露光フレームの露光時間Tfrm_expl及び長時間露光フレームの露光時間Tfrl_explの比は、4HD:8HD:12HD=1:2:3となっている。 The above is the operation before changing the exposure time. Here, the ratio of the exposure time Tfrs_expl of the short exposure frame, the exposure time Tfrm_expl of the medium exposure frame, and the exposure time Tfrl_exp1 of the long exposure frame is 4HD: 8HD: 12HD = 1: 2: 3.
続いて、タイミングt58から始まるリセット動作440において、長時間露光フレームFr_Lのローリングシャッタ動作を開始する。次に、タイミングt58からTfrl_exps経過後のt59から始まる読み出し動作において、ローリングシャッタ動作を終了する。この時、露光時間となるTfrl_expsは6HDとなっていて、出力信号は、Fr_L Readout7となる。
Subsequently, in a
また、タイミングt57から始まるリセット動作450において、短時間露光フレームFr_Sのローリングシャッタ動作を開始する。次に、タイミングt57からTfrs_exps経過後のt58から始まる読み出し動作において、ローリングシャッタ動作を終了する。この時、露光時間となるTfrs_expsは2HDとなっていて、出力信号は、Fr_S Readout6となる。
Further, in the
そして、タイミングt60から始まるリセット動作460において、中時間露光フレームFr_Mのローリングシャッタ動作を開始する。次に、タイミングt60からTfrm_exps経過後のt61から始まる読み出し動作において、ローリングシャッタ動作を終了する。この時、露光時間となるTfrm_expsは4HDとなっていて、出力信号は、Fr_M Readout8となる。
Then, in the
以上が、露光時間を変更した後の動作となっている。ここで、短時間露光フレームの露光時間Tfrs_exps、中時間露光フレームの露光時間Tfrm_exps及び長時間露光フレームの露光時間Tfrl_expsの比は、2HD:4HD:6HD=1:2:3となっている。 The above is the operation after changing the exposure time. Here, the ratio of the exposure time Tfrs_exps for the short exposure frame, the exposure time Tfrm_exps for the medium exposure frame, and the exposure time Tfrl_exps for the long exposure frame is 2HD: 4HD: 6HD = 1: 2: 3.
このように、電子シャッタによる露光時間の変更を実施した場合においても、短時間露光フレーム、中時間露光フレーム及び長時間露光フレームの露光時間の比を常に1:2:3となるように制御することができる。これにより、感度比を補償するゲイン値をそれぞれ3倍、3/2倍、1倍として、短時間露光画素の信号、中時間露光画素の信号及び長時間露光画素の信号を合成することでダイナミックレンジの拡大処理を実行することができる。 Thus, even when the exposure time is changed by the electronic shutter, the ratio of the exposure times of the short exposure frame, the medium exposure frame, and the long exposure frame is always controlled to be 1: 2: 3. be able to. As a result, the gain value for compensating the sensitivity ratio is set to 3 times, 3/2 times, and 1 time, respectively, and the signal of the short exposure pixel, the signal of the medium exposure pixel, and the signal of the long exposure pixel are synthesized dynamically. Range expansion processing can be executed.
次に、本実施形態における撮影動作とHDR処理について説明する。
HDR処理は、図1の信号処理部13において実施される。信号処理部13においては、撮像素子12から出力される画素信号に対して、画素信号補正処理、位置ずれ補正処理、HDR処理、画像信号処理を実施することで、ダイナミックレンジが拡大された画像を生成する。ここでは、図5の長時間露光フレームの出力信号Fr_L Readout1、中時間露光フレームの出力信号Fr_M Readout2及び短時間露光フレームの出力信号Fr_S Readout3を用いた場合について説明する。
Next, the photographing operation and the HDR process in this embodiment will be described.
The HDR processing is performed in the
まず、VDSに同期して出力される長時間露光フレームの出力信号Fr_L Readout1に対して、画素信号補正処理を行う。画素信号補正処理としては、キズ補正、固定パターン補正、シェーディング補正等の補正処理を行う。次に、長時間露光ラインと短時間露光ラインが2ライン毎に位置がずれているため位置ずれ補正処理を行う。位置ずれ補正処理は、長時間露光フレームの01、02、05、06、09、10、13、14ラインを用いて、03、04、07、08、11、12、15、16ラインの位置の長時間露光時の画素信号を求める。たとえば、長時間露光フレームの01、02、05、06ラインを用いて、短時間露光時の03、04ラインを補間して求める方法をとってもよい。本実施形態においては、短時間露光ラインを短時間露光と中時間露光の両方に用いることや主要被写体が短時間露光側に多いことを考慮して、短時間露光ラインに合わせるように位置ずれ補正処理を行う。また、図2の画素領域200に16ラインしか図示していないが、実際の撮像素子においては、動画撮影の規格に応じて960ライン以上あるいは2160ライン以上を備えている。そのため、短時間露光フレームと長時間露光フレームに分割したとしても十分な位置ずれ補正を実施することができる。こうして求められた長時間露光フレームに相当する03、04、07、08、11、12、15、16ラインの画素信号は、信号処理部13に設けられた不図示のメモリに記憶しておく。そして、次のVDSに同期して出力される中時間露光フレームの出力信号Fr_M Readout2に対して、同様の画素信号補正処理を行う。さらに、HDR処理の一部として、中時間露光フレームと長時間露光フレームの露光時間の比2:3を補償するため、3/2倍のゲイン値をかけておく。中時間露光フレームは、短時間露光ラインであるため位置ずれ補正処理は必要ない。こうして求められた中時間露光フレームに相当する03、04、07、08、11、12、15、16ラインの画素信号は、信号処理部13に設けられた不図示のメモリに記憶しておく。
First, pixel signal correction processing is performed on the output signal Fr_L Readout1 of the long exposure frame output in synchronization with the VDS. As pixel signal correction processing, correction processing such as scratch correction, fixed pattern correction, and shading correction is performed. Next, since the positions of the long-time exposure line and the short-time exposure line are shifted every two lines, a positional shift correction process is performed. The misalignment correction processing uses the 01, 02, 05, 06, 09, 10, 13, 14 lines of the long exposure frame, and the positions of the 03, 04, 07, 08, 11, 12, 15, 16 lines. A pixel signal at the time of long exposure is obtained. For example, a method may be used in which the 03, 04 lines at the time of short exposure are interpolated using the 01, 02, 05, 06 lines of the long exposure frame. In the present embodiment, in consideration of the use of the short exposure line for both short exposure and medium time exposure and the fact that there are many main subjects on the short exposure side, the misalignment correction is performed so as to match the short exposure line. Process. Further, although only 16 lines are shown in the
さらに、次のVDSに同期して出力される短時間露光フレームの出力信号Fr_S Readout3に対して、同様の画素信号補正処理を行う。さらに、HDR処理の一部として、短時間露光フレームと長時間露光フレームの露光時間の比1:3を補償するため、3倍のゲイン値をかけておく。 Further, similar pixel signal correction processing is performed on the output signal Fr_S Readout3 of the short exposure frame that is output in synchronization with the next VDS. Further, as part of the HDR process, a gain value of 3 times is applied in order to compensate the ratio 1: 3 of the exposure time between the short exposure frame and the long exposure frame.
次に、以下に示す画素信号を用いて、HDR処理を実施する。
(a)記憶されている長時間露光フレームの03、04、07、08、11、12、15、16ラインの画素信号。
(b)記憶されている中時間露光フレームに相当する03、04、07、08、11、12、15、16ラインの画素信号。
(c)記憶されている短時間露光フレームに相当する03、04、07、08、11、12、15、16ラインの画素信号。
Next, HDR processing is performed using the pixel signals shown below.
(A) Stored pixel signals of 03, 04, 07, 08, 11, 12, 15, 16 lines of the long exposure frame.
(B) Pixel signals of 03, 04, 07, 08, 11, 12, 15, and 16 lines corresponding to the stored medium time exposure frames.
(C) Pixel signals of 03, 04, 07, 08, 11, 12, 15, and 16 lines corresponding to the stored short-time exposure frames.
短時間露光フレームの画素信号及び中時間露光フレームの画素信号には露光時間を補償するゲイン値がすでにかけてある。従って、ここでのHDR処理としては、明るさに応じた重み付け係数を用いて、長時間露光画素の信号、中時間露光画素の信号及び短時間露光画素の信号を合成することになる。明るさに応じた合成の方法は、例えば次のように行うことができる。長時間露光画素の信号の重み付け係数、中時間露光画素の信号の重み付け係数及び短時間露光画素の信号の重み付け係数の和を一定値1とする。画像が明るい場合には、短時間露光画素の信号の重み付け係数を大きくし、画像が暗い場合には、長時間露光画素の信号の重み付け係数を大きくする。
A gain value that compensates for the exposure time is already applied to the pixel signal of the short exposure frame and the pixel signal of the medium exposure frame. Therefore, in the HDR processing here, the signal of the long exposure pixel, the signal of the medium exposure pixel, and the signal of the short exposure pixel are combined using the weighting coefficient corresponding to the brightness. For example, the composition method according to the brightness can be performed as follows. The sum of the weighting coefficient of the signal of the long-time exposure pixel, the weighting coefficient of the signal of the medium-time exposure pixel, and the weighting coefficient of the signal of the short-time exposure pixel is set to a
ここまでは、すべて画素ごとの信号処理になっているので、最後に、ダイナミックレンジが拡大された画像に対して画像信号処理を実施する。画像信号処理としては、ホワイトバランス調整処理、色補正処理、ガンマ補正処理等の信号処理を行う。このようにして、長時間露光フレームの信号出力時には、長時間露光フレーム向けの画素信号補正処理、位置ずれ補正処理を実施する。中時間露光フレームの信号出力時には、中時間露光フレーム向けの画素信号補正処理、露光時間を補償するゲイン補正を実施する。短時間露光フレームの信号出力時には、短時間露光フレーム向けの画素信号補正処理、露光時間を補償するゲイン補正、HDR処理、画像信号処理を実施する。こうして、各種処理の分散化が図られる。 Up to this point, since signal processing is performed for each pixel, finally, image signal processing is performed on an image whose dynamic range has been expanded. As the image signal processing, signal processing such as white balance adjustment processing, color correction processing, and gamma correction processing is performed. In this way, when a signal of a long exposure frame is output, pixel signal correction processing and positional deviation correction processing for the long exposure frame are performed. When outputting the signal of the medium time exposure frame, the pixel signal correction process for the medium time exposure frame and the gain correction for compensating the exposure time are performed. When outputting a signal for a short exposure frame, pixel signal correction processing for the short exposure frame, gain correction for compensating the exposure time, HDR processing, and image signal processing are performed. In this way, various processes are distributed.
さらに、動画撮影においては、第3の短期垂直同期期間Tfrs3の画像を、Fr_L Readout1、Fr_M Readout2及びFr_S Readout3を用いて作成する。次の第4の短期垂直同期期間Tfrs4の画像を、Fr_L Readout1の代わりに、Fr_M Readout2、Fr_S Readout3及びFr_L Readout4を用いて作成する。このように、新たに出力される画像信号を使ってHDR処理を実施することで、動画撮影時の動画解像度の向上を図ることができる。 Further, in moving image shooting, an image of the third short-term vertical synchronization period Tfrs3 is created using Fr_L Readout1, Fr_M Readout2, and Fr_S Readout3. An image of the next fourth short-term vertical synchronization period Tfrs4 is created using Fr_M Readout2, Fr_S Readout3, and Fr_L Readout4 instead of Fr_L Readout1. As described above, by performing the HDR processing using the newly output image signal, it is possible to improve the moving image resolution at the time of moving image shooting.
また、連続する3つの露光フレームの出力信号から静止画像を作成する場合は、露光時間の重なりが大きい短時間露光フレーム、長時間露光フレーム及び中時間露光フレームの順番に出力する出力信号を用いればよい。例えば、出力信号Fr_S Readout3、Fr_L Readout4及びFr_M Readout5、あるいは、出力信号Fr_S Readout6、Fr_L Readout7及びFr_M Readout8を用いればよい。これにより、ブレの少ないダイナミックレンジが拡大された静止画像を作成することができる。 In addition, when creating a still image from the output signals of three consecutive exposure frames, an output signal that is output in the order of a short exposure frame, a long exposure frame, and a medium exposure frame with a large overlap of exposure times can be used. Good. For example, the output signals Fr_S Readout3, Fr_L Readout4, and Fr_M Readout5 or the output signals Fr_S Readout6, Fr_L Readout7, and Fr_M Readout8 may be used. As a result, a still image with an expanded dynamic range with less blur can be created.
以上のように、本実施形態によれば、隣接する2ライン毎に露光時間の異なる画素の信号を用いたHDR処理を行う撮像装置が提供される。短時間露光時のフレーム周期に同期して、短時間露光ライン、中時間露光ライン及び長時間露光ラインを別々のフレームで読み出す。これとともに、長時間露光時のフレーム期間内で、短時間露光時のフレーム周期に同期して、短時間露光ライン及び中時間露光ラインを別々のフレームで読み出す。これにより、読み出し制御システムの簡略化と読み出し時及び信号処理時のデータレートの低減と平準化を実現することができる。 As described above, according to the present embodiment, an imaging device that performs HDR processing using signals of pixels having different exposure times for every two adjacent lines is provided. In synchronism with the frame period during the short exposure, the short exposure line, the medium exposure line, and the long exposure line are read out in separate frames. At the same time, the short-time exposure line and the medium-time exposure line are read in separate frames in synchronization with the frame period at the time of short-time exposure within the frame period at the time of long-time exposure. Thereby, simplification of the reading control system and reduction and leveling of the data rate during reading and signal processing can be realized.
また、短時間露光フレーム、中時間露光フレーム及び長時間露光フレームの露光時間の比1:2:3に合わせて、長時間露光フレームの垂直同期期間を短時間露光フレームの垂直同期期間の3倍に設定する。これとともに、短時間露光フレームの間に短時間露光ラインに対して中時間露光を実施する。これにより、長時間露光フレームの露光時間に対して、短時間露光フレームの露光時間及び中時間露光フレームの露光時間を有効に利用でき、かつ、露光時間制御の複雑化を避けることが可能になる。 Further, the vertical synchronization period of the long exposure frame is three times the vertical synchronization period of the short exposure frame in accordance with the ratio 1: 2: 3 of the exposure time of the short exposure frame, the medium exposure frame, and the long exposure frame. Set to. At the same time, medium-time exposure is performed on the short-time exposure line during the short-time exposure frame. As a result, the exposure time of the short exposure frame and the exposure time of the medium exposure frame can be effectively used with respect to the exposure time of the long exposure frame, and the complexity of the exposure time control can be avoided. .
さらに、長時間露光時のフレーム期間内で、短時間露光時のフレーム周期に同期して、短時間露光ラインを読み出すことで、長時間露光と短時間露光を重ねて実行できる。このため、フレームレートを均一にした場合でも、短時間露光時の1フレームを超える長時間露光が実現される。また、複数回露光方式にみられた露光に寄与しない無駄時間の発生を避けるという効果もある。 Further, by reading out the short exposure line in synchronization with the frame period during the short exposure within the frame period during the long exposure, the long exposure and the short exposure can be performed in an overlapping manner. For this reason, even when the frame rate is made uniform, long-time exposure exceeding one frame at the time of short-time exposure is realized. In addition, there is an effect of avoiding the generation of dead time that does not contribute to the exposure seen in the multiple exposure method.
そして、短時間露光ラインと長時間露光ラインを別々のフレームで読み出すことで、ローリング歪の発生を半分に低減することができる。 Then, by reading out the short time exposure line and the long time exposure line in separate frames, the occurrence of rolling distortion can be reduced to half.
また、長時間露光と短時間露光を重ねて実行できる。そのため従来例のように長時間露光と短時間露光の露光時間の中心を合わせるためにリセットと読み出しのタイミング制御が複雑になるという課題も避けることができる。 Further, it is possible to execute a long exposure and a short exposure in an overlapping manner. Therefore, it is possible to avoid the problem that the timing control of reset and readout becomes complicated in order to align the centers of the exposure times of the long exposure and the short exposure as in the conventional example.
さらに、短時間露光ラインと長時間露光ラインを別々のフレームで読み出すことができる。そのため、長時間露光と短時間露光の露光時間の中心を合わせた場合に発生する、露光時間が短い時に短時間露光ラインの読み出し終了と長時間露光ラインの読み出し開始が干渉してしまうという課題も避けることができる。 Furthermore, the short exposure line and the long exposure line can be read out in separate frames. Therefore, there is also a problem that when the exposure time of the long exposure and the short exposure is aligned, the end of reading the short exposure line and the start of reading the long exposure line interfere when the exposure time is short. Can be avoided.
次に、本実施形態の変形例について説明する。
上述の位置ずれ補正処理においては、長時間露光ラインの01、02、05、06、09、10、13、14ラインを用いて、短時間露光ライン相当の03、04、07、08、11、12、15、16ラインの画素信号を計算した。このかわりに、長時間露光フレームとして、01ラインから16ラインまでの全ラインを用いてもよい。その時は、長時間露光フレームの01、02、05、06、09、10、13、14ラインを用いて、長時間露光フレーム相当の03、04、07、08、11、12、15、16ラインの画素信号を計算する。これにより、長時間露光フレームとして、01ラインから16ラインまでの全ラインを用いる。
Next, a modification of this embodiment will be described.
In the above-described misalignment correction processing, the
同様に、中時間露光及び短時間露光の短時間露光ラインの03、04、07、08、11、12、15、16ラインを用いて、中時間露光及び短時間露光の短時間露光ライン相当の01、02、05、06、09、10、13、14ラインの画素信号を計算する。そして、中時間露光フレーム及び短時間露光フレームとして、01ラインから16ラインまでの全ラインを用いる。 Similarly, the 03, 04, 07, 08, 11, 12, 15, 16 lines of the short exposure lines for the medium time exposure and the short exposure are used to correspond to the short exposure lines for the medium time exposure and the short exposure. The pixel signals of the 01, 02, 05, 06, 09, 10, 13, and 14 lines are calculated. All lines from 01 to 16 lines are used as the medium time exposure frame and the short time exposure frame.
これにより、16x16全画素を用いたダイナミックレンジが拡大された画像を生成することができる。この方法は、連続する3つの露光フレームの出力信号から静止画像を作成する場合に適している。 As a result, an image with an expanded dynamic range using all 16 × 16 pixels can be generated. This method is suitable when a still image is created from the output signals of three consecutive exposure frames.
次に、本実施形態の他の変形例について説明する。
上述の画像信号処理においては、HDR処理後に、ホワイトバランス調整処理、色補正処理、ガンマ補正処理等の信号処理を行ったが、画像信号処理を分散してもよい。その時は、位置ずれ補正処理を実施した後の長時間露光フレームの出力信号(第1の画像データ)に対して、ホワイトバランス調整処理と色補正処理を行い、メモリに記憶しておく。同様に、露光時間を補償するゲイン値をかけた後の中時間露光フレームの出力信号(第2の画像データ)に対して、ホワイトバランス調整処理と色補正処理を行い、メモリに記憶しておく。そして、画素信号補正処理を行った短時間露光フレームの出力信号(第3の画像データ)に対して、ホワイトバランス調整処理と色補正処理を行う。その後、HDR処理を実施し、その出力信号(第4の画像データ)に対してガンマ補正処理を行う。
Next, another modification of the present embodiment will be described.
In the image signal processing described above, signal processing such as white balance adjustment processing, color correction processing, and gamma correction processing is performed after the HDR processing, but the image signal processing may be distributed. At that time, white balance adjustment processing and color correction processing are performed on the output signal (first image data) of the long-exposure frame after the positional deviation correction processing is performed and stored in the memory. Similarly, the white balance adjustment process and the color correction process are performed on the output signal (second image data) of the medium time exposure frame after the gain value for compensating the exposure time is applied and stored in the memory. . Then, a white balance adjustment process and a color correction process are performed on the output signal (third image data) of the short-time exposure frame subjected to the pixel signal correction process. Thereafter, HDR processing is performed, and gamma correction processing is performed on the output signal (fourth image data).
次に、本実施形態の更に他の変形例を、図8を参照して説明する。
図8(a)は、画素領域200の撮像面照度Eplxと画素の出力信号Psigの関係を表した画素特性の図である。ここでは、画素特性Exp1、Exp2、Exp3及びExp4は、露光フレーム期間が、それぞれTfrs、2Tfrs、3Tfrs及び4Tfrsで、かつ、電子シャッタによる露光時間の比が1:2:3:4に制御されている。図8(a)は、この場合の撮像面照度Eplxと画素の出力信号Psigの関係を表している。これにより、画素特性Exp1を基準にすると、画素特性Exp2、Exp3及びExp4の傾きは、それぞれ2倍、3倍及び4倍となる。PSATは、画素の飽和信号量を示している。
Next, still another modification of the present embodiment will be described with reference to FIG.
FIG. 8A is a diagram of pixel characteristics that represents the relationship between the imaging surface illuminance Epix of the
画素特性Exp1、Exp2、Exp3及びExp4は、それぞれ撮像面照度E1、E2、E3及びE4において、飽和信号量PSATに達するので、それ以上の照度では出力信号が増加しない。破線は、画素特性Exp1、Exp2、Exp3及びExp4が飽和しないと仮定した場合について表示している。 Since the pixel characteristics Exp1, Exp2, Exp3, and Exp4 reach the saturation signal amount PSAT at the imaging surface illuminances E1, E2, E3, and E4, respectively, the output signal does not increase at higher illuminance. The broken line indicates the case where it is assumed that the pixel characteristics Exp1, Exp2, Exp3, and Exp4 are not saturated.
本実施形態においては、画素特性Exp1、Exp2及びExp3が、それぞれ短時間露光フレームの出力信号、中時間露光フレームの出力信号、中時間露光フレームの出力信号及び長時間露光フレームの出力信号に相当する。 In the present embodiment, the pixel characteristics Exp1, Exp2, and Exp3 correspond to the output signal of the short exposure frame, the output signal of the intermediate exposure frame, the output signal of the intermediate exposure frame, and the output signal of the long exposure frame, respectively. .
図8(b)は、画素特性Exp1についての撮像面照度Eplxと画像信号処理に用いられる画像信号Ssigの関係を表した画像信号特性の図である。図8(a)において、撮像面の照度E1にて画素が飽和するため、画像信号もSSATにて飽和した特性となっている。そして、撮像面照度0からE1に対応して、画像信号が0からSSATまで階調を持って出力していることがわかる。これが、HDR処理を行わなかった場合の画素特性である。 FIG. 8B is a diagram of image signal characteristics representing the relationship between the imaging surface illuminance Epix and the image signal Ssig used for image signal processing for the pixel characteristic Exp1. In FIG. 8A, since the pixel is saturated at the illuminance E1 on the imaging surface, the image signal is also saturated at SSAT. Then, it can be seen that the image signal is output with gradation from 0 to SSAT corresponding to the illuminance of the imaging surface from 0 to E1. This is a pixel characteristic when HDR processing is not performed.
図8(c)は、画素特性Exp1及びExp2を用いて、HDR処理を実施した場合の撮像面照度Eplxと画像信号処理に用いられる画像信号Ssigの関係を表した画像信号特性の図である。HDR処理の方法は、画素特性Exp1及びExp2を加算して、最大飽和信号がSsigとなるように正規化することで実現する。撮像面照度0からE2までは、図8(a)における画素特性Exp1及びExp2を加算する。撮像面照度E2からE1までは、図8(a)において画素特性Exp2が飽和しているので、PSATと画素特性Exp1を加算する。撮像面照度E1以上は、図8(a)において画素特性Exp1及びExp2がともに飽和しているので、最大飽和信号量となる2PSATとなっている。このように加算した画素特性に対して、最大飽和信号量2PSATがSSATになるように正規化することで、図8(c)のHDR処理が実現する。これにより、撮像面照度0からE1に対応して、画像信号が0からSSATまで階調を持って出力していることがわかる。さらに、最大飽和信号量2PSATがSSATになるように正規化しているので、ダイナミックレンジが2倍に拡大されていることがわかる。
FIG. 8C is a diagram of image signal characteristics representing the relationship between the imaging surface illuminance Epix and the image signal Ssig used for image signal processing when HDR processing is performed using the pixel characteristics Exp1 and Exp2. The HDR processing method is realized by adding the pixel characteristics Exp1 and Exp2 and normalizing the maximum saturation signal to be Ssig. For
図8(d)は、本実施形態の撮像装置に対して、画素特性Exp1、Exp2及びExp3を用いてHDR処理を実施した場合の、撮像面照度Eplxと画像信号処理に用いられる画像信号Ssigの関係を表した画像信号特性の図である。HDR処理の方法は、画素特性Exp1、Exp2及びExp3を加算して、最大飽和信号がSsigとなるように正規化することで実現する。撮像面照度0からE3までは、図8(a)における画素特性Exp1、Exp2及びExp3を加算する。撮像面照度E3からE2までは、図8(a)において画素特性Exp3が飽和しているので、PSATと画素特性Exp1及びExp2を加算する。撮像面照度E2からE1までは、図8(a)において画素特性Exp2及びExp3がともに飽和しているので、2PSATと画素特性Exp1を加算する。撮像面照度E1以上は、図8(a)において画素特性Exp1、Exp2及びExp3がすべて飽和しているので、最大飽和信号量となる3PSATとなっている。このように加算した画素特性に対して、最大飽和信号量3PSATがSSATになるように正規化することで、図8(d)のHDR処理が実現する。そして、撮像素子12を図4のように動作させるとともに、信号処理部13において図8(d)となるようにHDR処理を実施するように撮像装置を制御すればよい。これにより、撮像面照度0からE1に対応して、画像信号が0からSSATまで階調を持って出力していることがわかる。さらに、最大飽和信号量3PSATがSSATになるように正規化しているので、ダイナミックレンジが3倍に拡大されていることがわかる。図8(d)は、ガンマ特性として知られている入出力特性で、これによりダイナミックレンジを拡大することが可能である。
FIG. 8D shows the imaging surface illuminance Epix and the image signal Ssig used for the image signal processing when the HDR processing is performed using the pixel characteristics Exp1, Exp2, and Exp3 for the imaging device of the present embodiment. It is a figure of the image signal characteristic showing the relationship. The HDR processing method is realized by adding the pixel characteristics Exp1, Exp2, and Exp3 and normalizing the maximum saturation signal to be Ssig. For imaging surface illuminances from 0 to E3, pixel characteristics Exp1, Exp2, and Exp3 in FIG. 8A are added. Since the pixel characteristic Exp3 is saturated in FIG. 8A from the imaging surface illuminance E3 to E2, PSAT and the pixel characteristics Exp1 and Exp2 are added. Since the pixel characteristics Exp2 and Exp3 are both saturated in FIG. 8A from the imaging surface illuminance E2 to E1, 2PSAT and the pixel characteristic Exp1 are added. Since the pixel characteristics Exp1, Exp2, and Exp3 are all saturated in FIG. 8A, the imaging surface illuminance E1 or higher is 3PSAT, which is the maximum saturation signal amount. The HDR process shown in FIG. 8D is realized by normalizing the added pixel characteristics so that the maximum saturation signal amount 3PSAT becomes SSAT. Then, the
<第2の実施形態>
次に、図1、図2及び図6から図8を参照して、第2の実施形態を説明する。なお、本実施形態では、撮像装置の基本的な構成と動作及び撮像素子の基本的な構成と動作は、第1の実施形態と同様であるので、図及び符号を流用して説明する。第1の実施形態においては、2ライン毎に露光時間が異なる長時間露光ラインと短時間露光ラインの2つのフレームと短時間露光ラインに対する中時間露光フレームを設定してダイナミックレンジの広い画像を生成した。本実施形態においては、長時間露光フレームと中時間露光フレームのフレーム期間を変更することで、HDR処理の入出力特性を変更する方法について説明する。
<Second Embodiment>
Next, a second embodiment will be described with reference to FIGS. 1, 2, and 6 to 8. In the present embodiment, the basic configuration and operation of the imaging apparatus and the basic configuration and operation of the imaging element are the same as those in the first embodiment, and therefore, description will be made with reference to the drawings and symbols. In the first embodiment, an image with a wide dynamic range is generated by setting two frames, a long exposure line and a short exposure line, which have different exposure times every two lines, and a medium exposure frame for the short exposure line. did. In the present embodiment, a method for changing the input / output characteristics of the HDR processing by changing the frame periods of the long exposure frame and the medium exposure frame will be described.
図6は、本実施形態に係る長時間露光フレーム、中時間露光フレーム及び短時間露光フレームの制御タイミングを示す図である。図6においては、長期垂直同期期間Tfrlが、短期垂直同期期間Tfrsの4倍の期間となっているため、第1の実施形態とは異なるHDR処理の入出力特性を持たせることができる。また、図6においては、動画撮影に応用するために、連続撮影が可能な制御タイミングとなっている。連続撮影を可能にするため、タイミングt77以降の制御タイミングあるいはタイミングt84以降の制御タイミングは、t70に戻って繰り返すものとする。 FIG. 6 is a diagram showing control timings of the long exposure frame, the medium exposure frame, and the short exposure frame according to the present embodiment. In FIG. 6, since the long-term vertical synchronization period Tfrl is four times as long as the short-term vertical synchronization period Tfrs, it is possible to have HDR input / output characteristics different from those of the first embodiment. In FIG. 6, the control timing is such that continuous shooting is possible in order to apply to moving image shooting. In order to enable continuous shooting, the control timing after timing t77 or the control timing after timing t84 is returned to t70 and repeated.
図6において、VDLは長時間露光フレームの垂直同期信号(長期垂直同期信号)、VDSは、短時間露光フレームの垂直同期信号(短期垂直同期信号)を示す。HDは、水平同期信号を示し、画素のリセット動作や読み出し動作を行単位で実施する期間となる。 In FIG. 6, VDL represents a vertical synchronization signal (long-term vertical synchronization signal) of a long exposure frame, and VDS represents a vertical synchronization signal (short-term vertical synchronization signal) of a short exposure frame. HD indicates a horizontal synchronization signal, which is a period in which pixel reset operations and readout operations are performed in units of rows.
タイミングt70からt77まで、及び、タイミングt77からt84までがそれぞれ、第1の長期垂直同期期間Tfrl1及び第2の長期垂直同期期間Tfrl2を示す。
タイミングt70からt71までが第1の短期垂直同期期間Tfrs1である。
タイミングt71からt73までが第2の短期垂直同期期間Tfrs2である。
タイミングt73からt75までが第3の短期垂直同期期間Tfrs3である。
タイミングt75からt77までが第4の短期垂直同期期間Tfrs4である。
タイミングt77からt78までが、第5の短期垂直同期期間Tfrs5である。
タイミングt78からt80までが、第6の短期垂直同期期間Tfrs6である。
タイミングt80からt82までが、第7の短期垂直同期期間Tfrs7である。
タイミングt82からt84までが、第8の短期垂直同期期間Tfrs8である。
Timings t70 to t77 and timings t77 to t84 indicate the first long-term vertical synchronization period Tfrl1 and the second long-term vertical synchronization period Tfrl2, respectively.
The period from timing t70 to t71 is the first short-term vertical synchronization period Tfrs1.
The timing t71 to t73 is the second short-term vertical synchronization period Tfrs2.
The timing t73 to t75 is the third short-term vertical synchronization period Tfrs3.
The timing t75 to t77 is the fourth short-term vertical synchronization period Tfrs4.
The timing from t77 to t78 is the fifth short-term vertical synchronization period Tfrs5.
From the timing t78 to t80 is the sixth short-term vertical synchronization period Tfrs6.
The timing t80 to t82 is the seventh short-term vertical synchronization period Tfrs7.
The timing t82 to t84 is the eighth short-term vertical synchronization period Tfrs8.
Fr_Lが、長時間露光フレームを構成する01、02、05、06、09、10、13、14ラインの動作の状態を示す。Fr_M及びFr_Sが、それぞれ中時間露光フレーム及び短時間露光フレームを構成する短時間露光ラインである03、04、07、08、11、12、15、16ラインの動作の状態を示す。これにより、図3と同様に、長時間露光ラインと短時間露光ラインを2ライン毎に露光時間が異なるように制御することができる。 Fr_L indicates the operation state of the 01, 02, 05, 06, 09, 10, 13, and 14 lines constituting the long exposure frame. Fr_M and Fr_S indicate the operation states of the 03, 04, 07, 08, 11, 12, 15, and 16 lines, which are the short-time exposure lines constituting the medium-time exposure frame and the short-time exposure frame, respectively. Thereby, similarly to FIG. 3, the long exposure line and the short exposure line can be controlled so that the exposure time differs every two lines.
ここで、長時間露光フレームFr_Lでは、VDLに同期して、長期垂直同期期間のTfrl毎に連続してローリングシャッタ動作が実施される。また、短時間露光フレームFr_Sは、VDLから2Tfrs後のVDSに同期してローリングシャッタ動作の露光が開始され、そのTfrs後のVDSに同期してローリングシャッタ動作の読み出しが開始される。さらに、Fr_Mでは、Fr_Sの空き時間となるVDLから3Tfrs後の短時間露光フレームのVDSに同期してローリングシャッタ動作の露光が開始され、その2Tfrs後のVDSに同期してローリングシャッタ動作の読み出しが開始される。そして、この動作がVDLに同期して繰り返し実施される。 Here, in the long exposure frame Fr_L, the rolling shutter operation is continuously performed every Tfrl in the long vertical synchronization period in synchronization with the VDL. In the short-time exposure frame Fr_S, the exposure of the rolling shutter operation is started in synchronization with VDS after 2 Tfrs from VDL, and the reading of the rolling shutter operation is started in synchronization with VDS after Tfrs. Further, in Fr_M, the exposure of the rolling shutter operation is started in synchronization with the VDS of the short-time exposure frame 3Tfrs after VDL, which is the free time of Fr_S, and the rolling shutter operation is read in synchronization with the VDS after 2Tfrs. Be started. This operation is repeatedly performed in synchronization with the VDL.
具体的には、Tfrl1を構成するTfrs1において、一巡前に露光を開始した長時間露光フレームの出力信号Fr_L Readout1を出力する。次に、Tfrs2において、一巡前に露光を開始した中時間露光フレームの出力信号Fr_M Readout2を出力する。本実施形態においては、TfrlをTfrsの4倍に設定しているため、Tfrs3においては信号出力はない。 Specifically, in Tfrs1 constituting Tfrl1, an output signal Fr_L Readout1 of a long exposure frame in which exposure is started one round before is output. Next, in Tfrs2, an output signal Fr_M Readout2 of a medium time exposure frame in which exposure is started one round before is output. In the present embodiment, since Tfrl is set to four times Tfrs, there is no signal output at Tfrs3.
次に、Tfrs4において、短時間露光フレームの出力信号Fr_S Readout4を出力する。同様に、Tfrl2を構成するTfrs5において、長時間露光フレームの出力信号Fr_L Readout5を出力する。次に、Tfrs6において、中時間露光フレームの出力信号Fr_M Readout6を出力する。 Next, in Tfrs4, an output signal Fr_S Readout4 of the short exposure frame is output. Similarly, an output signal Fr_L Readout5 for the long exposure frame is output at Tfrs5 constituting Tfrl2. Next, in Tfrs6, an output signal Fr_M Readout6 of the medium time exposure frame is output.
そして、Tfrs7においては信号出力はなく、次のTfrs8において、短時間露光フレームの出力信号Fr_S Readout8を出力する。これにより、VDSに同期して、Fr_L Readout、Fr_M Readout及びFr_S Readoutが繰り返し出力される。そのため、長時間露光終了後に、全ラインを一度に読み出す動作に比べて、撮像素子からの出力信号の読み出しが平準化される。 No signal is output at Tfrs7, and an output signal Fr_S Readout8 for a short exposure frame is output at the next Tfrs8. Thereby, Fr_L Readout, Fr_M Readout, and Fr_S Readout are repeatedly output in synchronization with VDS. For this reason, the reading of the output signal from the image sensor is leveled compared to the operation of reading all lines at once after the long exposure.
次に、電子シャッタを用いた露光制御について説明する。
まず、Tfrl1における長時間露光フレームFr_Lにおいては、タイミングt72において、水平同期信号HDに同期して、01ラインの画素をリセットし、01ラインの露光を開始する。この時のリセット動作は破線510で示されている。続けて、1HD経過する毎に、02、05、06、09、10、13、14ラインをそれぞれリセットすることで、長時間露光フレームFr_Lのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。
Next, exposure control using an electronic shutter will be described.
First, in the long exposure frame Fr_L in Tfrl1, the 01-line pixels are reset and the 01-line exposure is started in synchronization with the horizontal synchronization signal HD at a timing t72. The reset operation at this time is indicated by a
次に、タイミングt72からTfrl_exp経過後のt77において、VDLに同期して、01ラインの読み出しを実施する。連続撮影では、タイミングt77以降はt70に戻って繰り返すが、ここでは長時間露光フレームFr_Lの動作終了まで連続して表示する。この時、露光時間となるTfrl_expは、16HDとなっている。続けて、1HD経過する毎に、02、05、06、09、10、13、14ラインをそれぞれ読み出すことで、長時間露光フレームFr_Lのライン順次のローリングシャッタ動作を終了する。これにより、長時間露光フレームFr_Lは、すべてのラインで露光時間Tfrl_expとなる信号を出力することになる。この時の長時間露光フレームFr_Lの出力信号が、短時間露光フレームのTfrs5におけるFr_L Readout5となる。以上が、長時間露光フレームのTfrl1に実施される電子シャッタを用いた露光制御の動作となる。
Next, at t77 after Tfrl_exp has elapsed from timing t72, the 01 line is read in synchronization with VDL. In the continuous shooting, after timing t77, the process returns to t70 and repeats, but here, it is continuously displayed until the operation of the long exposure frame Fr_L is completed. At this time, Tfrl_exp serving as the exposure time is 16 HD. Subsequently, every
また、Tfrl1における短時間露光フレームFr_Sにおいては、タイミングt74において、水平同期信号HDに同期して、03ラインの画素をリセットし、03ラインの露光を開始する。この時のリセット動作は破線520で示されている。続けて、1HD経過する毎に、04、07、08、11、12、15、16ラインをそれぞれリセットすることで、短時間露光フレームFr_Sのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。次に、タイミングt74からTfrs_exp経過後のt75において、VDSに同期して、03ラインの読み出しを実施する。この時、露光時間となるTfrs_expは、4HDとなっている。続けて、1HD経過する毎に、04、07、08、11、12、15、16ラインをそれぞれ読み出すことで、短時間露光フレームFr_Sのライン順次のローリングシャッタ動作を終了する。これにより、短時間露光フレームFr_Sは、すべてのラインで露光時間Tfrs_expとなる信号を出力することになる。この時の短時間露光フレームFr_Sの出力信号が、短時間露光フレームのTfrs4におけるFr_S Readout4となる。
In the short-time exposure frame Fr_S in Tfrl1, the 03-line pixels are reset and the 03-line exposure is started in synchronization with the horizontal synchronization signal HD at the timing t74. The reset operation at this time is indicated by a
そして、中時間露光フレームFr_Mにおいては、タイミングt76において、水平同期信号HDに同期して、03ラインの画素をリセットし、03ラインの露光を開始する。この時のリセット動作は破線530で示されている。続けて、1HD経過する毎に、04、07、08、11、12、15、16ラインをそれぞれリセットすることで、中時間露光フレームFr_Mのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。次に、タイミングt76からTfrm_exp経過後のt78において、VDSに同期して、03ラインの読み出しを実施する。連続撮影では、タイミングt77以降はt70に戻って繰り返すが、ここでは中時間露光フレームFr_Mの動作終了まで連続して表示する。この時、露光時間となるTfrm_expは、8HDとなっている。続けて、1HD経過する毎に、04、07、08、11、12、15、16ラインをそれぞれ読み出すことで、中時間露光フレームFr_Mのライン順次のローリングシャッタ動作を終了する。これにより、中時間露光フレームFr_Mは、すべてのラインで露光時間Tfrm_expとなる信号を出力することになる。この時の中時間露光フレームFr_Mの出力信号が、短時間露光フレームのTfrs6におけるFr_M Readout6となる。
In the middle time exposure frame Fr_M, at the timing t76, the pixels on the 03 line are reset in synchronization with the horizontal synchronization signal HD, and the exposure on the 03 line is started. The reset operation at this time is indicated by a
以上が、長期垂直同期信号VDLに同期して実施される電子シャッタを用いた露光制御の動作となる。ここで、短時間露光フレームの露光時間Tfrs_exp、中時間露光フレームの露光時間Tfrm_exp及び長時間露光フレームの露光時間Tfrl_expの比は、4HD:8HD:16HD=1:2:4となっている。これらの電子シャッタ動作により、短時間露光フレーム、中時間露光フレーム及び長時間露光フレームの露光時間の比が1:2:4となるように制御される。このため、感度比を補償するゲイン値をそれぞれ4倍、2倍、1倍として、短時間露光画素の信号、中時間露光画素の信号及び長時間露光画素の信号を合成することでダイナミックレンジの拡大処理を実行すればよい。これにより、第1の実施形態とは異なるHDR処理の入出力特性を持たせることができる。本実施形態における撮影動作とHDR処理については、短時間露光フレーム、中時間露光フレーム及び長時間露光フレームの感度比を補償するゲイン値をそれぞれ4倍、2倍、1倍として、第1の実施形態と同様に実施すればよいので、説明は省略する。 The above is the exposure control operation using the electronic shutter, which is performed in synchronization with the long-term vertical synchronization signal VDL. Here, the ratio of the exposure time Tfrs_exp for the short exposure frame, the exposure time Tfrm_exp for the medium exposure frame, and the exposure time Tfrl_exp for the long exposure frame is 4HD: 8HD: 16HD = 1: 2: 4. By these electronic shutter operations, the exposure time ratio of the short exposure frame, the medium exposure frame, and the long exposure frame is controlled to be 1: 2: 4. For this reason, the gain value for compensating the sensitivity ratio is set to 4 times, 2 times, and 1 time, respectively, and the signal of the short exposure pixel, the signal of the medium exposure pixel, and the signal of the long exposure pixel are synthesized to The enlargement process may be executed. Thereby, it is possible to provide input / output characteristics of HDR processing different from those of the first embodiment. Regarding the shooting operation and the HDR processing in the present embodiment, the gain values for compensating the sensitivity ratio of the short exposure frame, the medium exposure frame, and the long exposure frame are set to 4 times, 2 times, and 1 time, respectively. Since it may be carried out similarly to the embodiment, the description is omitted.
また、位置ずれ補正処理についても、第1の実施形態の変形例と同様にして、16x16全画素を用いたダイナミックレンジが拡大された画像を生成することができる。さらに、画像信号処理についても、第1の実施形態の他の変形例と同様に、処理の分散が可能である。 In addition, in the misalignment correction process, an image with an expanded dynamic range using 16 × 16 all pixels can be generated in the same manner as in the modification of the first embodiment. Further, the image signal processing can be distributed as in the other modified examples of the first embodiment.
以上のように、本実施形態においては、短時間露光時のフレーム周期に同期して、短時間露光ライン、中時間露光ライン及び長時間露光ラインを別々のフレームで読み出す。これにより、読み出し制御システムの簡略化と読み出し時及び信号処理時のデータレートの低減と平準化を実現することができる。この他、第1の実施形態と同様の他の効果を得ることができる。 As described above, in the present embodiment, the short-time exposure line, the medium-time exposure line, and the long-time exposure line are read in separate frames in synchronization with the frame period at the time of short-time exposure. Thereby, simplification of the reading control system and reduction and leveling of the data rate during reading and signal processing can be realized. In addition, other effects similar to those of the first embodiment can be obtained.
次に、本実施形態の変形例について説明する。
図7は、長時間露光フレーム、中時間露光フレーム及び短時間露光フレームの制御タイミングの変形例を示す図である。図7においては、長期垂直同期期間Tfrlが、短期垂直同期期間Tfrsの4倍の期間となっている。また、中期垂直同期期間Tfrmは、短期垂直同期期間Tfrsの3倍の期間となっている。このため、上述の例とは異なるHDR処理の入出力特性を持たせることができる。また、図7においては、動画撮影に応用するために、連続撮影が可能な制御タイミングとなっている。連続撮影を可能にするため、タイミングt96以降の制御タイミングあるいはタイミングt102以降の制御タイミングは、t90に戻って繰り返すものとする。図6と同じ動作や構成は、同じ符号で示す。
Next, a modification of this embodiment will be described.
FIG. 7 is a diagram illustrating a modification of the control timing of the long exposure frame, the medium exposure frame, and the short exposure frame. In FIG. 7, the long-term vertical synchronization period Tfrl is four times the short-term vertical synchronization period Tfrs. Further, the medium-term vertical synchronization period Tfrm is three times the short-term vertical synchronization period Tfrs. For this reason, the input / output characteristics of the HDR processing different from the above example can be provided. Further, in FIG. 7, the control timing is such that continuous shooting is possible in order to apply to moving image shooting. In order to enable continuous shooting, the control timing after timing t96 or the control timing after timing t102 is returned to t90 and repeated. The same operations and configurations as those in FIG. 6 are denoted by the same reference numerals.
図7において、タイミングt90からt96まで、及び、タイミングt96からt102までがそれぞれ、第1の長期垂直同期期間Tfrl1及び第2の長期垂直同期期間Tfrl2を示す。
タイミングt90からt91までが第1の短期垂直同期期間Tfrs1である。
タイミングt91からt93までが第2の短期垂直同期期間Tfrs2である。
タイミングt93からt95までが第3の短期垂直同期期間Tfrs3である。
タイミングt95からt96までが第4の短期垂直同期期間Tfrs4である。
タイミングt96からt97までが第5の短期垂直同期期間Tfrs5である。
タイミングt97からt99までが第6の短期垂直同期期間Tfrs6である。
タイミングt99からt101までが第7の短期垂直同期期間Tfrs7である。
タイミングt101からt102までが第8の短期垂直同期期間Tfrs8である。
In FIG. 7, timings t90 to t96 and timings t96 to t102 indicate the first long-term vertical synchronization period Tfrl1 and the second long-term vertical synchronization period Tfrl2, respectively.
The timing t90 to t91 is the first short-term vertical synchronization period Tfrs1.
The timing t91 to t93 is the second short-term vertical synchronization period Tfrs2.
The timing t93 to t95 is the third short-term vertical synchronization period Tfrs3.
The timing t95 to t96 is the fourth short-term vertical synchronization period Tfrs4.
The timing t96 to t97 is the fifth short-term vertical synchronization period Tfrs5.
The period from timing t97 to t99 is the sixth short-term vertical synchronization period Tfrs6.
The timing t99 to t101 is the seventh short-term vertical synchronization period Tfrs7.
The timing t101 to t102 is the eighth short-term vertical synchronization period Tfrs8.
ここで、長時間露光フレームFr_Lと短時間露光フレームFr_Sは、図6と同じローリングシャッタ動作を実施するものとする。中時間露光フレームFr_Mでは、短時間露光フレームFr_Sの空き時間となるVDLから3Tfrs後のVDSに同期してローリングシャッタ動作の露光が開始され、その3Tfrs後のVDSに同期してローリングシャッタ動作の読み出しが開始される。そして、この動作はVDLに同期して繰り返し実施される。 Here, it is assumed that the long exposure frame Fr_L and the short exposure frame Fr_S perform the same rolling shutter operation as in FIG. In the medium time exposure frame Fr_M, the exposure of the rolling shutter operation is started in synchronization with the VDS after 3 Tfrs from the VDL which is the free time of the short exposure frame Fr_S, and the rolling shutter operation is read in synchronization with the VDS after 3 Tfrs. Is started. This operation is repeatedly performed in synchronization with the VDL.
具体的には、Tfrl1を構成するTfrs1において、一巡前に露光を開始した長時間露光フレームの出力信号Fr_L Readout1を出力する。本変形例においては、TfrlをTfrsの4倍に設定するとともに、TfrmをTfrsの3倍に設定しているため、Tfrs2においては信号出力はない。そして、Tfrs3において、一巡前に露光を開始した中時間露光フレームの出力信号Fr_M Readout3を出力する。次に、Tfrs4において、短時間露光フレームの出力信号Fr_S Readout4を出力する。 Specifically, in Tfrs1 constituting Tfrl1, an output signal Fr_L Readout1 of a long exposure frame in which exposure is started one round before is output. In this modification, Tfrl is set to 4 times Tfrs, and Tfrm is set to 3 times Tfrs, so there is no signal output at Tfrs2. Then, in Tfrs3, an output signal Fr_M Readout3 of the medium time exposure frame in which the exposure is started one round before is output. Next, in Tfrs4, an output signal Fr_S Readout4 of the short exposure frame is output.
同様に、Tfrl2を構成するTfrs5において、長時間露光フレームの出力信号Fr_L Readout5を出力する。そして、Tfrs6においては信号出力はなく、Tfrs7において、中時間露光フレームの出力信号Fr_M Readout7を出力する。次に、Tfrs8において、短時間露光フレームの出力信号Fr_S Readout8を出力する。そして、この動作をVDLに同期して繰り返し実施するものとする。これにより、VDSに同期して、長時間露光フレームの出力信号Fr_L Readout、中時間露光フレームの出力信号Fr_M Readout及び短時間露光フレームの出力信号Fr_S Readoutが繰り返し出力される。そのため、長時間露光終了後に、全ラインを一度に読み出す動作に比べて、撮像素子からの出力信号の読み出しが平準化される。 Similarly, an output signal Fr_L Readout5 for the long exposure frame is output at Tfrs5 constituting Tfrl2. In Tfrs6, there is no signal output, and in Tfrs7, an output signal Fr_M Readout7 of the medium time exposure frame is output. Next, at Tfrs8, an output signal Fr_S Readout8 of the short exposure frame is output. This operation is repeatedly performed in synchronization with the VDL. Thus, in synchronization with VDS, the output signal Fr_L Readout of the long exposure frame, the output signal Fr_M Readout of the medium exposure frame, and the output signal Fr_S Readout of the short exposure frame are repeatedly output. For this reason, the reading of the output signal from the image sensor is leveled compared to the operation of reading all lines at once after the long exposure.
また、本変形例においては、TfrlをTfrsの4倍に設定しているため、短時間露光フレームFr_Sの空き時間は、Tfrsの3倍になっている。そこで、本変形例においては、TfrmをTfrsの3倍に設定しているので、露光に寄与しない短時間露光ラインの無駄時間を無くしていることになる。 Further, in this modification, Tfrl is set to 4 times Tfrs, so the free time of the short exposure frame Fr_S is 3 times Tfrs. Therefore, in this modification, Tfrm is set to be three times Tfrs, so that the dead time of the short exposure line that does not contribute to exposure is eliminated.
次に、電子シャッタを用いた露光制御について説明する。
まず、Tfrl1における長時間露光フレームFr_Lにおいては、タイミングt92の水平同期信号HDに同期して、長時間露光ラインの画素をライン順次でリセットし露光を開始する。これにより、長時間露光フレームFr_Lのライン順次のローリングシャッタ動作を開始する。この時のリセット動作は破線610で示される。
Next, exposure control using an electronic shutter will be described.
First, in the long exposure frame Fr_L at Tfrl1, the pixels of the long exposure line are reset line by line in synchronization with the horizontal synchronization signal HD at timing t92, and exposure is started. Thereby, the line sequential rolling shutter operation of the long exposure frame Fr_L is started. The reset operation at this time is indicated by a
次に、タイミングt92からTfrl_exp経過後のt96のVDLに同期して、長時間露光ラインの画素をライン順次で読み出す。これにより、長時間露光フレームFr_Lのライン順次のローリングシャッタ動作を終了する。この時、露光時間となるTfrl_expは、16HDとなっている。そして、長時間露光フレームFr_Lの出力信号が、Tfrs5におけるFr_L Readout5となる。 Next, the pixels of the long-time exposure line are read out line-sequentially in synchronization with the VDL at t96 after Tfrl_exp has elapsed from timing t92. Thereby, the line sequential rolling shutter operation of the long exposure frame Fr_L is completed. At this time, Tfrl_exp serving as the exposure time is 16 HD. Then, the output signal of the long exposure frame Fr_L becomes Fr_L Readout5 at Tfrs5.
次に、Tfrl1における短時間露光フレームFr_Sにおいては、タイミングt94の水平同期信号HDに同期して、短時間露光ラインの画素をライン順次でリセットし露光を開始する。これにより、短時間露光フレームFr_Sのライン順次のローリングシャッタ動作を開始する。この時のリセット動作は破線620で示されている。次に、タイミングt94からTfrs_exp経過後のt95のVDSに同期して、短時間露光ラインの画素をライン順次で読み出す。これにより、短時間露光フレームFr_Sのライン順次のローリングシャッタ動作を終了する。この時、露光時間となるTfrs_expは、4HDとなっている。そして、短時間露光フレームFr_Sの出力信号が、Tfrs4におけるFr_S Readout4となる。
Next, in the short exposure frame Fr_S in Tfrl1, the pixels of the short exposure line are reset in line sequence in synchronization with the horizontal synchronization signal HD at timing t94, and exposure is started. Thereby, the line sequential rolling shutter operation of the short exposure frame Fr_S is started. The reset operation at this time is indicated by a
次に、中時間露光フレームFr_Mにおいては、タイミングt96の水平同期信号HDに同期して、中時間露光ラインの画素をライン順次でリセットし露光を開始する。これにより、中時間露光フレームFr_Mのライン順次のローリングシャッタ動作を開始する。この時のリセット動作は破線630で示されている。次に、タイミングt96からTfrm_exp経過後のt99のVDSに同期して、中時間露光ラインの画素をライン順次で読み出す。これにより、中時間露光フレームFr_Mのライン順次のローリングシャッタ動作を終了する。この時、露光時間となるTfrm_expは、12HDとなっている。そして、中時間露光フレームFr_Mの出力信号が、短時間露光フレームのTfrs7におけるFr_M Readout7となる。
Next, in the medium time exposure frame Fr_M, in synchronization with the horizontal synchronization signal HD at timing t96, the pixels of the medium time exposure line are reset in line sequence to start exposure. Thereby, the line sequential rolling shutter operation of the medium time exposure frame Fr_M is started. The reset operation at this time is indicated by a
以上が、VDLに同期して実施される電子シャッタを用いた露光制御の動作となる。ここで、短時間露光フレームの露光時間Tfrs_exp、中時間露光フレームの露光時間Tfrm_exp及び長時間露光フレームの露光時間Tfrl_expの比は、4HD:12HD:16HD=1:3:4となっている。これらの電子シャッタ動作により、短時間露光フレーム、中時間露光フレーム及び長時間露光フレームの露光時間の比が1:3:4となるように制御される。このため、感度比を補償するゲイン値をそれぞれ4倍、4/3倍、1倍として、短時間露光画素の信号、中時間露光画素の信号及び長時間露光画素の信号を合成することでダイナミックレンジの拡大処理を実行すればよい。これにより、第1の実施形態及び本実施形態とは異なるHDR処理の入出力特性を持たせることができる。 The above is the operation of the exposure control using the electronic shutter that is performed in synchronization with the VDL. Here, the ratio of the exposure time Tfrs_exp for the short exposure frame, the exposure time Tfrm_exp for the medium exposure frame, and the exposure time Tfrl_exp for the long exposure frame is 4HD: 12HD: 16HD = 1: 3: 4. By these electronic shutter operations, the exposure time ratio of the short-time exposure frame, the medium-time exposure frame, and the long-time exposure frame is controlled to be 1: 3: 4. For this reason, the gain value for compensating the sensitivity ratio is set to 4 times, 4/3 times, and 1 time, respectively, and the signal of the short time exposure pixel, the signal of the medium time exposure pixel, and the signal of the long time exposure pixel are synthesized dynamically. A range expansion process may be executed. Thereby, the input / output characteristics of the HDR processing different from those of the first embodiment and the present embodiment can be provided.
次に、本実施形態の他の変形例について説明する。HDR処理の基本的な動作は、図8を用いて説明した、第1の実施形態のさらに他の変形例と同様であるので、図及び符号を流用する。 Next, another modification of the present embodiment will be described. The basic operation of the HDR process is the same as that of still another modification example of the first embodiment described with reference to FIG.
図8(a)は、画素領域200の撮像面照度Eplxと画素の出力信号Psigの関係を表した画素特性の図である。本実施形態においては、画素特性Exp1、Exp2及びExp4が、それぞれ短時間露光フレームの出力信号、中時間露光フレームの出力信号、中時間露光フレームの出力信号及び長時間露光フレームの出力信号に相当する。
FIG. 8A is a diagram of pixel characteristics that represents the relationship between the imaging surface illuminance Epix of the
図8(e)は、本実施形態の撮像装置に対して、画素特性Exp1、Exp2及びExp4を用いてHDR処理を実施した場合の、撮像面照度Eplxと画像信号処理に用いられる画像信号Ssigの関係を表した画像信号特性の図である。HDR処理の方法は、画素特性Exp1、Exp2及びExp4を加算して、最大飽和信号がSsigとなるように正規化することで実現する。 FIG. 8E illustrates the imaging surface illuminance Epix and the image signal Ssig used for the image signal processing when the HDR processing is performed using the pixel characteristics Exp1, Exp2, and Exp4 for the imaging device of the present embodiment. It is a figure of the image signal characteristic showing the relationship. The HDR processing method is realized by adding the pixel characteristics Exp1, Exp2, and Exp4 and normalizing the maximum saturation signal to be Ssig.
撮像面照度0からE4までは、図8(a)における画素特性Exp1、Exp2及びExp4を加算する。
撮像面照度E4からE2までは、図8(a)において画素特性Exp4が飽和しているので、PSATと画素特性Exp1及びExp2を加算する。
撮像面照度E2からE1までは、図8(a)において画素特性Exp2及びExp4がともに飽和しているので、2PSATと画素特性Exp1を加算する。
撮像面照度E1以上は、図8(a)において画素特性Exp1、Exp2及びExp4がすべて飽和しているので、最大飽和信号量となる3PSATとなっている。
For imaging surface illuminances from 0 to E4, pixel characteristics Exp1, Exp2, and Exp4 in FIG. 8A are added.
From the imaging surface illuminances E4 to E2, since the pixel characteristic Exp4 is saturated in FIG. 8A, PSAT and the pixel characteristics Exp1 and Exp2 are added.
Since the pixel characteristics Exp2 and Exp4 are both saturated in FIG. 8A from the imaging surface illuminance E2 to E1, 2PSAT and the pixel characteristic Exp1 are added.
Since the pixel characteristics Exp1, Exp2, and Exp4 are all saturated in FIG. 8A, the imaging surface illuminance E1 or higher is 3PSAT, which is the maximum saturation signal amount.
このように加算した画素特性に対して、最大飽和信号量3PSATがSSATになるように正規化することで、図8(e)のHDR処理が実現する。そして、撮像素子12を図6のように動作させるとともに、信号処理部13において図8(e)となるようにHDR処理を実施するように撮像装置を制御すればよい。これにより、撮像面照度0からE1に対応して、画像信号が0からSSATまで階調を持って出力していることがわかる。さらに、最大飽和信号量3PSATがSSATになるように正規化しているので、ダイナミックレンジが3倍に拡大されていることがわかる。
The HDR processing shown in FIG. 8E is realized by normalizing the added pixel characteristics so that the maximum saturation signal amount 3PSAT becomes SSAT. Then, the
図8(f)は、本実施形態の変形例の撮像装置に対して、画素特性Exp1、Exp3及びExp4を用いてHDR処理を実施した場合の、撮像面照度Eplxと画像信号処理に用いられる画像信号Ssigの関係を表した画像信号特性の図である。HDR処理の方法は、画素特性Exp1、Exp3及びExp4を加算して、最大飽和信号がSsigとなるように正規化することで実現する。 FIG. 8F shows an image used for imaging surface illuminance Epix and image signal processing when HDR processing is performed using the pixel characteristics Exp1, Exp3, and Exp4 for the imaging apparatus according to the modification of the present embodiment. It is a figure of the image signal characteristic showing the relationship of signal Ssig. The HDR processing method is realized by adding the pixel characteristics Exp1, Exp3, and Exp4 and normalizing the maximum saturation signal to be Ssig.
撮像面照度0からE4までは、図8(a)における画素特性Exp1、Exp3及びExp4を加算する。
撮像面照度E4からE3までは、図8(a)において画素特性Exp4が飽和しているので、PSATと画素特性Exp1及びExp3を加算する。
撮像面照度E3からE1までは、図8(a)において画素特性Exp3及びExp4がともに飽和しているので、2PSATと画素特性Exp1を加算する。
撮像面照度E1以上は、図8(a)において画素特性Exp1、Exp3及びExp4がすべて飽和しているので、最大飽和信号量となる3PSATとなっている。
For imaging surface illuminances from 0 to E4, pixel characteristics Exp1, Exp3, and Exp4 in FIG. 8A are added.
For the imaging surface illuminances E4 to E3, since the pixel characteristic Exp4 is saturated in FIG. 8A, PSAT and the pixel characteristics Exp1 and Exp3 are added.
Since the pixel characteristics Exp3 and Exp4 are both saturated in FIG. 8A from the imaging surface illuminance E3 to E1, 2PSAT and the pixel characteristic Exp1 are added.
Since the pixel characteristics Exp1, Exp3, and Exp4 are all saturated in FIG. 8A, the imaging surface illuminance E1 or higher is 3PSAT, which is the maximum saturation signal amount.
このように加算した画素特性に対して、最大飽和信号量3PSATがSSATになるように正規化することで、図8(f)のHDR処理が実現する。そして、撮像素子12を図7のように動作させるとともに、信号処理部13において図8(f)となるようにHDR処理を実施するように撮像装置を制御すればよい。これにより、撮像面照度0からE1に対応して、画像信号が0からSSATまで階調を持って出力していることがわかる。さらに、3最大飽和信号量PSATがSSATになるように正規化しているので、ダイナミックレンジが3倍に拡大されていることがわかる。
By normalizing the pixel characteristics thus added so that the maximum saturation signal amount 3PSAT becomes SSAT, the HDR processing of FIG. 8F is realized. Then, the
図8(e)及び図8(f)は、ガンマ特性として知られている入出力特性で、これによりダイナミックレンジを拡大すること、及び、異なるHDR処理の入出力特性を持たせることが可能となる。 8 (e) and 8 (f) are input / output characteristics known as gamma characteristics, which can expand the dynamic range and have different HDR processing input / output characteristics. Become.
次に、本実施形態の更に他の変形例について説明する。
ここでは、図8(e)及び図8(f)を用いて、被写体に応じてHDR処理の入出力特性を切り換える場合について説明する。まず、静止画像の撮影前あるいは動画撮影中において、信号処理部13に入力したデジタル画像信号から、被写体あるいは測光領域の輝度分布を計算する。計算した輝度分布が所定のしきい値より広いと判断された場合、撮像素子12を図6のように動作させ、被写体の主要な輝度分布が撮像面照度に換算して0からE2までに入るように、絞りや電子シャッタを設定する。そして、信号処理部13において図8(e)となるようにHDR処理を実施するように撮像装置を制御する。これにより、撮像面照度0からE2までの広い撮像面照度に対して多くの階調を割り当てることができるので、被写体に対して十分なダイナミックレンジを確保した良好な画像を撮影することができる。
Next, still another modification of the present embodiment will be described.
Here, the case where the input / output characteristics of the HDR processing are switched in accordance with the subject will be described with reference to FIGS. 8E and 8F. First, the luminance distribution of the subject or photometric area is calculated from the digital image signal input to the
次に、計算した輝度分布が所定のしきい値より狭いと判断された場合、撮像素子12を図7のように動作させ、被写体の主要な輝度分布が撮像面照度に換算して0からE4までに入るように、絞りや電子シャッタを設定する。そして、信号処理部13において図8(f)となるようにHDR処理を実施するように撮像装置を制御する。これにより、撮像面照度0からE4までの傾きが大きくなり、その間に多くの階調が割り当てられるので、ダイナミックレンジを拡大するとともに、陰影の際だった良好な画像を撮影することができる。
Next, when it is determined that the calculated luminance distribution is narrower than a predetermined threshold value, the
こうして、被写体に応じたHDR処理を実施した後に、静止画の撮影や動画撮影を行うことで、良好な画像を得ることができる。 In this way, a good image can be obtained by performing still image shooting or moving image shooting after performing HDR processing according to the subject.
<他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
<Other embodiments>
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed. In this case, the program and the storage medium storing the program constitute the present invention.
Claims (11)
短時間露光用の垂直同期信号である短期垂直同期信号と、1周期が前記短期垂直同期信号の所定周期分に等しい長時間露光用の長期垂直同期信号とを発生する同期信号発生手段と、
前記長期垂直同期信号に従い、前記撮像素子の所定ライン間隔で設定した長時間露光用のラインで長時間露光を実施するとともに、前記短期垂直同期信号に従い、前記撮像素子のその他のラインでそれぞれ短時間露光及び中時間露光を実施する露光制御手段と、
を有し、
前記露光制御手段は、
前記長時間露光用のラインについては、前記長期垂直同期信号に同期して前記長時間露光で得られた画素信号の読み出しを開始し、
前記その他のラインについては、前記長時間露光用のラインの画素信号の読み出し期間と重複しない短期垂直同期信号に同期して前記短時間露光で得られた画素信号の読み出しを開始し、前記長時間露光で得られた画素信号の読み出しの期間及び前記短時間露光で得られた画素信号の読み出しの期間と重複しない短期垂直同期信号に同期して前記中時間露光で得られた画素信号の読み出しを開始する
ことを特徴とする撮像装置。 An image sensor in which a plurality of pixels having photoelectric conversion elements are arranged in a matrix; and
Synchronization signal generating means for generating a short-term vertical synchronization signal that is a vertical synchronization signal for short-time exposure, and a long-term vertical synchronization signal for long-time exposure in which one period is equal to a predetermined period of the short-term vertical synchronization signal;
In accordance with the long-term vertical synchronization signal, long-time exposure is performed on a long-exposure line set at a predetermined line interval of the image sensor, and in accordance with the short-term vertical synchronization signal, each other line of the image sensor is short-time. Exposure control means for performing exposure and medium time exposure;
Have
The exposure control means includes
For the long exposure line, start reading the pixel signal obtained by the long exposure in synchronization with the long vertical synchronization signal,
For the other lines, readout of the pixel signal obtained by the short-time exposure is started in synchronization with a short-term vertical synchronization signal that does not overlap with the readout period of the pixel signal of the long-time exposure line, and the long-time exposure The readout of the pixel signal obtained by the medium-time exposure is synchronized with the readout period of the pixel signal obtained by the exposure and the short-term vertical synchronization signal that does not overlap with the readout period of the pixel signal obtained by the short-time exposure. An imaging apparatus characterized by starting.
前記長時間露光用のラインについての長時間露光によるローリングシャッタ動作を第1の長期垂直同期信号に同期して開始し、
前記その他のラインについての短時間露光によるローリングシャッタ動作を前記第1の長期垂直同期信号の次の第1の短期垂直同期信号に同期して開始し、
前記その他のラインについての短時間露光による画素信号の読み出しを、前記第1の短期垂直同期信号の次の第2の短期垂直同期信号に同期して開始するとともに、前記その他のラインについての中時間露光によるローリングシャッタ動作を開始し、
前記長時間露光用のラインについての長時間露光による画素信号の読み出しを、前記第1の長期垂直同期信号の次の第2の長期垂直同期信号に同期して開始し、
前記その他のラインについての中時間露光による画素信号の読み出しを、前記第2の長期垂直同期信号の次の第3の短期垂直同期信号に同期して開始する
ことを特徴とする請求項1に記載の撮像装置。 The exposure control means includes
A rolling shutter operation by long exposure for the long exposure line is started in synchronization with a first long vertical synchronization signal;
A rolling shutter operation by short-time exposure for the other lines is started in synchronization with a first short-term vertical synchronization signal next to the first long-term vertical synchronization signal;
The readout of the pixel signal by the short-time exposure for the other line is started in synchronization with the second short-term vertical synchronizing signal next to the first short-term vertical synchronizing signal, and the medium time for the other line is started. Start rolling shutter operation by exposure,
Reading out the pixel signal by the long exposure for the long exposure line in synchronization with the second long vertical synchronization signal next to the first long vertical synchronization signal;
2. The readout of a pixel signal by medium-time exposure for the other lines is started in synchronization with a third short-term vertical synchronization signal next to the second long-term vertical synchronization signal. Imaging device.
露光制御手段が、前記長期垂直同期信号に従い、前記撮像素子の所定ライン間隔で設定した長時間露光用のラインで長時間露光を実施するとともに、前記短期垂直同期信号に従い、前記撮像素子のその他のラインでそれぞれ短時間露光及び中時間露光を実施する露光制御工程を有し、
前記露光制御工程は、
前記長時間露光用のラインについては、前記長期垂直同期信号に同期して前記長時間露光で得られた画素信号の読み出しを開始し、
前記その他のラインについては、前記長時間露光用のラインの画素信号の読み出し期間と重複しない短期垂直同期信号に同期して前記短時間露光で得られた画素信号の読み出しを開始し、前記長時間露光で得られた画素信号の読み出しの期間及び前記短時間露光で得られた画素信号の読み出しの期間と重複しない短期垂直同期信号に同期して前記中時間露光で得られた画素信号の読み出しを開始する
ことを特徴とする撮像装置の制御方法。 An imaging device in which a plurality of pixels having photoelectric conversion elements are arranged in a matrix, a short-term vertical synchronization signal that is a vertical synchronization signal for short-time exposure, and a length equal to a predetermined period of the short-term vertical synchronization signal A control method for an imaging apparatus having synchronization signal generating means for generating a long-term vertical synchronization signal for time exposure,
The exposure control means performs long exposure with a long exposure line set at a predetermined line interval of the image sensor in accordance with the long-term vertical synchronization signal, and performs other exposure of the image sensor in accordance with the short-term vertical synchronization signal. It has an exposure control process that carries out short-time exposure and medium-time exposure respectively in the line,
The exposure control step includes
For the long exposure line, start reading the pixel signal obtained by the long exposure in synchronization with the long vertical synchronization signal,
For the other lines, readout of the pixel signal obtained by the short-time exposure is started in synchronization with a short-term vertical synchronization signal that does not overlap with the readout period of the pixel signal of the long-time exposure line, and the long-time exposure The readout of the pixel signal obtained by the medium-time exposure is synchronized with the readout period of the pixel signal obtained by the exposure and the short-term vertical synchronization signal that does not overlap with the readout period of the pixel signal obtained by the short-time exposure. A control method for an imaging apparatus, characterized by starting.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013217863A JP6190243B2 (en) | 2013-10-18 | 2013-10-18 | Imaging apparatus and control method thereof |
US14/169,796 US9113097B2 (en) | 2013-02-06 | 2014-01-31 | Image capturing apparatus that controls performing of short-term and long-term exposures and corresponding read operations, and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013217863A JP6190243B2 (en) | 2013-10-18 | 2013-10-18 | Imaging apparatus and control method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015080180A JP2015080180A (en) | 2015-04-23 |
JP6190243B2 true JP6190243B2 (en) | 2017-08-30 |
Family
ID=53011251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013217863A Expired - Fee Related JP6190243B2 (en) | 2013-02-06 | 2013-10-18 | Imaging apparatus and control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6190243B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017126964A (en) * | 2016-01-15 | 2017-07-20 | ソニー株式会社 | Imaging control unit, and imaging apparatus |
US9871965B2 (en) * | 2016-02-03 | 2018-01-16 | Texas Instruments Incorporated | Image processing for wide dynamic range (WDR) sensor data |
JP7086272B2 (en) | 2018-08-16 | 2022-06-17 | コリア リサーチ インスティテュート オブ ケミカル テクノロジー | Isoindoline-1-one derivative, a method of preparing the same, and a pharmaceutical composition comprising the same as an effective component for preventing or treating cancer. |
CN115174819B (en) * | 2022-07-08 | 2023-11-03 | 重庆紫光华山智安科技有限公司 | Exposure control method, device, equipment and medium |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010004240A (en) * | 2008-06-19 | 2010-01-07 | Yamaha Corp | Cmos solid state imaging apparatus |
JP5342969B2 (en) * | 2009-09-10 | 2013-11-13 | 富士フイルム株式会社 | Imaging apparatus and imaging method |
JP6167473B2 (en) * | 2012-03-30 | 2017-07-26 | 株式会社ニコン | Imaging device |
-
2013
- 2013-10-18 JP JP2013217863A patent/JP6190243B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015080180A (en) | 2015-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9113097B2 (en) | Image capturing apparatus that controls performing of short-term and long-term exposures and corresponding read operations, and control method thereof | |
JP6800618B2 (en) | Image sensor, image pickup device, and image pickup signal processing method | |
WO2011145342A1 (en) | Imaging device | |
CN109474781B (en) | Image pickup apparatus, control method for image pickup apparatus, and recording medium | |
JP2007104178A (en) | Imaging element and imaging device | |
JP6190243B2 (en) | Imaging apparatus and control method thereof | |
JP2020053771A (en) | Image processing apparatus and imaging apparatus | |
JP6750852B2 (en) | Imaging device and method for controlling imaging device | |
JP2006129418A (en) | Method for driving charge-transfer type solid-state image pick-up device and image pick-up method and apparatus | |
JP2006033123A (en) | Image pickup device | |
JP4678849B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP4317117B2 (en) | Solid-state imaging device and imaging method | |
JP6771944B2 (en) | Imaging device and control method of imaging device | |
JP6302217B2 (en) | Imaging apparatus and control method thereof | |
JP2005217955A (en) | Imaging device, its control method, program, and storage medium | |
CN113228609B (en) | Imaging element, imaging apparatus, imaging method, and computer-readable storage medium | |
JP2007142693A (en) | Device and method for image pickup | |
JP2005303653A (en) | Image pickup device | |
JP7250562B2 (en) | Imaging device and its control method | |
JP7020463B2 (en) | Imaging device | |
JP2018093301A (en) | Image pick-up device and control method of the same | |
JP6808473B2 (en) | Imaging device and its driving method | |
JP5975658B2 (en) | Imaging apparatus and control method thereof | |
JP2006148591A (en) | Solid-state imaging apparatus and driving method of solid-state imaging element | |
JP2013090106A (en) | Imaging device and control method for imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161017 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170626 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170804 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6190243 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |