JP2013121093A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2013121093A JP2013121093A JP2011268533A JP2011268533A JP2013121093A JP 2013121093 A JP2013121093 A JP 2013121093A JP 2011268533 A JP2011268533 A JP 2011268533A JP 2011268533 A JP2011268533 A JP 2011268533A JP 2013121093 A JP2013121093 A JP 2013121093A
- Authority
- JP
- Japan
- Prior art keywords
- mode
- image
- exposure time
- dynamic range
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、カラムＡＤＣ回路を備えた撮像装置における高ダイナミックレンジ化に関するものである。 The present invention relates to a high dynamic range in an imaging apparatus including a column ADC circuit.
複数の画素がマトリクス状に配列された画素部と、画素部の各列に対応して設けられ、各画素が出力した画素信号を読み出してデジタルの画像信号を出力するカラムＡＤＣ（Analog to Digital Converter）を備えるＣＭＯＳイメージセンサが知られている。このＣＭＯＳイメージセンサを用いた撮像装置においては、近年の高画質化の要請に伴い、イメージセンサが取得した画像信号の輝度範囲、即ちダイナミックレンジの拡張が１つの大きなテーマとなっている。 A pixel unit in which a plurality of pixels are arranged in a matrix and a column ADC (Analog to Digital Converter) that is provided corresponding to each column of the pixel unit, reads a pixel signal output from each pixel, and outputs a digital image signal ) Is known. In the imaging device using the CMOS image sensor, with the recent demand for higher image quality, the expansion of the luminance range of the image signal acquired by the image sensor, that is, the dynamic range, is one major theme.
また、折り返し積分技術（Folding Integration Technique）を用いた列並列ＣＭＳ（Correlated Multiple Sampling：相関多重サンプリング）回路をカラムＡＤＣに用いることによって、ダイナミックレンジを拡張する方法が知られている。言い換えると、画素が出力したリセット信号とシグナル信号を、折り返し積分技術を用いてそれぞれ複数回サンプリングして積分し、その差分を画像信号とすることによって、画像信号のＳＮ比を良くする（ダイナミックレンジを広げる）方法である。 In addition, a method of extending the dynamic range by using a column parallel CMS (Correlated Multiple Sampling) circuit using a folding integration technique for a column ADC is known. In other words, the reset signal and the signal signal output from the pixel are sampled and integrated multiple times using the folding integration technique, and the difference is used as the image signal, thereby improving the SN ratio of the image signal (dynamic range). This is a way to spread
そして、特許文献１には、異なる複数の露光時間で撮影した画像を合成する多重露光を採用することでダイナミックレンジを拡張する方法が記載されている。
相関多重サンプリングを実施することで、低い出力レベルの画像信号から高ＳＮ比の信号が得られ、低輝度性能を向上させることでダイナミックレンジの拡大が実現できる。しかし、相関多重サンプリングの場合は低輝度性能を向上させるだけで、高輝度性能を高める高ダイナミックレンジ化はできない。 By performing correlated multiplex sampling, a signal with a high S / N ratio can be obtained from an image signal with a low output level, and the dynamic range can be expanded by improving the low luminance performance. However, in the case of correlated multiplex sampling, only a low luminance performance is improved, and a high dynamic range that enhances a high luminance performance cannot be achieved.
また、多重露光の場合は、フレーム時間内を分割するため、最大露光時間が短くなり、低輝度感度が悪化してしまう。露光時間を短くしない多重露光も非破壊読み出しを実現することで可能であるが、この動作を行うことでＳＮ比の低下や画素構造の複雑さを招いてしまう。 In the case of multiple exposure, since the frame time is divided, the maximum exposure time is shortened and the low luminance sensitivity is deteriorated. Multiple exposure without shortening the exposure time is also possible by realizing non-destructive readout, but this operation causes a decrease in the SN ratio and complexity of the pixel structure.
本発明の目的は、撮影シーンに応じて相関多重サンプリングまたは多重露光を行うことで効率的に高ダイナミックレンジ化を図る撮像装置を提供することである。 An object of the present invention is to provide an imaging apparatus that efficiently achieves a high dynamic range by performing correlated multiple sampling or multiple exposure in accordance with a shooting scene.
本発明による撮像装置は、撮像素子と、前記撮像素子が出力した画素信号を相関多重サンプリング処理によってアナログ／デジタル変換する、又は予め定められた通常のアナログ／デジタル変換を行って画像信号を出力する変換手段と、前記変換手段が出力した画像信号の示す画像に基づいて、当該画像のダイナミックレンジを明側及び暗側の少なくとも何れか一方に拡張する必要があるか否かを判定する判定手段と、前記判定手段による判定結果に基づき、前記変換手段に相関多重サンプリング処理を用いてアナログ／デジタル変換させる多重相関モードと、前記撮像素子に露光時間の異なる複数の画像を撮影させる多重露光モードと、前記多重相関モード及び前記多重露光モードとを組み合わせた組み合わせモードとの中から何れかのモードを選択するモード選択手段と、前記モード選択手段により少なくとも前記多重露光モードを実行するモードが選択された場合、前記変換手段から出力された露光時間の異なる複数の画像を１つの画像に合成する合成手段と、前記モード選択手段が選択したモードに従って撮影を行わせる制御手段と、を備える。 An image pickup apparatus according to the present invention outputs an image signal by performing analog / digital conversion on an image pickup element and a pixel signal output from the image pickup element by correlation multiple sampling processing, or by performing predetermined normal analog / digital conversion. A converting unit; and a determining unit that determines whether or not the dynamic range of the image needs to be expanded to at least one of a bright side and a dark side based on an image indicated by an image signal output from the converting unit. , Based on a determination result by the determination unit, a multiple correlation mode in which the conversion unit performs analog / digital conversion using a correlation multiple sampling process, and a multiple exposure mode in which the imaging device captures a plurality of images having different exposure times, One mode is selected from the multiple correlation mode and the combination mode combining the multiple exposure mode. When a mode selection means for selecting a mode and a mode for executing at least the multiple exposure mode are selected by the mode selection means, a plurality of images output from the conversion means and having different exposure times are combined into one image. A combining unit; and a control unit configured to perform photographing according to the mode selected by the mode selection unit.
また、上記構成において、前記モード選択手段は、前記判定手段によりダイナミックレンジを拡張する必要がないと判定された場合、予め定められた通常の撮影を行う通常モードを選択することとしてもよい。 In the above configuration, the mode selection unit may select a normal mode in which normal shooting is performed when it is determined by the determination unit that it is not necessary to expand the dynamic range.
これらの構成によれば、判定手段が画像のダイナミックレンジ拡張の必要性を判定し、判定結果に基づいてモード選択手段が多重相関モード、多重露光モード、多重相関モードと多重露光モードを組み合わせた組み合わせモード、通常モードの何れかを選択して撮影が行われるため、効率的に高ダイナミックレンジ化を図ることができる。 According to these configurations, the determination unit determines the necessity of extending the dynamic range of the image, and the mode selection unit, based on the determination result, combines the multiple correlation mode, the multiple exposure mode, and the combination of the multiple correlation mode and the multiple exposure mode. Since shooting is performed by selecting either the mode or the normal mode, a high dynamic range can be efficiently achieved.
また、上記構成において、被写体の明るさに応じて基準露光時間を設定する露光時間設定手段と、前記撮像素子に連続して複数回撮影させ、各撮影によって得られた画像から被写体の移動量を算出する移動量算出手段と、を更に備え、前記制御手段は、前記移動量が予め定められた量以下である場合、所定の低速用撮影シーケンスで撮影を行わせ、前記移動量が前記予め定められた量より大きい場合、所定の高速用シーケンスで撮影を行わせるものであることが望ましい。 Further, in the above configuration, the exposure time setting means for setting a reference exposure time according to the brightness of the subject, and the image sensor continuously shoots a plurality of times, and the amount of movement of the subject from the image obtained by each shooting is calculated. A moving amount calculating means for calculating, and when the moving amount is equal to or less than a predetermined amount, the control means causes shooting in a predetermined low-speed shooting sequence, and the moving amount is determined in advance. If the amount is larger than the predetermined amount, it is desirable that the photographing be performed in a predetermined high-speed sequence.
この構成によれば、判定手段が画像のダイナミックレンジ拡張の必要性を判定し、モード選択手段が判定結果に基づいて多重相関モード、多重露光モード、組み合わせモード、通常モードの何れかを選択すると共に、制御手段は被写体の移動量に合わせて撮影シーケンスを切り替えて撮影を行うため、撮影シーンに合わせた高ダイナミックレンジ化を図ることができる。 According to this configuration, the determination unit determines the necessity of extending the dynamic range of the image, and the mode selection unit selects one of the multiple correlation mode, the multiple exposure mode, the combination mode, and the normal mode based on the determination result. Since the control means switches the shooting sequence according to the amount of movement of the subject and performs shooting, it is possible to achieve a high dynamic range according to the shooting scene.
また、上記構成において、前記移動量が予め定められた量以下であるときに前記判定手段が明側にのみ拡張する必要があると判定した場合、前記モード選択手段は前記多重露光モードを選択することが望ましい。 In the above configuration, when the determination unit determines that it is necessary to expand only to the bright side when the movement amount is equal to or less than a predetermined amount, the mode selection unit selects the multiple exposure mode. It is desirable.
露光時間を短くすると、ダイナミックレンジが明側にシフトする。そこで、画像が明側のみに飽和している場合、多重露光モードとすることによって、通常撮影時に比べて明側のダイナミックレンジを拡張させることができる。ここで、多重露光とは、１フレーム内で露光時間を分割し、異なる複数の露光時間で撮影した各画像を１つの画像に合成する撮影方法のことである。つまり、合成画像に基準露光時間より短い露光時間で撮影した画像が含まれるため、これらの画像を合成することで、合成後の画像のダイナミックレンジを明側に拡張することができる。 When the exposure time is shortened, the dynamic range shifts to the bright side. Therefore, when the image is saturated only on the bright side, the dynamic range on the bright side can be expanded by setting the multiple exposure mode as compared with normal shooting. Here, the multiple exposure is a photographing method in which the exposure time is divided within one frame, and each image photographed at a plurality of different exposure times is combined into one image. That is, since the composite image includes images taken with an exposure time shorter than the reference exposure time, the dynamic range of the combined image can be expanded to the bright side by combining these images.
また、上記構成において、前記移動量が予め定められた量以下であるときに前記判定手段が暗側にのみ拡張する必要があると判定し且つ前記基準露光時間が前記撮像素子のフレームレートより十分小さい場合、前記モード選択手段は前記多重露光モードを選択し、前記判定手段が暗側にのみ拡張する必要があると判定し且つ前記基準露光時間が前記フレームレートと近似している場合、前記モード選択手段は前記多重相関モードを選択することが望ましい。 Further, in the above configuration, when the movement amount is equal to or less than a predetermined amount, the determination unit determines that it is necessary to expand only to a dark side, and the reference exposure time is sufficiently larger than a frame rate of the image sensor. If small, the mode selection means selects the multiple exposure mode, the determination means determines that it is necessary to extend only to the dark side, and the reference exposure time approximates the frame rate, the mode It is preferable that the selection means selects the multiple correlation mode.
画像が暗側のみに飽和しており、基準露光時間がフレームレートより十分小さい場合、多重露光モードとし、その際に多重露光に用いる最大露光時間を基準露光時間の所定倍数にする等、基準露光時間より長い露光時間を含んだ多重露光を行うことで暗側のダイナミックレンジを拡張させることができる。 If the image is saturated only on the dark side and the reference exposure time is sufficiently smaller than the frame rate, the multiple exposure mode is set, and the maximum exposure time used for multiple exposure is set to a predetermined multiple of the reference exposure time. The dynamic range on the dark side can be expanded by performing multiple exposure including an exposure time longer than the time.
一方、画像が暗側のみに飽和しており、基準露光時間がフレームレートと近似している場合、フレームレートが多重露光の最大露光時間の上限となるため、多重露光によるダイナミックレンジ拡張は期待できない。従って多重相関モードを用いることで、暗側のダイナミックレンジを拡張することができる。 On the other hand, if the image is saturated only on the dark side and the reference exposure time is close to the frame rate, the frame rate becomes the upper limit of the maximum exposure time for multiple exposure, so dynamic range expansion due to multiple exposure cannot be expected. . Therefore, the dynamic range on the dark side can be extended by using the multiple correlation mode.
また、上記構成において、前記移動量が予め定められた量以下であるときに前記判定手段が明側及び暗側の両方に拡張する必要があると判定し且つ前記基準露光時間が前記フレームレートより十分小さい場合、前記モード選択手段は前記多重露光モードを選択し、前記判定手段が明側及び暗側の両方に拡張する必要があると判定し且つ前記基準露光時間が前記フレームレートと近似している場合、前記モード選択手段は前記組み合わせモードを選択することが望ましい。 Further, in the above configuration, when the movement amount is equal to or less than a predetermined amount, the determination unit determines that it is necessary to extend both to the bright side and the dark side, and the reference exposure time is based on the frame rate. If it is sufficiently small, the mode selection means selects the multiple exposure mode, determines that the determination means needs to be extended to both the bright side and the dark side, and approximates the reference exposure time to the frame rate. If so, the mode selection means preferably selects the combination mode.
明側及び暗側の両方に飽和しており且つ基準露光時間がフレームレートより十分小さい場合、基準露光時間を挟んだ最小露光時間及び最大露光時間を用いた多重露光モードとすることで、多重相関モードの実行によって発生する消費電流の増加、チップ温度の上昇による暗電流の増加等の問題を避けつつ、明側及び暗側のダイナミックレンジを拡張することができる。 If both the bright side and the dark side are saturated and the reference exposure time is sufficiently smaller than the frame rate, the multiple exposure mode using the minimum exposure time and the maximum exposure time sandwiching the reference exposure time can be used for multiple correlation. The dynamic range on the bright side and the dark side can be expanded while avoiding problems such as an increase in current consumption caused by execution of the mode and an increase in dark current due to an increase in chip temperature.
明側及び暗側の両方に飽和しており且つ基準露光時間がフレームレートと近似している場合、多重露光だけではダイナミックレンジ拡張は期待できないため、組み合わせモードを用いることで暗側及び明側のダイナミックレンジを拡張することができる。 When both the bright side and the dark side are saturated and the reference exposure time is close to the frame rate, dynamic range expansion cannot be expected with multiple exposures alone. The dynamic range can be expanded.
また、上記構成において、前記移動量が予め定められた量より大きいときに前記判定手段が明側又は暗側の何れかに拡張する必要があると判定した場合、前記モード選択手段は前記多重相関モードを選択することが望ましい。 Further, in the above configuration, when the determination unit determines that it is necessary to expand to either the bright side or the dark side when the movement amount is larger than a predetermined amount, the mode selection unit may It is desirable to select a mode.
被写体の動きが速いとき（移動量が予め定められた量より大きいとき）に多重露光を行うと、多重露光している間に被写体が動いてしまうため、合成画像が乱れてしまう。従って、被写体の動きが速い時は多重相関モードによるダイナミックレンジ拡張が適している。 If multiple exposure is performed when the movement of the subject is fast (when the amount of movement is larger than a predetermined amount), the subject moves during the multiple exposure, so that the composite image is disturbed. Therefore, when the movement of the subject is fast, the dynamic range expansion by the multiple correlation mode is suitable.
画像が明側にのみ飽和しているときは多重相関モードとし、このときの露光時間を基準露光時間より短くすることで、明側のダイナミックレンジを拡張することができる。画像が暗側にのみ飽和しているときも多重相関モードとし、基準露光時間にて撮影後に相関多重サンプリング処理を行うことで、通常撮影時に比べて暗側のダイナミックレンジを拡張することができる。 When the image is saturated only on the bright side, the multi-correlation mode is set, and the exposure time at this time is shorter than the reference exposure time, so that the dynamic range on the bright side can be expanded. Even when the image is saturated only on the dark side, the multi-correlation mode is set, and the correlation multiple sampling process is performed after shooting at the reference exposure time, so that the dynamic range on the dark side can be expanded as compared with normal shooting.
また、上記構成において、前記移動量が予め定められた量より大きいときに前記判定手段が明側及び暗側の両方に拡張する必要があると判定し且つ前記基準露光時間が前記フレームレートより小さい閾値より十分小さい場合、前記モード選択手段は前記多重露光モードを選択し、前記判定手段が明側及び暗側の両方に拡張する必要があると判定し且つ前記基準露光時間が前記閾値と近似している場合、前記モード選択手段は前記組み合わせモードを選択することが望ましい。 Further, in the above configuration, when the movement amount is larger than a predetermined amount, the determination unit determines that it is necessary to extend both to the bright side and the dark side, and the reference exposure time is smaller than the frame rate. If it is sufficiently smaller than a threshold value, the mode selection means selects the multiple exposure mode, determines that the determination means needs to be expanded to both the bright side and the dark side, and approximates the reference exposure time to the threshold value. If so, the mode selection means preferably selects the combination mode.
明側及び暗側の両方に飽和しており、基準露光時間がフレームレートより小さい閾値より十分小さい場合、多重露光モードとし、その際に基準露光時間を挟んだ複数の露光時間で多重露光を行うことで明側及び暗側の両方のダイナミックレンジを拡張させることができる。 When both the bright side and the dark side are saturated and the reference exposure time is sufficiently smaller than a threshold smaller than the frame rate, the multiple exposure mode is set, and multiple exposure is performed with a plurality of exposure times with the reference exposure time interposed therebetween. Thus, the dynamic range on both the bright side and the dark side can be expanded.
また、明側及び暗側の両方に飽和しており、基準露光時間が閾値と近似している場合、多重露光によるダイナミックレンジ拡張が期待できない。従って、組み合わせモードを用いる。ここで、フレームレートより小さい閾値とは、多重露光の際に用いられる最大露光時間をいう。一般的に、被写体の動きが速いときの最大露光時間はフレームレートの半分の値を用いる。 In addition, when both the bright side and the dark side are saturated and the reference exposure time approximates the threshold value, the dynamic range cannot be expanded by multiple exposure. Therefore, the combination mode is used. Here, the threshold smaller than the frame rate refers to the maximum exposure time used for multiple exposure. In general, the maximum exposure time when the movement of the subject is fast uses a value half the frame rate.
多重相関モードは複数回サンプリングを行うため、消費電力の増加、チップ温度が上昇して暗電流の増加し、その結果ノイズが増加してしまう。この問題を避けるため、モード選択手段は、被写体の動きが遅いときは多重露光モードを優先的に選択する。一方、被写体の動きが速いときは多重露光による画質悪化を避けるため、多重露光モードを優先的に選択する。 Since the multiple correlation mode performs sampling a plurality of times, the power consumption increases, the chip temperature rises, the dark current increases, and as a result, noise increases. In order to avoid this problem, the mode selection means preferentially selects the multiple exposure mode when the movement of the subject is slow. On the other hand, when the movement of the subject is fast, the multiple exposure mode is preferentially selected in order to avoid deterioration in image quality due to multiple exposure.
また、上記構成において、前記判定手段は、前記基準露光時間で撮影されたときの画像信号に含まれる画素値において、予め定められた最大値以上の画素値が予め定められた数以上あるときは明側にダイナミックレンジを拡張する必要があると判定し、予め定められた最小値以下の画素値が予め定められた数以上あるときは暗側にダイナミックレンジを拡張する必要があると判定するものであることが望ましい。 Further, in the above configuration, when the determination unit has a predetermined number of pixel values equal to or greater than a predetermined maximum value among the pixel values included in the image signal captured at the reference exposure time. It is determined that the dynamic range needs to be expanded on the bright side, and it is determined that the dynamic range needs to be expanded on the dark side when there are more than a predetermined number of pixel values below the predetermined minimum value It is desirable that
この構成によれば、画素値を用いることで判定手段はダイナミックレンジ拡張の必要性を簡単に判断することができる。 According to this configuration, the determination unit can easily determine the necessity of dynamic range expansion by using the pixel value.
本発明によれば、判定手段が画像のダイナミックレンジ拡張の必要性を判定し、判定結果に基づいてモード選択手段が多重相関モード、多重露光モード、多重相関モードと多重露光モードを組み合わせた組み合わせモード、通常モードの何れかを選択して撮影が行われるため、効率的に高ダイナミックレンジ化を図ることができる。 According to the present invention, the determining means determines the necessity of extending the dynamic range of the image, and the mode selecting means is based on the determination result, and the mode selection means is the multiple correlation mode, the multiple exposure mode, and the combination mode in which the multiple correlation mode and the multiple exposure mode are combined. Since shooting is performed by selecting one of the normal modes, a high dynamic range can be efficiently achieved.
以下、本発明における撮像装置の実施の形態を説明する。図１は、撮像装置１の構成を示したブロック図である。撮像装置１は、制御部２と固体撮像装置５を備える。
Hereinafter, embodiments of an imaging apparatus according to the present invention will be described. FIG. 1 is a block diagram illustrating a configuration of the
固体撮像装置５には外部からＳＹＳＣＬＫ（例えば、５４ＭＨｚのクロック信号）が入力される。ＰＬＬ（Phase Locked Loop）回路５５はこのＳＹＳＣＬＫを取り込み、逓倍したクロック信号を出力する。タイミングジェネレータ（ＴＧ）５６はＰＬＬ回路５５にて逓倍されたクロック信号を取り込み、固体撮像装置５の構成要素の動作に必要なタイミング信号を生成する。またＴＧ５６は、タイミング信号を制御するレジスタを内部に有し、そのレジスタは外部から入力されるレジスタ制御信号によって読み書き可能となっている。
SYSCLK (for example, a 54 MHz clock signal) is input to the solid-state imaging device 5 from the outside. A PLL (Phase Locked Loop)
ローデコーダ５２は、垂直方向の走査回路と画素アレイ部（撮像素子）５１を駆動するドライバ回路から構成されており、画素制御信号を生成して画素アレイ部５１に出力する。画素アレイ部５１は画素ＧＣがマトリクス状に配置されており、画素ＧＣ内のＦＥＴがローデコーダ５２によって行毎に駆動され、その出力線は列方向に共通に接続され、カラムＡＤＣアレイ部５３に接続されている。
The
カラムＡＤＣアレイ部（変換手段）５３は、各列に折り返し積分技術を用いたＣＭＳ回路３１が形成され、画素アレイ部５１からの画素信号を相関多重サンプリング処理を用いてデジタル信号に変換する。カラムデコーダ５４は水平方向の走査回路であり、ＴＧ５６から出力されるタイミング信号に従ってＣＭＳ回路３１を順次選択する。
In the column ADC array unit (conversion unit) 53, a
カラムデコーダ５４によって選択されたＣＭＳ回路３１は、変換後のデジタル信号を画像信号として全列共通の水平信号線に出力する。センスアンプ５８は、水平信号線に出力された各列の画像信号を増幅して出力する。シリアライザ６０は、センスアンプ５８が出力したパラレルの画像信号をシリアライズし、ＬＶＤＳ信号の規格に乗せて外部に出力する。以上の構成要素は１チップに集積化されており、固体撮像素子５を構成している。
The
制御部（制御手段）２は、ＣＰＵ（Central Processing Unit：中央処理装置）等によって構成され、固体撮像装置５へのレジスタ制御信号の出力、データ転送等を行って撮像装置１全体を制御するものである。制御部２は、ＡＥ（Auto Exposure；露光時間設定手段）部２１、飽和判定部（判定手段）２２、移動量算出部（移動量算出手段）２３、モード選択部（モード選択手段）２４及び画像合成部（合成手段）２５を有する。これらの構成要素の詳細には、後ほど説明する。
The control unit (control means) 2 is constituted by a CPU (Central Processing Unit) and the like, and outputs the register control signal to the solid-state image pickup device 5, transfers data, etc., and controls the entire
図２は、画素アレイ部５１を構成する画素ＧＣの一例を示した回路図である。１画素は光電変換素子（ＰＤ）、転送トランジスタ（ＴＸ）、リセットトランジスタ（ＲＳＴ）、増幅トランジスタ（ＳＦ）及び行選択トランジスタ（ＳＥＬ）を備える。ＦＤ（Floating Diffusion）は浮遊拡散層であり、ＰＤが蓄積した電荷を電圧に変換する部分である。ＦＤによって電圧に変換されたＰＤ電荷は、ＳＦとＳＥＬを介して垂直信号線Ｌ＿１に出力する。
FIG. 2 is a circuit diagram illustrating an example of the pixel GC constituting the
図３は、画素ＧＣの動作を示すタイミングチャートである。時刻ｔ０は、前フレームの露光期間の終了を示している。また、露光期間中はφＲＳＴをハイレベルにして、ＦＤを常時ＰＶＤＤでリセットし、ＰＤから溢れ出る電荷を排出している。 FIG. 3 is a timing chart showing the operation of the pixel GC. Time t0 indicates the end of the exposure period of the previous frame. Further, during the exposure period, φRST is set to the high level, the FD is always reset at PVDD, and the charges overflowing from the PD are discharged.
時刻ｔ１において、φＲＳＴをローレベル、φＶＳＥＮをハイレベル、φＴＸをローレベルにすることで、ＦＤのリセットレベルがＳＦ及びＳＥＬを介してＣＭＳ回路３１へ画素リセット信号として出力される。
At time t1, φRST is set to low level, φVSEN is set to high level, and φTX is set to low level, so that the reset level of FD is output as a pixel reset signal to the
時刻ｔ２において、φＲＳＴ及びφＶＳＥＮをローレベル、φＴＸをハイレベルにすることで、ＰＤに蓄積された電荷がＦＤへ転送される。そして時刻ｔ３において、φＲＳＴ及びφＴＸをローレベル、φＶＳＥＮをハイレベルにすることで、ＦＤに転送された信号レベルがＳＦ及びＳＥＬを介してＣＭＳ回路３１へ画素シグナル信号として出力される。ＣＭＳ回路３１では、時刻ｔ１で出力された画素リセット信号（ノイズ）と時刻ｔ２で出力された画素シグナル信号（ノイズ＋シグナル）の差分を取って画像信号を得ている。
At time t2, φRST and φVSEN are set to a low level and φTX is set to a high level, whereby the charge accumulated in the PD is transferred to the FD. At time t3, φRST and φTX are set to a low level and φVSEN is set to a high level, whereby the signal level transferred to the FD is output to the
図４は、折り返し積分技術を用いたＣＭＳ回路３１の回路図であり、図５はそのタイミングチャートである。図４と図５を用いてＣＭＳ回路３１の回路動作について説明する。
FIG. 4 is a circuit diagram of the
まず、画素ＧＣのＲＳＴをオンにしてＦＤをリセットすると共に、φＲをオンにして積分器９１をリセットする。次に、ＲＳＴをオフにし、ＳＥＬをオンにすることでＶＦＤの電圧レベルが画素リセット信号としてＣＭＳ回路３１に出力される。続けてφ１をオンにしてコンデンサＣ１に画素リセット信号を取り込み、φ２をオンにしてコンデンサＣ１とコンデンサＣ２とを接続してコンデンサＣ１が取り込んだ画素リセット信号をコンデンサＣ２に転送する。
First, RST of the pixel GC is turned on to reset FD, and φR is turned on to reset the integrator 91. Next, turn off the RST, the voltage level of V FD is output to the
この時、積分器９１の出力ＶＳＣが変化するが、積分器９１の出力に比較器９２を接続することで、閾値ＶＴとＶＳＣが常に比較される構成とする。ＶＳＣがＶＴより大きい場合、ＶＳＣの出力飽和を防ぐために、比較器９２の後段に接続されたＬＯＧＩＣ９３がφＤ１をオンにする。これにより、コンデンサＣ１の参照電圧がＶＲＥＦＨに切り替えられる。つまり、積分器９１の入力が大きく引き下げられ、コンデンサＣ１からコンデンサＣ２に信号転送が行われてもＶＳＣのプラス側への飽和を防ぐことができる。
At this time, the output V SC of the integrator 91 changes. By connecting the
一方、ＶＳＣがＶＴより小さい場合、比較器９２の後段に接続されたＬＯＧＩＣ９３がφＤ２をオンにする。これにより、コンデンサＣ１の参照電圧がＶＲＥＦＬに切り替えられる。つまり、積分器９１の入力が大きく引き上げられ、コンデンサＣ１からコンデンサＣ２に信号転送が行われてもＶＳＣのマイナス側への飽和を防ぐことができる。
Meanwhile, V SC is a case less than V T, LOGIC93 connected downstream of the
このように、画素リセット信号をコンデンサＣ１にＭ回（Ｍは２以上の整数）サンプリングし、コンデンサＣ１からコンデンサＣ２に電荷転送することによって積分していく。この間、積分器９１の出力を比較器９２に接続し、ＶＳＣとＶＴの比較結果に応じてＬＯＧＩＣ９３がコンデンサＣ１の参照電圧をＶＲＥＦＬ又はＶＲＥＦＨに切り替えることにより、ＶＳＣの出力飽和を抑制している。 In this way, the pixel reset signal is sampled M times (M is an integer of 2 or more) in the capacitor C1, and integration is performed by transferring charges from the capacitor C1 to the capacitor C2. During this time, the output of the integrator 91 is connected to a comparator 92, LOGIC93 according to the comparison result of V SC and V T is by switching the reference voltage of the capacitor C1 to VREFL or VREFH, suppresses output saturation of V SC ing.
次に、ＴＸをオンにして、ＰＤからＦＤへ電荷転送を行う。その後、ＳＥＬをオンにすることでＦＤの電圧レベルが画素シグナル信号として出力され、画素リセット信号の読み出しと同じように、コンデンサＣ１からコンデンサＣ２に電荷転送される。比較器９１はＶＳＣとＶＴを比較してＬＯＧＩＣ９３がコンデンサＣ１の参照電圧をＶＲＥＦＬ又はＶＲＥＦＨに切り替える。画素シグナル信号のサンプリングはＭ回行われる。
Next, TX is turned on to perform charge transfer from PD to FD. Thereafter, by turning on SEL, the voltage level of the FD is output as a pixel signal signal, and charges are transferred from the capacitor C1 to the capacitor C2 in the same manner as the reading of the pixel reset signal. The comparator 91 compares V SC and V T and the
ＣＭＳ回路３１に入力する信号が大きければ大きいほど、ＶＳＣの出力飽和を防ぐためにＬＯＧＩＣ９３がＶＲＥＦＨを選択する回数が多くなる。つまり、比較器９１がＶＳＣ＞ＶＴと判断した回数（信号Ｄがハイになった回数＝ＬＯＧＩＣ９３がφＤ１をオンにしてＶＲＥＦＨを選択した回数）をＣＯＵＮＴＥＲ９４がカウントし、この結果が画素リセット信号及び画素シグナル信号のデジタル変換後の信号となる。 The larger the signal input to the circuit CMS 31, LOGIC93 to prevent output saturation of V SC becomes the number of times to select a V REFH. That is, the comparator 91 is V SC> V T and the number of times it is determined (signal number which D is the number of times = LOGIC93 became high selects VREFH turn on the phi D1) counts is COUNTER94, this result is pixel reset It becomes a signal after digital conversion of the signal and the pixel signal signal.
また、ＣＭＳ回路３１として、以下で説明する折り返し積分技術を利用したＣＭＳ回路と巡回型ＡＤＣとを組み合わせた回路を用いてもよい。具体的には、巡回型ＡＤＣ回路を利用してＣＭＳ処理を実現させている。つまり、図６は折り返し積分技術を利用したＣＭＳ回路と巡回型ＡＤＣを組み合わせた回路としているが、実際には巡回型ＡＤＣ回路だけで折り返し積分技術を用いたＣＭＳ回路としての機能も実現できるようになっている。
Further, as the
ＣＭＳ回路３１は、サンプリング／ホールド（Ｓ／Ｈ）回路１３１、加算器１３２、ＳＣ積分器１３３、１．５ｂＡＤＣ回路１３４、１．５ｂＤＡＣ回路１３５、加算回路１３６、レジスタ１３７及び１３８を有する。そして、図６の右側の回路図は、カラムＡＤＣ１３のフェーズ毎のブロック１３０の回路形態を示している。図６には記載されていないスイッチの接続がフェーズ毎に切り替わることによって、図６の右側に示したブロック１３０Ａ、１３０Ｂ及び１３０Ｃの形態に遷移する。
The
ＣＭＳ回路３１の回路動作としては、初めにサンプリング回数決定部１２１が決定した回数Ｍに従って相関多重サンプリング処理することによって画像信号の上位ビットを取得し、その後巡回型ＡＤＣ回路が下位ビットを決定する。
As the circuit operation of the
まず、画像信号の上位ビットを決めるＡＤ変換動作（折り返し積分技術を用いた相関多重サンプリング処理によるＡＤ変換）について説明する。この折り返し積分技術を用いた相関多重サンプリング処理によるアナログ／デジタル変換の際の回路形態は、図６の右側に示したブロック１３０Ａとブロック１３０Ｂが交互に遷移することで表すことができる。
First, an AD conversion operation (AD conversion by correlated multiple sampling processing using a folded integration technique) for determining the upper bits of an image signal will be described. The circuit configuration in the case of analog / digital conversion by the correlation multiplex sampling process using the folding integration technique can be expressed by alternately transitioning the
カラムＡＤＣ１３におけるφＦＩＡＤＣがオン、φＣＡＤＣがオフとなることで、ブロック１３０は、図６の右側に示すブロック１３０Ａの回路形態となる。ブロック１３０Ａにおいて、画素ＧＣが出力する画素リセット信号又は画素シグナル信号がＶＩＮとして入力され、コンデンサＣ１が信号を取り込む。続いてブロック１３０Ｂの回路形態に移り、コンデンサＣ１の電荷がコンデンサＣ２に転送され、積分器１３３が積分動作を行う。
Phi FIADC in the column ADC13 is on, phi CADC that is turned off, the
そして、再びブロック１３０Ａに戻り、１．５ｂＡＤＣ回路（比較器）１３４が積分器１３３の出力と参照電圧（±１／２ＶＲＥＦ）を比較する。続いてブロック１３０Ｂの回路形態に移り、１．５ｂＡＤＣ回路１３４の比較結果に基づいてＤＡＣ１３５が積分器１３３の出力が飽和しないようにコンデンサＣ１の参照電圧を切り換える。
Then, returning again to the
この一連の動作を画素リセット信号及び画素シグナル信号についてＭ回（サンプリング回数決定部１２１が決定した回数）繰り返すことで相関多重サンプリング処理を実現し、ノイズ低減を図ることができる。そしてＡＤＤＥＲ１３６とＲＥＧＩＳＴＥＲ１３７によって構成されたＣＯＵＮＴＥＲが１．５ｂＡＤＣ回路１３４の出力Ｄ１がハイレベルになった回数（積分器１３３の出力が参照電圧（＋１／２ＶＲＥＦ）を超えた回数）をカウントすることによって、信号をデジタル変換したときの上位ビット群が決定される。
By repeating this series of operations for the pixel reset signal and the pixel signal signal M times (the number of times determined by the sampling number determination unit 121), the correlation multiplex sampling process can be realized, and noise can be reduced. Then, by counting the number of times that the output D1 of the 1.5b
続いて、画像信号の下位ビットを決めるＡＤ変換動作（巡回型ＡＤＣ）について説明する。この巡回型ＡＤＣ回路を用いたアナログ／デジタル変換の際の回路形態は、図６の右側に示したブロック１３０Ｂとブロック１３０Ｃが交互に遷移することで表すことができる。下位ビットは、折り返し積分技術を用いた相関多重サンプリング処理によるＡＤ変換終了後の残差電圧を巡回型ＡＤＣによってＡ／Ｄ変換して求める。まずブロック１３０Ｃにおいて、コンデンサＣ２はアンプ１３３（ブロック１３０Ａ及び１３０Ｂでは積分器として使用）の入出力間で接続され、１．５ｂＡＤＣ１３４がアンプ１３３の出力と参照電圧（±１／４ＶＲＥＦ）を比較する。
Next, an AD conversion operation (cyclic ADC) that determines the lower bits of the image signal will be described. A circuit configuration in the case of analog / digital conversion using this cyclic ADC circuit can be represented by alternately transitioning the
続いてブロック１３０Ｂの回路形態に移り、コンデンサＣ１の一端がＤＡＣ１３５に接続され、他端がアンプ１３３の入力に接続される。１．５ｂＡＤＣ回路１３４の比較結果に基づいてＤＡＣ１３５が積分器１３３の出力が飽和しないようにコンデンサＣ１の参照電圧を切り換える。更に、ＤＡＣ１３５の出力に１．５ｂＡＤＣ１３４の比較結果を供給することで、元信号と前段ＡＤ変換結果との差分信号が生成され、次のサイクルでコンデンサＣ１に接続するアナログ電圧が決まる。再びブロック１３０Ｃに戻り、前のサイクルのアンプ１３３の出力は、入力側にフィードバックされて、次のサイクルのＡＤ変換が開始する。
Subsequently, the circuit configuration of the
この一連の動作が必要回数繰り返される。そして、ブロック１３０Ｃの出力Ｄ１及びＤ０と出力されるデジタルコード、１．５ｂＡＤＣ１３４への入力Ｖとの関係は次式のようになる。
This series of operations is repeated as many times as necessary. The digital code output and the output D 1 and D 0 of the
即ち、１．５ｂＡＤＣ１３４は、入力Ｖを（１）−ＶＲＥＦから−ＶＲＥＦ／４、（２）−ＶＲＥＦ／４からＶＲＥＦ／４、（３）ＶＲＥＦ／４からＶＲＥＦの３領域に分割し、これらの領域に対して３値のＡ／Ｄ変換を行って−１、０、１のデジタルコードを割り当てて出力する。最初に出力されたデジタルコードが上位桁となる。
That is, the 1.5b
尚、図６に示すＣＭＳ回路３１の詳しい回路動作については、「ISSCC2011『An 80μ Vrms-Temporal-Noise 82dB-Dynamic Range CMOS Image Sensor with a 13-to-10b Variable-Resolution Column-Parallel Folding-Integration/Cyclic ADC』」を参考にされたい。更に、巡回型ＡＤＣの詳しい回路動作については、特開２００５−１３６５４０号公報を参考にされたい。
The detailed circuit operation of the
また、本実施の形態では、折り返し積分技術を利用したＣＭＳ回路に対して相性の良い巡回型ＡＤＣを用いてカラムＡＤＣ１３を構成した場合を例に説明するが、巡回型ＡＤＣに限定されるものではない。 In this embodiment, a case where the column ADC 13 is configured using a cyclic ADC that is compatible with the CMS circuit using the folded integration technique will be described as an example. However, the present invention is not limited to the cyclic ADC. Absent.
図７は、通常撮影、多重露光、多重相関、多重露光と多重相関を組み合わせた場合に得られるダイナミックレンジについて示した図である。横軸は被写体輝度（ＢＶ）を示しており、ＢＶが大きくなるほど露出時間を短く制御する必要がある。図中で示した横棒（Ｄａ、Ｄ１〜Ｄ６）はダイナミックレンジの幅を示している。 FIG. 7 is a diagram showing the dynamic range obtained when normal imaging, multiple exposure, multiple correlation, and multiple exposure and multiple correlation are combined. The horizontal axis indicates the subject brightness (BV), and it is necessary to control the exposure time to be shorter as BV increases. The horizontal bars (Da, D1 to D6) shown in the figure indicate the width of the dynamic range.
図中、Ｄａは通常撮影を行ったときに得られた画像のダイナミックレンジを示している。通常撮影とは、被写体の明るさに基づいてＡＥ部２１が設定した基準露光時間Ｔａで画素アレイ部５１が取得した画素信号を、カラムＡＤＣアレイ部５３が予め定められた通常のＡ／Ｄ変換することによって画像を取得する撮影のことである。
In the figure, Da indicates the dynamic range of an image obtained when normal photographing is performed. In normal shooting, the pixel signal acquired by the
多重露光とは、１フレーム内で露光時間を分割し、異なる複数の露光時間で撮影した各画像を１つの画像に合成することでダイナミックレンジを拡張させる撮影方法のことである。Ｄ１は、露光時間Ｔ１＝Ｔａ／２のときのダイナミックレンジを示している。Ｄ１のレンジ幅はＤａと同じであるが、Ｄａと比べてＢＶは１段分（ΔＢＶ１）明側にシフトする。また、Ｄ２は、露光時間Ｔ２＝Ｔａ／１６（Ｔａ／２４）のときのダイナミックレンジを示している。Ｄ２のレンジ幅もＤａと同じであるが、Ｄａと比べてＢＶは４段分（ΔＢＶ２）明側にシフトする。 Multiple exposure is an imaging method that expands the dynamic range by dividing the exposure time within one frame and combining the images taken at a plurality of different exposure times into one image. D1 represents the dynamic range when the exposure time T1 = Ta / 2. The range width of D1 is the same as Da, but BV is shifted to the bright side by one stage (ΔBV1) compared to Da. D2 indicates a dynamic range when the exposure time T2 = Ta / 16 (Ta / 2 4 ). The range width of D2 is also the same as Da, but BV is shifted to the bright side by 4 stages (ΔBV2) compared to Da.
そして、露光時間Ｔ１及びＴ２で撮影された２つの画像を合成することで、合成後の画像のダイナミックレンジＤ３は２つの画像のダイナミックレンジＤ１及びＤ２の論理和となる。つまり、合成後の画像のダイナミックレンジＤ３はＤａに比べて明側に拡張する。しかし、暗側については、多重露光で用いられる最大露光時間が基準露光時間Ｔａより短くなるため、Ｄ３はＤａに比べて暗側の感度が悪化する。 Then, by synthesizing the two images taken at the exposure times T1 and T2, the dynamic range D3 of the synthesized image becomes a logical sum of the dynamic ranges D1 and D2 of the two images. That is, the dynamic range D3 of the combined image is expanded to the bright side compared to Da. However, on the dark side, the maximum exposure time used in the multiple exposure is shorter than the reference exposure time Ta, so that the sensitivity of D3 is worse than that of Da.
Ｄ４は、多重相関のときのダイナミックレンジを示している。Ｄ４はＤａと比べてｌｏｇ２Ｍ段（ΔＢＶ３。Ｍはサンプリング回数）だけ暗側が拡張する。明側のダイナミックレンジはＤａと同じとなる。つまり、多重相関の場合、暗側にはダイナミックレンジが拡張するが、明側へは拡張されない。 D4 indicates the dynamic range at the time of multiple correlation. Compared with Da, D4 expands on the dark side by log 2 M stages (ΔBV3, where M is the number of times of sampling). The dynamic range on the bright side is the same as Da. That is, in the case of multiple correlation, the dynamic range extends to the dark side, but does not extend to the bright side.
多重露光と多重相関を組み合わせた場合について説明する。多重露光によって得られた各画像のうち、最も低いＢＶを持つ画像は最大露光時間（Ｔ１）で撮影されたときの画像である。従って、最大露光時間（Ｔ１）で撮影されたときの画素信号に対して相関多重サンプリング処理を行うことで、その画像の暗側のダイナミックレンジが拡張し（Ｄ５）、更に画像合成を行うことで、明側にもダイナミックレンジが拡張する（Ｄ６）。しかし、多重相関のみの場合に比べて、露光時間が短くなっている分、ダイナミックレンジの暗側拡張幅は少なくなる。 A case where multiple exposure and multiple correlation are combined will be described. Of the images obtained by multiple exposure, the image having the lowest BV is an image taken at the maximum exposure time (T1). Therefore, by performing correlation multiplex sampling processing on the pixel signal captured at the maximum exposure time (T1), the dynamic range on the dark side of the image is expanded (D5), and further image synthesis is performed. The dynamic range is extended to the bright side (D6). However, the dark side expansion width of the dynamic range is reduced because the exposure time is shorter than in the case of multiple correlation alone.
多重露光と多重相関を組み合わせることで、ダイナミックレンジが暗側、明側共に拡張されるため、高ダイナミックレンジ化が図れている。このため、多重露光と多重相関を組み合わせたモードが高ダイナミックレンジ化に適しているように思えるが、多重露光に関しては異なる複数の露光時間で複数回撮影するため、被写体の動きが速いと合成後の画像が乱れてしまう。また、多重相関の場合はサンプリング回数の分だけＡＤ変換回数が増加する。これは、消費電流の増加やチップ温度の上昇を招く。チップ温度が上昇すると暗電流が増加し、画像信号のＳＮ比に悪影響を及ぼす。 By combining multiple exposure and multiple correlation, the dynamic range is expanded on both the dark side and the bright side, so a high dynamic range can be achieved. For this reason, a mode that combines multiple exposure and multiple correlation seems to be suitable for increasing the dynamic range, but multiple exposure is performed multiple times with different exposure times. Will be disturbed. In the case of multiple correlation, the number of AD conversions increases by the number of sampling times. This leads to an increase in current consumption and an increase in chip temperature. When the chip temperature rises, the dark current increases and adversely affects the S / N ratio of the image signal.
そこで、モード選択部２４が、撮影シーン情報取得部２１が取得した撮影シーンに基づいて、通常撮影、多重露光、多重相関、多重露光と多重相関の組み合わせの何れかを選択する。撮影シーンに応じたモード選択をすることで、消費電流の増加やチップ温度の上昇を防ぎつつ、高ダイナミックレンジ化を図ることができる。
Therefore, the
図２に示す制御部２の各構成要素の説明を行う。ＡＥ部２１は被写体の明るさを算出して基準露光時間を設定する。即ち、ＡＥ部２１は自動露光を行う。
Each component of the
飽和判定部２２は、撮影により取得した画像信号を構成する画素値からその画像信号が示す画像の飽和状態から、画像のダイナミックレンジを暗側、明側に拡張する必要があるか否かを判定する。
The
具体的には、画素値の最大値が予め定められた値を超えている場合、その画像は明るい領域の信号再現がなされていないことを示す（白とび）。従って、飽和判定部２２は明側にダイナミックレンジを拡張する必要があると判断する。この他に、予め定められた値より大きい画素値を持つ領域が所定面積以上ある（即ち、予め定められた値より大きい画素値を持つ画素が所定数以上ある）ときに明側に拡張する必要があると判断してもよい。
Specifically, when the maximum pixel value exceeds a predetermined value, it indicates that the image of the image has not been reproduced in a bright region (overout). Therefore, the
更に、画素値の最小値が予め定められた値より小さい場合、その画像は暗い領域の信号再現がなされていないことを示す（黒つぶれ）。従って、飽和判定部２２は暗側にダイナミックレンジを拡張する必要があると判断する。この他に、予め定められた値より小さい画素値を持つ領域が所定面積以上ある（即ち、予め定められた値より小さい画素値を持つ画素が所定数以上ある）ときに暗側にダイナミックレンジを拡張する必要があると判断してもよい。
Further, when the minimum pixel value is smaller than a predetermined value, it indicates that the image is not reproduced in the dark region (blackout). Therefore, the
移動量算出部２３は、連続する複数の画像から、被写体の移動量を算出する。具体的には、移動量算出部２３は画像の中央に位置する物体、又は最も撮像装置１に近い物体を検出し、その物体を追尾することで移動量を求める。
The movement
モード選択部２４は、飽和判定部２２の判断結果に基づいて、多重相関モード、多重露光モード、多重相関モードと多重露光モードを組み合わせたモード、通常撮影の選択を行う。画像合成部２５は、多重露光によって異なる複数の露光時間で撮影された画像を１つの画像に合成する。
Based on the determination result of the
図８は、制御部２が実行する撮影処理の流れを示したフローチャートである。尚、図８は、撮影処理のメインルーチンであり、図９及び図１０は、被写体の動きが遅いときにメインルーチンから分岐して実行される第１ルーチンを示したフローチャートであり、図１１及び図１２は被写体の動きが速いときにメインルーチンから分岐して実行される第２ルーチンを示したフローチャートである。まず、図８〜図１０を用いて、被写体の動きが遅い場合の撮影処理の流れについて説明する。
FIG. 8 is a flowchart showing a flow of photographing processing executed by the
（Ｉ）被写体の動きが遅い場合
まず、撮像装置１の待機時等に画素アレイ部５１は連続して複数の画像を撮影し、移動量算出部２３はその画像を用いて被写体の移動量を算出する（ステップＳ１１）。
(I) When the movement of the subject is slow First, when the
移動量が閾値以下である場合（ステップＳ１２；ＹＥＳ）、制御部２は第１ルーチン（低速用撮影シーケンス）に移行する。ここで閾値とは、多重露光による画像合成を行っても画像が乱れない上限の移動量とする。
When the movement amount is equal to or less than the threshold (step S12; YES), the
制御部２は、図９のステップＳ２１へ処理を移行する。ここで、モード選択部２４は、多重露光フラグと多重相関フラグをクリアする。多重露光フラグ及び多重相関フラグは、モード選択部２４が有するワーキングメモリ等（不図示）が記憶する変数である。そして、ＡＥ部２１は、基準露光時間Ｔａを算出する（ステップＳ２２）。
The
次に、モード選択部２４は、変数Ｔｍｉｎ及び変数Ｔｍａｘに、基準露光時間Ｔａの値を代入する（ステップＳ２３）。変数Ｔｍｉｎ及び変数Ｔｍａｘは、上記フラグと同様に、モード選択部２４が有するワーキングメモリが記憶する変数である。
Next, the
そして、モード選択部２４は、基準露光時間Ｔａで画像を取り込ませる制御を固体撮像
装置１に対して行う（ステップＳ２４）。これにより、画素アレイ部５１は、基準露光時間Ｔａで撮影を行って画素信号を出力し、カラムＡＤＣアレイ部５３が画素信号に通常のＡ／Ｄ変換を施して画像信号を出力する。
Then, the
次に、飽和判定部２２が出力された画像信号が示す画像のダイナミックレンジ拡張の必要性を判断する。明側に拡張する必要がある場合（ステップＳ２５；ＹＥＳ）、モード選択部２４は基準露光時間Ｔａに対してＢＶを所定段数上げたときの露光時間を変数Ｔｍｉｎとして設定すると共に、多重露光フラグをセットする（ステップＳ２６）。
Next, the
例えば、基準露光時間Ｔａで撮影したときの画像に対してＢＶを１段上げるには、Ｔａを半分にすればよく、即ち変数ＴｍｉｎをＴａ／２に設定する。また、基準露光時間Ｔａで撮影したときの画像に対してＢＶを２段上げるには、Ｔａを１／４にすればよく、即ち変数ＴｍｉｎをＴａ／２２に設定する。つまり、基準露光時間Ｔａで撮影したときの画像に対してＢＶをＮ段上げるには、露光時間をＴａ／２Ｎ１とすればよい（Ｎ１は１以上の整数）。従って、Ｔｍｉｎ＝Ｔａ／２Ｎ１に設定する。 For example, in order to increase the BV by one level for an image taken with the reference exposure time Ta, Ta may be halved, that is, the variable Tmin is set to Ta / 2. Further, in order to increase the BV by two steps with respect to an image taken with the reference exposure time Ta, Ta should be reduced to ¼, that is, the variable Tmin is set to Ta / 2 2 . That is, in order to increase the BV by N levels for an image taken with the reference exposure time Ta, the exposure time may be set to Ta / 2 N1 (N1 is an integer of 1 or more). Therefore, Tmin = Ta / 2 N1 is set.
ステップＳ２６におけるＮ１の設定方法について詳しく説明する。モード選択部２４はＮ１を変化させて、最大露光時間Ｔｍａｘ（＝Ｔａ）、最小露光時間Ｔｍｉｎ＝Ｔａ／２Ｎ１、更にその間の露光時間にて画素アレイ部５１に画像を取得させる。そして画像合成部２５は、出力された画像を合成する。
The setting method of N1 in step S26 will be described in detail. The
飽和判定部２２は合成画像の飽和状態を判断し、明側飽和状態が解消されるまでＮ１を変化させる。つまり、明側飽和状態が解消されない場合、モード選択部２４はＮ１を増加し、このときのＴｍｉｎを最小露光時間として再度多重露光を行なわせる。モード制御部２２は、このような処理を繰り返すことで、明側飽和状態を解消するための最適なＴｍｉｎを導き出す。
The
また、Ｎ１を変化させる処理を明側飽和状態が解消されるまで繰り返すのではなく、上記処理を予め決められた回数だけ繰り返し、その繰り返しの中で明側飽和状態が解消されたとき、そのときのＮ１を用いてＴｍｉｎを設定するようにしてもよい。繰り返しの中で明側飽和状態が解消されない場合は、明側飽和状態が最も緩和されたときのＮ１を用いてＴｍｉｎを設定する。また、Ｎ１を可変させる繰り返し処理は行わず、決められたＮ１を用いてＴｍｉｎを設定するようにしてもよい。 In addition, the process of changing N1 is not repeated until the bright side saturation state is resolved, but the above process is repeated a predetermined number of times, and when the bright side saturation state is resolved in the repetition, N1 may be used to set Tmin. If the bright side saturation state is not eliminated during the repetition, Tmin is set using N1 when the bright side saturation state is most relaxed. Further, it is also possible to set Tmin using the determined N1 without performing the iterative process for changing N1.
次に、飽和判定部２２が暗側にダイナミックレンジを拡張する必要がないと判断した場合（ステップＳ２７；ＮＯ）、制御部２はステップＳ３５へ処理を移行する。
Next, when the
暗側にダイナミックレンジを拡張する必要があり（ステップＳ２７；ＹＥＳ）、基準露光時間Ｔａが最大露光時間（固体撮像装置１のフレームレート。本実施の形態では１／３０秒とする）より十分小さい場合（ステップＳ２８；ＹＥＳ）、モード選択部２４は基準露光時間Ｔａで撮影したときの画像に対してＢＶを所定段数下げたときの露光時間を変数Ｔｍａｘとして設定する。
It is necessary to extend the dynamic range to the dark side (step S27; YES), and the reference exposure time Ta is sufficiently smaller than the maximum exposure time (the frame rate of the solid-
例えば、基準露光時間Ｔａで撮影したときの画像に対してＢＶを１段下げるには、Ｔａを２倍にすればよく、即ち変数ＴｍａｘをＴａ×２に設定する。また、基準露光時間Ｔａで撮影したときの画像に対してＢＶを２段下げるには、Ｔａを４倍にすればよく、即ち変数ＴｍａｘをＴａ×４に設定する。つまり、基準露光時間Ｔａで撮影したときの画像に対してＢＶをＮ段下げるには、露光時間をＴａ×２Ｎ２とすればよい（Ｎ２は１以上の整数）。従って、Ｔｍａｘ＝Ｔａ×２Ｎ２に設定する。 For example, in order to lower the BV by one step with respect to an image taken at the reference exposure time Ta, Ta should be doubled, that is, the variable Tmax is set to Ta × 2. Further, in order to lower the BV by two steps with respect to the image taken at the reference exposure time Ta, Ta should be increased by four, that is, the variable Tmax is set to Ta × 4. That is, in order to lower the BV by N steps with respect to an image taken with the reference exposure time Ta, the exposure time may be Ta × 2N2 (N2 is an integer of 1 or more). Accordingly, Tmax = Ta × 2N2 is set.
Ｎ２の設定方法について詳しく説明する。飽和判定部２２は合成画像の飽和状態を判断し、暗側飽和状態が解消されるまでＮ２を変化させる。つまり、暗側飽和状態が解消されない場合、モード選択部２４はＮ２を増加し、このときのＴｍａｘを最大露光時間として再度多重露光を行なわせる。モード制御部２２は、この処理を繰り返すことで、暗側飽和状態を解消するための最適なＴｍａｘを導き出す。
The method for setting N2 will be described in detail. The
また、Ｎ２を変化させる処理を暗側飽和状態が解消されるまで繰り返すのではなく、上記処理を予め決められた回数だけ繰り返し、その繰り返しの中で暗側飽和状態が解消されたとき、そのときのＮ２を用いてＴｍａｘを設定するようにしてもよい。繰り返しの中で暗側飽和状態が解消されない場合は、暗側飽和状態が最も緩和されたときのＮ２を用いてＴｍａｘを設定する。また、Ｎ２を可変させる繰り返し処理は行わず、予め決められたＮ２を用いてＴｍａｘを設定するようにしてもよい。 Also, the process of changing N2 is not repeated until the dark side saturation state is resolved, but the above process is repeated a predetermined number of times, and when the dark side saturation state is resolved in the repetition, Tmax may be set using N2. If the dark side saturation state is not eliminated during the repetition, Tmax is set using N2 when the dark side saturation state is most relaxed. Further, Tmax may be set using N2 determined in advance without performing the iterative process for changing N2.
ステップＳ２９の処理によって暗側飽和状態が解消された場合（ステップＳ３０；ＹＥＳ）、モード選択部２４は多重露光フラグをセットする（ステップＳ３１）。そして、制御部２は選択された撮影モードで撮影を行い（ステップＳ３５）、第１ルーチンを終了する。
When the dark saturation state is eliminated by the process of step S29 (step S30; YES), the
基準露光時間Ｔａが１／３０秒とあまり差がない場合（ステップＳ２８；ＮＯ）又はステップＳ２９の処理をもっても暗側飽和状態が解消されない場合（ステップＳ３０；ＮＯ）、モード選択部２４は多重露光フラグの状態を判別する（ステップＳ３６）。多重露光フラグがセットされていない場合（ステップＳ３６；ＮＯ）、モード選択部２４は変数Ｔｓを１／３０秒に設定し（ステップＳ３２）、多重相関フラグをセットする（ステップＳ３４）。ここで、変数Ｔｓとは、モード選択部２４が有するワーキングメモリが記憶する変数であり、相関多重サンプリングを行うときの露光時間を示す。そして、制御部２は選択された撮影モードで撮影を行い（ステップＳ３５）、第１ルーチンを終了する。
When the reference exposure time Ta is not so different from 1/30 seconds (step S28; NO) or when the dark side saturation state is not eliminated even after the processing of step S29 (step S30; NO), the
多重露光フラグがセットされている場合（ステップＳ３６；ＹＥＳ）、モード選択部２４はＴｍａｘ及びＴｓを１／６０秒に設定し（ステップＳ３３）、多重相関フラグをセットする（ステップＳ３４）。そして、制御部２は選択された撮影モードで撮影を行い（ステップＳ３５）、第１ルーチンを終了する。
When the multiple exposure flag is set (step S36; YES), the
ここでステップＳ３５における選択されたモード別による撮影について説明する。多重露光フラグ及び多重相関フラグの何れもクリア状態である場合、制御部２は固体撮像装置５に対して通常撮影を行わせる。
Here, the photographing according to the selected mode in step S35 will be described. When both the multiple exposure flag and the multiple correlation flag are in the clear state, the
多重露光フラグのみがセット状態である場合、制御部２は、画素アレイ部５１に最小露光時間をＴｍｉｎ、最大露光時間をＴｍａｘ、更にその間の露光時間にて撮影を行わせ、カラムＡＤＣアレイ部５３に通常のＡ／Ｄ変換にて画像信号を出力させる制御を行う。そして、画像合成部２５が出力された画像信号の合成を行う。
When only the multiple exposure flag is in the set state, the
多重相関フラグのみがセット状態である場合、制御部２は、画素アレイ部５１に露光時間Ｔｓで撮影させ、カラムＡＤＣアレイ部５３に相関多重サンプリング処理にて画像信号を出力させる制御を行う。
When only the multiple correlation flag is in the set state, the
そして、多重露光フラグ及び多重相関フラグの両方がセット状態である場合、制御部２は、画素アレイ部５１に最小露光時間をＴｍｉｎ、最大露光時間をＴｍａｘ、更にその間の露光時間にて撮影を行わせ、カラムＡＤＣアレイ部５３に最大露光時間Ｔｓ（＝Ｔｍａｘ）で撮影されたときの画素信号を相関多重サンプリング処理させ、それ以外の露光時間で撮影されたときの画素信号を通常のＡ／Ｄ変換にて画像信号を出力させる制御を行う。そして、画像合成部２５が出力された画像信号を合成する。
When both the multiple exposure flag and the multiple correlation flag are in the set state, the
以上の処理をまとめると、次のようになる。（１）明側及び暗側にもダイナミックレンジを拡張する必要がない場合は通常撮影を行う。 The above processing is summarized as follows. (1) When there is no need to extend the dynamic range to the bright side and the dark side, normal shooting is performed.
（２）明側のみダイナミックレンジを拡張する必要がある場合は、最小露光時間Ｔｍｉｎ＝Ｔａ／２Ｎ１、最大露光時間Ｔｍａｘ（＝Ｔａ）の多重露光を行う。露光時間Ｔａ／２Ｎ１の画像は通常撮影時の画像に比べてＢＶが明側にＮ１段分シフトするため、画像合成によって明側のダイナミックレンジが拡張され、明側の画像が再現されやすくなる。
（３）暗側のみダイナミックレンジを拡張する必要があり、Ｔａが１／３０秒より十分小さく、Ｔｍａｘ＝Ｔａ×２Ｎ２の式を用いてＴｍａｘを可変させたことにより、暗側飽和状態が解消された場合は、最小露光時間Ｔｍｉｎ（＝Ｔａ）、最大露光時間Ｔｍａｘ＝Ｔａ×２Ｎ２の多重露光を行う。露光時間Ｔａ×２Ｎ２の画像は通常撮影時の画像に比べてＢＶが暗側にＮ２段分シフトするため、画像合成によって暗側ダイナミックレンジが拡張され、暗側の画像が再現されやすくなる。
（４）暗側のみダイナミックレンジを拡張する必要があり、Ｔａが１／３０秒と差がないとき、又は、暗側のみ画素値が飽和しており、Ｔａが１／３０秒より十分小さく、Ｔｍａｘ＝Ｔａ×２Ｎ２として多重露光を行っても暗側飽和状態が解消されない場合は、画素アレイ部５１は露光時間Ｔｓ＝１／３０秒で撮影を行う。そして、カラムＡＤＣアレイ部５３が相関多重サンプリング処理を行って画像信号を出力する。相関多重サンプリングを行うことで通常撮影時よりＢＶがｌｏｇ２Ｍ段ほど暗側に拡張される。つまり、暗側の画像が再現されやすくなる。
(2) When it is necessary to expand the dynamic range only on the bright side, multiple exposure is performed with the minimum exposure time Tmin = Ta / 2 N1 and the maximum exposure time Tmax (= Ta). In the image of exposure time Ta / 2 N1 , the BV shifts by N1 steps to the bright side compared to the image at the time of normal shooting. Therefore, the dynamic range on the bright side is expanded by image composition, and the bright side image is easily reproduced. .
(3) It is necessary to extend the dynamic range only on the dark side, Ta is sufficiently smaller than 1/30 seconds, and Tmax is changed by using the formula of Tmax = Ta × 2 N2 , thereby eliminating the dark side saturation state. In such a case, multiple exposure is performed with a minimum exposure time Tmin (= Ta) and a maximum exposure time Tmax = Ta × 2 N2 . In the image with the exposure time Ta × 2 N2 , the BV shifts by N2 steps to the dark side compared to the image at the time of normal photographing, so that the dark side dynamic range is expanded by image synthesis, and the dark side image is easily reproduced.
(4) The dynamic range needs to be expanded only on the dark side, and when Ta is not different from 1/30 seconds, or the pixel value is saturated only on the dark side, and Ta is sufficiently smaller than 1/30 seconds. If Tmax = Ta × 2 N2 dark side saturation even if a multiple exposure persists as the
ここで、暗側のみダイナミックレンジを拡張する必要があるときに基準露光時間Ｔａと１／３０秒を比較する理由（図９におけるステップＳ２８）について説明する。多重露光で用いる最大露光時間の上限はフレームレート（１／３０秒）であるため、基準露光時間Ｔａと１／３０秒に差がない場合、最小露光時間Ｔｍｉｎ（明側飽和状態がないときはＴｍｉｎ＝Ｔａ）と十分間隔を置いた最大露光時間を設定することができない。つまり、多重露光によるダイナミックレンジの拡張は期待できないことから、多重相関によるダイナミックレンジ拡張を実施する。 Here, the reason (step S28 in FIG. 9) for comparing the reference exposure time Ta with 1/30 second when the dynamic range needs to be expanded only on the dark side will be described. Since the upper limit of the maximum exposure time used in multiple exposure is the frame rate (1/30 seconds), if there is no difference between the reference exposure time Ta and 1/30 seconds, the minimum exposure time Tmin (when there is no bright-side saturation state) It is not possible to set the maximum exposure time with a sufficient interval from Tmin = Ta). In other words, since the dynamic range cannot be expanded by multiple exposure, the dynamic range is expanded by multiple correlation.
基準露光時間Ｔａと１／３０秒に十分差がある場合は、多重相関ではなく多重露光を用いることにより、多重相関の実行によって発生する消費電力増大、チップ温度上昇による暗電流の増加、処理負荷の増加等による悪影響を避けることができる。
（５）明側及び暗側の両方のダイナミックレンジを拡張する必要があり、Ｔａが１／３０秒より十分小さく、Ｔｍａｘ＝Ｔａ×２Ｎ２の式を用いてＴｍａｘを可変させたことにより、暗側飽和状態が解消された場合は、最小露光時間Ｔｍｉｎ＝Ｔａ／２Ｎ１、最大露光時間Ｔｍａｘ＝Ｔａ×２Ｎ２の多重露光を行う。合成後の画像は通常撮影時の画像に比べて明側にＮ１段、暗側にＮ２段、それぞれＢＶが拡張される。
（６）明側及び暗側の両方のダイナミックレンジを拡張する必要があり、Ｔａが１／３０秒と差がないとき、又は暗側のみに画素値が飽和しておりＴｍａｘ＝Ｔａ×２Ｎ２として多重露光を行っても暗側飽和状態が解消されない場合は、最小露光時間Ｔｍｉｎ＝Ｔａ／２Ｎ１、最大露光時間Ｔｍａｘ＝１／６０秒の多重露光を行う。尚、カラムＡＤＣアレイ部５３は、出力された画素信号のうち露光時間Ｔｓ（＝Ｔｍａｘ）で撮影されたときの画素信号については相関多重サンプリング処理を施し、露光時間Ｔｓ以外で撮影されたときの画素信号については通常のＡ／Ｄ変換を施す。多重露光及び多重相関を行うことで、通常撮影時に比べて明側及び暗側の両方のダイナミックレンジを拡張させることができる。
When there is a sufficient difference between the reference exposure time Ta and 1/30 second, using multiple exposure instead of multiple correlation increases power consumption caused by execution of multiple correlation, increases in dark current due to chip temperature rise, processing load It is possible to avoid adverse effects due to an increase in
(5) It is necessary to expand the dynamic range on both the bright side and the dark side, Ta is sufficiently smaller than 1/30 seconds, and Tmax is varied by using the formula of Tmax = Ta × 2 N2 , thereby reducing darkness. When the side saturation state is eliminated, multiple exposure is performed with a minimum exposure time Tmin = Ta / 2 N1 and a maximum exposure time Tmax = Ta × 2 N2 . Compared to the image at the time of normal shooting, the combined image has N1 steps on the bright side and N2 steps on the dark side, and the BV is expanded.
(6) It is necessary to expand the dynamic range on both the bright side and the dark side, and when Ta is not different from 1/30 seconds or when the pixel value is saturated only on the dark side, Tmax = Ta × 2 N2 If the dark side saturation state is not eliminated even after multiple exposure, multiple exposure is performed with a minimum exposure time Tmin = Ta / 2 N1 and a maximum exposure time Tmax = 1/60 seconds. Note that the column
（ＩＩ）被写体の動きが早い場合
図１１及び図１２を用いて、被写体の動きが速いときの撮影処理の流れについて説明する。図８において、移動量算出部２３が被写体の移動量を算出した結果、移動量が閾値より大きい場合（ステップＳ１２；ＮＯ）、制御部２は第２ルーチン（高速用撮影シーケンス）に移行する。
(II) When subject movement is fast A flow of shooting processing when the subject movement is fast will be described with reference to FIGS. 11 and 12. In FIG. 8, when the movement
制御部２は、図１１のステップＳ４１へ処理を移行する。ここで、モード選択部２４は、多重露光フラグと多重相関フラグをクリアにし、ＡＥ部２１は、基準露光時間Ｔａを算出する（ステップＳ４２）。そして、モード選択部２４は、Ｔｍｉｎ、Ｔｍａｘ及びＴｓに、基準露光時間Ｔａの値を代入する（ステップＳ４３）。
The
続いて、モード選択部２４は、設定された撮影モードに応じて固体撮像装置１に撮影を行わせる（ステップＳ４４）。最初の段階においては、多重露光フラグ及び多重相関フラグはクリア状態であるため、制御部２は固体撮像装置１に対して基準露光時間Ｔａでの通常撮影を行わせる。
Subsequently, the
次に、モード選択部２４は、出力された画像信号が示す画像のダイナミックレンジ拡張の必要性を判断する（ステップＳ４５）。ダイナミックレンジ拡張の必要がない場合（ステップＳ４５；ＹＥＳ）、制御部２はステップＳ４４へ処理を移行し、撮影を続行させる。
Next, the
一方、明側にダイナミックレンジ拡張の必要があり（ステップＳ４５；ＮＯ、ステップＳ４６；明側）、前回撮影時は明側にダイナミックレンジ拡張の必要がなかった場合（ステップＳ４７；ＮＯ）、モード選択部２４はＴｓをＴａ／２Ｎ１に設定し、多重相関フラグをセットすると共に多重露光フラグをクリアする（ステップＳ４８）。そして撮影終了指示がない場合は（ステップＳ５５；ＮＯ）、制御部２はステップＳ４４へ処理を移行する。つまりステップＳ４４において、制御部２は画素アレイ部５１に露光時間Ｔｓ（＝Ｔａ／２Ｎ１）で撮影を行わせ、カラムＡＤＣアレイ部に相関多重サンプリング処理を行わせて画像信号を出力させる。
On the other hand, it is necessary to expand the dynamic range on the bright side (step S45; NO, step S46; bright side), and when there was no need to expand the dynamic range on the bright side during the previous shooting (step S47; NO), mode selection The
ステップＳ４６に戻り、明側にダイナミックレンジ拡張の必要があり（ステップＳ４６；暗側）、前回撮影時は暗側にダイナミックレンジ拡張の必要がなかった場合（ステップＳ４９；ＮＯ）、モード選択部２４は多重相関フラグをセットすると共に多重露光フラグをクリアする（ステップＳ５０）。そして撮影終了指示がない場合は（ステップＳ５５；ＮＯ）、制御部２はステップＳ４４へ処理を移行する。つまりステップＳ４４において、制御部２は画素アレイ部５１に露光時間Ｔｓ（＝Ｔａ）で撮影を行わせ、カラムＡＤＣアレイ部に相関多重サンプリング処理を行わせて画像信号を出力させる。
Returning to step S46, it is necessary to expand the dynamic range on the bright side (step S46; dark side), and if there is no need to expand the dynamic range on the dark side during the previous shooting (step S49; NO), the
ステップＳ４６に戻り、暗側及び明側の両方でダイナミックレンジ拡張の必要がある場合（ステップＳ４６；両方）、又は明側のみ拡張の必要があって前回撮影時も明側のみ拡張の必要があった場合（ステップＳ４７；ＹＥＳ）、又は暗側のみ拡張の必要があって前回撮影時も暗側のみ拡張の必要があった場合（ステップＳ４９；ＹＥＳ）、そしてＴａが多重露光に用いる最大露光時間である１／６０秒より十分小さいときは（ステップＳ５１；ＹＥＳ）、モード選択部２４はＴｍｉｎをＴａ／２Ｎ１、ＴｍａｘをＴａ×２Ｎ２に設定し、多重露光フラグをセットし、多重相関フラグをクリアする（ステップＳ５２）。
Returning to step S46, if it is necessary to expand the dynamic range on both the dark side and the bright side (step S46; both), or only the bright side needs to be expanded and only the bright side needs to be expanded during the previous shooting. If it is necessary to expand only the dark side and only the dark side needs to be expanded during the previous shooting (step S49; YES), and Ta uses the maximum exposure time for multiple exposure. Is sufficiently smaller than 1/60 seconds (step S51; YES), the
そして撮影終了指示がない場合は（ステップＳ５５；ＮＯ）、制御部２はステップＳ４４へ処理を移行する。つまりステップＳ４４において、制御部２は画素アレイ部５１に最小露光時間をＴｍｉｎ（＝Ｔａ／２Ｎ１）、最大露光時間をＴｍａｘ（＝Ｔａ×２Ｎ２）、更にその間の露光時間にて撮影を行わせ、カラムＡＤＣアレイ部５３に通常のＡ／Ｄ変換を行わせる。そして画像合成部２５が出力された画像信号の合成を行う。
If there is no photographing end instruction (step S55; NO), the
ステップＳ５１に戻り、Ｔａが１／６０秒とあまり差がない場合（ステップＳ５１；ＮＯ）、モード選択部２４はＴｍｉｎをＴａ／２Ｎ１、Ｔｍａｘ及びＴｓを１／６０秒に設定し、多重露光フラグと多重相関フラグをセットする（ステップＳ５３）。
Returning to step S51, when Ta is not so different from 1/60 seconds (step S51; NO), the
そして撮影終了指示がない場合は（ステップＳ５５；ＮＯ）、制御部２はステップＳ４４へ処理を移行する。つまりステップＳ４４において、制御部２は画素アレイ部５１に最小露光時間をＴｍｉｎ（＝Ｔａ／２Ｎ１）、最大露光時間をＴｍａｘ（＝１／６０秒）、更にその間の露光時間にて撮影を行わせ、カラムＡＤＣアレイ部５３に露光時間Ｔｓ（＝Ｔｍａｘ）で撮影された時の画素信号に対して相関多重サンプリング処理させ、それ以外の露光時間で撮影されたときの画素信号に対して通常のＡ／Ｄ変換を行わせる。そして画像合成部２５が出力された画像信号の合成を行う。制御部２は、ステップＳ４４からステップＳ５５までの処理を撮影終了指示がなされるまで繰り返す。
If there is no photographing end instruction (step S55; NO), the
尚、被写体の動きが遅いとき、変数Ｎ１及びＮ２は、飽和状態が解消されるまでＮ１、Ｎ２を変化させる繰り返し処理を行って、最適なＮ１及びＮ２を導き出すとしたが、被写体の動きが速い場合は動画像の撮影である可能性が高い為、上記のような繰り返し処理を行うことで処理負荷が増大してしまう。従って、予め定められた値を用いてＮ１、Ｎ２を設定する。 When the movement of the subject is slow, the variables N1 and N2 are repeatedly processed to change N1 and N2 until the saturated state is eliminated, and the optimum N1 and N2 are derived. However, the movement of the subject is fast. In such a case, since there is a high possibility of capturing a moving image, the processing load increases by performing the above-described repetitive processing. Therefore, N1 and N2 are set using predetermined values.
以上の処理をまとめると、次のようになる。（１）明側及び暗側の両方でダイナミックレンジ拡張の必要がある場合は通常撮影を行う。 The above processing is summarized as follows. (1) Normal shooting is performed when dynamic range expansion is required on both the bright side and the dark side.
（２）明側のみダイナミックレンジ拡張の必要がある場合は、画素アレイ部５１がＴｓ＝Ｔａ／２Ｎ１で撮影を行い、カラムＡＤＣアレイ部５３が相関多重サンプリング処理を行って画像信号を出力する。ここで、相関多重サンプリング処理にて拡張されるビット分、露光時間の短縮を行うことで、得られた画像のダイナミックレンジが通常撮影時に比べて明側へシフトする。そしてその画像に相関多重サンプリング処理を施すことで、暗側のダイナミックレンジを露光時間の短縮前（つまり通常撮影時）の画像のダイナミックレンジと同じレベルに維持することができる。つまり、明側に拡張したダイナミックレンジを得ることができる。
(2) When the dynamic range needs to be expanded only on the bright side, the
（３）暗側のみダイナミックレンジ拡張の必要がある場合は、画素アレイ部５１がＴｓ＝Ｔａで撮影を行い、カラムＡＤＣアレイ部５３が相関多重サンプリング処理を行って画像信号を出力する。相関多重サンプリングを行うことで通常撮影時よりＢＶがｌｏｇ２Ｍ段ほど暗側に拡張される。つまり、暗側の画像が再現されやすくなる。
(3) When the dynamic range needs to be expanded only on the dark side, the
被写体の動きが速い場合、ダイナミックレンジを拡張するには多重露光より多重相関が適しているが、多重相関ではダイナミックレンジの拡張幅に限度がある。従って、明側又は暗側の何れかのみにダイナミックレンジを拡張したいときは、多重相関を用いる。 When the movement of the subject is fast, multiple correlation is more suitable than multiple exposure for extending the dynamic range, but there is a limit to the expansion range of the dynamic range in multiple correlation. Therefore, when it is desired to extend the dynamic range only to either the bright side or the dark side, multiple correlation is used.
（４）明側及び暗側の両方のダイナミックレンジ拡張の必要がある場合は、又は前回の撮影時に相関多重サンプリング処理にてダイナミックレンジ拡張を図ったが飽和状態が解消されていない場合、更にＴａが１／６０秒より十分小さいときは、最小露光時間Ｔｍｉｎ＝Ｔａ／２Ｎ１、最大露光時間Ｔｍａｘ＝Ｔａ×２Ｎ２の多重露光を行う。通常撮影時の画像に比べて、明側にＮ１段、暗側にＮ２段、それぞれＢＶが拡張される。 (4) If dynamic range expansion on both the bright side and the dark side is necessary, or if the dynamic range expansion is attempted by correlation multiplex sampling processing at the previous shooting, but the saturation state is not eliminated, Ta Is sufficiently smaller than 1/60 seconds, multiple exposure is performed with a minimum exposure time Tmin = Ta / 2 N1 and a maximum exposure time Tmax = Ta × 2 N2 . Compared with the image at the time of normal photographing, the BV is expanded by N1 steps on the bright side and N2 steps on the dark side.
（５）明側及び暗側の両方のダイナミックレンジ拡張の必要がある場合は、又は前回の撮影時に相関多重サンプリング処理にてダイナミックレンジ拡張を図ったが飽和状態が解消されていない場合、更にＴａが１／６０秒と差がないときは、最小露光時間Ｔｍｉｎ＝Ｔａ／２Ｎ１、最大露光時間Ｔｍａｘ＝１／６０秒の多重露光を行う。尚、カラムＡＤＣアレイ部５３は、出力された画素信号のうちＴｓ＝１／６０秒で撮影されたときの画素信号については相関多重サンプリング処理を施し、Ｔｓ以外で撮影されたときの画素信号については通常のＡ／Ｄ変換を施す。多重露光及び多重相関を行うことで、通常撮影時に比べて明側及び暗側の両方のダイナミックレンジを拡張させることができる。
(5) If both the bright side and dark side dynamic range needs to be extended, or if the dynamic range was expanded by correlation multiple sampling processing during the previous shooting, but the saturation state has not been eliminated, Ta When there is no difference from 1/60 seconds, multiple exposure is performed with a minimum exposure time Tmin = Ta / 2 N1 and a maximum exposure time Tmax = 1/60 seconds. Note that the column
以上、説明したように、撮影シーンや被写体の動きの速さに応じて相関多重サンプリング又は／及び多重露光を行うことで効率的に高ダイナミックレンジ化を図ることができる。 As described above, a high dynamic range can be efficiently achieved by performing correlated multiplex sampling and / or multiple exposure according to the shooting scene and the speed of movement of the subject.
１ 撮像装置
２ 制御部
２１ ＡＥ部
２２ 飽和判定部
２３ 移動量算出部
２４ モード選択制御部
２５ 画像合成部
３１ ＣＭＳ回路
５ 固体撮像装置
５１ 画素アレイ部
５３ カラムＡＤＣアレイ部
DESCRIPTION OF
Claims (9)
前記撮像素子が出力した画素信号を相関多重サンプリング処理によってアナログ／デジタル変換する、又は予め定められた通常のアナログ／デジタル変換を行って画像信号を出力する変換手段と、
前記変換手段が出力した画像信号の示す画像に基づいて、当該画像のダイナミックレンジを明側及び暗側の少なくとも何れか一方に拡張する必要があるか否かを判定する判定手段と、
前記判定手段による判定結果に基づき、前記変換手段に相関多重サンプリング処理を用いてアナログ／デジタル変換させる多重相関モードと、前記撮像素子に露光時間の異なる複数の画像を撮影させる多重露光モードと、前記多重相関モード及び前記多重露光モードとを組み合わせた組み合わせモードとの中から何れかのモードを選択するモード選択手段と、
前記モード選択手段により少なくとも前記多重露光モードを実行するモードが選択された場合、前記変換手段から出力された露光時間の異なる複数の画像を１つの画像に合成する合成手段と、
前記モード選択手段が選択したモードに従って撮影を行わせる制御手段と、
を備えた撮像装置。 An image sensor;
Conversion means for performing analog / digital conversion on the pixel signal output from the image sensor by correlation multiplex sampling processing, or performing predetermined normal analog / digital conversion to output an image signal;
Determination means for determining whether or not it is necessary to expand the dynamic range of the image to at least one of the bright side and the dark side based on the image indicated by the image signal output by the conversion means;
Based on a determination result by the determination unit, a multiple correlation mode in which the conversion unit performs analog / digital conversion using a correlation multiple sampling process, a multiple exposure mode in which the imaging device captures a plurality of images having different exposure times, and Mode selection means for selecting any mode from a multiple correlation mode and a combination mode combining the multiple exposure mode;
When a mode for executing at least the multiple exposure mode is selected by the mode selection unit, a combination unit that combines a plurality of images output from the conversion unit and having different exposure times into one image;
Control means for performing shooting according to the mode selected by the mode selection means;
An imaging apparatus comprising:
前記撮像素子に連続して複数回撮影させ、各撮影によって得られた画像から被写体の移動量を算出する移動量算出手段と、
を更に備え、前記制御手段は、前記移動量が予め定められた量以下である場合、所定の低速用撮影シーケンスで撮影を行わせ、前記移動量が前記予め定められた量より大きい場合、所定の高速用シーケンスで撮影を行わせるものである請求項１又は２に記載の撮像装置。 Exposure time setting means for setting a reference exposure time according to the brightness of the subject;
A moving amount calculating means for causing the image sensor to continuously photograph a plurality of times and calculating a moving amount of the subject from an image obtained by each photographing;
The control means is configured to perform shooting in a predetermined low-speed shooting sequence when the movement amount is equal to or less than a predetermined amount, and when the movement amount is greater than the predetermined amount, The imaging apparatus according to claim 1, wherein the imaging is performed with the high-speed sequence.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011268533A JP2013121093A (en) | 2011-12-08 | 2011-12-08 | Imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011268533A JP2013121093A (en) | 2011-12-08 | 2011-12-08 | Imaging device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013121093A true JP2013121093A (en) | 2013-06-17 |
Family
ID=48773536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011268533A Pending JP2013121093A (en) | 2011-12-08 | 2011-12-08 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013121093A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016061666A (en) * | 2014-09-18 | 2016-04-25 | 株式会社島津製作所 | Signal processor for image sensor and signal reading method |
| JP2018056881A (en) * | 2016-09-30 | 2018-04-05 | パナソニックＩｐマネジメント株式会社 | Imaging control device, imaging control method, program and recording medium recording the same |
| WO2019138747A1 (en) * | 2018-01-12 | 2019-07-18 | キヤノン株式会社 | Imaging device and control method therefor |
| JP2020010177A (en) * | 2018-07-06 | 2020-01-16 | キヤノン株式会社 | Imaging apparatus and control method of the same |
| US10944924B2 (en) | 2015-09-30 | 2021-03-09 | Nikon Corporation | Image sensor and electronic camera |
| US11653101B2 (en) | 2019-05-17 | 2023-05-16 | Samsung Electronics Co., Ltd. | Imaging system for generating high dynamic range image |
-
2011
- 2011-12-08 JP JP2011268533A patent/JP2013121093A/en active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016061666A (en) * | 2014-09-18 | 2016-04-25 | 株式会社島津製作所 | Signal processor for image sensor and signal reading method |
| US10944924B2 (en) | 2015-09-30 | 2021-03-09 | Nikon Corporation | Image sensor and electronic camera |
| US11664404B2 (en) | 2015-09-30 | 2023-05-30 | Nikon Corporation | Image sensor and electronic camera |
| JP2018056881A (en) * | 2016-09-30 | 2018-04-05 | パナソニックＩｐマネジメント株式会社 | Imaging control device, imaging control method, program and recording medium recording the same |
| WO2018061427A1 (en) * | 2016-09-30 | 2018-04-05 | パナソニックＩｐマネジメント株式会社 | Imaging control device, imaging control method, program, and recording medium having same recorded thereon |
| WO2019138747A1 (en) * | 2018-01-12 | 2019-07-18 | キヤノン株式会社 | Imaging device and control method therefor |
| JP2019125854A (en) * | 2018-01-12 | 2019-07-25 | キヤノン株式会社 | Imaging apparatus and control method of the same |
| US11516414B2 (en) | 2018-01-12 | 2022-11-29 | Canon Kabushiki Kaisha | Imaging device and method of controlling the same |
| JP7258465B2 (en) | 2018-01-12 | 2023-04-17 | キヤノン株式会社 | Imaging device and its control method |
| JP2020010177A (en) * | 2018-07-06 | 2020-01-16 | キヤノン株式会社 | Imaging apparatus and control method of the same |
| JP7210172B2 (en) | 2018-07-06 | 2023-01-23 | キヤノン株式会社 | Imaging device and its control method |
| US11653101B2 (en) | 2019-05-17 | 2023-05-16 | Samsung Electronics Co., Ltd. | Imaging system for generating high dynamic range image |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10771718B2 (en) | Imaging device and imaging system | |
| JP4843461B2 (en) | Solid-state imaging device | |
| JP5212022B2 (en) | Solid-state imaging device, imaging device, pixel driving voltage optimization device, and pixel driving voltage optimization method | |
| CN108605105B (en) | Solid-state imaging device and imaging device | |
| WO2010073584A1 (en) | Solid-state image pickup device, digital camera, and a/d conversion method | |
| JP2007173950A (en) | Solid-state imaging apparatus and pixel-averaging processing method thereof | |
| JP2006333035A (en) | Solid-state imaging device, imaging device thereof, and driving method | |
| JP2011097646A (en) | Solid-state imaging device and pixel averaging method | |
| JP2013121093A (en) | Imaging device | |
| CN106165401B (en) | Imaging element, gain control method, and electronic apparatus | |
| JP2006319684A (en) | Imaging device and power feeding method for image pickup device | |
| JP2013098598A (en) | Imaging apparatus | |
| US8248520B2 (en) | Imaging apparatus and imaging method | |
| JP2018033101A (en) | Imaging apparatus, control method and program thereof, storage medium | |
| JP2011055351A (en) | Photographing device and control method thereof | |
| JP7339779B2 (en) | Imaging device | |
| JP2008103793A (en) | Imaging apparatus, signal processor, signal processing method, and computer program | |
| KR20140107212A (en) | Solid-state imaging element, method for driving same, and camera system | |
| JP2007134806A (en) | Solid-state imaging element | |
| JP4745677B2 (en) | Imaging device | |
| JP2010041655A (en) | Driving system of solid-state imaging apparatus | |
| JP6057630B2 (en) | Imaging device | |
| JP4546182B2 (en) | Imaging apparatus and timing signal control method | |
| JP2019004257A (en) | Imaging apparatus and control method of the same | |
| JP6967173B1 (en) | Image sensor and image sensor |