JP2020123770A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2020123770A JP2020123770A JP2019013098A JP2019013098A JP2020123770A JP 2020123770 A JP2020123770 A JP 2020123770A JP 2019013098 A JP2019013098 A JP 2019013098A JP 2019013098 A JP2019013098 A JP 2019013098A JP 2020123770 A JP2020123770 A JP 2020123770A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixel
- frame
- output
- shading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置に関する。 The present invention relates to an image pickup device.
撮像センサから出力される画像信号は、暗電流等に起因するノイズ成分を含み、特に処理を施さなければ、画像中にむらとして現れる。このようなむらは、ダークシェーディングと呼ばれ、ダークシェーディングを軽減する様々な手法がこれまでにも開発されてきた
（例えば、特許文献１参照）。
The image signal output from the image sensor includes a noise component due to dark current or the like, and appears as unevenness in the image unless particularly processed. Such unevenness is called dark shading, and various methods for reducing dark shading have been developed up to now (for example, refer to Patent Document 1).
例えば特許文献１の手法に依れば、読出し回路のばらつきに起因するノイズ成分に着目しており、電荷蓄積時間中にフォトダイオードに蓄積される暗電流成分が考慮されていないので、アナログゲインを大きくした場合には、残留するむらが目立つことになる。
For example, according to the method of
本発明は、このような問題を解決するためになされたものであり、アナログゲインを大きくした場合でもむらが目立たないダークシェーディング補正を実現することを目的とする。 The present invention has been made in order to solve such a problem, and an object thereof is to realize dark shading correction in which unevenness is not noticeable even when the analog gain is increased.
本発明の具体的態様における撮像装置は、撮像センサと、オプティカルブラック領域に属するＯＢ画素の出力信号情報、検出された温度、設定された増幅ゲインおよび電荷蓄積時間を入力すると受光領域に属する通常画素の出力信号に対する補正情報を出力する、事前に撮像センサに対して学習作業を行って形成された学習済みモデルを格納した記憶部と、学習済みモデルを用いて撮像センサの出力信号を補正することにより画像データを生成する生成部とを備える。 An image pickup device according to a specific aspect of the present invention includes an image sensor, a normal pixel belonging to a light receiving region when inputting output signal information of an OB pixel belonging to an optical black region, a detected temperature, a set amplification gain, and a charge accumulation time. A correction unit that outputs correction information for the output signal of the image sensor, stores a learned model formed by performing learning work on the image sensor in advance, and corrects the output signal of the image sensor using the learned model. And a generation unit that generates image data.
本発明によれば、学習済みモデルは様々なアナログゲインに対して事前に学習しているので、アナログゲインを大きくした場合でもむらが目立たないダークシェーディング補正を実現することができる。 According to the present invention, since the learned model is learned in advance for various analog gains, it is possible to realize dark shading correction in which unevenness is not noticeable even when the analog gain is increased.
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the invention according to the claims is not limited to the following embodiments. In addition, not all of the configurations described in the embodiments are essential as means for solving the problem.
第１の実施形態について説明する。図１は、本実施形態に係る撮像装置１００の主な構成を示すブロック図である。撮像装置１００は、例えば、ハンディタイプのビデオカメラである。撮像機能を備えるスマートフォンなどの端末機器であっても良い。 The first embodiment will be described. FIG. 1 is a block diagram showing the main configuration of the image pickup apparatus 100 according to this embodiment. The imaging device 100 is, for example, a handy-type video camera. It may be a terminal device such as a smartphone having an imaging function.
撮像装置１００は、撮影光学系としての撮影レンズ１１０を備え、撮影レンズ１１０は、光軸ＯＡに沿って入射する被写体光束を撮像センサ２００へ導く。撮影レンズ１１０は、撮像装置１００に対して着脱できる交換式レンズであっても構わない。撮像装置１００は、バッファメモリ１２０、画像処理部１３０、制御部１５０、記録部１６０、表示部１７０、フラッシュメモリ１８０、および撮像センサ２００を主に備える。
The image pickup apparatus 100 includes a photographing
撮像センサ２００は、ローリングシャッタ方式による電子シャッタに対応する撮像素子であり、例えばＣＭＯＳセンサである。具体的な画素構造および回路構成については後述する。撮像センサ２００は、各画素が出力する出力信号に後述する処理を含む諸々の信号処理を施してデジタル信号へ変換し、画素データとしてバッファメモリ１２０へ引き渡す。
The
バッファメモリ１２０は、例えば揮発性の高速メモリによって構成される。バッファメモリ１２０は、撮像センサ２００から順次画素データを受け取り、これらを１フレームの画像データに纏めて記憶する。バッファメモリ１２０は、フレーム単位で画像処理部１３０へ画像データを引き渡す。また、バッファメモリ１２０は、画像処理部１３０が画像処理する中途段階においてワークメモリとしての機能も担う。
The
画像処理部１３０は、受け取った画像データに対して各種の画像処理を施し、予め定められたフォーマットに即した画像データを生成する。例えば、ＭＰＥＧファイル形式の動画像データを生成する場合は、各フレーム画像データに対するホワイトバランス処理、ガンマ処理等を施した後に、フレーム内およびフレーム間の圧縮処理を実行する。生成された画像データは、例えば着脱式のメモリカードである記録部１６０に記録される。また、生成された画像データは、画像処理部１３０により表示信号に変換され、例えば液晶パネルである表示部１７０に表示される。
The
フラッシュメモリ１８０は、制御部１５０が実行する制御プログラム、制御や演算に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。制御部１５０は、例えばＣＰＵであり、撮像装置１００の全体を制御する。制御部１５０は、撮像センサ２００に対して撮像に関する制御信号を送信する。
The
図２は、撮像センサ２００の主な構成を示す概略図である。撮像センサ２００は、複数の画素が行方向および列方向に配列された画素領域２１０を有する。画素領域２１０は、入射光が画素に到達しないように遮光されたオプティカルブラック領域２１１（以下では「ＯＢ領域２１１」と記す）と、入射光を光電変換する受光画素が配列された受光領域２１２とを有する。ＯＢ領域２１１は、受光領域２１２の周囲を縁取るように設けられている。ＯＢ領域２１１に属する画素から出力された画素信号は、受光領域２１２に属する画素から出力される画素信号から、フィックスパターンノイズを除去するために用いられる。なお、以下において特に言及しない限りは、フィックスパターンノイズが除去されたダークシェーディング（以下では単に「シェーディング」と記す）について説明する。
FIG. 2 is a schematic diagram showing the main configuration of the
第１読出し回路２２１および第２読出し回路２２２は、いわゆる２チャンネル読出しに対応する水平読出し回路であり、それぞれがカラム読出し回路、アナログゲイン回路（アナログアンプ）、ＡＤＣ回路等を含む。垂直走査回路２３０は、画素配列における信号を読み出すべき行を選択し、選択した行の信号が第１読出し回路２２１または第２読出し回路２２２へ読み出されるように、選択した行における各列の画素を駆動する。カラム読出し回路は、ＣＤＳ回路を含む。ＣＤＳ回路は、光電変換された出力信号の信号量からノイズ成分に相当する信号量を差し引くＣＤＳ処理を行う。なお、上述のＯＢ領域２１１の出力を用いたフィックスパターンノイズの除去も、ＣＤＳ処理の一部として行われる。温度センサ２４０は、画素領域２１０の近傍に配設され、温度を検出して制御回路２５０へ温度情報を出力する。
The
制御回路２５０は、撮像センサ２００の各画素が出力する信号を制御する。具体的には、第１読出し回路２２１および第２読出し回路２２２のカラム読出し回路や垂直走査回路２３０を介して後述する各画素における各種トランジスタのスイッチングを制御することにより、電荷蓄積や信号出力のタイミングを制御する。また、温度センサ２４０の温度情報を用いてＣＤＳ回路を制御したり、制御部１５０からの指令に応じてアナログゲインを調製したりする。また、調製した画素信号をＡＤＣ回路に変換させ、画素データとして順次バッファメモリ１２０へ出力させる。
The
図３は、画素部３０１の回路構成を示す図である。画素部３０１は、いわゆる画素と呼ばれる光電変換を行う最小構成であり、主に、フォトダイオード３１１、転送トランジスタ３５１、リセットトランジスタ３５３、増幅トランジスタ３５４、選択トランジスタ３５５、フローティングディフュージョン３６０を含む。
FIG. 3 is a diagram showing a circuit configuration of the
フォトダイオード３１１は、転送トランジスタ３５１に接続され、転送トランジスタ３５１のゲートは、転送トランジスタ３５１をオンにする転送パルスを供給するＴＸ配線に接続されている。転送トランジスタ３５１のドレインは、リセットトランジスタ３５３のソースに接続される。転送トランジスタ３５１のドレインとリセットトランジスタ３５３のソース間にはフローティングディフュージョン３６０が形成される。フローティングディフュージョン３６０は、増幅トランジスタ３５４のゲートに接続される。
The
リセットトランジスタ３５３のドレインは、電源電圧が供給されるＶＤＤ配線に接続され、そのゲートはリセットパルスが供給されるリセット配線に接続される。増幅トランジスタ３５４のドレインは電源電圧が供給されるＶＤＤ配線に接続される。また、増幅トランジスタ３５４のソースは、読出部としての選択トランジスタ３５５のドレインに接続される。選択トランジスタ３５５のゲートには、選択トランジスタ３５５をオンにする選択パルスを供給するデコーダ配線に接続されている。そして、選択トランジスタ３５５のソースは、出力配線３６１に接続される。
The drain of the
負荷電流源３６２は、出力配線３６１に電流を供給する。すなわち、選択トランジスタ３５５がオンすると、増幅トランジスタ３５４のソースが負荷電流源３６２に接続されてソースフォロアとして動作する。なお、負荷電流源３６２は、出力配線３６１を共有する複数の画素に対して共通の要素として設けられる。上述のように、転送トランジスタ３５１、リセットトランジスタ３５３、選択トランジスタ３５５は、それぞれ転送パルス、リセットパルス、選択パルスの印加によって閉成し、印加の解除によって解放するスイッチとして機能する。すなわち、転送トランジスタ３５１は転送スイッチとして、リセットトランジスタ３５３はリセットスイッチとして、選択トランジスタ３５５は選択スイッチとして機能する。
The load
ここで、画素部３０１が出力する２つの出力信号について説明する。１つ目の出力信号は、入射光量に応じた信号量である第１信号である。第１信号は、シェーディングを含む。第１信号を出力させるまでの制御回路２５０の制御は、次の通りである。まず、リセット配線を通じてリセットパルスをリセットトランジスタ３５３に印加し、同時にＴＸ配線を通じて転送パルスを転送トランジスタ３５１に印加すると、フォトダイオード３１１およびフローティングディフュージョン３６０の電位はリセットされる。そして、転送トランジスタ３５１をオフにすると、フォトダイオード３１１は、光電変換部として機能し、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスをリセットトランジスタ３５３に印加し、フローティングディフュージョン３６０を再びリセットする。直後に、選択トランジスタ３５５に選択パルスを印加すると、リセット電位が増幅トランジスタ３５４、選択トランジスタ３５５を介して出力配線３６１に出力される。出力されたリセット電位は図示しないＣＤＳ回路に保存される。これが基準電位になる。
Here, the two output signals output from the
次に、転送パルスを転送トランジスタ３５１に印加すると、蓄積された電荷はフローティングディフュージョン３６０へ転送され、フローティングディフュージョン３６０の電位は、リセット電位から電荷蓄積後の信号電位になる。選択トランジスタ３５５に選択パルスを印加すると、電荷蓄積後の信号電位が増幅トランジスタ３５４および選択トランジスタ３５５を介して出力配線３６１に伝送される。伝送された信号は保存しておいた基準電位を引くＣＤＳ処理をされ、アナログアンプ、ＡＤＣを通してバッファメモリ１２０へ出力される。このように出力された信号が第１信号である。
Next, when a transfer pulse is applied to the
２つ目の出力信号は、シェーディングの一部に相当する信号量である第２信号である。第２信号を出力させるまでの制御回路２５０の制御は、次の通りである。まず、転送トランジスタ３５１がオフの状態において、リセット配線を通じてリセットパルスをリセットトランジスタ３５３に印加し、フローティングディフュージョン３６０の電荷を排出してその電位をリセットする。直後に、選択トランジスタ３５５に選択パルスを印加して、フローティングディフュージョン３６０のリセット電位を増幅トランジスタ３５４および選択トランジスタ３５５を介して出力配線３６１へ伝送させる。リセット電位は図示しないＣＤＳ回路に保存される。これが基準電位になる。
The second output signal is the second signal having a signal amount corresponding to a part of shading. The control of the
その後、転送トランジスタ３５１をオフのまま、再度出力配線３６１に伝送させる。伝送された信号は保存しておいた基準電位を引くＣＤＳ処理をされ、アナログアンプ、ＡＤＣを通してバッファメモリ１２０へ出力される。このように出力された信号が第２信号である。第２信号は、フォトダイオード３１１による電荷蓄積とは無関係であるので、シェーディングノイズのうちフォトダイオード３１１に起因する暗電流成分は含まない。すなわち、第２信号は、フローティングディフュージョン３６０とこれに接続される読出し回路部分のばらつきによって生じる回路ノイズ成分である。第２信号は、転送トランジスタ３５１がオフの状態で短時間に出力させることができるので、フォトダイオード３１１が電荷を蓄積していない期間に限らず、第１信号を出力させるために電荷を蓄積している期間中であっても出力させることができる。詳しくは後述する。
After that, the
例えば撮像センサ２００を遮光部材で覆って入射光が入射しない状態にして電荷蓄積を行った場合のシェーディングは、フィックスパターンノイズを除けば主に、フォトダイオード３１１に生じる暗電流成分と上述の回路ノイズ成分である。図４は、アナログゲインが小さい場合のシェーディングの例を示す図である。具体的には、受光領域２１２のある一行に着目し、その一行に属する各画素の水平方向における画素位置を横軸で表わし、縦軸を各画素が出力するシェーディング量で表わしている。
For example, the shading in the case where the
実線で示すグラフは、各画素に入射光が入射しない状態にして電荷蓄積を行った場合（遮光時）のシェーディングであり、暗電流成分を含んでいる。一方、点線で示すグラフは、転送トランジスタ３５１をオフにして上述のように第２信号を出力させた場合（ＴＸオフ時）のシェーディングであり、暗電流成分を含んでいない。図示するように、アナログゲインが小さい場合は、回路ノイズ成分の比率が相対的に大きくなるので、実線のグラフと点線のグラフは、互いに似通った曲線となることがわかる。より具体的には、画素ごとに、補正係数αを用いて、（遮光時のシェーディング）≒α×（ＴＸオフ時のシェーディング）と表わされることがわかる。
The graph indicated by the solid line is the shading in the case where charge accumulation is performed in a state where incident light is not incident on each pixel (when light is shielded), and includes a dark current component. On the other hand, the graph indicated by the dotted line is the shading when the
動画撮影時には、フレーム間で遮光状態をつくりだして実線に相当するシェーディングを取得することは困難である。しかし、同一製品の撮像センサ２００を用いて事前に実験を行うことにより、具体的には遮光状態において様々な条件でデータを収集することにより、図４に示すような点線のグラフと実線のグラフの関係を把握することができる。すなわち、事前の実験により補正係数αを予め決めておくことができる。補正係数αが予め決められていれば、点線のグラフで示す第２信号は撮像装置１００に組み込まれた状態でも得られるので、予測値として遮光時シェーディングを算出することができる。したがって、被写体光量に対応する第１信号の信号量から、第２信号の信号量に補正係数αを乗じて差し引けば、およそシェーディングが補正された画素信号を得ることができる。
When shooting a moving image, it is difficult to create a light blocking state between frames and obtain shading corresponding to the solid line. However, by performing experiments in advance using the
図５は、アナログゲインが大きい場合のシェーディングを示す図である。表記は図４と同様である。図示するように、アナログゲインが大きくなると、回路ノイズ成分の比率が相対的に小さくなるので、実線のグラフと点線のグラフは、画素の位置によって乖離の傾向が異なっていることがわかる。そこで、比較的傾向が似通う領域ごとに、エリアとして区分けする。図示するように、例えば水平方向を５分割して左から順にエリアＡ、エリアＢ、エリアＣ、エリアＤ、エリアＥとする。このように区分すると、エリアごとの補正係数αＡ、αＢ、αＣ、αＤ、αＥを定めることができる。例えばエリアＡにおいては、（遮光時のシェーディング）≒αＡ×（ＴＸオフ時のシェーディング）と表わされる。 FIG. 5 is a diagram showing shading when the analog gain is large. The notation is the same as in FIG. As shown in the figure, as the analog gain increases, the ratio of the circuit noise component decreases relatively. Therefore, it is understood that the solid line graph and the dotted line graph have different deviation tendencies depending on the pixel position. Therefore, areas having relatively similar tendencies are classified as areas. As shown in the figure, for example, the horizontal direction is divided into five areas, and areas A, B, C, D, and E are arranged in order from the left. By dividing in this way, the correction coefficients α A , α B , α C , α D , and α E can be determined for each area. For example, in area A, (shading when light is blocked)≈α A ×(shading when TX is off).
事前に行う実験の実験結果に基づいて受光領域２１２にエリアを設定し、それぞれの補正係数を定めておけば、アナログゲインが大きい場合であっても、アナログゲインが小さい場合と同様に、予測値として遮光時シェーディングを算出することができる。したがって、被写体光量に対応する第１信号の信号量から、第２信号の信号量に補正係数αＸ（＝当該画素が位置するエリアＸにおける補正係数）を乗じて差し引けば、およそシェーディングが補正された画素信号を得ることができる。
If an area is set in the
ここで受光領域２１２のエリア設定についていくつかの例を説明する。図６は、受光領域２１２をエリアに分割する場合の第１例を示す図である。図示するように第１例は、矩形である受光領域２１２を横ｍ（図の例ではｍ＝１６）、縦ｎ（図の例ではｎ＝８）のｍ×ｎ個のエリアに分割する例である。任意のエリアをＲｉ，ｊ（１≦ｉ≦ｍ，１≦ｊ≦ｎ）と表わすと、それぞれに対応する補正係数αｉ，ｊを、予め実験により収集しておけば良い。例えば、エリアＲ３，７に属する画素の画素信号は、（第１信号）−α３，７×（第２信号）として出力される。
Here, some examples of area setting of the
図７は、受光領域２１２をエリアに分割する場合の第２例を示す図である。図２に示したように、撮像センサ２００を構成する各回路は、受光領域２１２の周縁部に配置されたり、受光領域２１２の厚み方向に積層されたりする。回路によっては、その駆動により発熱するものもある。したがって、暗電流成分を含む場合と含まない場合のシェーディングの乖離が、受光領域２１２の中心部から放射方向へ沿って異なる傾向を示す場合がある。
FIG. 7 is a diagram showing a second example in which the
第２例は、受光領域２１２の中心部から放射方向へエリアを分割する例である。例えば、図示するように、左上のエリアから渦巻き状に中心部に向かってエリアＲ１〜Ｒ９を設定することができる。任意のエリアをＲｉ（１≦ｉ≦ｍ、図の例ではｍ＝９）と表わすと、それぞれに対応する補正係数αｉを、予め実験により収集しておけば良い。例えば、エリアＲ３に属する画素の画素信号は、（第１信号）−α３×（第２信号）として出力される。
The second example is an example in which the area is divided in the radial direction from the center of the
図８は、受光領域をエリアに分割する場合の第３例を示す図である。図２で説明した２チャンネル読出し対応の撮像センサ２００の場合は、例えば奇数列の画素の出力信号が第１読出し回路２２１に読み出され、偶数列の画素の出力信号が第２読出し回路２２２に読み出される。したがって、暗電流成分を含む場合と含まない場合のシェーディングの乖離が、第１読出し回路２２１と第２読出し回路２２２のいずれに読み出されるかによっても異なる傾向を示す場合がある。
FIG. 8 is a diagram showing a third example in which the light receiving area is divided into areas. In the case of the two-channel read-
第３例は、第１例のように受光領域２１２をｍ×ｎ個の矩形エリアに分割した後に、それぞれをさらに、第１読出し回路２２１によって読み出される画素で構成されるグループと、第２読出し回路２２２によって読み出される画素で構成されるグループとに分ける例である。すなわち、出力信号線である出力配線３６１を共有する画素群によってグループ化してエリアを設定する。図においては、前者をＵグループとして任意のエリアをＲｉ，ｊ，Ｕと表わし、後者をＤグループとして同様にＲｉ，ｊ，Ｄと表わしている。第１例、第２例と同様に、それぞれのエリアに対応する補正係数αｉ，ｊ，Ｕまたはαｉ，ｊ，Ｄを、予め実験により収集しておけば良い。例えば、エリアＲ２，１，Ｄに属する画素の画素信号は、（第１信号）−α２，１，Ｄ×（第２信号）として出力される。なお、更に多くの読出し回路を備える場合には、その数に応じて一つのエリアをグループ分割すれば良い。また、第２例のエリア分割に対して読出し回路ごとのグループを適用しても良い。また、第１例から第３例で示す例に限らず、撮像センサ２００の特性や事前の実験結果に応じてエリアを分割し、それぞれに対応する補正係数を決定すれば良い。
In the third example, after the
事前の実験においては、設定され得るアナログゲインおよび電荷蓄積時間、想定される使用温度を様々に変更させながら暗電流成分を含む場合と含まない場合のシェーディングを調べて、上述のように分割された各エリアの補正係数αを決定する。すなわち、異なる電荷蓄積時間（例えば、１／６０秒、１／１２０秒…）、異なるゲイン（例えば、１６ｄＢ、１７ｄＢ…）、異なる温度（例えば、０℃、５℃、１０℃…）のそれぞれに対応して各エリアの補正係数を決定する。設定されるアナログゲインが小さい場合は、それぞれの補正係数αが似通った数値になる。したがって、アナログゲインに閾値を設け、その閾値よりも小さい場合は、全エリアに対して共通の補正係数αを決定しても良い。決定された補正係数αは、撮像センサ２００がメモリを備えるのであれば当該メモリに記憶されていても良いし、そうでない場合は、フラッシュメモリ１８０に記憶され、制御部１５０の制御により、必要に応じて撮像センサ２００へ送信されると良い。
In the previous experiment, we investigated the shading with and without dark current component while changing the analog gain and charge storage time that can be set, and the assumed operating temperature, and divided as described above. The correction coefficient α for each area is determined. That is, different charge accumulation times (for example, 1/60 second, 1/120 second...), different gains (for example, 16 dB, 17 dB...), and different temperatures (for example, 0° C., 5° C., 10° C....) Correspondingly, the correction coefficient for each area is determined. When the set analog gain is small, the respective correction coefficients α have similar values. Therefore, a threshold value may be set for the analog gain, and when it is smaller than the threshold value, a common correction coefficient α may be determined for all areas. The determined correction coefficient α may be stored in the memory as long as the
次に、ローリングシャッタ方式による動画撮影動作について、いくつかの例を説明する。図９は、動画撮影動作の第１例に係る動作概念図である。横軸は、時間の経過を表す。縦軸方向に行方向と記した範囲は、画素領域２１０に配列された画素部３０１について、上から順に１行目（先頭行）、２行目、３行目…ｎ行目（末尾行）のそれぞれの動作を横軸方向（時間軸方向）に表すことを意味する。同一行に配列された複数の画素部３０１は、同一のタイミング制御が実行される。一方、配列行が互いに異なる画素部３０１は、異なるタイミング制御が実行される。
Next, some examples of the moving image shooting operation by the rolling shutter method will be described. FIG. 9 is an operation concept diagram according to the first example of the moving image shooting operation. The horizontal axis represents the passage of time. The range indicated by the row direction in the vertical axis direction is the first row (first row), the second row, the third row,... It means that each operation of is expressed in the horizontal axis direction (time axis direction). The same timing control is executed for the plurality of
本実施形態においては、制御回路２５０は、画素部３０１からローリングシャッタ方式によって出力信号を読み出し、バッファメモリ１２０は、これらを集めて１つのフレーム画像データを生成する。画像処理部１３０は、これらのフレーム画像データを繋ぎ合わせて動画像データを生成する。
In the present embodiment, the
更に具体的に説明する。制御回路２５０は、一点鎖線で示すように、先頭行から末尾行へ向かって行ごとに順次リセットパルスをリセットトランジスタ３５３に印加する。すなわち、上述の第１信号出力のための処理を開始する。制御回路２５０の制御により各画素部３０１は、リセットパルスが印加され、転送トランジスタ３５１がオフにされると、フォトダイオード３１１が入射光量に応じた電荷蓄積を開始する。
A more specific description will be given. The
制御回路２５０は、転送トランジスタ３５１がオフにされてフォトダイオード３１１が電荷を蓄積している間（網掛けで示す期間）に、点線で示すように、上述の第２信号出力のための処理を実行する。すなわち、制御回路２５０は、先頭行から末尾行へ向かって行ごとに順次リセットパルスをリセットトランジスタ３５３に印加し、フローティングディフュージョン３６０をリセットする。その後リセットトランジスタ３５３をオフにし、選択トランジスタ３５５に選択パルスを印加して、フローティングディフュージョン３６０の信号電位を出力配線３６１へ伝送させる。これが基準電位になる。その後、所定時間後にさらにフローティングディフュージョン３６０の電位を出力線３６１に伝送させる。これが信号電位になる。こうして得た２つの出力線の信号からＣＤＳ処理を行う。つまり、信号電位から基準電位を除く。その後、さらにアナログアンプ等の読み出し回路、ＡＤＣを経た信号がバッファメモリ１２０へ出力される（第２信号の出力）。
While the
第２信号の出力は、転送トランジスタ３５１がオフのままの転送を行わない状態で通常の読み出し操作を行ったことを意味する。フローティングディフュージョン３６０をほぼ同じタイミングで２回読みだしてＣＤＳ処理をするから、全ての画素で０になるはずである。ところが実際には、画素ごとに０のレベルがそろっていない信号が得られる。これは、増幅トランジスタ３５４以降の回路の特性にばらつきがあり、信号が通った経路に応じて異なった値になるからである。
The output of the second signal means that the normal read operation is performed in the state where the
予め定められた電荷蓄積時間（＝シャッタ時間）が経過したら、制御回路２５０は、実線で示すように、先頭行から末尾行へ向かって行ごとに、蓄積された電荷に応じた第１信号を出力配線３６１へ伝送させる。まず、リセットトランジスタ３５３を短時間オンにして、フローティングディフュージョン３６０をリセットする。リセットトランジスタ３５３をオフにし、選択トランジスタ３５５をオンにして、基準電位を出力配線３６１へ伝送させる。次に、制御回路２５０の制御により各画素部３０１は、転送トランジスタ３５１をオンにし、蓄積された電荷をフローティングディフュージョン３６０へ転送し、選択トランジスタ３５５に選択パルスが印加されたタイミングで、フローティングディフュージョン３６０の信号電位を出力配線３６１へ伝送させる。これが信号電位になる。電送させた２つの信号からＣＤＳ処理を行い、アナログアンプ等の読み出し回路、ＡＤＣを経た信号がバッファメモリ１２０へ出力される。（第１信号の出力）。
When a predetermined charge accumulation time (=shutter time) has elapsed, the
補正部としての機能を担う画像処理部１３０は、出力配線３６１ごとに第１信号と第２信号を保持する電位保持部を有している。画像処理部１３０は、読み出した画素部３０１の位置に対応する補正係数αを制御部１５０から取得し、第１信号の信号量から、第２信号の信号量に補正係数αを乗じた補正量を差し引くことにより画素信号を生成する。生成された画素信号は、制御部１５０へ出力される。なお、制御部１５０は、画素部３０１の位置に加え、設定されているアナログゲイン、電荷蓄積時間、および温度センサ２４０で測定された温度に対応する補正係数αを、画像処理部１３０へ与える。
The
図１０は、動画撮影動作の第２例に係る動作概念図である。第２例は、図９の第１例よりも電荷蓄積時間が短い場合である。例えば、第１例の電荷蓄積時間が１／６０秒である場合に、第２例の電荷蓄積時間は１／１２０秒である。第１例においては、第１信号の出力処理を実行している間に、第２信号の出力処理を完了させることにより、第１信号の読出しタイミングと第２信号の読出しタイミングが同一列上で重ならないようにした。しかし、電荷蓄積時間が短くなってくると、このような処理では第１信号の読出しタイミングと第２信号の読出しタイミングが同一列上で重なってしまう。そこで、制御回路２５０は、１フレーム期間において、まず先に第２信号の出力処理を実行し、第２信号の読出しタイミングと第１信号の読出しタイミングが同一列上で重ならないように、第１信号の出力処理を実行する。すなわち、第２信号の出力処理を、当該画素部３０１における非電荷蓄積時間に行う。
FIG. 10 is an operation concept diagram according to the second example of the moving image shooting operation. The second example is a case where the charge storage time is shorter than that in the first example of FIG. For example, when the charge storage time in the first example is 1/60 second, the charge storage time in the second example is 1/120 second. In the first example, by completing the output processing of the second signal while executing the output processing of the first signal, the read timing of the first signal and the read timing of the second signal are on the same column. I tried not to overlap. However, when the charge storage time becomes shorter, the read timing of the first signal and the read timing of the second signal overlap in the same column in such a process. Therefore, the
例えば図中の時間軸に垂直な破線で示すように、先行するフレーム期間において末尾行の第１信号の読み出しが完了したら、次のフレーム期間において先頭行の第２信号の読出し処理を開始する。このように処理することによっても、１フレーム期間内において各画素部３０１に第１信号と第２信号を出力させることができる。すなわち、第１読出し回路２２１および第２読出し回路２２２は、第１例と同様に、各画素部３０１の画素信号を生成することができる。
For example, as indicated by a broken line perpendicular to the time axis in the figure, when the reading of the first signal in the last row is completed in the preceding frame period, the reading process of the second signal in the first row is started in the next frame period. With such processing, the first signal and the second signal can be output to each
図１１は、動画撮影動作の第３例に係る動作概念図である。第３例は、図９の第１例のような長時間の電荷蓄積を実行するフレーム期間と、図１０の第２例のような短時間の電荷蓄積を実行するフレーム期間が交互に繰り返される場合である。電荷蓄積時間の長いフレーム期間をＬｏｎｇフレーム期間、電荷蓄積時間の短いフレーム期間をＳｈｏｒｔフレーム期間と称すると、Ｌｏｎｇフレーム期間で出力されたフレーム画像とＳｈｏｒｔフレーム期間で出力されたフレーム画像に、いわゆるＨＤＲ処理を施して合成することにより、ダイナミックレンジの広い画像を得ることができる。 FIG. 11 is an operation concept diagram according to the third example of the moving image shooting operation. In the third example, a frame period for executing a long-time charge accumulation as in the first example of FIG. 9 and a frame period for performing a short-time charge accumulation as in the second example of FIG. 10 are alternately repeated. This is the case. When a frame period having a long charge storage time is called a Long frame period and a frame period having a short charge storage time is called a Short frame period, a so-called HDR is added to a frame image output in the Long frame period and a frame image output in the Short frame period. An image with a wide dynamic range can be obtained by performing processing and combining.
第３例において制御回路２５０は、上述の第１例の制御と第２例の制御を交互に繰り返す。ただし、図中の時間軸に垂直な破線で示すように、先行するＬｏｎｇフレーム期間において末尾行の第１信号の読み出しが完了したら、続くＳｈｏｒｔフレーム期間において先頭行の第２信号の読出し処理を開始する。このように処理することにより、Ｌｏｎｇフレーム期間に対応する画素信号と、Ｓｈｏｒｔフレーム期間に対応する画素信号とを出力させることができる。画像処理部１３０は、このように出力されたＬｏｎｇフレーム画像とＳｈｏｒｔフレーム画像を合成してＨＤＲフレーム画像を生成する。
In the third example, the
次に、１フレーム期間のシェーディング補正処理の流れについて説明する。図１２は、１フレーム期間のシェーディング補正処理を示すフロー図である。制御部１５０は、ステップＳ１０１で、１フレーム期間の処理に先立ち、補正情報を取得する。具体的には、制御部１５０から設定されているアナログゲインおよび電荷蓄積時間を取得し、温度センサ２４０から現時点の温度を取得する。そして、ステップＳ１０２で、取得したアナログゲインが予め設定された閾値ゲイン以上であるか否かを判断する。
Next, the flow of the shading correction process for one frame period will be described. FIG. 12 is a flowchart showing the shading correction process for one frame period. In step S101, the
閾値以上でないと判断したらステップＳ１０３へ進み、制御部１５０は、全エリアに共通して適用する補正係数αを格納されたメモリから取得する。閾値以上であると判断したらステップＳ１０４へ進み、制御部１５０は、エリアごとに補正値を適用できるよう、それぞれの補正係数αを格納されたメモリから取得する。
If it is determined that the value is not equal to or more than the threshold value, the process proceeds to step S103, and the
ステップＳ１０５へ進むと、制御部１５０は、画像処理部１３０が実行する各画素のシェーディング補正処理に対し、ステップＳ１０３またはステップＳ１０４で取得した補正係数αを適宜供給する。１フレーム分のシェーディング補正処理が完了するとフローを終了する。
When the processing proceeds to step S105, the
第２の実施形態について説明する。第２の実施形態については、第１の実施形態の構成と異なる構成について説明する。特に言及しない構成は、第１の実施形態の構成と同様である。 The second embodiment will be described. Regarding the second embodiment, a configuration different from the configuration of the first embodiment will be described. The configuration not particularly mentioned is the same as the configuration of the first embodiment.
第２の実施形態における撮像装置１００の撮像センサ２００は、第１の実施形態の撮像センサ２００とは異なり、１フレーム期間に２回の読出しが可能な、いわゆる倍速駆動ができない。すなわち、１フレーム期間に１回のみの読出しが可能である。このような制限がある場合でも、電荷蓄積時間の長いＬｏｎｇフレーム期間で出力されたフレーム画像と電荷蓄積時間の短いＳｈｏｒｔフレーム期間で出力されたフレーム画像とを合成するフレーム合成を行うモードでは、上述のようなシェーディング補正処理が可能な場合がある。以下にその処理について説明する。
Unlike the
図１３は、フレーム合成を行う場合の通常処理時の動作概念図である。フレーム合成を行う場合は、通常処理時においては、電荷蓄積時間がＴＬ（例えば１／６０秒）のＬｏｎｇフレーム期間と、電荷蓄積時間がＴＳ（＜ＴＬ、例えば１／１２０秒）のＳｈｏｒｔフレーム期間とを交互に繰り返す。すなわち、制御回路２５０は、連続するフレーム期間のそれぞれにおいて、第１の電荷蓄積時間ＴＬにより画素部３０１のそれぞれに第１信号を出力させる第１フレーム制御と、第１の電荷蓄積時間ＴＬよりも短い第２の電荷蓄積時間ＴＳにより画素部３０１のそれぞれに第１信号を出力させる第２フレーム制御を交互に行う。
FIG. 13 is a conceptual diagram of an operation during normal processing when performing frame synthesis. When performing frame synthesis, during normal processing, a Long frame period having a charge accumulation time of T L (for example, 1/60 seconds) and a charge accumulation time of T S (<T L , for example, 1/120 seconds) are used. The Short frame period is alternately repeated. That is, the
そして、本実施形態においては、画像処理部１３０は、バッファメモリ１２０でＬｏｎｇフレーム期間に対応する３フレームと、Ｓｈｏｒｔフレーム期間に対応する３フレームが蓄積されたら、これらを１フレームに合成する。このような合成処理により、フレームレートは低下するものの、低ノイズでダイナミックレンジの広い高品位の合成フレーム画像を生成することができる。
Then, in the present embodiment, the
図１３に示すように、通常処理時においては、第２信号を出力させるタイミングがない。そこで、制御回路２５０は、例えば制御部１５０から周期的に指示信号を受けた場合に、第２信号を読み出すシェーディング読出しを実行する。図１４は、フレーム合成を行う場合のシェーディング読出し時の動作概念図である。
As shown in FIG. 13, during normal processing, there is no timing for outputting the second signal. Therefore, the
図１４に示すように、制御回路２５０は、指示信号を受けた場合であっても、Ｌｏｎｇフレーム期間においては、電荷蓄積時間がＴＬである第１フレーム制御を実行する。一方で、３つあるＳｈｏｒｔフレーム期間の２つにおいては、第２の電荷蓄積時間ＴＳよりも長く第１の電荷蓄積時間ＴＬよりも短い第３の電荷蓄積時間ＴＭにより画素部３０１のそれぞれに第１信号を出力させる第３フレーム制御を実行する。そして、３つあるＳｈｏｒｔフレーム期間の残り１つは補正フレーム期間として、画素部３０１のそれぞれにリセット後のフローティングディフュージョンの電位を示す第２信号を出力させる第４フレーム制御を実行する。つまり、制御回路２５０は、制御部１５０の指示信号に従って、１つの合成フレーム画像を生成するために、第１フレーム制御（Ｌｏｎｇフレーム期間）→第３フレーム制御（Ｓｈｏｒｔフレーム期間）→第１フレーム制御（Ｌｏｎｇフレーム期間）→第３フレーム制御（Ｓｈｏｒｔフレーム期間）→第１フレーム制御（Ｌｏｎｇフレーム期間）→第４フレーム制御（補正フレーム期間）を順に実行する。
As illustrated in FIG. 14, the
第１の実施形態においては、画像処理部１３０が、第１信号の信号量から、第２信号の信号量に補正係数αを乗じた補正量を差し引くことにより画素信号を生成した。第２の実施形態においても、画像処理部１３０が、バッファメモリ１２０に蓄えられたそれぞれのフレーム期間の出力信号に対してシェーディング補正処理を実行する。
In the first embodiment, the
具体的には、画像処理部１３０は、対応する画素同士において、第１フレーム制御で出力された第１信号の信号量から、第４フレーム制御で出力された第２信号の信号量に画素位置や電荷蓄積時間などに対応する補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。同様に、対応する画素同士において、第３フレーム制御で出力された第１信号の信号量から、第４フレーム制御で出力された第２信号の信号量に画素位置や電荷蓄積時間などに対応する補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。このように補正された５つのフレーム画像を合成すると、シェーディング補正が施された合成フレーム画像を得ることができる。
Specifically, the
第４フレーム制御で得られた各画素の第２信号をバッファメモリ１２０で記憶しておけば、図１３を用いて説明した通常処理時のフレーム画像に対してもシェーディング補正処理を施すことができる。具体的には、画像処理部１３０は、対応する画素同士において、通常処理時の第１フレーム制御で出力された第１信号の信号量から、シェーディング読出し時の第４フレーム制御で出力された第２信号の信号量に画素位置や電荷蓄積時間などに対応する補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。同様に、対応する画素同士において、通常処理時の第２フレーム制御で出力された第１信号の信号量から、シェーディング読出し時の第４フレーム制御で出力された第２信号の信号量に画素位置や電荷蓄積時間などに対応する補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。このように補正された６つのフレーム画像を合成すると、通常処理時においても、シェーディング補正が施された合成フレーム画像を得ることができる。
If the second signal of each pixel obtained by the fourth frame control is stored in the
通常処理時における１つの合成フレームは、第１フレーム制御による３つのＬｏｎｇフレーム画像と第２フレーム制御による３つのＳｈｏｒｔフレーム画像が合成されるので、その電荷蓄積時間の合計は、３×ＴＬ＋３×ＴＳとなる。一方、シェーディング読出し時における１つの合成フレームは、第１フレーム制御による３つのＬｏｎｇフレーム画像と第３フレーム制御による２つのＳｈｏｒｔフレーム画像が合成されるので、その電荷蓄積時間の合計は、３×ＴＬ＋２×ＴＭとなる。したがって、３×ＴＳ≠２×ＴＭである場合には、輝度調整を行わない限り、合成フレーム間で輝度のばらつきが生じる。 Since one combined frame during normal processing is composed of three Long frame images under the first frame control and three Short frame images under the second frame control, the total charge accumulation time is 3×T L +3. ×T S. On the other hand, one composite frame at the time of shading reading is composed of three Long frame images under the first frame control and two Short frame images under the third frame control, so that the total charge accumulation time is 3×T. It becomes L +2×T M. Therefore, in the case of 3×T S ≠2×T M , variations in luminance occur between combined frames unless luminance adjustment is performed.
そこで、通常処理時における３つのＳｈｏｒｔフレーム期間をシェーディング読出し時には２つのＳｈｏｒｔフレーム期間と１つの補正フレーム期間に変更する場合には、ＴＭ＝（３／２）×ＴＳとすると良い。このように電荷蓄積時間を調整すれば、３×ＴＳ＝２×ＴＭとすることができる。すなわち、合成フレーム間の輝度のばらつきをほぼなくすことができる。換言すれば、第３の電荷蓄積時間ＴＭは、第４フレーム制御を行うことによって不足する電荷蓄積時間に基づいて決定されれば、合成フレーム間の輝度のばらつきをほぼなくすことができる。 Therefore, when changing the three Short frame periods during the normal processing to two Short frame periods and one correction frame period during the shading reading, it is preferable to set T M =(3/2)×T S. By adjusting the charge storage time in this way, 3×T S =2×T M can be obtained. That is, it is possible to substantially eliminate the variation in luminance between the combined frames. In other words, if the third charge accumulation time T M is determined based on the charge accumulation time that is insufficient due to the fourth frame control, it is possible to almost eliminate the variation in luminance between combined frames.
なお、上述の例では、６つのフレーム期間を合成１フレームの単位期間としたが、それ以上であっても良い。例えば８つのフレーム期間を合成１フレームの単位期間とする場合は、通常処理時においては、第１フレーム制御によって得られる４つのＬｏｎｇフレーム画像と第２フレーム制御によって得られる４つのＳｈｏｒｔフレーム画像が合成される。また、シェーディング読出し時には、第１フレーム制御によって得られる４つのＬｏｎｇフレーム画像と第３フレーム制御によって得られる３つのＳｈｏｒｔフレーム画像が合成される。補正フレーム期間においては、上述と同様に第４フレーム制御により各画素から第２信号が出力される。 In the above example, the six frame periods are set as the unit period of one combined frame, but may be longer than that. For example, when eight frame periods are set as a unit period of one combined frame, in normal processing, four Long frame images obtained by the first frame control and four Short frame images obtained by the second frame control are combined. To be done. Further, at the time of shading reading, four Long frame images obtained by the first frame control and three Short frame images obtained by the third frame control are combined. In the correction frame period, the second signal is output from each pixel by the fourth frame control as described above.
制御部１５０は、指示信号を制御回路２５０へ、例えば合成１フレームの２単位期間ごとに送信する。この場合、制御回路２５０は、通常処理とシェーディング読出しを単位期間ごとに交互に実行する。あるいは、制御部１５０は、シェーディングが変化し得る要因の発生に基づいて制御回路２５０へ指示信号を送信するようにしても良い。例えば、温度センサ２４０が検出する温度の変化が閾値を超えるごとに指示信号を送信するようにしても良い。また、指示信号は、制御部１５０が生成させるのではなく、制御回路２５０が自身で生成するようにしても良い。また、以上の説明においては、シェーディング補正処理をバッファメモリ１２０で行ったが、撮像センサ２００が数フレーム分のフレームバッファメモリを備えるのであれば、シェーディング補正処理を撮像センサ２００内で行っても良い。
The
また、補正フレーム期間は、合成１フレームの単位期間の最後でなくても良く、いずれかのＳｈｏｒｔフレーム期間を置き換えれば良い。更には、補正フレーム期間で取得された第２信号は、上述のようにそれまでのフレーム期間で取得された第１信号のシェーディング補正処理に用いるのではなく、その後のフレーム期間で取得される第１信号のシェーディング補正処理に用いても良い。その場合、第１読出し回路２２１および第２読出し回路２２２が備える電位保持部で第２信号を一定期間保持すれば、その後のフレーム期間ごと更新される第１信号に対してシェーディング補正処理を第１読出し回路２２１および第２読出し回路２２２で実行することができる。第２信号は、第４フレーム制御が実行されるたびに更新される。
Further, the correction frame period need not be the end of the unit period of one combined frame, and any Short frame period may be replaced. Further, the second signal acquired in the correction frame period is not used in the shading correction process of the first signal acquired in the previous frame period as described above, but is acquired in the subsequent frame period. It may be used for shading correction processing of one signal. In that case, if the potential holding unit included in the
次に、１つの合成フレーム画像を生成するまでの処理の流れについて説明する。図１５は、フレーム合成を行う場合のフレーム合成処理を示すフロー図である。制御回路２５０は、ステップＳ２０１で、指示信号を受け取ったか否かを確認する。指示信号を受け取っていない場合には、通常処理を行うべくステップＳ２０２へ進む。指示信号を受け取った場合には、シェーディング読出しの処理を行うべくステップＳ２０９へ進む。
Next, a flow of processing up to the generation of one combined frame image will be described. FIG. 15 is a flowchart showing a frame synthesizing process when performing frame synthesizing. The
ステップＳ２０２へ進むと、制御回路２５０は、Ｌｏｎｇフレーム期間において第１フレーム制御を実行し、Ｌｏｎｇフレーム画像を得る。続いてステップＳ２０３へ進み、Ｓｈｏｒｔフレーム期間において第２フレーム制御を実行し、Ｓｈｏｒｔフレーム画像を得る。制御回路２５０は、ステップＳ２０４でカウント変数ｎをインクリメントし、ステップＳ２０５で、カウント変数ｎが予め定められたｎ０に到達したか否かを判断する。到達していないと判断したら、ステップＳ２０２へ戻り、第１フレーム制御と第２フレーム制御を繰り返す。到達していると判断したら、ステップＳ２０６へ進む。なお、ｎ０は、３つのＬｏｎｇフレーム画像と３つのＳｈｏｒｔフレーム画像を合成する場合にはｎ０＝３であり、４つのＬｏｎｇフレーム画像と４つのＳｈｏｒｔフレーム画像を合成する場合にはｎ０＝４である。
In step S202, the
ステップＳ２０６へ進むと、画像処理部１３０は、バッファメモリ１２０に蓄積されたＬｏｎｇフレーム画像とＳｈｏｒｔフレーム画像に対して、シェーディング補正処理を実行する。具体的には、それぞれのフレーム画像の各画素の第１信号量から、すでに実行された第４フレーム制御によって取得され記憶されている対応画素の第２信号の信号量に諸条件に合わせて選択された補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。画像処理部１３０は、続くステップＳ２０７で、シェーディング補正処理が施された各フレーム画像を合成して１つの合成フレーム画像を生成する。合成フレーム画像を生成したら、ステップＳ２０８へ進み、カウント変数ｎをリセットして終了する。
In step S206, the
一方、ステップＳ２０９へ進むと、制御回路２５０は、Ｌｏｎｇフレーム期間において第１フレーム制御を実行し、Ｌｏｎｇフレーム画像を得る。続いてステップＳ２１０へ進み、Ｓｈｏｒｔフレーム期間において第３フレーム制御を実行し、Ｓｈｏｒｔフレーム画像を得る。制御回路２５０は、ステップＳ２１１でカウント変数ｎをインクリメントし、ステップＳ２１２で、カウント変数ｎが予め定められたｎ０に対してｎ０−１に到達したか否かを判断する。到達していないと判断したら、ステップＳ２０９へ戻り、第１フレーム制御と第３フレーム制御を繰り返す。到達していると判断したら、ステップＳ２１３へ進む。制御回路２５０は、ステップＳ２１３へ進むと、更に第１フレーム制御を実行し、Ｌｏｎｇフレーム画像を得る。続いてステップＳ２１４へ進み、補正フレーム期間として第４フレーム制御を実行し、各画素から第２信号を得る。
On the other hand, when the processing proceeds to step S209, the
ステップＳ２１５へ進むと、画像処理部１３０は、バッファメモリ１２０に蓄積されたＬｏｎｇフレーム画像とＳｈｏｒｔフレーム画像に対して、シェーディング補正処理を実行する。具体的には、それぞれのフレーム画像の各画素の第１信号量から、ステップＳ２１４の第４フレーム制御によって取得された対応画素の第２信号の信号量に諸条件に合わせて選択された補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。画像処理部１３０は、続くステップＳ２１５で、シェーディング補正処理が施された各フレーム画像を合成して１つの合成フレーム画像を生成する。合成フレーム画像を生成したら、ステップＳ２０８へ進み、カウント変数ｎをリセットして終了する。
In step S215, the
第３の実施形態について説明する。第３の実施形態については、第１の実施形態の構成と異なる構成について説明する。特に言及しない構成は、第１の実施形態の構成と同様である。 A third embodiment will be described. As for the third embodiment, a configuration different from the configuration of the first embodiment will be described. The configuration not particularly mentioned is the same as the configuration of the first embodiment.
第３の実施形態における撮像装置１００の撮像センサ２００は、第１の実施形態の撮像センサ２００とは異なり、受光領域２１２に点在する遮光画素を有する。図１６は、受光領域２１２に遮光画素４１０を含む撮像センサ２００の概略図である。遮光画素４１０は、入射光を遮断する遮断部を有しており、入射光は、遮光画素４１０のフォトダイオード３１１へは到達しない。それぞれの遮光画素４１０は、周囲を通常画素４００に囲まれている。通常画素４００は、フォトダイオード３１１へ到達する入射光を光電変換する画素である。遮光画素４１０は、図３を用いて説明したように、通常画素４００と同様の回路構成を有する。したがって、遮光画素４１０も、読出し回路２２１および第２読出し回路２２２を介して、通常画素４００と同様の読出し制御を受ける。
Unlike the
図１７は、撮像センサ２００の受光領域２１２における受光面近傍の断面図である。本実施形態においては、撮像センサ２００を裏面照射型のＭＯＳイメージセンサとして説明する。入射光は主に白抜き矢印で示す方向へ向かって入射する。
FIG. 17 is a cross-sectional view near the light receiving surface in the
フォトダイオード層５０６は、配線層５０８より入射光側に配されている。フォトダイオード層５０６は、二次元的に配された複数のフォトダイオード５０４、および、フォトダイオード５０４に対応して設けられたトランジスタ５０５を有する。フォトダイオード５０４は、図３の回路構成図で示したフォトダイオード３１１に対応し、トランジスタ５０５は、転送トランジスタ３５１等に対応する。
The
フォトダイオード層５０６の入射光側にはパッシベーション膜５０３を介してフィルタ層５０２が設けられている。それぞれのフォトダイオード５０４は、一つの画素を構成する。そのうち、図において、カラーフィルタ５０２ａが設けられた画素が通常画素４００であり、入射光を遮断する不透過の遮光フィルタ５０２ｂが設けられた画素が遮光画素４１０である。カラーフィルタ５０２ａは、互いに異なる波長領域を透過する複数の種類（例えば、赤、青、緑の３種類）を有しており、フォトダイオード５０４のそれぞれに対応して特定の配列を有している。
A
フィルタ層５０２の入射光側には、それぞれの画素に対応して、マイクロレンズ５０１が設けられる。マイクロレンズ５０１は、対応するフォトダイオード５０４へ向けて入射光を集光する。遮光画素４１０は、入射光をフォトダイオード５０４へ到達させないので、マイクロレンズ５０１が設けられていなくても良い。配線層５０８は、フォトダイオード層５０６からの信号を読出し回路２２１または第２読出し回路２２２へ伝送する配線５０７を有する。配線５０７は多層であってもよい。
A
本実施形態における撮像センサ２００は、第１の実施形態および第２の実施形態における撮像センサ２００のように同一画素に第１信号と第２信号を出力させるのではなく、遮光画素４１０の出力信号を利用して、通常画素４００の出力信号を補正する。遮光画素４１０の出力は、図４および図５において実線で示した遮光時のシェーディングに相当する。そこで、通常画素４００の出力信号（＝第１信号）の信号量から、近傍の遮光画素４１０が出力する出力信号の信号量を差し引くことにより、シェーディング補正された当該通常画素４００の画素信号を得る。なお、フレーム画像としては、遮光画素４１０の位置に対応する画素値が欠落するが、周囲の通常画素の画素値を用いて補間処理により埋め合わせれば良い。
The
図１８は、遮光画素４１０と受光領域２１２のエリア分割の関係を示す図である。図示するように、矩形である受光領域２１２を横ｍ（図の例ではｍ＝４）、縦ｎ（図の例ではｎ＝３）のｍ×ｎ個のエリアに分割する。任意のエリアをＲｉ，ｊ（１≦ｉ≦ｍ，１≦ｊ≦ｎ）と表わす。それぞれのエリアの中心付近には遮光画素４１０が配置されている。換言すると、遮光画素４１０の位置に応じて受光領域２１２のエリアが分割されている。
FIG. 18 is a diagram showing a relationship of area division of the light-shielding
各エリアに属するそれぞれの通常画素４００の出力信号は、同一エリアに属する遮光画素４１０の出力信号によってシェーディング補正処理が行われる。例えば、エリアＲ３，１に属する通常画素４００の出力信号は、同じくエリアＲ３，１に属する遮光画素４１０の出力信号によってシェーディング補正処理が行われる。なお、エリアの分割は、図７の例や、図８の例に倣っても良い。
Shading correction processing is performed on the output signals of the
図１９は、本実施形態におけるローリングシャッタ方式による動画撮影動作の動作概念図である。ここでは、図１１の例と同様に、電荷蓄積時間の長いＬｏｎｇフレーム期間で出力されたフレーム画像と電荷蓄積時間の短いＳｈｏｒｔフレーム期間で出力されたフレーム画像とを合成するフレーム合成を行う場合について説明する。 FIG. 19 is an operation conceptual diagram of a moving image shooting operation by the rolling shutter method in the present embodiment. Here, similar to the example of FIG. 11, a case where frame synthesis is performed in which a frame image output in a Long frame period having a long charge accumulation time and a frame image output in a Short frame period having a short charge accumulation time are performed explain.
フレーム合成を行う場合は、電荷蓄積時間がＴＬ（例えば１／６０秒）のＬｏｎｇフレーム期間と、電荷蓄積時間がＴＳ（＜ＴＬ、例えば１／１２０秒）のＳｈｏｒｔフレーム期間とを交互に繰り返す。すなわち、制御回路２５０は、連続するフレーム期間のそれぞれにおいて、第１の電荷蓄積時間ＴＬにより画素部３０１のそれぞれに出力信号を出力させるＬｏｎｇフレーム制御と、第１の電荷蓄積時間ＴＬよりも短い第２の電荷蓄積時間ＴＳにより画素部３０１のそれぞれに出力信号を出力させるＳｈｏｒｔフレーム制御を交互に行う。
When performing frame combination, a Long frame period having a charge storage time of T L (for example, 1/60 seconds) and a Short frame period having a charge storage time of T S (<T L , for example, 1/120 second) are alternated. Repeat. That is, the
Ｌｏｎｇフレーム制御において、遮光画素４１０は、通常画素４００と同じ電荷蓄積時間ＴＬのシェーディング信号を出力する。したがって、同じＬｏｎｇフレーム期間で出力された通常画素４００の出力信号の信号量から、同一エリアの遮光画素４１０が出力するシェーディング信号を差し引けば、シェーディングがほぼ除去された画素信号になる。Ｓｈｏｒｔフレーム制御において、遮光画素４１０は、通常画素４００と同じ電荷蓄積時間ＴＳのシェーディング信号を出力する。したがって、同じＳｈｏｒｔフレーム期間で出力された通常画素４００の出力信号の信号量から、同一エリアの遮光画素４１０が出力するシェーディング信号を差し引けば、シェーディングがほぼ除去された画素信号になる。
In the Long frame control, the light-shielding
ところで、遮光画素４１０の信号レベルが同一エリア内の通常画素４００のシェーディング分布の平均と異なる場合、シェーディング補正後でエリアごとにばらつきが生じる可能性がある。この場合、遮光画素４１０をエリアごとに複数用意し、その平均の信号値を求めるようにするとよい。または、あらかじめ同一エリア内の通常画素４００のシェーディングを測定しておき、その平均値と遮光画素４１０の信号値と比較することでエリアごとに補正係数βを求め、遮光画素４１０の信号値にその補正係数βをかけた数値をシェーディング補正に使うようにしてもよい。補正係数βは温度、アナログゲインに応じて設定すると、さらに好ましい。
By the way, when the signal level of the light-shielded
そして、画像処理部１３０は、バッファメモリ１２０で蓄積されたＬｏｎｇフレーム期間に対応するフレームとＳｈｏｒｔフレーム期間に対応するフレームとを１フレームに合成する。このような合成処理により、低ノイズでダイナミックレンジの広い高品位の合成フレーム画像を生成することができる。
Then, the
本実施例においては、１エリアに１つの遮光画素４１０が含まれる場合を説明した。この場合、制御回路２５０は、遮光画素４１０の出力信号の変化を監視して、異常値を出力していないかを検出すると良い。例えば、他の遮光画素４１０が出力する出力信号と比較して極端に変化量が少ない場合や、全く異なる傾向の変化を示す場合には、制御回路２５０は、当該遮光画素４１０の出力信号を異常と判断する。制御回路２５０がある遮光画素４１０の出力信号を異常と判断した場合には、当該遮光画素４１０と同じエリアに属する通常画素４００の出力信号は、周囲のエリアに属する遮光画素４１０の出力信号を用いてシェーディング補正処理を実行すれば良い。なお、シェーディング補正処理は、読出し回路２２１および第２読出し回路２２２の電位保持部がこのような処理を実行できるように構成されている場合には、読出し回路２２１および第２読出し回路２２２が実行すれば良い。そうでない場合には、バッファメモリ１２０に蓄積されたフレーム画像に対して、画像処理部１３０が実行すれば良い。
In this embodiment, the case where one light-shielding
なお、１エリアに複数の遮光画素４１０を配置すれば、一方の出力信号が異常と判断された場合でも、他方の出力信号を用いることができる。また、撮像装置１００が三板式カメラである場合、すなわち赤色成分を出力するための撮像センサ、緑色成分を出力するための撮像センサ、青色成分を出力するための撮像センサをそれぞれ有する場合には、対応する画素同士が遮光画素とならないように配置すると良い。
By disposing a plurality of light-shielding
図２０は、本実施形態における１フレームのシェーディング補正処理を示すフロー図である。制御回路２５０は、ステップＳ３０１で、１フレーム期間の処理に先立ち、補正情報を取得する。そして、ステップＳ３０２で、シェーディング補正処理を行おうとする通常画素４００と同じエリアに含まれる遮光画素４１０の出力信号が異常であるか否かの異常判定を行う。異常でないと判断した場合はステップＳ３０３へ進み、当該遮光画素４１０の出力値を採用し、ステップＳ３０５でシェーディング補正処理をおこなう。
FIG. 20 is a flowchart showing the shading correction processing for one frame in this embodiment. In step S301, the
制御回路２５０は、ステップＳ３０２で異常であると判断した場合は、ステップＳ３０４へ進み、周囲にエリアに属する遮光画素４１０の出力値を用いる。ここでは、周囲のエリアのそれぞれに含まれる遮光画素４１０の出力値から、距離等の条件によって重み付け平均を算出し、算出した値を異常と判断した遮光画素４１０の推定出力値とする。ステップＳ３０５へ進んだら、この推定出力値を採用してシェーディング補正処理をおこなう。１フレーム分のシェーディング補正処理が完了するとフローを終了する。
If the
第４の実施形態について説明する。第４の実施形態については、第１の実施形態の構成と異なる構成について説明する。特に言及しない構成は、第１の実施形態の構成と同様である。本実施形態においては、それぞれの画素に第２信号を出力させることなく、また、受光領域に遮光画素を設けることなくシェーディング補正処理を行う。以下にその処理について説明する。 A fourth embodiment will be described. Regarding the fourth embodiment, a configuration different from the configuration of the first embodiment will be described. The configuration not particularly mentioned is the same as the configuration of the first embodiment. In the present embodiment, the shading correction process is performed without outputting the second signal to each pixel and without providing the light-shielding pixel in the light receiving region. The processing will be described below.
上述のように撮像センサ２００は画素領域２１０にＯＢ領域２１１を有し、ＯＢ領域２１１に属する画素（以下では「ＯＢ画素」と記す）も、フレーム期間ごとに信号を出力する。しかし、ＯＢ領域２１１は、受光領域２１２の周囲を縁取るように設けられているので、フレーム期間ごとにＯＢ画素から出力された出力信号をもって、受光領域２１２に属するそれぞれの画素のシェーディングを直接的に推定することは難しい。
As described above, the
一方、撮像センサ２００を製品として撮像装置１００へ組み込む前の段階で、撮像センサ２００の受光面を遮光して様々に条件を変えつつ、ＯＢ画素の出力と、受光領域２１２に属する通常画素の出力のデータを採取することはできる。具体的には、検出された温度、設定された増幅ゲインおよび電荷蓄積時間、ＯＢ画素の出力信号値、通常画素の出力信号値のデータセットを採取することができる。
On the other hand, before the
そこで、撮像センサ２００を製品として撮像装置１００へ組み込む前の段階で、当該撮像センサ２００を実際に駆動して上記のデータセットの教師データを多数用意し、事前の教師あり学習により学習済みモデルを生成する。生成される学習済みモデルは、ＯＢ画素の出力信号情報、検出された温度、設定された増幅ゲインおよび電荷蓄積時間を入力すると通常画素の出力信号に対する補正情報を出力する学習済みモデルである。
Therefore, before the
図２１は、教師データの採取状況を示す概念図である。図示するように撮像センサ２００は、制御基板６１０に接続されている。制御基板６１０は、工具ＰＣ６１０に接続されている。撮像センサ２００は、制御基板６１０を介して、工具ＰＣ６１０によって制御され、出力信号等を工具ＰＣ６１０へ送信する。撮像センサ２００は、制御基板６１０と共に外光を遮断する暗箱６２０に収容されている。したがって、撮像センサ２００は、入射光を受けることなく駆動される。なお、暗箱６２０は、撮像装置１００の構造を模して、放熱特性等の条件を撮像装置１００に整合させても良い。
FIG. 21 is a conceptual diagram showing how teacher data is collected. As illustrated, the
具体的には、工具ＰＣ６１０は、増幅ゲインと電荷蓄積時間を様々に指定して、撮像センサ２００を駆動する。また、工具ＰＣ６１０は、それぞれのフレーム制御に対して撮像センサ２００からＯＢ画素の出力信号値、通常画素の出力信号値、および温度センサ２４０が検出した温度を取得する。これらを、駆動条件である増幅ゲインおよび電荷蓄積時間と関連付けて、一つのデータセットとして記憶する。なお、撮像センサ２００の温度は、駆動時間が長くなるほど上昇するので、駆動時間を調整して様々な温度に対するデータセットを取得すると良い。
Specifically, the
図２２は、教師データのデータ構造を示す概念図である。上述のように、工具ＰＣ６１０は、撮像センサ２００を様々な条件で駆動して、多くのデータセットを取得する。工具ＰＣ６１０は、これらを教師データとしてデータ構造化する。具体的には、取得したデータセットごとに教師データ番号を付与し、検出された温度、設定した増幅ゲインおよび電荷蓄積時間、ＯＢ領域２１１に属するＯＢ画素のそれぞれの出力信号値、受光領域２１２に属する通常画素のそれぞれの出力信号値を一纏めにデータ構造化する。
FIG. 22 is a conceptual diagram showing the data structure of teacher data. As described above, the
受光領域２１２属する通常画素のそれぞれの出力信号値は、遮光された状態における出力信号をＡＤ変換してものであるので、図４および図５において実線で示す遮光時のシェーディングに相当する。撮像センサ２００が撮像装置１００に組み込まれた後に、実際の撮影動作中に得られないのは、この遮光時のシェーディングである。実際の撮影動作中にこのシェーディングが推定できれば、入射光量に応じた信号量である第１信号から推定したシェーディングを差し引くことにより、シェーディング補正処理を行うことができる。
The output signal value of each of the normal pixels belonging to the
そこで、本実施形態においては、検出された温度、設定された増幅ゲインおよび電荷蓄積時間、ＯＢ画素の出力信号値を入力するとシェーディングを出力するニューラルネットワークである学習済みモデルを形成する。 Therefore, in the present embodiment, a learned model that is a neural network that outputs shading when the detected temperature, the set amplification gain and the charge accumulation time, and the output signal value of the OB pixel are input is formed.
工具ＰＣ６１０は、各教師データに対し、検出された温度、設定された増幅ゲインおよび電荷蓄積時間、ＯＢ画素の出力信号値を入力情報、通常画素のシェーディング値を出力の正解として、ニューラルネットワークに教師あり学習の学習作業を行わせる。例えば、学習中モデルが予測値として出力する通常画素のシェーディング値と、教師データとしての実際のシェーディング値との差が予め設定された基準値以下となるまで、誤差逆伝播法を使って係数となる重みを更新していく。このようにして学習された学習済みモデルは、実際に情報取得に用いた撮像センサ２００と組で、撮像装置１００に実装される。学習済みモデルは、フラッシュメモリ１８０へ記憶され、シェーディング補正処理時に制御部１５０から読み出されて利用に供される。
The
図２３は、撮像装置１００へ組み込まれた学習済みモデルを用いて行う、１フレームのシェーディング補正処理を示すフロー図である。制御回路２５０は、１フレーム期間のフレーム画像がバッファメモリ１２０へ引き渡されると、ステップＳ４０１で、当該フレーム画像に関する補正情報を取得する。具体的には、当該フレーム画像が生成された時の温度センサ２４０の検出温度、設定されていた増幅ゲインおよび電荷蓄積時間、当該フレーム画像の周辺部を形成するＯＢ画素のそれぞれの出力値を取得する。
FIG. 23 is a flowchart showing the shading correction processing for one frame, which is performed using the learned model incorporated in the image pickup apparatus 100. When the frame image of one frame period is delivered to the
画像処理部１３０は、ステップＳ４０２で、フラッシュメモリ１８０から読み出してある学習済みモデルへステップＳ４０１で取得した入力情報を入力し、学習済みモデルに演算させて、通常画素のそれぞれの推定シェーディング値を出力させる。そして、ステップＳ４０３へ進み、フレーム画像からＯＢ領域２１１に相当する周辺部を切り捨て、受光領域２１２に属する各通常画素の画素値から、ステップＳ４０２で算出された各推定したシェーディング値を差し引く。１フレーム分のシェーディング補正処理が完了するとフローを終了する。
In step S402, the
なお、以上説明した本実施形態においては、撮像装置１００へ組み込む撮像センサ２００を用いて教師データを採取した。しかし、例えば同じ製造ロットで製造された、同一種類の他の撮像センサを用いて採取した教師データを利用しても良い。この場合に形成される学習済みモデルは、実際に組み込まれる撮像センサ２００に比べると推定するシェーディング補正値の精度が低下すると予想されるが、撮像装置１００の製造効率の向上が期待できる。
In the embodiment described above, the teacher data is collected by using the
また、シェーディング値は、撮像センサ２００の利用履歴や経時によっても変化するので、そのような情報に基づいて、実装後の学習済みモデルを適宜修正するようにしても良い。この場合、様々な利用履歴や経時によってシェーディング値がどのように変化するかを、予め同一種類の他の撮像センサを用いて学習しておき、その結果を修正モジュールとしてフラッシュメモリ１８０に記憶しておく。制御部１５０は、自機の利用履歴や経時に対応する修正モジュールを適宜選択し、学習済みモデルを修正し更新する。なお、撮像装置１００は、ネットワークを介して修正モジュールを取得しても良い。また、各実施形態は、互いに組み合わせて実施できる要素については適宜組み合わせて実施してもよいことはもちろんのことである。
Further, since the shading value changes depending on the usage history of the
１００ 撮像装置、１１０ 撮影レンズ、１２０ バッファメモリ、１３０ 画像処理部、１５０ 制御部、１６０ 記録部、１７０ 表示部、１８０ フラッシュメモリ、２００ 撮像センサ、２１０ 画素領域、２１１ ＯＢ領域、２１２ 有効領域、２２１ 第１読出し回路、２２２ 第２読出し回路、２３０ 垂直走査回路、２４０ 温度センサ、２５０ 制御回路、３０１ 画素部、３１１ フォトダイオード、３５１ 転送トランジスタ、３５３ リセットトランジスタ、３５４ 増幅トランジスタ、３５５ 選択トランジスタ、３６０ フローティングディフュージョン、３６１ 出力配線、３６２ 負荷電流源、４００ 通常画素、４１０ 遮光画素、５０１ マイクロレンズ、５０２ フィルタ層、５０２ａ カラーフィルタ、５０２ｂ 遮光フィルタ、５０３ パッシベーション膜、５０４ フォトダイオード、５０５ トランジスタ、５０６ フォトダイオード層、５０７ 配線、５０８ 配線層、６００ 工具ＰＣ、６１０ 制御基板、６２０ 暗箱 100 image pickup device, 110 shooting lens, 120 buffer memory, 130 image processing unit, 150 control unit, 160 recording unit, 170 display unit, 180 flash memory, 200 image sensor, 210 pixel area, 211 OB area, 212 effective area, 221 1st read-out circuit, 222 2nd read-out circuit, 230 vertical scanning circuit, 240 temperature sensor, 250 control circuit, 301 pixel part, 311 photodiode, 351 transfer transistor, 353 reset transistor, 354 amplification transistor, 355 selection transistor, 360 floating Diffusion, 361 output wiring, 362 load current source, 400 normal pixel, 410 light shielding pixel, 501 microlens, 502 filter layer, 502a color filter, 502b light shielding filter, 503 passivation film, 504 photodiode, 505 transistor, 506 photodiode layer , 507 wiring, 508 wiring layer, 600 tool PC, 610 control board, 620 dark box
Claims (1)
オプティカルブラック領域に属するＯＢ画素の出力信号情報、検出された温度、設定された増幅ゲインおよび電荷蓄積時間を入力すると受光領域に属する通常画素の出力信号に対する補正情報を出力する、事前に前記撮像センサに対して学習作業を行って形成された学習済みモデルを格納した記憶部と、
前記学習済みモデルを用いて前記撮像センサの出力信号を補正することにより画像データを生成する生成部と
を備える撮像装置。 An image sensor,
When the output signal information of the OB pixel belonging to the optical black region, the detected temperature, the set amplification gain and the charge accumulation time are input, the correction information for the output signal of the normal pixel belonging to the light receiving region is output in advance. A storage unit that stores a trained model formed by performing learning work on
An image pickup apparatus comprising: a generation unit that generates image data by correcting an output signal of the image sensor using the learned model.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019013098A JP2020123770A (en) | 2019-01-29 | 2019-01-29 | Imaging apparatus |
| CN202010064761.9A CN111491120B (en) | 2019-01-29 | 2020-01-20 | Image capturing apparatus |
| US16/773,731 US11146748B2 (en) | 2019-01-29 | 2020-01-27 | Imaging device |
| EP20154171.1A EP3709631B1 (en) | 2019-01-29 | 2020-01-28 | Imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019013098A JP2020123770A (en) | 2019-01-29 | 2019-01-29 | Imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020123770A true JP2020123770A (en) | 2020-08-13 |
Family
ID=71993034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019013098A Pending JP2020123770A (en) | 2019-01-29 | 2019-01-29 | Imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020123770A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11582414B2 (en) | 2020-09-24 | 2023-02-14 | Canon Kabushiki Kaisha | Signal processing apparatus, photoelectric conversion apparatus, photoelectric conversion system, control method of signal processing apparatus, and non-transitory computer-readable storage medium |
-
2019
- 2019-01-29 JP JP2019013098A patent/JP2020123770A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11582414B2 (en) | 2020-09-24 | 2023-02-14 | Canon Kabushiki Kaisha | Signal processing apparatus, photoelectric conversion apparatus, photoelectric conversion system, control method of signal processing apparatus, and non-transitory computer-readable storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5614993B2 (en) | Imaging apparatus and solid-state imaging device driving method | |
| KR101473275B1 (en) | Image sensor, electronic apparatus, and driving method of electronic apparatus | |
| JP5959834B2 (en) | Imaging device | |
| CN111491120B (en) | Image capturing apparatus | |
| JP4834345B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP4745851B2 (en) | Imaging device | |
| JP2007019820A (en) | Solid state imaging device | |
| JP2009055320A (en) | Imaging apparatus and method for driving solid-state imaging device | |
| JP5885431B2 (en) | Imaging device and imaging apparatus | |
| JP2006157882A (en) | Solid state imaging device | |
| KR20130129313A (en) | Solid-state image pickup device and image pickup apparatus | |
| JP2013183380A (en) | Image sensor, driving method for image sensor, and imaging system | |
| JP2009088706A (en) | Imaging apparatus, and method for driving solid-state imaging element | |
| JP2020123770A (en) | Imaging apparatus | |
| JP5106055B2 (en) | Imaging apparatus and flicker detection method thereof | |
| JP7111007B2 (en) | Imaging device | |
| JP7208496B2 (en) | Imaging device | |
| JP2020123769A (en) | Imaging apparatus | |
| JP5058840B2 (en) | Imaging device | |
| JP2009260871A (en) | Imaging apparatus | |
| JP6393087B2 (en) | Imaging device and imaging apparatus | |
| JP5737924B2 (en) | Imaging device | |
| US20110234862A1 (en) | Imaging device | |
| JP2024000839A (en) | Imaging device and image processing method | |
| JP2012231421A (en) | Imaging apparatus |