JP2020123770A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2020123770A JP2020123770A JP2019013098A JP2019013098A JP2020123770A JP 2020123770 A JP2020123770 A JP 2020123770A JP 2019013098 A JP2019013098 A JP 2019013098A JP 2019013098 A JP2019013098 A JP 2019013098A JP 2020123770 A JP2020123770 A JP 2020123770A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixel
- frame
- output
- shading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置に関する。 The present invention relates to an image pickup device.
撮像センサから出力される画像信号は、暗電流等に起因するノイズ成分を含み、特に処理を施さなければ、画像中にむらとして現れる。このようなむらは、ダークシェーディングと呼ばれ、ダークシェーディングを軽減する様々な手法がこれまでにも開発されてきた
(例えば、特許文献1参照)。
The image signal output from the image sensor includes a noise component due to dark current or the like, and appears as unevenness in the image unless particularly processed. Such unevenness is called dark shading, and various methods for reducing dark shading have been developed up to now (for example, refer to Patent Document 1).
例えば特許文献1の手法に依れば、読出し回路のばらつきに起因するノイズ成分に着目しており、電荷蓄積時間中にフォトダイオードに蓄積される暗電流成分が考慮されていないので、アナログゲインを大きくした場合には、残留するむらが目立つことになる。
For example, according to the method of
本発明は、このような問題を解決するためになされたものであり、アナログゲインを大きくした場合でもむらが目立たないダークシェーディング補正を実現することを目的とする。 The present invention has been made in order to solve such a problem, and an object thereof is to realize dark shading correction in which unevenness is not noticeable even when the analog gain is increased.
本発明の具体的態様における撮像装置は、撮像センサと、オプティカルブラック領域に属するOB画素の出力信号情報、検出された温度、設定された増幅ゲインおよび電荷蓄積時間を入力すると受光領域に属する通常画素の出力信号に対する補正情報を出力する、事前に撮像センサに対して学習作業を行って形成された学習済みモデルを格納した記憶部と、学習済みモデルを用いて撮像センサの出力信号を補正することにより画像データを生成する生成部とを備える。 An image pickup device according to a specific aspect of the present invention includes an image sensor, a normal pixel belonging to a light receiving region when inputting output signal information of an OB pixel belonging to an optical black region, a detected temperature, a set amplification gain, and a charge accumulation time. A correction unit that outputs correction information for the output signal of the image sensor, stores a learned model formed by performing learning work on the image sensor in advance, and corrects the output signal of the image sensor using the learned model. And a generation unit that generates image data.
本発明によれば、学習済みモデルは様々なアナログゲインに対して事前に学習しているので、アナログゲインを大きくした場合でもむらが目立たないダークシェーディング補正を実現することができる。 According to the present invention, since the learned model is learned in advance for various analog gains, it is possible to realize dark shading correction in which unevenness is not noticeable even when the analog gain is increased.
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the invention according to the claims is not limited to the following embodiments. In addition, not all of the configurations described in the embodiments are essential as means for solving the problem.
第1の実施形態について説明する。図1は、本実施形態に係る撮像装置100の主な構成を示すブロック図である。撮像装置100は、例えば、ハンディタイプのビデオカメラである。撮像機能を備えるスマートフォンなどの端末機器であっても良い。 The first embodiment will be described. FIG. 1 is a block diagram showing the main configuration of the image pickup apparatus 100 according to this embodiment. The imaging device 100 is, for example, a handy-type video camera. It may be a terminal device such as a smartphone having an imaging function.
撮像装置100は、撮影光学系としての撮影レンズ110を備え、撮影レンズ110は、光軸OAに沿って入射する被写体光束を撮像センサ200へ導く。撮影レンズ110は、撮像装置100に対して着脱できる交換式レンズであっても構わない。撮像装置100は、バッファメモリ120、画像処理部130、制御部150、記録部160、表示部170、フラッシュメモリ180、および撮像センサ200を主に備える。
The image pickup apparatus 100 includes a photographing
撮像センサ200は、ローリングシャッタ方式による電子シャッタに対応する撮像素子であり、例えばCMOSセンサである。具体的な画素構造および回路構成については後述する。撮像センサ200は、各画素が出力する出力信号に後述する処理を含む諸々の信号処理を施してデジタル信号へ変換し、画素データとしてバッファメモリ120へ引き渡す。
The
バッファメモリ120は、例えば揮発性の高速メモリによって構成される。バッファメモリ120は、撮像センサ200から順次画素データを受け取り、これらを1フレームの画像データに纏めて記憶する。バッファメモリ120は、フレーム単位で画像処理部130へ画像データを引き渡す。また、バッファメモリ120は、画像処理部130が画像処理する中途段階においてワークメモリとしての機能も担う。
The
画像処理部130は、受け取った画像データに対して各種の画像処理を施し、予め定められたフォーマットに即した画像データを生成する。例えば、MPEGファイル形式の動画像データを生成する場合は、各フレーム画像データに対するホワイトバランス処理、ガンマ処理等を施した後に、フレーム内およびフレーム間の圧縮処理を実行する。生成された画像データは、例えば着脱式のメモリカードである記録部160に記録される。また、生成された画像データは、画像処理部130により表示信号に変換され、例えば液晶パネルである表示部170に表示される。
The
フラッシュメモリ180は、制御部150が実行する制御プログラム、制御や演算に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。制御部150は、例えばCPUであり、撮像装置100の全体を制御する。制御部150は、撮像センサ200に対して撮像に関する制御信号を送信する。
The
図2は、撮像センサ200の主な構成を示す概略図である。撮像センサ200は、複数の画素が行方向および列方向に配列された画素領域210を有する。画素領域210は、入射光が画素に到達しないように遮光されたオプティカルブラック領域211(以下では「OB領域211」と記す)と、入射光を光電変換する受光画素が配列された受光領域212とを有する。OB領域211は、受光領域212の周囲を縁取るように設けられている。OB領域211に属する画素から出力された画素信号は、受光領域212に属する画素から出力される画素信号から、フィックスパターンノイズを除去するために用いられる。なお、以下において特に言及しない限りは、フィックスパターンノイズが除去されたダークシェーディング(以下では単に「シェーディング」と記す)について説明する。
FIG. 2 is a schematic diagram showing the main configuration of the
第1読出し回路221および第2読出し回路222は、いわゆる2チャンネル読出しに対応する水平読出し回路であり、それぞれがカラム読出し回路、アナログゲイン回路(アナログアンプ)、ADC回路等を含む。垂直走査回路230は、画素配列における信号を読み出すべき行を選択し、選択した行の信号が第1読出し回路221または第2読出し回路222へ読み出されるように、選択した行における各列の画素を駆動する。カラム読出し回路は、CDS回路を含む。CDS回路は、光電変換された出力信号の信号量からノイズ成分に相当する信号量を差し引くCDS処理を行う。なお、上述のOB領域211の出力を用いたフィックスパターンノイズの除去も、CDS処理の一部として行われる。温度センサ240は、画素領域210の近傍に配設され、温度を検出して制御回路250へ温度情報を出力する。
The
制御回路250は、撮像センサ200の各画素が出力する信号を制御する。具体的には、第1読出し回路221および第2読出し回路222のカラム読出し回路や垂直走査回路230を介して後述する各画素における各種トランジスタのスイッチングを制御することにより、電荷蓄積や信号出力のタイミングを制御する。また、温度センサ240の温度情報を用いてCDS回路を制御したり、制御部150からの指令に応じてアナログゲインを調製したりする。また、調製した画素信号をADC回路に変換させ、画素データとして順次バッファメモリ120へ出力させる。
The
図3は、画素部301の回路構成を示す図である。画素部301は、いわゆる画素と呼ばれる光電変換を行う最小構成であり、主に、フォトダイオード311、転送トランジスタ351、リセットトランジスタ353、増幅トランジスタ354、選択トランジスタ355、フローティングディフュージョン360を含む。
FIG. 3 is a diagram showing a circuit configuration of the
フォトダイオード311は、転送トランジスタ351に接続され、転送トランジスタ351のゲートは、転送トランジスタ351をオンにする転送パルスを供給するTX配線に接続されている。転送トランジスタ351のドレインは、リセットトランジスタ353のソースに接続される。転送トランジスタ351のドレインとリセットトランジスタ353のソース間にはフローティングディフュージョン360が形成される。フローティングディフュージョン360は、増幅トランジスタ354のゲートに接続される。
The
リセットトランジスタ353のドレインは、電源電圧が供給されるVDD配線に接続され、そのゲートはリセットパルスが供給されるリセット配線に接続される。増幅トランジスタ354のドレインは電源電圧が供給されるVDD配線に接続される。また、増幅トランジスタ354のソースは、読出部としての選択トランジスタ355のドレインに接続される。選択トランジスタ355のゲートには、選択トランジスタ355をオンにする選択パルスを供給するデコーダ配線に接続されている。そして、選択トランジスタ355のソースは、出力配線361に接続される。
The drain of the
負荷電流源362は、出力配線361に電流を供給する。すなわち、選択トランジスタ355がオンすると、増幅トランジスタ354のソースが負荷電流源362に接続されてソースフォロアとして動作する。なお、負荷電流源362は、出力配線361を共有する複数の画素に対して共通の要素として設けられる。上述のように、転送トランジスタ351、リセットトランジスタ353、選択トランジスタ355は、それぞれ転送パルス、リセットパルス、選択パルスの印加によって閉成し、印加の解除によって解放するスイッチとして機能する。すなわち、転送トランジスタ351は転送スイッチとして、リセットトランジスタ353はリセットスイッチとして、選択トランジスタ355は選択スイッチとして機能する。
The load
ここで、画素部301が出力する2つの出力信号について説明する。1つ目の出力信号は、入射光量に応じた信号量である第1信号である。第1信号は、シェーディングを含む。第1信号を出力させるまでの制御回路250の制御は、次の通りである。まず、リセット配線を通じてリセットパルスをリセットトランジスタ353に印加し、同時にTX配線を通じて転送パルスを転送トランジスタ351に印加すると、フォトダイオード311およびフローティングディフュージョン360の電位はリセットされる。そして、転送トランジスタ351をオフにすると、フォトダイオード311は、光電変換部として機能し、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスをリセットトランジスタ353に印加し、フローティングディフュージョン360を再びリセットする。直後に、選択トランジスタ355に選択パルスを印加すると、リセット電位が増幅トランジスタ354、選択トランジスタ355を介して出力配線361に出力される。出力されたリセット電位は図示しないCDS回路に保存される。これが基準電位になる。
Here, the two output signals output from the
次に、転送パルスを転送トランジスタ351に印加すると、蓄積された電荷はフローティングディフュージョン360へ転送され、フローティングディフュージョン360の電位は、リセット電位から電荷蓄積後の信号電位になる。選択トランジスタ355に選択パルスを印加すると、電荷蓄積後の信号電位が増幅トランジスタ354および選択トランジスタ355を介して出力配線361に伝送される。伝送された信号は保存しておいた基準電位を引くCDS処理をされ、アナログアンプ、ADCを通してバッファメモリ120へ出力される。このように出力された信号が第1信号である。
Next, when a transfer pulse is applied to the
2つ目の出力信号は、シェーディングの一部に相当する信号量である第2信号である。第2信号を出力させるまでの制御回路250の制御は、次の通りである。まず、転送トランジスタ351がオフの状態において、リセット配線を通じてリセットパルスをリセットトランジスタ353に印加し、フローティングディフュージョン360の電荷を排出してその電位をリセットする。直後に、選択トランジスタ355に選択パルスを印加して、フローティングディフュージョン360のリセット電位を増幅トランジスタ354および選択トランジスタ355を介して出力配線361へ伝送させる。リセット電位は図示しないCDS回路に保存される。これが基準電位になる。
The second output signal is the second signal having a signal amount corresponding to a part of shading. The control of the
その後、転送トランジスタ351をオフのまま、再度出力配線361に伝送させる。伝送された信号は保存しておいた基準電位を引くCDS処理をされ、アナログアンプ、ADCを通してバッファメモリ120へ出力される。このように出力された信号が第2信号である。第2信号は、フォトダイオード311による電荷蓄積とは無関係であるので、シェーディングノイズのうちフォトダイオード311に起因する暗電流成分は含まない。すなわち、第2信号は、フローティングディフュージョン360とこれに接続される読出し回路部分のばらつきによって生じる回路ノイズ成分である。第2信号は、転送トランジスタ351がオフの状態で短時間に出力させることができるので、フォトダイオード311が電荷を蓄積していない期間に限らず、第1信号を出力させるために電荷を蓄積している期間中であっても出力させることができる。詳しくは後述する。
After that, the
例えば撮像センサ200を遮光部材で覆って入射光が入射しない状態にして電荷蓄積を行った場合のシェーディングは、フィックスパターンノイズを除けば主に、フォトダイオード311に生じる暗電流成分と上述の回路ノイズ成分である。図4は、アナログゲインが小さい場合のシェーディングの例を示す図である。具体的には、受光領域212のある一行に着目し、その一行に属する各画素の水平方向における画素位置を横軸で表わし、縦軸を各画素が出力するシェーディング量で表わしている。
For example, the shading in the case where the
実線で示すグラフは、各画素に入射光が入射しない状態にして電荷蓄積を行った場合(遮光時)のシェーディングであり、暗電流成分を含んでいる。一方、点線で示すグラフは、転送トランジスタ351をオフにして上述のように第2信号を出力させた場合(TXオフ時)のシェーディングであり、暗電流成分を含んでいない。図示するように、アナログゲインが小さい場合は、回路ノイズ成分の比率が相対的に大きくなるので、実線のグラフと点線のグラフは、互いに似通った曲線となることがわかる。より具体的には、画素ごとに、補正係数αを用いて、(遮光時のシェーディング)≒α×(TXオフ時のシェーディング)と表わされることがわかる。
The graph indicated by the solid line is the shading in the case where charge accumulation is performed in a state where incident light is not incident on each pixel (when light is shielded), and includes a dark current component. On the other hand, the graph indicated by the dotted line is the shading when the
動画撮影時には、フレーム間で遮光状態をつくりだして実線に相当するシェーディングを取得することは困難である。しかし、同一製品の撮像センサ200を用いて事前に実験を行うことにより、具体的には遮光状態において様々な条件でデータを収集することにより、図4に示すような点線のグラフと実線のグラフの関係を把握することができる。すなわち、事前の実験により補正係数αを予め決めておくことができる。補正係数αが予め決められていれば、点線のグラフで示す第2信号は撮像装置100に組み込まれた状態でも得られるので、予測値として遮光時シェーディングを算出することができる。したがって、被写体光量に対応する第1信号の信号量から、第2信号の信号量に補正係数αを乗じて差し引けば、およそシェーディングが補正された画素信号を得ることができる。
When shooting a moving image, it is difficult to create a light blocking state between frames and obtain shading corresponding to the solid line. However, by performing experiments in advance using the
図5は、アナログゲインが大きい場合のシェーディングを示す図である。表記は図4と同様である。図示するように、アナログゲインが大きくなると、回路ノイズ成分の比率が相対的に小さくなるので、実線のグラフと点線のグラフは、画素の位置によって乖離の傾向が異なっていることがわかる。そこで、比較的傾向が似通う領域ごとに、エリアとして区分けする。図示するように、例えば水平方向を5分割して左から順にエリアA、エリアB、エリアC、エリアD、エリアEとする。このように区分すると、エリアごとの補正係数αA、αB、αC、αD、αEを定めることができる。例えばエリアAにおいては、(遮光時のシェーディング)≒αA×(TXオフ時のシェーディング)と表わされる。 FIG. 5 is a diagram showing shading when the analog gain is large. The notation is the same as in FIG. As shown in the figure, as the analog gain increases, the ratio of the circuit noise component decreases relatively. Therefore, it is understood that the solid line graph and the dotted line graph have different deviation tendencies depending on the pixel position. Therefore, areas having relatively similar tendencies are classified as areas. As shown in the figure, for example, the horizontal direction is divided into five areas, and areas A, B, C, D, and E are arranged in order from the left. By dividing in this way, the correction coefficients α A , α B , α C , α D , and α E can be determined for each area. For example, in area A, (shading when light is blocked)≈α A ×(shading when TX is off).
事前に行う実験の実験結果に基づいて受光領域212にエリアを設定し、それぞれの補正係数を定めておけば、アナログゲインが大きい場合であっても、アナログゲインが小さい場合と同様に、予測値として遮光時シェーディングを算出することができる。したがって、被写体光量に対応する第1信号の信号量から、第2信号の信号量に補正係数αX(=当該画素が位置するエリアXにおける補正係数)を乗じて差し引けば、およそシェーディングが補正された画素信号を得ることができる。
If an area is set in the
ここで受光領域212のエリア設定についていくつかの例を説明する。図6は、受光領域212をエリアに分割する場合の第1例を示す図である。図示するように第1例は、矩形である受光領域212を横m(図の例ではm=16)、縦n(図の例ではn=8)のm×n個のエリアに分割する例である。任意のエリアをRi,j(1≦i≦m,1≦j≦n)と表わすと、それぞれに対応する補正係数αi,jを、予め実験により収集しておけば良い。例えば、エリアR3,7に属する画素の画素信号は、(第1信号)−α3,7×(第2信号)として出力される。
Here, some examples of area setting of the
図7は、受光領域212をエリアに分割する場合の第2例を示す図である。図2に示したように、撮像センサ200を構成する各回路は、受光領域212の周縁部に配置されたり、受光領域212の厚み方向に積層されたりする。回路によっては、その駆動により発熱するものもある。したがって、暗電流成分を含む場合と含まない場合のシェーディングの乖離が、受光領域212の中心部から放射方向へ沿って異なる傾向を示す場合がある。
FIG. 7 is a diagram showing a second example in which the
第2例は、受光領域212の中心部から放射方向へエリアを分割する例である。例えば、図示するように、左上のエリアから渦巻き状に中心部に向かってエリアR1〜R9を設定することができる。任意のエリアをRi(1≦i≦m、図の例ではm=9)と表わすと、それぞれに対応する補正係数αiを、予め実験により収集しておけば良い。例えば、エリアR3に属する画素の画素信号は、(第1信号)−α3×(第2信号)として出力される。
The second example is an example in which the area is divided in the radial direction from the center of the
図8は、受光領域をエリアに分割する場合の第3例を示す図である。図2で説明した2チャンネル読出し対応の撮像センサ200の場合は、例えば奇数列の画素の出力信号が第1読出し回路221に読み出され、偶数列の画素の出力信号が第2読出し回路222に読み出される。したがって、暗電流成分を含む場合と含まない場合のシェーディングの乖離が、第1読出し回路221と第2読出し回路222のいずれに読み出されるかによっても異なる傾向を示す場合がある。
FIG. 8 is a diagram showing a third example in which the light receiving area is divided into areas. In the case of the two-channel read-
第3例は、第1例のように受光領域212をm×n個の矩形エリアに分割した後に、それぞれをさらに、第1読出し回路221によって読み出される画素で構成されるグループと、第2読出し回路222によって読み出される画素で構成されるグループとに分ける例である。すなわち、出力信号線である出力配線361を共有する画素群によってグループ化してエリアを設定する。図においては、前者をUグループとして任意のエリアをRi,j,Uと表わし、後者をDグループとして同様にRi,j,Dと表わしている。第1例、第2例と同様に、それぞれのエリアに対応する補正係数αi,j,Uまたはαi,j,Dを、予め実験により収集しておけば良い。例えば、エリアR2,1,Dに属する画素の画素信号は、(第1信号)−α2,1,D×(第2信号)として出力される。なお、更に多くの読出し回路を備える場合には、その数に応じて一つのエリアをグループ分割すれば良い。また、第2例のエリア分割に対して読出し回路ごとのグループを適用しても良い。また、第1例から第3例で示す例に限らず、撮像センサ200の特性や事前の実験結果に応じてエリアを分割し、それぞれに対応する補正係数を決定すれば良い。
In the third example, after the
事前の実験においては、設定され得るアナログゲインおよび電荷蓄積時間、想定される使用温度を様々に変更させながら暗電流成分を含む場合と含まない場合のシェーディングを調べて、上述のように分割された各エリアの補正係数αを決定する。すなわち、異なる電荷蓄積時間(例えば、1/60秒、1/120秒…)、異なるゲイン(例えば、16dB、17dB…)、異なる温度(例えば、0℃、5℃、10℃…)のそれぞれに対応して各エリアの補正係数を決定する。設定されるアナログゲインが小さい場合は、それぞれの補正係数αが似通った数値になる。したがって、アナログゲインに閾値を設け、その閾値よりも小さい場合は、全エリアに対して共通の補正係数αを決定しても良い。決定された補正係数αは、撮像センサ200がメモリを備えるのであれば当該メモリに記憶されていても良いし、そうでない場合は、フラッシュメモリ180に記憶され、制御部150の制御により、必要に応じて撮像センサ200へ送信されると良い。
In the previous experiment, we investigated the shading with and without dark current component while changing the analog gain and charge storage time that can be set, and the assumed operating temperature, and divided as described above. The correction coefficient α for each area is determined. That is, different charge accumulation times (for example, 1/60 second, 1/120 second...), different gains (for example, 16 dB, 17 dB...), and different temperatures (for example, 0° C., 5° C., 10° C....) Correspondingly, the correction coefficient for each area is determined. When the set analog gain is small, the respective correction coefficients α have similar values. Therefore, a threshold value may be set for the analog gain, and when it is smaller than the threshold value, a common correction coefficient α may be determined for all areas. The determined correction coefficient α may be stored in the memory as long as the
次に、ローリングシャッタ方式による動画撮影動作について、いくつかの例を説明する。図9は、動画撮影動作の第1例に係る動作概念図である。横軸は、時間の経過を表す。縦軸方向に行方向と記した範囲は、画素領域210に配列された画素部301について、上から順に1行目(先頭行)、2行目、3行目…n行目(末尾行)のそれぞれの動作を横軸方向(時間軸方向)に表すことを意味する。同一行に配列された複数の画素部301は、同一のタイミング制御が実行される。一方、配列行が互いに異なる画素部301は、異なるタイミング制御が実行される。
Next, some examples of the moving image shooting operation by the rolling shutter method will be described. FIG. 9 is an operation concept diagram according to the first example of the moving image shooting operation. The horizontal axis represents the passage of time. The range indicated by the row direction in the vertical axis direction is the first row (first row), the second row, the third row,... It means that each operation of is expressed in the horizontal axis direction (time axis direction). The same timing control is executed for the plurality of
本実施形態においては、制御回路250は、画素部301からローリングシャッタ方式によって出力信号を読み出し、バッファメモリ120は、これらを集めて1つのフレーム画像データを生成する。画像処理部130は、これらのフレーム画像データを繋ぎ合わせて動画像データを生成する。
In the present embodiment, the
更に具体的に説明する。制御回路250は、一点鎖線で示すように、先頭行から末尾行へ向かって行ごとに順次リセットパルスをリセットトランジスタ353に印加する。すなわち、上述の第1信号出力のための処理を開始する。制御回路250の制御により各画素部301は、リセットパルスが印加され、転送トランジスタ351がオフにされると、フォトダイオード311が入射光量に応じた電荷蓄積を開始する。
A more specific description will be given. The
制御回路250は、転送トランジスタ351がオフにされてフォトダイオード311が電荷を蓄積している間(網掛けで示す期間)に、点線で示すように、上述の第2信号出力のための処理を実行する。すなわち、制御回路250は、先頭行から末尾行へ向かって行ごとに順次リセットパルスをリセットトランジスタ353に印加し、フローティングディフュージョン360をリセットする。その後リセットトランジスタ353をオフにし、選択トランジスタ355に選択パルスを印加して、フローティングディフュージョン360の信号電位を出力配線361へ伝送させる。これが基準電位になる。その後、所定時間後にさらにフローティングディフュージョン360の電位を出力線361に伝送させる。これが信号電位になる。こうして得た2つの出力線の信号からCDS処理を行う。つまり、信号電位から基準電位を除く。その後、さらにアナログアンプ等の読み出し回路、ADCを経た信号がバッファメモリ120へ出力される(第2信号の出力)。
While the
第2信号の出力は、転送トランジスタ351がオフのままの転送を行わない状態で通常の読み出し操作を行ったことを意味する。フローティングディフュージョン360をほぼ同じタイミングで2回読みだしてCDS処理をするから、全ての画素で0になるはずである。ところが実際には、画素ごとに0のレベルがそろっていない信号が得られる。これは、増幅トランジスタ354以降の回路の特性にばらつきがあり、信号が通った経路に応じて異なった値になるからである。
The output of the second signal means that the normal read operation is performed in the state where the
予め定められた電荷蓄積時間(=シャッタ時間)が経過したら、制御回路250は、実線で示すように、先頭行から末尾行へ向かって行ごとに、蓄積された電荷に応じた第1信号を出力配線361へ伝送させる。まず、リセットトランジスタ353を短時間オンにして、フローティングディフュージョン360をリセットする。リセットトランジスタ353をオフにし、選択トランジスタ355をオンにして、基準電位を出力配線361へ伝送させる。次に、制御回路250の制御により各画素部301は、転送トランジスタ351をオンにし、蓄積された電荷をフローティングディフュージョン360へ転送し、選択トランジスタ355に選択パルスが印加されたタイミングで、フローティングディフュージョン360の信号電位を出力配線361へ伝送させる。これが信号電位になる。電送させた2つの信号からCDS処理を行い、アナログアンプ等の読み出し回路、ADCを経た信号がバッファメモリ120へ出力される。(第1信号の出力)。
When a predetermined charge accumulation time (=shutter time) has elapsed, the
補正部としての機能を担う画像処理部130は、出力配線361ごとに第1信号と第2信号を保持する電位保持部を有している。画像処理部130は、読み出した画素部301の位置に対応する補正係数αを制御部150から取得し、第1信号の信号量から、第2信号の信号量に補正係数αを乗じた補正量を差し引くことにより画素信号を生成する。生成された画素信号は、制御部150へ出力される。なお、制御部150は、画素部301の位置に加え、設定されているアナログゲイン、電荷蓄積時間、および温度センサ240で測定された温度に対応する補正係数αを、画像処理部130へ与える。
The
図10は、動画撮影動作の第2例に係る動作概念図である。第2例は、図9の第1例よりも電荷蓄積時間が短い場合である。例えば、第1例の電荷蓄積時間が1/60秒である場合に、第2例の電荷蓄積時間は1/120秒である。第1例においては、第1信号の出力処理を実行している間に、第2信号の出力処理を完了させることにより、第1信号の読出しタイミングと第2信号の読出しタイミングが同一列上で重ならないようにした。しかし、電荷蓄積時間が短くなってくると、このような処理では第1信号の読出しタイミングと第2信号の読出しタイミングが同一列上で重なってしまう。そこで、制御回路250は、1フレーム期間において、まず先に第2信号の出力処理を実行し、第2信号の読出しタイミングと第1信号の読出しタイミングが同一列上で重ならないように、第1信号の出力処理を実行する。すなわち、第2信号の出力処理を、当該画素部301における非電荷蓄積時間に行う。
FIG. 10 is an operation concept diagram according to the second example of the moving image shooting operation. The second example is a case where the charge storage time is shorter than that in the first example of FIG. For example, when the charge storage time in the first example is 1/60 second, the charge storage time in the second example is 1/120 second. In the first example, by completing the output processing of the second signal while executing the output processing of the first signal, the read timing of the first signal and the read timing of the second signal are on the same column. I tried not to overlap. However, when the charge storage time becomes shorter, the read timing of the first signal and the read timing of the second signal overlap in the same column in such a process. Therefore, the
例えば図中の時間軸に垂直な破線で示すように、先行するフレーム期間において末尾行の第1信号の読み出しが完了したら、次のフレーム期間において先頭行の第2信号の読出し処理を開始する。このように処理することによっても、1フレーム期間内において各画素部301に第1信号と第2信号を出力させることができる。すなわち、第1読出し回路221および第2読出し回路222は、第1例と同様に、各画素部301の画素信号を生成することができる。
For example, as indicated by a broken line perpendicular to the time axis in the figure, when the reading of the first signal in the last row is completed in the preceding frame period, the reading process of the second signal in the first row is started in the next frame period. With such processing, the first signal and the second signal can be output to each
図11は、動画撮影動作の第3例に係る動作概念図である。第3例は、図9の第1例のような長時間の電荷蓄積を実行するフレーム期間と、図10の第2例のような短時間の電荷蓄積を実行するフレーム期間が交互に繰り返される場合である。電荷蓄積時間の長いフレーム期間をLongフレーム期間、電荷蓄積時間の短いフレーム期間をShortフレーム期間と称すると、Longフレーム期間で出力されたフレーム画像とShortフレーム期間で出力されたフレーム画像に、いわゆるHDR処理を施して合成することにより、ダイナミックレンジの広い画像を得ることができる。 FIG. 11 is an operation concept diagram according to the third example of the moving image shooting operation. In the third example, a frame period for executing a long-time charge accumulation as in the first example of FIG. 9 and a frame period for performing a short-time charge accumulation as in the second example of FIG. 10 are alternately repeated. This is the case. When a frame period having a long charge storage time is called a Long frame period and a frame period having a short charge storage time is called a Short frame period, a so-called HDR is added to a frame image output in the Long frame period and a frame image output in the Short frame period. An image with a wide dynamic range can be obtained by performing processing and combining.
第3例において制御回路250は、上述の第1例の制御と第2例の制御を交互に繰り返す。ただし、図中の時間軸に垂直な破線で示すように、先行するLongフレーム期間において末尾行の第1信号の読み出しが完了したら、続くShortフレーム期間において先頭行の第2信号の読出し処理を開始する。このように処理することにより、Longフレーム期間に対応する画素信号と、Shortフレーム期間に対応する画素信号とを出力させることができる。画像処理部130は、このように出力されたLongフレーム画像とShortフレーム画像を合成してHDRフレーム画像を生成する。
In the third example, the
次に、1フレーム期間のシェーディング補正処理の流れについて説明する。図12は、1フレーム期間のシェーディング補正処理を示すフロー図である。制御部150は、ステップS101で、1フレーム期間の処理に先立ち、補正情報を取得する。具体的には、制御部150から設定されているアナログゲインおよび電荷蓄積時間を取得し、温度センサ240から現時点の温度を取得する。そして、ステップS102で、取得したアナログゲインが予め設定された閾値ゲイン以上であるか否かを判断する。
Next, the flow of the shading correction process for one frame period will be described. FIG. 12 is a flowchart showing the shading correction process for one frame period. In step S101, the
閾値以上でないと判断したらステップS103へ進み、制御部150は、全エリアに共通して適用する補正係数αを格納されたメモリから取得する。閾値以上であると判断したらステップS104へ進み、制御部150は、エリアごとに補正値を適用できるよう、それぞれの補正係数αを格納されたメモリから取得する。
If it is determined that the value is not equal to or more than the threshold value, the process proceeds to step S103, and the
ステップS105へ進むと、制御部150は、画像処理部130が実行する各画素のシェーディング補正処理に対し、ステップS103またはステップS104で取得した補正係数αを適宜供給する。1フレーム分のシェーディング補正処理が完了するとフローを終了する。
When the processing proceeds to step S105, the
第2の実施形態について説明する。第2の実施形態については、第1の実施形態の構成と異なる構成について説明する。特に言及しない構成は、第1の実施形態の構成と同様である。 The second embodiment will be described. Regarding the second embodiment, a configuration different from the configuration of the first embodiment will be described. The configuration not particularly mentioned is the same as the configuration of the first embodiment.
第2の実施形態における撮像装置100の撮像センサ200は、第1の実施形態の撮像センサ200とは異なり、1フレーム期間に2回の読出しが可能な、いわゆる倍速駆動ができない。すなわち、1フレーム期間に1回のみの読出しが可能である。このような制限がある場合でも、電荷蓄積時間の長いLongフレーム期間で出力されたフレーム画像と電荷蓄積時間の短いShortフレーム期間で出力されたフレーム画像とを合成するフレーム合成を行うモードでは、上述のようなシェーディング補正処理が可能な場合がある。以下にその処理について説明する。
Unlike the
図13は、フレーム合成を行う場合の通常処理時の動作概念図である。フレーム合成を行う場合は、通常処理時においては、電荷蓄積時間がTL(例えば1/60秒)のLongフレーム期間と、電荷蓄積時間がTS(<TL、例えば1/120秒)のShortフレーム期間とを交互に繰り返す。すなわち、制御回路250は、連続するフレーム期間のそれぞれにおいて、第1の電荷蓄積時間TLにより画素部301のそれぞれに第1信号を出力させる第1フレーム制御と、第1の電荷蓄積時間TLよりも短い第2の電荷蓄積時間TSにより画素部301のそれぞれに第1信号を出力させる第2フレーム制御を交互に行う。
FIG. 13 is a conceptual diagram of an operation during normal processing when performing frame synthesis. When performing frame synthesis, during normal processing, a Long frame period having a charge accumulation time of T L (for example, 1/60 seconds) and a charge accumulation time of T S (<T L , for example, 1/120 seconds) are used. The Short frame period is alternately repeated. That is, the
そして、本実施形態においては、画像処理部130は、バッファメモリ120でLongフレーム期間に対応する3フレームと、Shortフレーム期間に対応する3フレームが蓄積されたら、これらを1フレームに合成する。このような合成処理により、フレームレートは低下するものの、低ノイズでダイナミックレンジの広い高品位の合成フレーム画像を生成することができる。
Then, in the present embodiment, the
図13に示すように、通常処理時においては、第2信号を出力させるタイミングがない。そこで、制御回路250は、例えば制御部150から周期的に指示信号を受けた場合に、第2信号を読み出すシェーディング読出しを実行する。図14は、フレーム合成を行う場合のシェーディング読出し時の動作概念図である。
As shown in FIG. 13, during normal processing, there is no timing for outputting the second signal. Therefore, the
図14に示すように、制御回路250は、指示信号を受けた場合であっても、Longフレーム期間においては、電荷蓄積時間がTLである第1フレーム制御を実行する。一方で、3つあるShortフレーム期間の2つにおいては、第2の電荷蓄積時間TSよりも長く第1の電荷蓄積時間TLよりも短い第3の電荷蓄積時間TMにより画素部301のそれぞれに第1信号を出力させる第3フレーム制御を実行する。そして、3つあるShortフレーム期間の残り1つは補正フレーム期間として、画素部301のそれぞれにリセット後のフローティングディフュージョンの電位を示す第2信号を出力させる第4フレーム制御を実行する。つまり、制御回路250は、制御部150の指示信号に従って、1つの合成フレーム画像を生成するために、第1フレーム制御(Longフレーム期間)→第3フレーム制御(Shortフレーム期間)→第1フレーム制御(Longフレーム期間)→第3フレーム制御(Shortフレーム期間)→第1フレーム制御(Longフレーム期間)→第4フレーム制御(補正フレーム期間)を順に実行する。
As illustrated in FIG. 14, the
第1の実施形態においては、画像処理部130が、第1信号の信号量から、第2信号の信号量に補正係数αを乗じた補正量を差し引くことにより画素信号を生成した。第2の実施形態においても、画像処理部130が、バッファメモリ120に蓄えられたそれぞれのフレーム期間の出力信号に対してシェーディング補正処理を実行する。
In the first embodiment, the
具体的には、画像処理部130は、対応する画素同士において、第1フレーム制御で出力された第1信号の信号量から、第4フレーム制御で出力された第2信号の信号量に画素位置や電荷蓄積時間などに対応する補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。同様に、対応する画素同士において、第3フレーム制御で出力された第1信号の信号量から、第4フレーム制御で出力された第2信号の信号量に画素位置や電荷蓄積時間などに対応する補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。このように補正された5つのフレーム画像を合成すると、シェーディング補正が施された合成フレーム画像を得ることができる。
Specifically, the
第4フレーム制御で得られた各画素の第2信号をバッファメモリ120で記憶しておけば、図13を用いて説明した通常処理時のフレーム画像に対してもシェーディング補正処理を施すことができる。具体的には、画像処理部130は、対応する画素同士において、通常処理時の第1フレーム制御で出力された第1信号の信号量から、シェーディング読出し時の第4フレーム制御で出力された第2信号の信号量に画素位置や電荷蓄積時間などに対応する補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。同様に、対応する画素同士において、通常処理時の第2フレーム制御で出力された第1信号の信号量から、シェーディング読出し時の第4フレーム制御で出力された第2信号の信号量に画素位置や電荷蓄積時間などに対応する補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。このように補正された6つのフレーム画像を合成すると、通常処理時においても、シェーディング補正が施された合成フレーム画像を得ることができる。
If the second signal of each pixel obtained by the fourth frame control is stored in the
通常処理時における1つの合成フレームは、第1フレーム制御による3つのLongフレーム画像と第2フレーム制御による3つのShortフレーム画像が合成されるので、その電荷蓄積時間の合計は、3×TL+3×TSとなる。一方、シェーディング読出し時における1つの合成フレームは、第1フレーム制御による3つのLongフレーム画像と第3フレーム制御による2つのShortフレーム画像が合成されるので、その電荷蓄積時間の合計は、3×TL+2×TMとなる。したがって、3×TS≠2×TMである場合には、輝度調整を行わない限り、合成フレーム間で輝度のばらつきが生じる。 Since one combined frame during normal processing is composed of three Long frame images under the first frame control and three Short frame images under the second frame control, the total charge accumulation time is 3×T L +3. ×T S. On the other hand, one composite frame at the time of shading reading is composed of three Long frame images under the first frame control and two Short frame images under the third frame control, so that the total charge accumulation time is 3×T. It becomes L +2×T M. Therefore, in the case of 3×T S ≠2×T M , variations in luminance occur between combined frames unless luminance adjustment is performed.
そこで、通常処理時における3つのShortフレーム期間をシェーディング読出し時には2つのShortフレーム期間と1つの補正フレーム期間に変更する場合には、TM=(3/2)×TSとすると良い。このように電荷蓄積時間を調整すれば、3×TS=2×TMとすることができる。すなわち、合成フレーム間の輝度のばらつきをほぼなくすことができる。換言すれば、第3の電荷蓄積時間TMは、第4フレーム制御を行うことによって不足する電荷蓄積時間に基づいて決定されれば、合成フレーム間の輝度のばらつきをほぼなくすことができる。 Therefore, when changing the three Short frame periods during the normal processing to two Short frame periods and one correction frame period during the shading reading, it is preferable to set T M =(3/2)×T S. By adjusting the charge storage time in this way, 3×T S =2×T M can be obtained. That is, it is possible to substantially eliminate the variation in luminance between the combined frames. In other words, if the third charge accumulation time T M is determined based on the charge accumulation time that is insufficient due to the fourth frame control, it is possible to almost eliminate the variation in luminance between combined frames.
なお、上述の例では、6つのフレーム期間を合成1フレームの単位期間としたが、それ以上であっても良い。例えば8つのフレーム期間を合成1フレームの単位期間とする場合は、通常処理時においては、第1フレーム制御によって得られる4つのLongフレーム画像と第2フレーム制御によって得られる4つのShortフレーム画像が合成される。また、シェーディング読出し時には、第1フレーム制御によって得られる4つのLongフレーム画像と第3フレーム制御によって得られる3つのShortフレーム画像が合成される。補正フレーム期間においては、上述と同様に第4フレーム制御により各画素から第2信号が出力される。 In the above example, the six frame periods are set as the unit period of one combined frame, but may be longer than that. For example, when eight frame periods are set as a unit period of one combined frame, in normal processing, four Long frame images obtained by the first frame control and four Short frame images obtained by the second frame control are combined. To be done. Further, at the time of shading reading, four Long frame images obtained by the first frame control and three Short frame images obtained by the third frame control are combined. In the correction frame period, the second signal is output from each pixel by the fourth frame control as described above.
制御部150は、指示信号を制御回路250へ、例えば合成1フレームの2単位期間ごとに送信する。この場合、制御回路250は、通常処理とシェーディング読出しを単位期間ごとに交互に実行する。あるいは、制御部150は、シェーディングが変化し得る要因の発生に基づいて制御回路250へ指示信号を送信するようにしても良い。例えば、温度センサ240が検出する温度の変化が閾値を超えるごとに指示信号を送信するようにしても良い。また、指示信号は、制御部150が生成させるのではなく、制御回路250が自身で生成するようにしても良い。また、以上の説明においては、シェーディング補正処理をバッファメモリ120で行ったが、撮像センサ200が数フレーム分のフレームバッファメモリを備えるのであれば、シェーディング補正処理を撮像センサ200内で行っても良い。
The
また、補正フレーム期間は、合成1フレームの単位期間の最後でなくても良く、いずれかのShortフレーム期間を置き換えれば良い。更には、補正フレーム期間で取得された第2信号は、上述のようにそれまでのフレーム期間で取得された第1信号のシェーディング補正処理に用いるのではなく、その後のフレーム期間で取得される第1信号のシェーディング補正処理に用いても良い。その場合、第1読出し回路221および第2読出し回路222が備える電位保持部で第2信号を一定期間保持すれば、その後のフレーム期間ごと更新される第1信号に対してシェーディング補正処理を第1読出し回路221および第2読出し回路222で実行することができる。第2信号は、第4フレーム制御が実行されるたびに更新される。
Further, the correction frame period need not be the end of the unit period of one combined frame, and any Short frame period may be replaced. Further, the second signal acquired in the correction frame period is not used in the shading correction process of the first signal acquired in the previous frame period as described above, but is acquired in the subsequent frame period. It may be used for shading correction processing of one signal. In that case, if the potential holding unit included in the
次に、1つの合成フレーム画像を生成するまでの処理の流れについて説明する。図15は、フレーム合成を行う場合のフレーム合成処理を示すフロー図である。制御回路250は、ステップS201で、指示信号を受け取ったか否かを確認する。指示信号を受け取っていない場合には、通常処理を行うべくステップS202へ進む。指示信号を受け取った場合には、シェーディング読出しの処理を行うべくステップS209へ進む。
Next, a flow of processing up to the generation of one combined frame image will be described. FIG. 15 is a flowchart showing a frame synthesizing process when performing frame synthesizing. The
ステップS202へ進むと、制御回路250は、Longフレーム期間において第1フレーム制御を実行し、Longフレーム画像を得る。続いてステップS203へ進み、Shortフレーム期間において第2フレーム制御を実行し、Shortフレーム画像を得る。制御回路250は、ステップS204でカウント変数nをインクリメントし、ステップS205で、カウント変数nが予め定められたn0に到達したか否かを判断する。到達していないと判断したら、ステップS202へ戻り、第1フレーム制御と第2フレーム制御を繰り返す。到達していると判断したら、ステップS206へ進む。なお、n0は、3つのLongフレーム画像と3つのShortフレーム画像を合成する場合にはn0=3であり、4つのLongフレーム画像と4つのShortフレーム画像を合成する場合にはn0=4である。
In step S202, the
ステップS206へ進むと、画像処理部130は、バッファメモリ120に蓄積されたLongフレーム画像とShortフレーム画像に対して、シェーディング補正処理を実行する。具体的には、それぞれのフレーム画像の各画素の第1信号量から、すでに実行された第4フレーム制御によって取得され記憶されている対応画素の第2信号の信号量に諸条件に合わせて選択された補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。画像処理部130は、続くステップS207で、シェーディング補正処理が施された各フレーム画像を合成して1つの合成フレーム画像を生成する。合成フレーム画像を生成したら、ステップS208へ進み、カウント変数nをリセットして終了する。
In step S206, the
一方、ステップS209へ進むと、制御回路250は、Longフレーム期間において第1フレーム制御を実行し、Longフレーム画像を得る。続いてステップS210へ進み、Shortフレーム期間において第3フレーム制御を実行し、Shortフレーム画像を得る。制御回路250は、ステップS211でカウント変数nをインクリメントし、ステップS212で、カウント変数nが予め定められたn0に対してn0−1に到達したか否かを判断する。到達していないと判断したら、ステップS209へ戻り、第1フレーム制御と第3フレーム制御を繰り返す。到達していると判断したら、ステップS213へ進む。制御回路250は、ステップS213へ進むと、更に第1フレーム制御を実行し、Longフレーム画像を得る。続いてステップS214へ進み、補正フレーム期間として第4フレーム制御を実行し、各画素から第2信号を得る。
On the other hand, when the processing proceeds to step S209, the
ステップS215へ進むと、画像処理部130は、バッファメモリ120に蓄積されたLongフレーム画像とShortフレーム画像に対して、シェーディング補正処理を実行する。具体的には、それぞれのフレーム画像の各画素の第1信号量から、ステップS214の第4フレーム制御によって取得された対応画素の第2信号の信号量に諸条件に合わせて選択された補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。画像処理部130は、続くステップS215で、シェーディング補正処理が施された各フレーム画像を合成して1つの合成フレーム画像を生成する。合成フレーム画像を生成したら、ステップS208へ進み、カウント変数nをリセットして終了する。
In step S215, the
第3の実施形態について説明する。第3の実施形態については、第1の実施形態の構成と異なる構成について説明する。特に言及しない構成は、第1の実施形態の構成と同様である。 A third embodiment will be described. As for the third embodiment, a configuration different from the configuration of the first embodiment will be described. The configuration not particularly mentioned is the same as the configuration of the first embodiment.
第3の実施形態における撮像装置100の撮像センサ200は、第1の実施形態の撮像センサ200とは異なり、受光領域212に点在する遮光画素を有する。図16は、受光領域212に遮光画素410を含む撮像センサ200の概略図である。遮光画素410は、入射光を遮断する遮断部を有しており、入射光は、遮光画素410のフォトダイオード311へは到達しない。それぞれの遮光画素410は、周囲を通常画素400に囲まれている。通常画素400は、フォトダイオード311へ到達する入射光を光電変換する画素である。遮光画素410は、図3を用いて説明したように、通常画素400と同様の回路構成を有する。したがって、遮光画素410も、読出し回路221および第2読出し回路222を介して、通常画素400と同様の読出し制御を受ける。
Unlike the
図17は、撮像センサ200の受光領域212における受光面近傍の断面図である。本実施形態においては、撮像センサ200を裏面照射型のMOSイメージセンサとして説明する。入射光は主に白抜き矢印で示す方向へ向かって入射する。
FIG. 17 is a cross-sectional view near the light receiving surface in the
フォトダイオード層506は、配線層508より入射光側に配されている。フォトダイオード層506は、二次元的に配された複数のフォトダイオード504、および、フォトダイオード504に対応して設けられたトランジスタ505を有する。フォトダイオード504は、図3の回路構成図で示したフォトダイオード311に対応し、トランジスタ505は、転送トランジスタ351等に対応する。
The
フォトダイオード層506の入射光側にはパッシベーション膜503を介してフィルタ層502が設けられている。それぞれのフォトダイオード504は、一つの画素を構成する。そのうち、図において、カラーフィルタ502aが設けられた画素が通常画素400であり、入射光を遮断する不透過の遮光フィルタ502bが設けられた画素が遮光画素410である。カラーフィルタ502aは、互いに異なる波長領域を透過する複数の種類(例えば、赤、青、緑の3種類)を有しており、フォトダイオード504のそれぞれに対応して特定の配列を有している。
A
フィルタ層502の入射光側には、それぞれの画素に対応して、マイクロレンズ501が設けられる。マイクロレンズ501は、対応するフォトダイオード504へ向けて入射光を集光する。遮光画素410は、入射光をフォトダイオード504へ到達させないので、マイクロレンズ501が設けられていなくても良い。配線層508は、フォトダイオード層506からの信号を読出し回路221または第2読出し回路222へ伝送する配線507を有する。配線507は多層であってもよい。
A
本実施形態における撮像センサ200は、第1の実施形態および第2の実施形態における撮像センサ200のように同一画素に第1信号と第2信号を出力させるのではなく、遮光画素410の出力信号を利用して、通常画素400の出力信号を補正する。遮光画素410の出力は、図4および図5において実線で示した遮光時のシェーディングに相当する。そこで、通常画素400の出力信号(=第1信号)の信号量から、近傍の遮光画素410が出力する出力信号の信号量を差し引くことにより、シェーディング補正された当該通常画素400の画素信号を得る。なお、フレーム画像としては、遮光画素410の位置に対応する画素値が欠落するが、周囲の通常画素の画素値を用いて補間処理により埋め合わせれば良い。
The
図18は、遮光画素410と受光領域212のエリア分割の関係を示す図である。図示するように、矩形である受光領域212を横m(図の例ではm=4)、縦n(図の例ではn=3)のm×n個のエリアに分割する。任意のエリアをRi,j(1≦i≦m,1≦j≦n)と表わす。それぞれのエリアの中心付近には遮光画素410が配置されている。換言すると、遮光画素410の位置に応じて受光領域212のエリアが分割されている。
FIG. 18 is a diagram showing a relationship of area division of the light-shielding
各エリアに属するそれぞれの通常画素400の出力信号は、同一エリアに属する遮光画素410の出力信号によってシェーディング補正処理が行われる。例えば、エリアR3,1に属する通常画素400の出力信号は、同じくエリアR3,1に属する遮光画素410の出力信号によってシェーディング補正処理が行われる。なお、エリアの分割は、図7の例や、図8の例に倣っても良い。
Shading correction processing is performed on the output signals of the
図19は、本実施形態におけるローリングシャッタ方式による動画撮影動作の動作概念図である。ここでは、図11の例と同様に、電荷蓄積時間の長いLongフレーム期間で出力されたフレーム画像と電荷蓄積時間の短いShortフレーム期間で出力されたフレーム画像とを合成するフレーム合成を行う場合について説明する。 FIG. 19 is an operation conceptual diagram of a moving image shooting operation by the rolling shutter method in the present embodiment. Here, similar to the example of FIG. 11, a case where frame synthesis is performed in which a frame image output in a Long frame period having a long charge accumulation time and a frame image output in a Short frame period having a short charge accumulation time are performed explain.
フレーム合成を行う場合は、電荷蓄積時間がTL(例えば1/60秒)のLongフレーム期間と、電荷蓄積時間がTS(<TL、例えば1/120秒)のShortフレーム期間とを交互に繰り返す。すなわち、制御回路250は、連続するフレーム期間のそれぞれにおいて、第1の電荷蓄積時間TLにより画素部301のそれぞれに出力信号を出力させるLongフレーム制御と、第1の電荷蓄積時間TLよりも短い第2の電荷蓄積時間TSにより画素部301のそれぞれに出力信号を出力させるShortフレーム制御を交互に行う。
When performing frame combination, a Long frame period having a charge storage time of T L (for example, 1/60 seconds) and a Short frame period having a charge storage time of T S (<T L , for example, 1/120 second) are alternated. Repeat. That is, the
Longフレーム制御において、遮光画素410は、通常画素400と同じ電荷蓄積時間TLのシェーディング信号を出力する。したがって、同じLongフレーム期間で出力された通常画素400の出力信号の信号量から、同一エリアの遮光画素410が出力するシェーディング信号を差し引けば、シェーディングがほぼ除去された画素信号になる。Shortフレーム制御において、遮光画素410は、通常画素400と同じ電荷蓄積時間TSのシェーディング信号を出力する。したがって、同じShortフレーム期間で出力された通常画素400の出力信号の信号量から、同一エリアの遮光画素410が出力するシェーディング信号を差し引けば、シェーディングがほぼ除去された画素信号になる。
In the Long frame control, the light-shielding
ところで、遮光画素410の信号レベルが同一エリア内の通常画素400のシェーディング分布の平均と異なる場合、シェーディング補正後でエリアごとにばらつきが生じる可能性がある。この場合、遮光画素410をエリアごとに複数用意し、その平均の信号値を求めるようにするとよい。または、あらかじめ同一エリア内の通常画素400のシェーディングを測定しておき、その平均値と遮光画素410の信号値と比較することでエリアごとに補正係数βを求め、遮光画素410の信号値にその補正係数βをかけた数値をシェーディング補正に使うようにしてもよい。補正係数βは温度、アナログゲインに応じて設定すると、さらに好ましい。
By the way, when the signal level of the light-shielded
そして、画像処理部130は、バッファメモリ120で蓄積されたLongフレーム期間に対応するフレームとShortフレーム期間に対応するフレームとを1フレームに合成する。このような合成処理により、低ノイズでダイナミックレンジの広い高品位の合成フレーム画像を生成することができる。
Then, the
本実施例においては、1エリアに1つの遮光画素410が含まれる場合を説明した。この場合、制御回路250は、遮光画素410の出力信号の変化を監視して、異常値を出力していないかを検出すると良い。例えば、他の遮光画素410が出力する出力信号と比較して極端に変化量が少ない場合や、全く異なる傾向の変化を示す場合には、制御回路250は、当該遮光画素410の出力信号を異常と判断する。制御回路250がある遮光画素410の出力信号を異常と判断した場合には、当該遮光画素410と同じエリアに属する通常画素400の出力信号は、周囲のエリアに属する遮光画素410の出力信号を用いてシェーディング補正処理を実行すれば良い。なお、シェーディング補正処理は、読出し回路221および第2読出し回路222の電位保持部がこのような処理を実行できるように構成されている場合には、読出し回路221および第2読出し回路222が実行すれば良い。そうでない場合には、バッファメモリ120に蓄積されたフレーム画像に対して、画像処理部130が実行すれば良い。
In this embodiment, the case where one light-shielding
なお、1エリアに複数の遮光画素410を配置すれば、一方の出力信号が異常と判断された場合でも、他方の出力信号を用いることができる。また、撮像装置100が三板式カメラである場合、すなわち赤色成分を出力するための撮像センサ、緑色成分を出力するための撮像センサ、青色成分を出力するための撮像センサをそれぞれ有する場合には、対応する画素同士が遮光画素とならないように配置すると良い。
By disposing a plurality of light-shielding
図20は、本実施形態における1フレームのシェーディング補正処理を示すフロー図である。制御回路250は、ステップS301で、1フレーム期間の処理に先立ち、補正情報を取得する。そして、ステップS302で、シェーディング補正処理を行おうとする通常画素400と同じエリアに含まれる遮光画素410の出力信号が異常であるか否かの異常判定を行う。異常でないと判断した場合はステップS303へ進み、当該遮光画素410の出力値を採用し、ステップS305でシェーディング補正処理をおこなう。
FIG. 20 is a flowchart showing the shading correction processing for one frame in this embodiment. In step S301, the
制御回路250は、ステップS302で異常であると判断した場合は、ステップS304へ進み、周囲にエリアに属する遮光画素410の出力値を用いる。ここでは、周囲のエリアのそれぞれに含まれる遮光画素410の出力値から、距離等の条件によって重み付け平均を算出し、算出した値を異常と判断した遮光画素410の推定出力値とする。ステップS305へ進んだら、この推定出力値を採用してシェーディング補正処理をおこなう。1フレーム分のシェーディング補正処理が完了するとフローを終了する。
If the
第4の実施形態について説明する。第4の実施形態については、第1の実施形態の構成と異なる構成について説明する。特に言及しない構成は、第1の実施形態の構成と同様である。本実施形態においては、それぞれの画素に第2信号を出力させることなく、また、受光領域に遮光画素を設けることなくシェーディング補正処理を行う。以下にその処理について説明する。 A fourth embodiment will be described. Regarding the fourth embodiment, a configuration different from the configuration of the first embodiment will be described. The configuration not particularly mentioned is the same as the configuration of the first embodiment. In the present embodiment, the shading correction process is performed without outputting the second signal to each pixel and without providing the light-shielding pixel in the light receiving region. The processing will be described below.
上述のように撮像センサ200は画素領域210にOB領域211を有し、OB領域211に属する画素(以下では「OB画素」と記す)も、フレーム期間ごとに信号を出力する。しかし、OB領域211は、受光領域212の周囲を縁取るように設けられているので、フレーム期間ごとにOB画素から出力された出力信号をもって、受光領域212に属するそれぞれの画素のシェーディングを直接的に推定することは難しい。
As described above, the
一方、撮像センサ200を製品として撮像装置100へ組み込む前の段階で、撮像センサ200の受光面を遮光して様々に条件を変えつつ、OB画素の出力と、受光領域212に属する通常画素の出力のデータを採取することはできる。具体的には、検出された温度、設定された増幅ゲインおよび電荷蓄積時間、OB画素の出力信号値、通常画素の出力信号値のデータセットを採取することができる。
On the other hand, before the
そこで、撮像センサ200を製品として撮像装置100へ組み込む前の段階で、当該撮像センサ200を実際に駆動して上記のデータセットの教師データを多数用意し、事前の教師あり学習により学習済みモデルを生成する。生成される学習済みモデルは、OB画素の出力信号情報、検出された温度、設定された増幅ゲインおよび電荷蓄積時間を入力すると通常画素の出力信号に対する補正情報を出力する学習済みモデルである。
Therefore, before the
図21は、教師データの採取状況を示す概念図である。図示するように撮像センサ200は、制御基板610に接続されている。制御基板610は、工具PC610に接続されている。撮像センサ200は、制御基板610を介して、工具PC610によって制御され、出力信号等を工具PC610へ送信する。撮像センサ200は、制御基板610と共に外光を遮断する暗箱620に収容されている。したがって、撮像センサ200は、入射光を受けることなく駆動される。なお、暗箱620は、撮像装置100の構造を模して、放熱特性等の条件を撮像装置100に整合させても良い。
FIG. 21 is a conceptual diagram showing how teacher data is collected. As illustrated, the
具体的には、工具PC610は、増幅ゲインと電荷蓄積時間を様々に指定して、撮像センサ200を駆動する。また、工具PC610は、それぞれのフレーム制御に対して撮像センサ200からOB画素の出力信号値、通常画素の出力信号値、および温度センサ240が検出した温度を取得する。これらを、駆動条件である増幅ゲインおよび電荷蓄積時間と関連付けて、一つのデータセットとして記憶する。なお、撮像センサ200の温度は、駆動時間が長くなるほど上昇するので、駆動時間を調整して様々な温度に対するデータセットを取得すると良い。
Specifically, the
図22は、教師データのデータ構造を示す概念図である。上述のように、工具PC610は、撮像センサ200を様々な条件で駆動して、多くのデータセットを取得する。工具PC610は、これらを教師データとしてデータ構造化する。具体的には、取得したデータセットごとに教師データ番号を付与し、検出された温度、設定した増幅ゲインおよび電荷蓄積時間、OB領域211に属するOB画素のそれぞれの出力信号値、受光領域212に属する通常画素のそれぞれの出力信号値を一纏めにデータ構造化する。
FIG. 22 is a conceptual diagram showing the data structure of teacher data. As described above, the
受光領域212属する通常画素のそれぞれの出力信号値は、遮光された状態における出力信号をAD変換してものであるので、図4および図5において実線で示す遮光時のシェーディングに相当する。撮像センサ200が撮像装置100に組み込まれた後に、実際の撮影動作中に得られないのは、この遮光時のシェーディングである。実際の撮影動作中にこのシェーディングが推定できれば、入射光量に応じた信号量である第1信号から推定したシェーディングを差し引くことにより、シェーディング補正処理を行うことができる。
The output signal value of each of the normal pixels belonging to the
そこで、本実施形態においては、検出された温度、設定された増幅ゲインおよび電荷蓄積時間、OB画素の出力信号値を入力するとシェーディングを出力するニューラルネットワークである学習済みモデルを形成する。 Therefore, in the present embodiment, a learned model that is a neural network that outputs shading when the detected temperature, the set amplification gain and the charge accumulation time, and the output signal value of the OB pixel are input is formed.
工具PC610は、各教師データに対し、検出された温度、設定された増幅ゲインおよび電荷蓄積時間、OB画素の出力信号値を入力情報、通常画素のシェーディング値を出力の正解として、ニューラルネットワークに教師あり学習の学習作業を行わせる。例えば、学習中モデルが予測値として出力する通常画素のシェーディング値と、教師データとしての実際のシェーディング値との差が予め設定された基準値以下となるまで、誤差逆伝播法を使って係数となる重みを更新していく。このようにして学習された学習済みモデルは、実際に情報取得に用いた撮像センサ200と組で、撮像装置100に実装される。学習済みモデルは、フラッシュメモリ180へ記憶され、シェーディング補正処理時に制御部150から読み出されて利用に供される。
The
図23は、撮像装置100へ組み込まれた学習済みモデルを用いて行う、1フレームのシェーディング補正処理を示すフロー図である。制御回路250は、1フレーム期間のフレーム画像がバッファメモリ120へ引き渡されると、ステップS401で、当該フレーム画像に関する補正情報を取得する。具体的には、当該フレーム画像が生成された時の温度センサ240の検出温度、設定されていた増幅ゲインおよび電荷蓄積時間、当該フレーム画像の周辺部を形成するOB画素のそれぞれの出力値を取得する。
FIG. 23 is a flowchart showing the shading correction processing for one frame, which is performed using the learned model incorporated in the image pickup apparatus 100. When the frame image of one frame period is delivered to the
画像処理部130は、ステップS402で、フラッシュメモリ180から読み出してある学習済みモデルへステップS401で取得した入力情報を入力し、学習済みモデルに演算させて、通常画素のそれぞれの推定シェーディング値を出力させる。そして、ステップS403へ進み、フレーム画像からOB領域211に相当する周辺部を切り捨て、受光領域212に属する各通常画素の画素値から、ステップS402で算出された各推定したシェーディング値を差し引く。1フレーム分のシェーディング補正処理が完了するとフローを終了する。
In step S402, the
なお、以上説明した本実施形態においては、撮像装置100へ組み込む撮像センサ200を用いて教師データを採取した。しかし、例えば同じ製造ロットで製造された、同一種類の他の撮像センサを用いて採取した教師データを利用しても良い。この場合に形成される学習済みモデルは、実際に組み込まれる撮像センサ200に比べると推定するシェーディング補正値の精度が低下すると予想されるが、撮像装置100の製造効率の向上が期待できる。
In the embodiment described above, the teacher data is collected by using the
また、シェーディング値は、撮像センサ200の利用履歴や経時によっても変化するので、そのような情報に基づいて、実装後の学習済みモデルを適宜修正するようにしても良い。この場合、様々な利用履歴や経時によってシェーディング値がどのように変化するかを、予め同一種類の他の撮像センサを用いて学習しておき、その結果を修正モジュールとしてフラッシュメモリ180に記憶しておく。制御部150は、自機の利用履歴や経時に対応する修正モジュールを適宜選択し、学習済みモデルを修正し更新する。なお、撮像装置100は、ネットワークを介して修正モジュールを取得しても良い。また、各実施形態は、互いに組み合わせて実施できる要素については適宜組み合わせて実施してもよいことはもちろんのことである。
Further, since the shading value changes depending on the usage history of the
100 撮像装置、110 撮影レンズ、120 バッファメモリ、130 画像処理部、150 制御部、160 記録部、170 表示部、180 フラッシュメモリ、200 撮像センサ、210 画素領域、211 OB領域、212 有効領域、221 第1読出し回路、222 第2読出し回路、230 垂直走査回路、240 温度センサ、250 制御回路、301 画素部、311 フォトダイオード、351 転送トランジスタ、353 リセットトランジスタ、354 増幅トランジスタ、355 選択トランジスタ、360 フローティングディフュージョン、361 出力配線、362 負荷電流源、400 通常画素、410 遮光画素、501 マイクロレンズ、502 フィルタ層、502a カラーフィルタ、502b 遮光フィルタ、503 パッシベーション膜、504 フォトダイオード、505 トランジスタ、506 フォトダイオード層、507 配線、508 配線層、600 工具PC、610 制御基板、620 暗箱 100 image pickup device, 110 shooting lens, 120 buffer memory, 130 image processing unit, 150 control unit, 160 recording unit, 170 display unit, 180 flash memory, 200 image sensor, 210 pixel area, 211 OB area, 212 effective area, 221 1st read-out circuit, 222 2nd read-out circuit, 230 vertical scanning circuit, 240 temperature sensor, 250 control circuit, 301 pixel part, 311 photodiode, 351 transfer transistor, 353 reset transistor, 354 amplification transistor, 355 selection transistor, 360 floating Diffusion, 361 output wiring, 362 load current source, 400 normal pixel, 410 light shielding pixel, 501 microlens, 502 filter layer, 502a color filter, 502b light shielding filter, 503 passivation film, 504 photodiode, 505 transistor, 506 photodiode layer , 507 wiring, 508 wiring layer, 600 tool PC, 610 control board, 620 dark box
Claims (1)
オプティカルブラック領域に属するOB画素の出力信号情報、検出された温度、設定された増幅ゲインおよび電荷蓄積時間を入力すると受光領域に属する通常画素の出力信号に対する補正情報を出力する、事前に前記撮像センサに対して学習作業を行って形成された学習済みモデルを格納した記憶部と、
前記学習済みモデルを用いて前記撮像センサの出力信号を補正することにより画像データを生成する生成部と
を備える撮像装置。 An image sensor,
When the output signal information of the OB pixel belonging to the optical black region, the detected temperature, the set amplification gain and the charge accumulation time are input, the correction information for the output signal of the normal pixel belonging to the light receiving region is output in advance. A storage unit that stores a trained model formed by performing learning work on
An image pickup apparatus comprising: a generation unit that generates image data by correcting an output signal of the image sensor using the learned model.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019013098A JP2020123770A (en) | 2019-01-29 | 2019-01-29 | Imaging apparatus |
CN202010064761.9A CN111491120B (en) | 2019-01-29 | 2020-01-20 | Image capturing apparatus |
US16/773,731 US11146748B2 (en) | 2019-01-29 | 2020-01-27 | Imaging device |
EP20154171.1A EP3709631B1 (en) | 2019-01-29 | 2020-01-28 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019013098A JP2020123770A (en) | 2019-01-29 | 2019-01-29 | Imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020123770A true JP2020123770A (en) | 2020-08-13 |
Family
ID=71993034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019013098A Pending JP2020123770A (en) | 2019-01-29 | 2019-01-29 | Imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020123770A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11582414B2 (en) | 2020-09-24 | 2023-02-14 | Canon Kabushiki Kaisha | Signal processing apparatus, photoelectric conversion apparatus, photoelectric conversion system, control method of signal processing apparatus, and non-transitory computer-readable storage medium |
-
2019
- 2019-01-29 JP JP2019013098A patent/JP2020123770A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11582414B2 (en) | 2020-09-24 | 2023-02-14 | Canon Kabushiki Kaisha | Signal processing apparatus, photoelectric conversion apparatus, photoelectric conversion system, control method of signal processing apparatus, and non-transitory computer-readable storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5614993B2 (en) | Imaging apparatus and solid-state imaging device driving method | |
KR101473275B1 (en) | Image sensor, electronic apparatus, and driving method of electronic apparatus | |
JP5959834B2 (en) | Imaging device | |
CN111491120B (en) | Image capturing apparatus | |
JP4834345B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP4745851B2 (en) | Imaging device | |
JP2007019820A (en) | Solid state imaging device | |
JP2009055320A (en) | Imaging apparatus and method for driving solid-state imaging device | |
JP5885431B2 (en) | Imaging device and imaging apparatus | |
JP2006157882A (en) | Solid state imaging device | |
KR20130129313A (en) | Solid-state image pickup device and image pickup apparatus | |
JP2013183380A (en) | Image sensor, driving method for image sensor, and imaging system | |
JP2009088706A (en) | Imaging apparatus, and method for driving solid-state imaging element | |
JP2020123770A (en) | Imaging apparatus | |
JP5106055B2 (en) | Imaging apparatus and flicker detection method thereof | |
JP7111007B2 (en) | Imaging device | |
JP7208496B2 (en) | Imaging device | |
JP2020123769A (en) | Imaging apparatus | |
JP5058840B2 (en) | Imaging device | |
JP2009260871A (en) | Imaging apparatus | |
JP6393087B2 (en) | Imaging device and imaging apparatus | |
JP5737924B2 (en) | Imaging device | |
US20110234862A1 (en) | Imaging device | |
JP2024000839A (en) | Imaging device and image processing method | |
JP2012231421A (en) | Imaging apparatus |