JP2016134909A - Imaging apparatus and control method therefor - Google Patents
Imaging apparatus and control method therefor Download PDFInfo
- Publication number
- JP2016134909A JP2016134909A JP2015010677A JP2015010677A JP2016134909A JP 2016134909 A JP2016134909 A JP 2016134909A JP 2015010677 A JP2015010677 A JP 2015010677A JP 2015010677 A JP2015010677 A JP 2015010677A JP 2016134909 A JP2016134909 A JP 2016134909A
- Authority
- JP
- Japan
- Prior art keywords
- value
- signal
- analog
- filtering process
- detection value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、撮像装置及びその制御方法に関し、特に、撮像素子から読み出したアナログ信号をデジタル信号に変換する撮像装置及びその制御方法に関する。 The present invention relates to an imaging device and a control method thereof, and more particularly, to an imaging device that converts an analog signal read from an imaging device into a digital signal and a control method thereof.
従来、テレビジョンの規格として、水平１９２０画素、垂直１０８０画素のフルハイビジョンと呼ばれる規格が一般的によく用いられていた。しかし近年では、水平３８４０画素、垂直２１６０画素の４Ｋ２Ｋと呼ばれるテレビジョン規格への移行が進んできている。さらに今後、水平７６８０画素、垂直４３２０画素の８Ｋ４Ｋ（スーパーハイビジョン）と呼ばれる、次世代テレビジョン規格への移行が予定されている。また、多画素化と共に、フレームレートにおいても高速化の一途を辿っている。 Conventionally, as a standard of television, a standard called full high-definition having horizontal 1920 pixels and vertical 1080 pixels has been generally used. However, in recent years, a shift to a television standard called 4K2K having horizontal 3840 pixels and vertical 2160 pixels is progressing. In the future, a transition to a next-generation television standard called 8K4K (Super Hi-Vision) with horizontal 7680 pixels and vertical 4320 pixels is scheduled. In addition, with the increase in the number of pixels, the frame rate has been steadily increasing.
このようなテレビジョン規格の移行に伴い、テレビジョン映像を撮影する撮像装置に対して多画素化・高フレームレート化が要求されており、これを満足するために、撮像素子が映像を読み出す速度を高速化していくことが一つの課題となっている。読み出し速度を高速化するためには、撮像素子が有するＡＤ変換器の処理速度を高速化することが必要不可欠であり、ＡＤ変換器の高速化に関する様々な技術が提案されている。 Accompanying such a shift in the television standard, imaging devices that shoot television images are required to have a larger number of pixels and a higher frame rate. One issue is to increase the speed. In order to increase the reading speed, it is indispensable to increase the processing speed of the AD converter included in the image sensor, and various techniques for increasing the speed of the AD converter have been proposed.
また、読み出し速度の高速化に加え、Ｓ／Ｎ比の改善とダイナミックレンジの拡大を目的とした、階調精度の向上に対する要求も高い。そのため、回路規模が増大したり、処理時間が延びるようなこと無く階調精度を向上させることが、今後の画像性能を向上させる上で、重要な課題となっている。 In addition to increasing the reading speed, there is a high demand for improvement in gradation accuracy for the purpose of improving the S / N ratio and expanding the dynamic range. Therefore, improving the gradation accuracy without increasing the circuit scale or extending the processing time is an important issue in improving future image performance.
このような課題に対し、特許文献１では、次のような構成を有する撮像装置を開示している。すなわち、撮像素子内にある列アンプ回路を用いて、画素信号を第１のゲインで増幅した第１の画素信号と、第１のゲインより大きい第２のゲインで増幅した第２の画素信号とを、それぞれ異なるＡＤコンバータ回路を用いてアナログデジタル（ＡＤ）変換する。そして、画素信号のレベルに応じて、ＡＤ変換後の第１の画素信号と第２の画素信号のうち、いずれか一方を選択的に出力させる。このような構成にすることで、ダイナミックレンジの拡大と、Ｓ／Ｎ比の改善を実現することが可能となる。
For such a problem,
更に、特許文献１では、選択的に読み出した第１の画素信号と第２の画素信号を同じゲインレベルにレベルシフトした後に、ゲイン誤差もしくはオフセット誤差を検出し、この検出値に基づいて画素信号を補正する技術についても提案している。このような処理を行うことで、選択的に読み出した第１の画素信号と第２の画素信号とから１枚の画像を合成した際に生じる、信号レベルの段差を低減させることができる。
Furthermore, in
しかしながら、特許文献１では、ゲイン誤差、及びオフセット誤差を算出するための検出値の時間的なばらつき（変動）については考慮されていない。検出値が変動する主な要因としては、急激な温度変化、撮像素子の駆動方法の切替え、列アンプに供給している電源のノイズ、配線ノイズ、外乱ノイズ（例えば、モーター駆動等で発生する磁気ノイズの飛び込み）などがある。検出値が変動した状態でゲイン誤差、及びオフセット誤差を算出し、その算出値を用いて有効画素の補正を行うと、特許文献１に開示されているように第１の画素信号及び第２の画素信号とから１枚の画像を合成した場合、信号レベルの段差が見えてしまう。
However,
例えば、フレーム毎に補正値を算出し、更新していくような補正方法を用いた場合、信号レベルの段差が発生するフレームと、信号レベルの段差が発生しないフレームが存在すると、見た目上違和感のある映像となってしまう。 For example, when a correction method that calculates and updates correction values for each frame is used, if there are frames in which signal level differences occur and frames in which signal level differences do not occur, it may seem strange. It becomes a certain image.
また、１フレーム分の画像を分割した領域毎に別々の検出値を取得し、その検出値により算出された補正値を用いて領域毎に補正を行った場合、領域毎に段差が発生する領域と発生しない領域が存在すると、見た目上違和感のある画像となってしまう。特に、被写体のコントラストが低く、徐々に輝度レベルが変化するような映像では、顕著に目立つ。 In addition, when a separate detection value is acquired for each area obtained by dividing an image for one frame and correction is performed for each area using the correction value calculated based on the detection value, an area where a step is generated for each area If there is a region that does not occur, the image looks uncomfortable. This is particularly noticeable in images where the contrast of the subject is low and the luminance level gradually changes.
本発明は上記問題点を鑑みてなされたものであり、フレーム間、もしくは画面内の領域間で、信号レベルの段差が発生したり、段差のレベルが変化するような不自然な映像となることを防ぐことを目的とする。 The present invention has been made in view of the above-described problems, and an unnatural image in which a step in the signal level occurs or the level of the step changes between frames or between regions in the screen. The purpose is to prevent.
上記目的を達成するために、本発明の撮像装置は、互いに異なる傾きを有する複数の参照信号を用いてアナログ信号をデジタル信号に変換するアナログデジタル変換手段と、予め決められた複数の異なる出力レベルのアナログ信号を前記アナログデジタル変換手段に供給する電圧供給手段と、前記複数の異なる出力レベルのアナログ信号を前記複数の参照信号によりそれぞれ変換して得られた検出値に対してフィルタリング処理を行い、該フィルタリング処理後の検出値に基づいて、撮像素子の画素部から出力されるアナログ信号を前記アナログデジタル変換手段により変換して得られるデジタル信号を補正するための補正係数をフレーム毎に算出する算出手段と、を有し、前記フィルタリング処理は、前記フィルタリング処理前の検出値と、前のフレームにおける前記フィルタリング処理後の検出値を、巡回係数により重み付け加算する処理であることを特徴とする。 In order to achieve the above object, an imaging apparatus according to the present invention includes an analog-to-digital conversion unit that converts an analog signal into a digital signal using a plurality of reference signals having different inclinations, and a plurality of predetermined different output levels. A voltage supply means for supplying the analog signal to the analog-digital conversion means, and performing a filtering process on the detection values obtained by converting the analog signals of the plurality of different output levels by the plurality of reference signals, Calculation for calculating a correction coefficient for each frame based on the detection value after the filtering process for correcting the digital signal obtained by converting the analog signal output from the pixel portion of the image sensor by the analog-to-digital converter. And the filtering process includes a detection value before the filtering process, The detection value after the filtering process in the preceding frame, characterized in that it is a process of weighted addition by the cyclic coefficient.
本発明によれば、フレーム間、もしくは画面内の領域間で、信号レベルの段差が発生したり、段差のレベルが変化するような不自然な映像となることを防ぐことができる。 According to the present invention, it is possible to prevent a signal level step from occurring between frames or between regions in a screen or an unnatural image in which the step level changes.
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the accompanying drawings.
＜第１の実施形態＞
図１は、本発明の第１の実施形態における撮像装置で用いられる撮像素子１の構成を示すブロック図であり、撮像素子１と、撮像素子１により得られた画像データの出力先である画像処理部２とを示している。第１の実施形態における撮像素子１は、並列型ＡＤ変換器を実装したＣＭＯＳイメージセンサである。画像処理部２は、撮像素子１が出力する画像データに対し、ホワイトバランス処理や、ガンマ処理などの現像処理を行い、最終的に記録媒体に記録する。また、画像処理部２はＣＰＵを内蔵しており、このＣＰＵにより、撮像装置の動作モードに応じて撮像素子１と通信（例えばシリアル通信）し、制御を行う。
<First Embodiment>
FIG. 1 is a block diagram illustrating a configuration of an
撮像素子１において、タイミング制御部１００は撮像素子１の各ブロックに対して動作クロック信号及びタイミング信号を供給し、動作を制御する。
In the
画素部１１０は、２次元に配置された複数の画素を含み、各画素の光電変換素子において入射光量に応じて光電変換して得られた電荷を、電圧に変換して出力する。各々の画素には、カラーフィルタとマイクロレンズが実装されている。なお、カラーフィルタとして、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色の、いわゆるＲＧＢ原色カラーフィルタによるベイヤー配列の周期構造をとっているのが一般的であるが、必ずしもこの限りではない。
The
垂直走査回路１２０は、画素部１１０の各画素により得られた画素信号を１フレーム期間内に順次読み出すためのタイミング制御を行う。一般的に読み出しは、１フレーム中の上部の行から下部の行にかけて、行単位で順次行われる。
The
列アンプ群１３０は、各列にそれぞれ設けられた複数の列アンプから成り、画素部１１０から読みだされた画素信号を電気的に増幅するために用いられる。列アンプ群１３０で画素信号を増幅することにより、後段のランプ回路１４０や列アナログデジタル変換器群（列ＡＤＣ群）１５０が出すノイズとのＳ／Ｎ比を改善させる。ただし、画素部１１０の出すノイズに対し、ランプ回路１４０や列ＡＤＣ群１５０が出すノイズが十分小さい回路構造においては、列アンプ群１３０は必ずしも必須ではない。
The
定電圧回路４００は、画素部１１０と列アンプ群１３０とを繋ぐ信号線に、固定の電圧を供給する電圧供給手段として動作する。なお、第１の実施形態では定電圧回路４００を用いるが、ある一定の電圧で信号をクリップするようなクリップ回路などに応用できる回路を用いても良い。
The
ランプ回路１４０は、時間方向に一定のスロープ（傾き）を持つランプ形状の電圧信号（ランプ信号）を発生する信号発生器である。列ＡＤＣ群１５０は、列毎に比較部１５１とカウンタ・ラッチ回路１５２とからなる列ＡＤＣを有する。比較部１５１は、列アンプ群１３０により増幅された画素信号（アナログ信号）と、ランプ回路１４０からのランプ信号とを比較して、信号の大小関係を示す信号を出力する。そしてカウンタ・ラッチ回路１５２が、比較部１５１からの信号に応じてカウンタ値をラッチすることで、アナログ−デジタル変換が行われる。なお、比較部１５１とカウンタ・ラッチ回路１５２の詳細な動作は後述する。カウンタ・ラッチ回路１５２に保持された１行分のデジタル画像データは、水平転送回路１６０により端の行から順に読みだされる。
The
水平転送回路１６０により読み出された画像データは信号処理回路１７０に入力される。信号処理回路１７０はデジタル的に信号処理を行う回路であり、デジタル処理で一定量のオフセット値を加える他に、シフト演算や乗算を行うことで、簡易にゲイン演算を行うことができる。また、画素部１１０に、遮光した画素領域（ＯＢ画素部）を形成し、ＯＢ画素部の画素から得られる信号を利用したデジタルの黒レベルクランプ動作を行っても良い。更に、入力された画像データに基づいて、後述するように、ランプ回路１４０から出力されるランプ信号を、タイミング制御部１００を介して制御する。
The image data read by the
信号処理回路１７０により処理された画像データは、外部出力回路１８０に渡される。外部出力回路１８０は、シリアライザー機能を有し、信号処理回路１７０からの多ビットの入力パラレル信号をシリアル信号に変換する。また、このシリアル信号を、例えばＬＶＤＳ信号等に変換し、画像処理部２に出力する。
The image data processed by the
コントローラ回路３００は、画像処理部２とのＩ／Ｆ部であり、シリアル通信回路などを用いて、画像処理部２のＣＰＵから撮像素子１への制御を受ける。
The
次に、撮像素子１の列ＡＤＣ群１５０を用いた基本的なＡＤ変換の原理について、図２を用いて説明する。列ＡＤＣ群１５０は、上述したように、列毎に比較部１５１とカウンタ・ラッチ回路１５２を有しており、図２（ａ）に示すように、比較部１５１は、列アンプ群１３０から出力される画素信号ＶＡＭＰと、ランプ回路１４０から出力されるランプ信号ＶＲＡＭＰとを比較し、その結果を出力する。
Next, the basic AD conversion principle using the
図２（ｂ）に示すように、画素部１１０からの画素信号ＶＡＭＰの読み出し開始に先立って比較部１５１の動作を開始する（時刻ｔ１）。列アンプ群１３０の各列アンプの動作が安定すると、時刻ｔ２において、カウンタ・ラッチ回路１５２のカウント値をリセットする。このカウンタ・ラッチ回路１５２のカウントリセットタイミングと同期して、ランプ回路１４０から出力されるランプ信号ＶＲＡＭＰの信号レベルは、時刻ｔ２から時間の経過とともに増加する。比較部１５１の出力は、列アンプ群１３０から出力される画素信号ＶＡＭＰの信号レベルをランプ回路１４０から出力されるランプ信号ＶＲＡＭＰの信号レベルが超えた時に反転する（時刻ｔ３）。カウンタ・ラッチ回路１５２は、カウント値をリセットしてから、比較部１５１の出力が反転するまでの期間（時刻ｔ２〜時刻ｔ３）、カウント動作を行う。この動作により、列アンプ群１３０により増幅された画素信号の出力レベルに比例したカウント値が得られるため、こうして得られたカウント値がＡＤ変換結果となる。なお、ここで説明した画素信号とランプ信号の比較方法、カウンタ・ラッチ回路によるカウント方法などはあくまで一例であり、カウント値をリセットしてから比較部１５１の出力が反転するまでの期間を検出できれば、他の方法で実施してもかまわない。
As shown in FIG. 2B, the operation of the
図３は、第１の実施形態におけるランプ回路１４０及び列ＡＤＣ群１５０の動作を説明する図である。図３において、横軸は時間、グラフ上部の縦軸は出力レベル、グラフ下部は、比較部１５１の出力を示している。図３を参照して、列アンプ群１３０の出力信号ＶＡＭＰの信号レベルに応じて、ランプ回路１４０から出力されるランプ信号ＶＲＡＭＰのスロープを変える例について説明する。
FIG. 3 is a diagram for explaining the operation of the
一般的に、単位画素からの信号の読み出し処理においては、まずＮ信号（ノイズレベル）の読み出し及びＡＤ変換を行い、その後にＳ信号（ノイズレベル＋信号レベル）の読み出し及びＡＤ変換を行う。そして、信号処理回路１７０で変換されたＳ信号とＮ信号との差分をとることでノイズ成分を打ち消すことで、Ｓ／Ｎの良い信号を得る。
In general, in the process of reading a signal from a unit pixel, first, N signal (noise level) is read and AD conversion is performed, and then S signal (noise level + signal level) is read and AD conversion is performed. Then, by taking the difference between the S signal and the N signal converted by the
まず、Ｎ信号のＡＤ変換を行うために、時刻ｔ１１で比較部１５１の動作を開始し、時刻ｔ１２でカウンタ・ラッチ回路１５２のカウントをリセットすると共に、ランプ回路１４０から出力されるランプ信号ＶＲＡＭＰの信号レベルを変化させる。ここで、ノイズレベルであるＮ信号の信号レベルは小さいため、Ｎ信号のＡＤ変換には、傾きが小さい第一のランプ信号ＶＲＡＭＰ（小）（第一の参照信号）を用いる。そして、カウンタ・ラッチ回路１５２のカウントをリセットしてから、比較部１５１の出力が反転するまでの期間（時刻ｔ１２〜時刻ｔ１３）、カウント動作を行うことで、Ｎ信号をＡＤ変換する。
First, in order to perform AD conversion of the N signal, the operation of the
次に、画素部１１０に蓄積された電荷に応じた信号を読み出して列アンプ群１３０により増幅された出力信号であるＳ信号に対し、レベル判定期間に、ランプ回路１４０はある一定の判定レベルＶｓを最大レベルとする判定用ランプ信号を比較部１５１に出力する。そして、Ｓ信号との比較を行う。ここでは、時刻ｔ１４においてカウンタ・ラッチ回路１５２のカウント値をリセットすると共に、ランプ回路１４０は所定の判定レベルＶｓを最大レベルに持つ判定用ランプ信号の出力を開始する。Ｓ信号の信号レベルが判定レベルＶｓ以上であれば（Ｓ≧Ｖｓ）、比較部１５１の出力は反転しないため、時刻ｔ１６でレベル判定期間が終了するまでカウント値が増え続ける。これに対し、Ｓ信号の信号レベルが判定レベルＶｓより小さければ（Ｓ＜Ｖｓ）、例えば時刻ｔ１５で比較部１５１の出力が反転するため、カウント値の増加が終了する。このように、カウンタ・ラッチ回路１５２のカウント値により、信号処理回路１７０では、Ｓ信号の信号レベルが判定レベルＶｓよりも大きいか小さいかを判断することができる。なお、カウンタ・ラッチ回路１５２のカウント値をリセットするタイミングを、ランプ回路１４０の出力が判定レベルＶｓに安定した時点とし、Ｓ信号の信号レベルが判定レベルＶｓより小さい（Ｓ＜Ｖｓ）場合に、カウント値が０となるように制御してもよい。
Next, the
Ｓ信号の信号レベルが判定レベルＶｓよりも小さい場合は、時刻ｔ１７から、Ｎ信号と同じ第一のランプ信号ＶＲＡＭＰ（小）を用いてＳ信号のＡＤ変換を行う。これにより、図３に示す例では、時刻ｔ１７から時刻ｔ１８の間のカウント値が得られる。一方、Ｓ信号の信号レベルが判定レベルＶｓ以上である場合は、第一のランプ信号ＶＲＡＭＰ（小）よりもスロープがα倍の第二のランプ信号ＶＲＡＭＰ（大）（第二の参照信号）を用いて、Ｓ信号のＡＤ変換を行う。これにより、図３に示す例では、時刻ｔ１７から時刻ｔ１９の間のカウント値が得られる。 When the signal level of the S signal is lower than the determination level Vs, AD conversion of the S signal is performed using the first ramp signal VRAMP (small) that is the same as the N signal from time t17. Thereby, in the example shown in FIG. 3, the count value between the time t17 and the time t18 is obtained. On the other hand, when the signal level of the S signal is equal to or higher than the determination level Vs, the second ramp signal VRAMP (large) (second reference signal) having a slope α times that of the first ramp signal VRAMP (small) is used. And AD conversion of the S signal is performed. Thereby, in the example shown in FIG. 3, the count value between the time t17 and the time t19 is obtained.
図４は、出力レベルに応じて傾きの異なるランプ信号を用いる場合の、出力信号の信号レベルとＡＤ変換結果との関係を示す図である。図４の横軸は列アンプ群１３０から出力される信号の出力レベル、縦にはＳ信号のＡＤ変換後のデジタル値を示している。実線は、比較部１５１及びカウンタ・ラッチ回路１５２でＡＤ変換され、水平転送回路１６０を経て、信号処理回路１７０に入力されるデジタル値（ＡＤ変換値）を表している。上述したように、判定レベルＶｓより信号レベルが小さいＳ信号は第一のランプ信号ＶＲＡＭＰ（小）を用いて、また、判定レベルＶｓ以上の信号レベルを持つＳ信号は第二のランプ信号ＶＲＡＭＰ（大）を用いてＡＤ変換される。そのため、図４（ａ）に示すように、判定レベルＶｓの前後で、ＡＤ変換後のＳ信号の整合が取れていないことになる。
FIG. 4 is a diagram illustrating the relationship between the signal level of the output signal and the AD conversion result when using ramp signals having different slopes according to the output level. The horizontal axis of FIG. 4 indicates the output level of the signal output from the
そのため、判定レベルＶｓよりも信号レベルが大きいＳ信号のＡＤ変換値に対しては、まず、信号処理回路１７０にて、第一のランプ信号ＶＲＡＭＰ（小）と第二のランプ信号ＶＲＡＭＰ（大）の傾きの比αを乗算する。更に、判定レベルＶｓで段差が無くなるようにオフセット量βを加算することで、入射光量に応じた画素信号の信号レベルとＡＤ変換値が一次的な関係になるように補正を行う。
For this reason, for the AD conversion value of the S signal having a signal level higher than the determination level Vs, first, the
上述した補正を行わない状態で、有効画素の映像を出力すると、ある輝度で段差が残ったような違和感のある映像となってしまう。この補正に用いる補正値は、撮像素子の温度、撮像素子の駆動タイミング（列アンプ群１３０のゲインや動作状態等）、駆動設定（電源設定等）によって理想的な補正目標値が変わるため、これらの条件に変化が起きた際には、補正値の再取得が必要である。 If an image of an effective pixel is output in a state where the above-described correction is not performed, an image with a sense of incongruity in which a step remains at a certain luminance is obtained. The correction values used for this correction vary depending on the ideal correction target value depending on the temperature of the image sensor, the drive timing of the image sensor (such as the gain and operating state of the column amplifier group 130), and the drive settings (power supply settings, etc.). When a change occurs in the above conditions, it is necessary to re-acquire the correction value.
また、電源起動時、及び撮像素子１の駆動方法の切替え直後に生じる補正値の急激な変化や、列アンプ群１３０に供給している電源のノイズ、配線ノイズ、外乱ノイズによって生じる、一時的な補正値の変動を、可能な限り低減させる必要がある。この補正値の変動は、後述するように、ダミー画素を用いて取得した補正値算出用の検出値の変動に起因する。なお、補正値を算出するために取得する検出値の変動を低減する方法については後述する。
In addition, a temporary change caused by a sudden change in the correction value that occurs immediately after the power is turned on and immediately after the switching of the driving method of the
次に、第一のランプ信号ＶＲＡＭＰ（小）と第二のランプ信号ＶＲＡＭＰ（大）の傾きの比αと、オフセット量βを算出する処理の一例について説明する。 Next, an example of processing for calculating the slope ratio α of the first ramp signal VRAMP (small) and the second ramp signal VRAMP (large) and the offset amount β will be described.
図５は、画素部１１０の構成例を示している。画素構成として、最も上部にフォトダイオードを持たないダミー画素領域を配置し、順に、遮光されたオプティカルブラック（ＯＢ）画素領域、光電変換して得られた信号を出力する有効画素領域を配している。第１の実施形態では、ダミー画素を傾きの比αとオフセット量βを算出するために使用する。ここでは、ダミー画素の画素信号読み出し期間に、定電圧回路４００から固定電圧を入力し、列アンプ群１３０から比較部１５１に入力される電圧がある固定電圧になるように制御する。なお、第１の実施形態においては、固定電圧として、判定レベルＶｓより小さい電圧Ｖ１及びＶ２を用いる。
FIG. 5 shows a configuration example of the
ダミー画素の読み出し期間におけるＡＤ変換処理について、図６を参照して説明する。図６Ａでは、固定電圧Ｖ１をＡＤ変換する。なお、図３で説明した処理とは異なり、Ｎ信号をＡＤ変換するための期間は設ける必要がない。図６Ａに示すように、レベル判定期間のランプ回路１４０から出力されるランプ信号ＶＲＡＭＰを最大値ＶＲＡＭＰ（MAX）まで上げることで、傾きが小さい第一のランプ信号ＶＡＭＰ（小）で固定電圧Ｖ１のＡＤ変換を行う。ＡＤ変換した結果をＶ１Ｌとする。
The AD conversion process in the dummy pixel readout period will be described with reference to FIG. In FIG. 6A, the fixed voltage V1 is AD converted. Unlike the processing described with reference to FIG. 3, it is not necessary to provide a period for AD conversion of the N signal. As shown in FIG. 6A, the ramp signal VRAMP output from the
続いて図６Ｂに示すように、レベル判定期間のランプ回路１４０から出力されるランプ信号ＶＲＡＭＰを最小値ＶＲＡＭＰ（MIN）とすることで、傾きの大きい第二のランプ信号ＶＡＭＰ（大）で固定電圧Ｖ１をＡＤ変換する。ＡＤ変換した結果をＶ１Ｈとする。
Subsequently, as shown in FIG. 6B, the ramp signal VRAMP output from the
その後、図６Ｃ及び図６Ｄに示すように、固定電圧を電圧Ｖ１よりも大きい電圧Ｖ２に変え、図６Ａ及び図６Ｂと同様にＡＤ変換を行う。この結果をそれぞれＶ２Ｌ、Ｖ２Ｈとする。 After that, as shown in FIGS. 6C and 6D, the fixed voltage is changed to the voltage V2 larger than the voltage V1, and AD conversion is performed in the same manner as in FIGS. 6A and 6B. The results are V2L and V2H, respectively.
これらは、横軸を出力レベル、縦軸をＡＤ変換値とすると、図４（ｂ）のように表される。図４（ｂ）は図４（ａ）の出力信号レベルが判定レベルＶｓよりも小さい部分を拡大したものである。これら４点の座標から、傾きの比αとオフセット量βは、それぞれ式（１）及び式（２）で求めることができる。
α＝（Ｖ２Ｌ−Ｖ１Ｌ）／（Ｖ２Ｈ−Ｖ１Ｈ） …（１）
β＝（Ｖ２Ｌ−Ｖ１Ｌ）／（Ｖ２−Ｖ１）×Ｖｓ
−α（Ｖ２Ｈ―Ｖ１Ｈ）／（Ｖ２−Ｖ１）×Ｖｓ …（２）
上記補正値α、βの算出は、撮像素子１の内部で行っても良いし、画像処理部２で行っても良い。なお、Ｖ１Ｌ、Ｖ１Ｈ、Ｖ２Ｌ、Ｖ２Ｈは、ダミー画素領域からダミー画素の画素信号を読み出す際にそれぞれ複数得られるため、式（１）及び式（２）により傾きの比αとオフセット量βを求める際には、それぞれの平均値を用いる。
These are represented as shown in FIG. 4B, where the horizontal axis is the output level and the vertical axis is the AD conversion value. FIG. 4B is an enlarged view of a portion where the output signal level in FIG. 4A is smaller than the determination level Vs. From the coordinates of these four points, the inclination ratio α and the offset amount β can be obtained by Expression (1) and Expression (2), respectively.
α = (V2L−V1L) / (V2H−V1H) (1)
β = (V2L−V1L) / (V2−V1) × Vs
−α (V2H−V1H) / (V2−V1) × Vs (2)
The correction values α and β may be calculated inside the
ここで、上記補正値α、βを算出するために取得する検出値Ｖ１Ｈ、Ｖ１Ｌ、Ｖ２Ｈ、Ｖ２Ｌに着目する。例えば、固定電圧Ｖ１のアナログ信号を傾きの大きい第二のランプ信号ＶＡＭＰ（大）を用いてＡＤ変換した検出値Ｖ１Ｈは、電源起動時、及び撮像素子の駆動方法を切替えた直後、または外乱ノイズの発生時などにおいて、レベルが大きく変動することがある。このように、取得した検出値Ｖ１Ｈ、Ｖ１Ｌ、Ｖ２Ｈ、Ｖ２Ｌのうち、１つでも変動が生じると、これらの検出値に基づいて算出された、傾きの比αとオフセット量βが、本来目標とする理想値に対してずれてしまう。その結果、Ｓ信号判定レベル付近の信号レベルにおいてレベルの段差が生じ、不自然な映像となってしまう。 Here, attention is focused on the detection values V1H, V1L, V2H, and V2L acquired to calculate the correction values α and β. For example, the detection value V1H obtained by AD-converting the analog signal of the fixed voltage V1 using the second ramp signal VAMP (large) having a large slope is used when the power is turned on and immediately after switching the driving method of the image sensor or disturbance noise. The level may fluctuate greatly, for example, at the time of occurrence. As described above, when any one of the acquired detection values V1H, V1L, V2H, and V2L changes, the inclination ratio α and the offset amount β calculated based on these detection values are originally set as the target. Will deviate from the ideal value. As a result, level differences occur at signal levels near the S signal determination level, resulting in an unnatural image.
つまり、Ｓ／Ｎ比の改善とダイナミックレンジの拡大を目的として階調精度を向上させつつ、信号レベルの段差による画質劣化を抑えるためには、検出値Ｖ１Ｈ、Ｖ１Ｌ、Ｖ２Ｈ、Ｖ２Ｌの変動を出来る限り抑える必要がある。そして、検出値から算出されたオフセット補正値βの変動を、レベル段差が画像として見えないレベル（限界値）以下まで低減させなければならない。 In other words, the detection values V1H, V1L, V2H, and V2L can be varied in order to improve the gradation accuracy for the purpose of improving the S / N ratio and expanding the dynamic range, while suppressing image quality degradation due to signal level differences. It is necessary to suppress as much as possible. Then, the fluctuation of the offset correction value β calculated from the detected value must be reduced to a level (limit value) or less at which the level difference is not visible as an image.
以下、検出値Ｖ１Ｈ、Ｖ１Ｌ、Ｖ２Ｈ、Ｖ２Ｌの変動を低減させる方法について詳述する。なお、本第１の実施形態では、上記検出値のうちＶ１Ｈについてのみ説明するが、Ｖ１Ｌ、Ｖ２Ｈ、Ｖ２Ｌについても同様にして低減することができる。 Hereinafter, a method for reducing fluctuations in the detection values V1H, V1L, V2H, and V2L will be described in detail. In the first embodiment, only V1H among the detection values will be described. However, V1L, V2H, and V2L can be similarly reduced.
図７は、検出値（Ｖ１Ｈ、Ｖ１Ｌ、Ｖ２Ｈ、Ｖ２Ｌ）の変動要因となるノイズが発生している条件下において、フレーム毎にこれらの検出値を取得したときの、検出値Ｖ１Ｈの変動を示すグラフである。同図において、横軸はフレーム数（時間に対応する）、縦軸は検出値Ｖ１Ｈを示しており、検出値Ｖ１Ｈのフレーム毎の変化をグラフＡで示している。また、ノイズによる影響が無い状態の理想的な検出値Ｖ１Ｈ（理想値）を、グラフＣで示している。理想値は、不定期に発生するノイズ成分等による変動は発生しないが、撮像素子の駆動設定や、撮像素子の温度変化により変化する。第１の実施形態においては、撮像素子の駆動設定は同じままで、かつ温度も十分に安定した状態を想定している。 FIG. 7 shows the fluctuation of the detection value V1H when these detection values are acquired for each frame under the condition that noise that causes fluctuations of the detection values (V1H, V1L, V2H, V2L) is generated. It is a graph. In the figure, the horizontal axis represents the number of frames (corresponding to time), the vertical axis represents the detected value V1H, and the graph A shows the change of the detected value V1H for each frame. In addition, an ideal detection value V1H (ideal value) in a state where there is no influence of noise is indicated by a graph C. The ideal value does not vary due to irregularly generated noise components or the like, but changes depending on the drive setting of the image sensor and the temperature change of the image sensor. In the first embodiment, it is assumed that the drive settings of the image sensor remain the same and the temperature is sufficiently stable.
第１の実施形態においては、説明の便宜上、グラフＣに示すように、検出値Ｖ１Ｈの値が１〜１００フレームまでの間、常に−５ＬＳＢとなるのが理想的であるものとする。また、グラフＡの値が、理想値であるグラフＣの値に対して±５ＬＳＢを超えた場合（−１０ＬＳＢ以下、もしくは０ＬＳＢ以上）、検出値を用いて算出されたオフセット補正値βの値が画像上に信号レベルの段差が見え始めるものとする。 In the first embodiment, for convenience of explanation, as shown in the graph C, it is ideal that the value of the detection value V1H is always −5 LSB during the period of 1 to 100 frames. When the value of graph A exceeds ± 5 LSB with respect to the value of graph C, which is an ideal value (−10 LSB or less, or 0 LSB or more), the value of offset correction value β calculated using the detected value is Assume that signal level steps begin to appear on the image.
図７に示す例では、グラフＡの値が、理想値であるグラフＣの値に対して、±５ＬＳＢを超えるフレームが多く存在する。つまり、あるフレームにおいては段差が見え、次のフレームでは段差が見えなくなるような映像が、何度も繰り返されていることになる。ここで、検出値Ｖ１Ｈの変動を低減させる方法について具体的に説明する。 In the example illustrated in FIG. 7, there are many frames in which the value of the graph A exceeds ± 5 LSB with respect to the value of the graph C that is an ideal value. That is, an image in which a step is visible in one frame and a step is not visible in the next frame is repeated many times. Here, a method for reducing the fluctuation of the detection value V1H will be specifically described.
検出値Ｖ１Ｈの変動を低減させる一つの方法として、下記の式（３）を用いてフィルタリング処理を行う方法がある。
Ｖ１Ｈｆ（ｎ）＝Ｖ１Ｈ（ｎ）×ｐ＋Ｖ１Ｈｆ（ｎ−１）×（１−ｐ）
（０≦ｐ≦１） …（３）
式（３）において、Ｖ１Ｈｆ（ｎ）は、ｎフレーム目におけるフィルタリング処理後の検出値である。また、ｎフレーム目に取得したダミー画素の読み出し期間中に取得された、新たな検出値をＶ１Ｈ（ｎ）、ｎ−１フレーム目におけるフィルタリング処理後の検出値をＶ１Ｈｆ（ｎ−１）、巡回係数をｐ（０≦ｐ≦１）と定義している。ｎの取り得る範囲は、ｎ≧０であり、かつ、ｎ＝０の場合、前のフレームの検出値Ｖ１Ｈｆ（−１）が存在しないため、ｐ＝１．０に設定した状態で、かつ、Ｖ１Ｈｆ（ｎ−１）＝０となるように設定する。
As one method for reducing the fluctuation of the detection value V1H, there is a method of performing a filtering process using the following equation (3).
V1Hf (n) = V1H (n) * p + V1Hf (n-1) * (1-p)
(0 ≦ p ≦ 1) (3)
In Expression (3), V1Hf (n) is a detection value after filtering processing in the nth frame. Further, the new detection value acquired during the dummy pixel readout period acquired in the nth frame is V1H (n), the detection value after the filtering process in the n−1th frame is V1Hf (n−1), and cyclic. The coefficient is defined as p (0 ≦ p ≦ 1). The possible range of n is n ≧ 0, and when n = 0, the detection value V1Hf (−1) of the previous frame does not exist, so that p = 1.0 is set, and It is set so that V1Hf (n-1) = 0.
上記式（３）において巡回係数ｐ＝０．１としたときのフィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）の値の変化を、図７のグラフＢで示している。同グラフから分かるように、グラフＡに対してフィルタリング処理を行うことで、フィルタリング処理前の検出値Ｖ１Ｈｆ（ｎ）の値が、補正値を算出した際に画像にレベル段差が発生し得る限界値であるグラフＣから±５ＬＳＢの範囲内に収まっている。 A change in the value of the detection value V1Hf (n) after the filtering process when the cyclic coefficient p = 0.1 in the above equation (3) is shown in a graph B in FIG. As can be seen from the graph, by performing the filtering process on the graph A, the detection value V1Hf (n) before the filtering process is a limit value that may cause a level difference in the image when the correction value is calculated. It is within the range of ± 5 LSB from the graph C.
なお、図７に示す例では、巡回係数ｐ＝０．１としたが、必ずしも０．１である必要は無く、ノイズに起因して発生する、検出値Ｖ１Ｈ（ｎ）の変動の大きさに合わせて、巡回係数を決定すれば良い。また、フィルタリング処理を行うための手段として、プログラムを用いて処理を行っても良いし、撮像素子１の内部もしくは画像処理部２にフィルタリング処理用の回路を追加で設けても良い。
In the example shown in FIG. 7, the cyclic coefficient p = 0.1, but it is not necessarily 0.1, and the magnitude of the fluctuation of the detection value V1H (n) generated due to noise is not necessarily required. In addition, the cyclic coefficient may be determined. Further, as a means for performing the filtering process, the process may be performed using a program, or a circuit for the filtering process may be additionally provided inside the
上述したようにして得られた検出値に基づいて式（１）及び（２）により傾きの比α及びオフセット値βを求める。そして求めた傾きの比α及びオフセット値βを補正係数として用いて、以下の式（４）により、第二のランプ信号ＶＲＡＭＰ（大）によりＡＤ変換された第ｎフレームのＳ信号のデジタル信号ＳD（ｎ）を補正し、補正後のデジタル信号Ｓ’D（ｎ）を得る。
Ｓ’D（ｎ）＝ＳD（ｎ）×α＋β …（４）
Based on the detection values obtained as described above, the slope ratio α and the offset value β are obtained by the equations (1) and (2). Then, using the obtained slope ratio α and the offset value β as correction coefficients, the digital signal S of the S signal of the nth frame AD-converted by the second ramp signal VRAMP (large) by the following equation (4). D (n) is corrected to obtain a corrected digital signal S ′ D (n).
S ′ D (n) = S D (n) × α + β (4)
以上説明したように、ダミー画素の読み出し期間に固定電圧を読み出して得られる信号を用いて得られた検出値に対してフィルタリング処理を行う。これにより、検出値の変動を、レベル段差が見える限界値以下まで低減させることが可能となり、信号レベルの段差による画質劣化を低減することができる。 As described above, the filtering process is performed on the detection value obtained using the signal obtained by reading the fixed voltage during the dummy pixel readout period. As a result, it is possible to reduce the fluctuation of the detected value to a limit value or less where the level difference can be seen, and to reduce image quality deterioration due to the signal level difference.
以下、好適なフィルタリング処理方法について、いくつかの例を挙げて説明する。 Hereinafter, a suitable filtering processing method will be described with some examples.
（１）検出値が、瞬間的に大きく変動する場合
前述したように、列アンプ群１３０に供給している電源のノイズ、配線ノイズ、外乱ノイズにより検出値が変動した場合、巡回係数を小さくしてフィルタリング処理を行うことで、検出値の安定化を実現することができる。しかし、巡回係数ｐの値を小さくし過ぎると、次のような問題が生じる。すなわち、急激な温度変化や、撮像素子の駆動方法の切替えにより、理想値（検出値として取得される理想的な値）が急激に変化した場合、フィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）の値が理想値付近まで収束するのに時間を要してしまう。また、巡回係数を大きくすると、フィルタリング処理による検出値の変動の低減効果が薄れてしまい、信号レベルの段差が見えるフレームが存在してしまう。
(1) When the detection value fluctuates greatly instantaneously As described above, when the detection value fluctuates due to power supply noise, wiring noise, or disturbance noise supplied to the
そこで、新たに取得したフィルタリング処理前の検出値Ｖ１Ｈ（ｎ）が前のフレームにおけるフィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ−１）に対して、明らかに大きく変動している場合は、巡回係数ｐ＝０に設定する。これにより、巡回係数ｐは理想値の変動に対して十分に追従できる設定値となり、かつ外乱ノイズ等による検出値Ｖ１Ｈの急激な変化も抑えることができ、ノイズによる影響を低減させることができる。特に外乱ノイズは、瞬間的に非常に大きなレベルの変動が発生することがあるため、フィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）が理想値付近まで収束する時間の最適化と、外乱ノイズ等に対する検出値の安定化が両立できない場合が出てくる。 Therefore, when the newly acquired detection value V1H (n) before the filtering process clearly fluctuates greatly from the detection value V1Hf (n-1) after the filtering process in the previous frame, the cyclic coefficient p Set to = 0. As a result, the cyclic coefficient p becomes a set value that can sufficiently follow the fluctuation of the ideal value, and a sudden change in the detection value V1H due to disturbance noise or the like can be suppressed, and the influence of noise can be reduced. In particular, disturbance noise may generate a very large level of fluctuation instantaneously. Therefore, optimization of the time for the detection value V1Hf (n) after filtering to converge to the vicinity of the ideal value and detection of disturbance noise, etc. There are cases where stabilization of values cannot be achieved at the same time.
図８（ａ）は、外乱ノイズが発生した場合における、検出値Ｖ１Ｈ（ｎ）の変動を示すグラフである。同図に示す例では、図７に示す例に対して外乱ノイズが３フレーム分発生している場合を示しているが、それ以外は図７と同じであるため、図の詳細説明については省略する。 FIG. 8A is a graph showing fluctuations in the detected value V1H (n) when disturbance noise occurs. In the example shown in the figure, a case where disturbance noise is generated for three frames is shown in the example shown in FIG. 7, but the rest is the same as in FIG. 7, so detailed description of the figure is omitted. To do.
図８（ａ）は、グラフＡの値が、理想値であるグラフＣの値に対して、約６０ＬＳＢ程度高くなるフレームが３フレーム（１３、４３、７３フレーム目）存在する。そのため、グラフＢに示すように、フィルタリング処理を行ったにも関わらず、処理後の結果が、限界値であるグラフＣから±５ＬＳＢを超えるフレームが発生する。つまり、１００フレームの中で、段差が見えるフレームが数フレーム間だけ発生し、その後、段差が見えなくなるような映像が定期的に繰り返されることになる。 In FIG. 8A, there are three frames (13th, 43rd, and 73rd frames) in which the value of the graph A is about 60 LSB higher than the ideal value of the graph C. Therefore, as shown in the graph B, although the filtering process is performed, a frame whose result exceeds the process from the graph C that is the limit value exceeds ± 5 LSB is generated. That is, in 100 frames, a frame in which a step is visible is generated only for several frames, and thereafter, an image in which the step is not visible is periodically repeated.
そこで、第１の実施形態では、上記式（３）を用いてフィルタリング処理を行う前に、新たに取得した検出値Ｖ１Ｈ（ｎ）と、前フレームまでの検出値のフィルタリング処理結果Ｖ１Ｈｆ（ｎ−１）との差分を求める。そして、その差分が閾値を超えたかどうかを判定し、閾値を超えていた場合には、巡回係数ｐ＝０に設定する制御を行う。第１の実施形態においては、閾値を±３０ＬＳＢに設定するが、外乱ノイズが発生しない時のノイズレベル（電源電圧やパターン配線起因のランダムな変動）と、巡回係数の設定値に応じて閾値を決定すると良い。理想的には、外乱ノイズが発生した場合でも、フィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）を用いて算出されたオフセット補正値βが、画像上に信号レベルの段差が見え始める限界値を超えないような閾値にするのが好ましい。 Therefore, in the first embodiment, before performing the filtering process using the above formula (3), the newly acquired detection value V1H (n) and the filtering process result V1Hf (n−) of the detection values up to the previous frame are obtained. Find the difference from 1). Then, it is determined whether or not the difference exceeds the threshold value. If the threshold value is exceeded, control is performed to set the cyclic coefficient p = 0. In the first embodiment, the threshold value is set to ± 30 LSB, but the threshold value is set according to the noise level when no disturbance noise occurs (random fluctuation caused by power supply voltage or pattern wiring) and the cyclic coefficient setting value. It is good to decide. Ideally, even when disturbance noise occurs, the offset correction value β calculated using the detection value V1Hf (n) after the filtering process does not exceed the limit value at which a signal level step starts to appear on the image. Such a threshold is preferable.
図８（ｂ）のグラフＢに、閾値判定を追加した場合における、フィルタリング処理結果を示している。同図では、閾値を±３０ＬＳＢとしており、外乱ノイズが発生した３フレームについては、巡回係数ｐ＝０となり、前フレームにおけるフィルタリング処理後の検出値Ｖ１Ｈ（ｎ−１）が引き継がれる。本処理を追加することにより、フィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）が全て画像上に信号レベルの段差が見え始める限界値以下の範囲に収まる。 FIG. 8B shows a filtering process result in the case where threshold determination is added to the graph B. In the figure, the threshold value is set to ± 30 LSB, and the cyclic coefficient p = 0 for three frames in which disturbance noise occurs, and the detection value V1H (n−1) after filtering processing in the previous frame is inherited. By adding this processing, all of the detection values V1Hf (n) after the filtering processing fall within the range below the limit value at which a signal level difference starts to appear on the image.
以上説明したように、フィルタリング処理を行う前に、前フレームにおけるフィルタリング処理後の検出値Ｖ１Ｈ（ｎ−１）と、新たに取得した検出値Ｖ１Ｈ（ｎ）との差分を求める。そして、その差分値が閾値を超えたかどうかを判定し、閾値を超えていた場合には巡回係数ｐ＝０にする。これにより、外乱ノイズ等により瞬間的に大きな変動が生じた場合に、フィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）が影響を受けるのを抑えることができる。更に、フィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）が理想値付近まで収束するまでの時間の最適化と、外乱ノイズ等に対する検出値の安定化を両立させることができる。 As described above, before performing the filtering process, the difference between the detected value V1H (n−1) after the filtering process in the previous frame and the newly acquired detected value V1H (n) is obtained. Then, it is determined whether or not the difference value exceeds the threshold value. If the difference value is exceeded, the cyclic coefficient p = 0 is set. Thereby, it is possible to suppress the detection value V1Hf (n) after the filtering process from being affected when a large fluctuation occurs instantaneously due to disturbance noise or the like. Furthermore, it is possible to achieve both optimization of the time until the detection value V1Hf (n) after the filtering process converges to the vicinity of the ideal value and stabilization of the detection value against disturbance noise or the like.
また、本実施形態においては外乱ノイズを扱ったが、同様のノイズを発生させるもの全てについて適用可能である。 Further, in this embodiment, disturbance noise is dealt with, but it can be applied to all those that generate similar noise.
（２）電源起動時、及び撮像素子の駆動方法を切替えた場合
電源起動時は、映像信号の出力が安定していないことや、起動時における各種処理を行うために撮像素子１の駆動方法の切替えが発生することがあるため、理想値が大きく変化する可能性がある。また、電源起動後においても撮像素子の駆動方法が切替えられた場合、切替え直後に理想値が瞬間的に大きく変わる。上記要因により、フィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）と理想値との差が瞬間的に大きくなってしまう。
(2) When the power supply is activated and the driving method of the image sensor is switched When the power is activated, the output of the video signal is not stable, and the driving method of the
フィルタリング処理を行わなければ、理想値付近に収束するまでの時間を最短にすることが可能である。しかしながら、フィルタリング処理を行わなければ、検出値Ｖ１Ｈｆ（ｎ）が理想値付近に収束した後、電源ノイズなどによるＶ１Ｈ（ｎ）検出値の変動を低減することができなくなる。 If filtering processing is not performed, it is possible to minimize the time until convergence near the ideal value. However, if the filtering process is not performed, the fluctuation of the V1H (n) detection value due to power supply noise or the like cannot be reduced after the detection value V1Hf (n) has converged near the ideal value.
そこで、本実施形態においては、フィルタリング処理を行う前に、新たに取得した検出値Ｖ１Ｈ（ｎ）と、前フレームにおけるフィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）（ｎ−１）との差分を求め、その差分値の大きさに応じて巡回係数を変更する。具体的には、差分値が大きい場合は巡回係数を高めに設定し、差分値が小さい場合は巡回係数を低めに設定する。差分値に対する巡回係数の決め方として、理想値の変化の大きさや、電源ノイズ等による検出値の変動の大きさに応じて決定すれば良い。 Therefore, in the present embodiment, before performing the filtering process, the difference between the newly acquired detection value V1H (n) and the detection value V1Hf (n) (n−1) after the filtering process in the previous frame is obtained. The cyclic coefficient is changed according to the magnitude of the difference value. Specifically, when the difference value is large, the cyclic coefficient is set higher, and when the difference value is small, the cyclic coefficient is set lower. As a method of determining the cyclic coefficient for the difference value, it may be determined according to the magnitude of the change in the ideal value or the magnitude of the fluctuation in the detection value due to power supply noise or the like.
本実施形態においては、図９（ａ）に示すテーブルデータを予め設け、これを参照して、新たに取得した検出値Ｖ１Ｈ（ｎ）と、前フレームにおけるフィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ−１）との差分値に対応する巡回係数ｐを決定する。図９（ａ）のテーブルデータに示した差分値は、理想的（電源ノイズ等による検出値の変化が無い場合）には、フィルタリング処理後の検出値が１フレーム以内に、補正値を算出した際に画像上に信号レベルの段差が発生し得る限界値以下に収束するような設定値にしている。また、図９（ａ）においては説明の便宜上、正の差分値のみをテーブルデータとして設けたが、負の差分値も同様であり、厳密には絶対値｜Ｖ１Ｈ（ｎ）−Ｖ１Ｈｆ（ｎ−１）｜となる。 In the present embodiment, the table data shown in FIG. 9A is provided in advance, and with reference to this, the newly acquired detection value V1H (n) and the detection value V1Hf (n− after filtering processing in the previous frame) are obtained. The cyclic coefficient p corresponding to the difference value from 1) is determined. The difference value shown in the table data of FIG. 9A is ideal (when there is no change in the detection value due to power supply noise or the like), and the correction value is calculated within the detection value after filtering processing within one frame. In this case, the set value is set so as to converge below a limit value at which a level difference of the signal level may occur on the image. In FIG. 9A, for the sake of convenience of explanation, only positive difference values are provided as table data. However, negative difference values are the same, and strictly speaking, absolute values | V1H (n) −V1Hf (n− 1) |
図９（ｂ）は、撮像素子１の駆動方法を切替える前後における、図９（ａ）のテーブルデータに基づいた巡回係数の設定値と、検出差分値Ｖ１Ｈ（ｎ）−Ｖ１Ｈｆ（ｎ−１）の変化について表した図である。同図において、オフセット補正差分値に応じて、巡回係数の設定値を変更した場合のグラフを実線、巡回係数の設定値を変更しない場合のグラフを破線で示している。また、補正値を算出した際に画像上に信号レベルの段差が発生し得る限界値１０ＬＳＢについても参考として記載している。
FIG. 9B shows the cyclic coefficient setting value based on the table data of FIG. 9A and the detection difference value V1H (n) −V1Hf (n−1) before and after switching the driving method of the
同図において、撮像素子１の駆動方法を切替える前は、検出差分値がほぼ０ＬＳＢに近い状態（厳密には、電源ノイズ等に起因する変動が重畳している）なので、巡回係数ｐ＝０．１に設定している。撮像素子１の駆動方法を切替えるまでの期間は、巡回係数ｐは常に０．１に設定されたままである。
In the figure, before switching the driving method of the
撮像素子１の駆動方法を切替える際の制御について説明する。切替え直後のフレーム（１フレーム目）では、６０ＬＳＢの検出差分値が発生しているため、図９（ａ）のテーブルデータに基づき、巡回係数ｐ＝０．９に設定する。そうすることで、駆動方法の切替え直後のフレームでも、駆動方法切替え後の理想値に近い検出値を取得することができる。本実施形態においては、巡回係数を変更することにより、理想的（電源ノイズ等による検出値の変化が無い場合）には、１０ＬＳＢ以下まで低減することができる。
Control at the time of switching the driving method of the
駆動方法の切替え後、２フレーム目において、検出差分値が１０ＬＳＢとなったため、図９（ａ）のテーブルデータに基づいて、巡回係数ｐ＝０．１に設定する。これ以降のフレームについても、検出差分値が１０ＬＳＢ以下の場合には巡回係数ｐを常に０．１に設定することになる。 Since the detection difference value becomes 10 LSB in the second frame after switching the driving method, the cyclic coefficient p is set to 0.1 based on the table data in FIG. For the subsequent frames, the cyclic coefficient p is always set to 0.1 when the detected difference value is 10 LSB or less.
これに対し、巡回係数ｐ＝０．１の設定を維持した状態で駆動方法を切替えた場合、検出差分値を画像上に信号レベルの段差が見え始める限界値以下に収束させるためには、１８フレーム必要であった。しかし、検出差分値を求め、その大きさに応じて巡回係数ｐを変えることにより、１フレーム後には限界値以下となり、さらに理想値付近に収束した後は、電源ノイズ等による検出値の変動を低減させることができる。 On the other hand, in the case where the driving method is switched in a state where the cyclic coefficient p = 0.1 is maintained, in order to converge the detection difference value below the limit value at which a signal level step begins to appear on the image, 18 The frame was necessary. However, by obtaining the detection difference value and changing the cyclic coefficient p according to its magnitude, the detection value fluctuates below the limit value after one frame and further converges near the ideal value. Can be reduced.
以上説明したように、電源起動時、及び撮像素子の駆動方法を切替えた場合に、フィルタリング処理を行う前に、新たに取得した検出値Ｖ１Ｈ（ｎ）と、前フレームまでの検出値のフィルタリング処理結果Ｖ１Ｈｆ（ｎ−１）との差分を求める。そして、その差分値の大きさに応じて巡回係数を変更する。これにより、フィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）と理想値との差が瞬間的に大きくなっても、検出値Ｖ１Ｈｆ（ｎ）の収束時間を短縮することができる。また、検出値Ｖ１Ｈｆ（ｎ）が理想値付近に収束した後には、電源ノイズ等に起因する検出値の変動を低減させることができる。 As described above, when the power is turned on and when the driving method of the image sensor is switched, before the filtering process is performed, the newly acquired detection value V1H (n) and the filtering process of the detection values up to the previous frame are performed. The difference from the result V1Hf (n-1) is obtained. Then, the cyclic coefficient is changed according to the magnitude of the difference value. Thereby, even if the difference between the detection value V1Hf (n) after the filtering process and the ideal value increases instantaneously, the convergence time of the detection value V1Hf (n) can be shortened. In addition, after the detection value V1Hf (n) converges near the ideal value, fluctuations in the detection value due to power supply noise or the like can be reduced.
（３）温度が変化した場合
検出値の理想的な値が変化する要因の一つとして、撮像素子１の温度変化がある。特に、電源起動後に撮像素子１が駆動し始めた際に、電力が撮像素子１内で消費し始めることにより急激に温度が上昇したり、この温度上昇を抑えるために、ファンやペルチェ素子などの冷却装置を用いて冷却が行われることで急激に温度が降下することがある。このような急激な温度変化により、フィルタリング処理後の検出値の理想値が急激に変化する可能性がある。
(3) When the temperature changes As one of the factors that change the ideal value of the detected value, there is a temperature change of the
このように理想値が急激に変化した場合、前述したように、電源電圧変動やパターン配線ノイズなどに起因する検出値Ｖ１Ｈｆ（ｎ）の変動を抑えるために巡回係数を低めに設定してフィルタリング処理を行った場合、理想値に追従できない可能性がある。 When the ideal value changes suddenly in this way, as described above, the filtering coefficient is set by setting the cyclic coefficient lower in order to suppress the fluctuation of the detection value V1Hf (n) caused by the power supply voltage fluctuation or the pattern wiring noise. If this is done, the ideal value may not be followed.
そこで実施形態においては、サーミスタや温度検出センサ等を用いて測定した温度から、フレーム間の温度変化を検出し、温度の変化率に応じて巡回係数を変える処理を行う。具体的には、温度の変化率が大きい場合には巡回係数を高めに設定し、温度の変化率が小さい場合には巡回係数を低めに設定する。これにより、急激な温度変化により理想値が急激に変化した場合でも、フィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）が理想値に対して追従させることができる。また、理想値が急激に変化することが無い場合においては、電源ノイズ等による検出値Ｖ１Ｈ（ｎ）の変動を低減させることができる。 Therefore, in the embodiment, a temperature change between frames is detected from a temperature measured using a thermistor, a temperature detection sensor, or the like, and a cyclic coefficient is changed according to the temperature change rate. Specifically, the cyclic coefficient is set higher when the temperature change rate is large, and the cyclic coefficient is set lower when the temperature change rate is small. Thereby, even when the ideal value changes suddenly due to a rapid temperature change, the detection value V1Hf (n) after the filtering process can follow the ideal value. Further, when the ideal value does not change abruptly, fluctuations in the detection value V1H (n) due to power supply noise or the like can be reduced.
図１０は、時間（フレーム）変化に対する、温度、温度変化率、巡回係数の設定値を表したイメージ図である。同図において、温度とは、サーミスタや温度検出センサにより取得された温度の値を示している。温度変化率とは、単位時間（本実施形態では、フレーム）あたりに増加した温度変化量（温度のグラフの微分値）を表している。本実施形態においては、温度変化率が高い順に、Ａ〜Ｅの領域に分けているが、実際に制御を行う場合は、温度変化量を単位時間で除算した数値を用いると良い。巡回係数の設定値は、温度変化率Ａ〜Ｅに対する巡回係数の設定値を示している。本実施形態においては、温度変化率Ａ＝０．５、温度変化率Ｂ＝０．４、温度変化率Ｃ＝０．３、温度変化率Ｄ＝０．２、温度変化率Ｅ＝０．１が対応している。 FIG. 10 is an image diagram showing set values of temperature, temperature change rate, and cyclic coefficient with respect to time (frame) change. In the figure, the temperature indicates a temperature value acquired by a thermistor or a temperature detection sensor. The temperature change rate represents a temperature change amount (a differential value of a temperature graph) increased per unit time (in this embodiment, a frame). In the present embodiment, the temperature change rate is divided into regions A to E in descending order. However, when the control is actually performed, a numerical value obtained by dividing the temperature change amount by unit time may be used. The cyclic coefficient setting value indicates the cyclic coefficient setting value for the temperature change rates A to E. In this embodiment, the temperature change rate A = 0.5, the temperature change rate B = 0.4, the temperature change rate C = 0.3, the temperature change rate D = 0.2, and the temperature change rate E = 0.1. Is supported.
図１０において、起動直後からｔ１までの期間は、温度変化率がＢの領域であるので、巡回係数の設定値を０．４に設定する。ｔ１からｔ２までの期間は、温度変化率がＣの領域であるので、巡回係数の設定値を０．３に設定する。ｔ２からｔ３までの期間は、温度変化率がＤの領域であるので、巡回係数の設定値を０．２に設定する。ｔ３以降は、温度変化率がＥの領域であるので、巡回係数の設定値を０．１にする。 In FIG. 10, since the temperature change rate is in the region B during the period from immediately after startup to t1, the cyclic coefficient setting value is set to 0.4. Since the temperature change rate is in the region C during the period from t1 to t2, the cyclic coefficient setting value is set to 0.3. During the period from t2 to t3, since the temperature change rate is in the region D, the cyclic coefficient setting value is set to 0.2. After t3, since the temperature change rate is in the region E, the set value of the cyclic coefficient is set to 0.1.
このように、温度の変化率が大きい場合には巡回係数を高くし、温度の変化率が小さい場合には巡回係数を低くする。これにより、急激な温度変化により理想値が急に変化した場合でも、フィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）が理想値に対して追従する。また、理想値が急激に変化することが無い場合においては、電源ノイズ等による検出値Ｖ１Ｈｆ（ｎ）の変動を低減させることができる。 Thus, the cyclic coefficient is increased when the temperature change rate is large, and the cyclic coefficient is decreased when the temperature change rate is small. Thereby, even when the ideal value suddenly changes due to a rapid temperature change, the detection value V1Hf (n) after the filtering process follows the ideal value. In addition, when the ideal value does not change abruptly, fluctuations in the detection value V1Hf (n) due to power supply noise or the like can be reduced.
なお、図１０に示す例では、温度が上昇する場合について示しているが、温度が下降する場合も同様であり、厳密には、温度変化率の絶対値に応じて循環係数の設定値を設定する。 The example shown in FIG. 10 shows the case where the temperature rises, but the same applies when the temperature falls. Strictly speaking, the set value of the circulation coefficient is set according to the absolute value of the temperature change rate. To do.
（４）被写体のコントラスト
検出値Ｖ１Ｈ（ｎ）が変動した場合に画像上に信号レベルの段差が見えるが、被写体のコントラストと明るさによって、目立ち易さが変わる。図１１は、１フレーム分の画像の輝度分布を表すヒストグラムを示しており、横軸は信号レベル、縦軸は１フレームの画面内において発生した輝度の頻度（画素数）を示している。また、判定レベルＶｓとは、前述したとおり、第一のランプ信号ＶＲＡＭＰ（大）と第二のランプ信号ＶＲＡＭＰ（小）の切替えが行われる信号レベルを表している。
(4) Contrast of the subject When the detection value V1H (n) fluctuates, a signal level difference appears on the image, but the conspicuousness changes depending on the contrast and brightness of the subject. FIG. 11 shows a histogram representing the luminance distribution of an image for one frame, where the horizontal axis indicates the signal level, and the vertical axis indicates the frequency (number of pixels) of the luminance generated in the screen of one frame. The determination level Vs represents a signal level at which the first ramp signal VRAMP (large) and the second ramp signal VRAMP (small) are switched as described above.
図１１（ａ）のようなヒストグラムになる画像には、判定レベルＶｓ近傍の輝度を有する画素が多く存在している。つまり、コントラストが低く、判定レベルＶｓ近傍の輝度レベルを中心に、徐々に明るさが変化する被写体である可能性が高いことが推測される。よって、このような画像は、判定レベルＶｓ近傍の輝度を有する画素の発生頻度が高く、信号レベルの段差が見え易い画像であることが分かる。このような画像に対しては、フィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）をできるだけ安定させるために、巡回係数を低めに設定するのが好ましい。 In an image having a histogram as shown in FIG. 11A, there are many pixels having luminance near the determination level Vs. That is, it is estimated that there is a high possibility that the subject has a low contrast and the brightness gradually changes around the luminance level near the determination level Vs. Therefore, it can be seen that such an image is an image in which a pixel having a luminance near the determination level Vs is frequently generated and a signal level step is easily visible. For such an image, it is preferable to set the cyclic coefficient low in order to make the detected value V1Hf (n) after the filtering process as stable as possible.
一方、図１１（ｂ）のようなヒストグラムになる画像は、判定レベルＶｓ近傍の画素が、突出して多く存在している訳では無い。つまり、コントラストが高く、画面全体に万遍なく様々な輝度が存在するような被写体であることが推測される。このような画像は、判定レベルＶｓ近傍の輝度を有する画素の発生頻度が低く、信号レベルの段差が見え難い画像であることが分かる。このような画像に対しては、フィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）を安定化させる必要性は低く、巡回係数を高めに設定することで、理想値への追従性を良くするのが好ましい。 On the other hand, an image that becomes a histogram as shown in FIG. 11B does not have many pixels in the vicinity of the determination level Vs. That is, it is presumed that the subject has a high contrast and the entire screen has various luminances. It can be seen that such an image is an image in which the frequency of occurrence of pixels having luminance near the determination level Vs is low and the level difference of the signal level is difficult to see. For such an image, the necessity of stabilizing the detection value V1Hf (n) after the filtering process is low, and it is preferable to improve the followability to the ideal value by setting the cyclic coefficient higher. .
本実施形態においては、ヒストグラム（輝度分布）に応じて、最適な巡回フィルタの係数を決定する。具体的には、判定レベルＶｓ近傍の信号レベルの画素に対して重み付けを行い、重み付けされた画素の発生数だけ積算した、重み付け積算値を算出することで、判定レベルＶｓ近傍の画素がどれだけ存在したかを求める。そして、重み付け積算値の値に応じてフィルタリング処理における巡回係数の設定値を決定する。 In the present embodiment, an optimum cyclic filter coefficient is determined according to a histogram (luminance distribution). Specifically, the number of pixels in the vicinity of the determination level Vs is calculated by calculating the weighted integration value by weighting the pixels of the signal level in the vicinity of the determination level Vs and integrating the number of occurrences of the weighted pixels. Find out if it existed. Then, the set value of the cyclic coefficient in the filtering process is determined according to the value of the weighted integrated value.
図１２（ａ）は、重み付けを行う際に用いる重み付け係数の一例を示す。横軸が信号レベルで、縦軸が重み付け係数を示している。同図において、判定レベルＶｓの信号レベルの係数を１．０とし、判定レベルＶｓに対して信号レベルの差分が大きくなるにつれて、重み付け係数を小さくしていく。判定レベルＶｓの重み付係数に対する信号レベルの差がある程度大きい場合は、信号レベルの段差が影響する可能性が低いため、重み付係数を０に設定する。なお、重み付け係数を０に設定する信号レベルを決定する際には、Ｓ信号レベル近傍で発生し得る電源ノイズ等による検出値Ｖ１Ｈ（ｎ）の変動の大きさを考慮すれば良い。 FIG. 12A shows an example of a weighting coefficient used when weighting is performed. The horizontal axis represents the signal level, and the vertical axis represents the weighting coefficient. In the figure, the signal level coefficient of the determination level Vs is set to 1.0, and the weighting coefficient is decreased as the difference in signal level with respect to the determination level Vs increases. When the signal level difference with respect to the weighting coefficient of the determination level Vs is large to some extent, the possibility that the level difference of the signal level is affected is low. Note that when determining the signal level at which the weighting coefficient is set to 0, the magnitude of variation in the detected value V1H (n) due to power supply noise or the like that may occur in the vicinity of the S signal level may be taken into consideration.
上記方法にて重み付けされた各画素に対して、画素数分だけ積算していくことで、重み付け積算値が算出される。この算出された積算値に応じて、フィルタリング処理における巡回係数の設定値を決定する。 A weighted integrated value is calculated by integrating each pixel weighted by the above method by the number of pixels. The set value of the cyclic coefficient in the filtering process is determined according to the calculated integrated value.
図１２（ｂ）は、重み付け積算値に対する巡回係数の設定値を示したイメージ図である。横軸が重み付け積算値を示しており、縦軸が巡回係数の設定値を示している。同図に示すように、重み付け積算値が大きくなるにつれて、巡回係数の設定値は低くなる。 FIG. 12B is an image diagram showing the set value of the cyclic coefficient with respect to the weighted integrated value. The horizontal axis indicates the weighted integrated value, and the vertical axis indicates the cyclic coefficient setting value. As shown in the figure, the cyclic coefficient set value decreases as the weighted integrated value increases.
上記処理を行うことで、信号レベルの段差が被写体として見え易いものであるかどうかを判定し、判定結果に応じて巡回係数の設定値を変更する。これにより、撮影した被写体の輝度分布に応じて、フィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）の安定化と、理想値への追従性を最適化することができる。 By performing the above processing, it is determined whether or not the signal level step is easily visible as a subject, and the cyclic coefficient setting value is changed according to the determination result. Thereby, it is possible to optimize the detection value V1Hf (n) after the filtering process and the followability to the ideal value according to the luminance distribution of the photographed subject.
また、本実施形態においては、画面全体のヒストグラムを用いて説明したが、画面内の複数の領域に分割してヒストグラムを作成しても良い。そうすることで、画面内のある領域では段差が発生しやすく、ある領域では発生し難いような被写体においても、上記した最適化をより精度良く実現することができる。 Further, although the present embodiment has been described using the histogram of the entire screen, the histogram may be created by dividing into a plurality of areas in the screen. By doing so, the above-described optimization can be realized with higher accuracy even in a subject that is likely to have a step in a certain area in the screen and difficult to occur in a certain area.
以上説明したように、判定レベル近傍の信号レベルの画素に対して重み付けを行い、重み付けされた画素の発生数だけ積算した重み付け積算値を算出し、その積算値の結果に応じて巡回係数の設定値を変更する。これにより、撮影した被写体の輝度分布に応じて、検出値の安定化と、理想値への追従性を最適化することができる。 As described above, the pixels of the signal level near the determination level are weighted, the weighted integrated value calculated by the number of occurrences of the weighted pixels is calculated, and the cyclic coefficient is set according to the result of the integrated value. Change the value. As a result, the detection value can be stabilized and the followability to the ideal value can be optimized according to the luminance distribution of the photographed subject.
（５）フレームレート
前述したように、理想値は、温度変化に応じて変化する。その理想値に対してフィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）を追従させるためには、検出値Ｖ１Ｈ（ｎ）を頻繁に取得し、更新していく必要がある。
(5) Frame rate As described above, the ideal value changes according to the temperature change. In order to follow the detection value V1Hf (n) after the filtering process with respect to the ideal value, it is necessary to frequently acquire and update the detection value V1H (n).
しかし、低フレームレート時においては、検出値Ｖ１Ｈ（ｎ）の取得が頻繁に行えないため、フレームレートによっては、フィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）が理想値の変化に追従するのが遅れてしまう可能性がある。特に、電源ノイズ等による検出値Ｖ１Ｈ（ｎ）の変動が大きい場合、巡回係数を低めに設定する必要があるため、急激な温度変化による理想値の変動に対して、検出値Ｖ１Ｈｆ（ｎ）の追従が遅れてしまう。そこで、本実施形態では、フレームレートに応じて、巡回係数の設定値を変更する。 However, since the detection value V1H (n) cannot be frequently obtained at a low frame rate, the detection value V1Hf (n) after the filtering process is delayed in following the change in the ideal value depending on the frame rate. There is a possibility that. In particular, when the fluctuation of the detected value V1H (n) due to power supply noise or the like is large, it is necessary to set the cyclic coefficient to a low value, so that the detected value V1Hf (n) Follow-up will be delayed. Therefore, in the present embodiment, the cyclic coefficient setting value is changed according to the frame rate.
図１３は、フレームレートに対する巡回係数ｐの設定値を示している。フレームレートが低いほど、巡回係数ｐの設定値は大きくなり、フレームレートが高くなるにつれて巡回係数ｐの設定値は小さくなる。つまり、単位時間あたりに取得できる検出値Ｖ１Ｈ（ｎ）の数が少ないほど、新たに取得した検出値Ｖ１Ｈ（ｎ）がフィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）に与える影響度が大きくなる。よって、フレームレートが低いほど、温度変化による理想値の変動に対して追従し易くなる。各巡回係数に対するフレームレートの範囲は、温度変化率と、電源ノイズ等による検出値Ｖ１Ｈ（ｎ）の変動を考慮して決めればよい。 FIG. 13 shows the set value of the cyclic coefficient p with respect to the frame rate. The lower the frame rate, the larger the set value of the cyclic coefficient p. The higher the frame rate, the smaller the set value of the cyclic coefficient p. That is, the smaller the number of detection values V1H (n) that can be acquired per unit time, the greater the degree of influence that the newly acquired detection value V1H (n) has on the detection value V1Hf (n) after the filtering process. Therefore, the lower the frame rate, the easier it is to follow the ideal value variation due to temperature changes. The range of the frame rate for each cyclic coefficient may be determined in consideration of the temperature change rate and the fluctuation of the detected value V1H (n) due to power supply noise or the like.
以上説明したように、フレームレートに応じて巡回係数の設定値を変更することで、検出値の更新頻度が少ない低フレームレート時においても、フィルタリング処理後の検出値が理想値の変動に対して追従する速度と、検出値の安定化を最適化することができる。 As described above, by changing the setting value of the cyclic coefficient according to the frame rate, the detection value after filtering processing can be applied to fluctuations in the ideal value even at low frame rates where the detection value update frequency is low. The following speed and the stabilization of the detected value can be optimized.
（６）映像として使用しないフレームがある場合
フレームレートに応じて巡回係数を変更する場合について前述したが、撮像素子１の処理によっては、撮像素子１から画像を読み出すが、実際に出力画像としては用いない場合がある。例えば、１２０ｆｐｓで撮像素子１から画像を読み出し、３０ｆｐｓで映像出力されるとする。この場合、４フレーム分の画像のうち、１枚の画像しか実際の画像としては使用されない。
(6) When there is a frame that is not used as an image As described above, the cyclic coefficient is changed according to the frame rate. Depending on the processing of the
前述したように、できるだけ高い頻度で検出値を取得した方が、フィルタリング処理による検出値の安定化を実現できるため、映像出力として使用しないフレームの画像についても検出値Ｖ１Ｈ（ｎ）を求め、フィルタリング処理に用いる。具体的には、映像出力として用いるフレームの検出値Ｖ１Ｈ（ｎ）のみを用いてフィルタリング処理した結果と、検出値Ｖ１Ｈ（ｎ）に加えて、映像出力として用いないフレームの検出値Ｖ１Ｈ（ｎ）も用いてフィルタリング処理した結果の差分を取る。これにより、検出値Ｖ１Ｈ（ｎ）の安定度を判定する。上記差分が大きければ安定していないと判定され、上記差分が小さければ安定していると判定される。 As described above, since the detection value can be stabilized by filtering processing if the detection value is acquired as frequently as possible, the detection value V1H (n) is obtained for the image of the frame that is not used as the video output. Used for processing. Specifically, in addition to the result of filtering using only the detection value V1H (n) of the frame used as the video output and the detection value V1H (n), the detection value V1H (n) of the frame not used as the video output Is also used to take the difference of the filtering results. Thereby, the stability of the detected value V1H (n) is determined. If the difference is large, it is determined that the difference is not stable, and if the difference is small, it is determined that the difference is stable.
上記判定結果により、安定度が高い場合には、電源ノイズ等による検出値の変動が小さいため、追従性を早くするために巡回係数を高めに設定する。一方、安定度が低い場合には、電源ノイズ等による検出値の変動が大きいため、巡回係数を低めに設定する。 If the stability is high according to the determination result, the fluctuation of the detection value due to power supply noise or the like is small, so that the cyclic coefficient is set to be high in order to speed up the followability. On the other hand, when the stability is low, the detection value varies greatly due to power supply noise or the like, so the cyclic coefficient is set to be low.
本実施形態では、映像出力するフレームのみを用いてフィルタリング処理を行ったときの検出値をＶ１Ｈｆ（ｎ）とし、映像出力しないフレームも用いてフィルタリング処理を行ったときの検出値をＶ１Ｈｆ´（ｎ）とする。そして、安定度を判定するために、Ｖ１Ｈｆ（ｎ）−Ｖ１Ｈｆ´（ｎ）を算出する。 In the present embodiment, the detection value when the filtering process is performed using only the frame that outputs video is V1Hf (n), and the detection value when the filtering process is performed using the frame that does not output video is V1Hf ′ (n ). Then, in order to determine the stability, V1Hf (n) −V1Hf ′ (n) is calculated.
図１４（ａ）は、時間（フレーム）変化に対する、検出値Ｖ１Ｈ（ｎ）と、映像出力する画像のみを用いてフィルタリング処理を行ったときの検出値Ｖ１Ｈｆ（ｎ）と、映像出力しない画像も用いてフィルタリング処理を行ったときの検出値Ｖ１Ｈｆ´（ｎ）と、安定度を表すＶ１Ｈｆ（ｎ）−Ｖ１Ｈｆ´（ｎ）を示したグラフである。 FIG. 14A shows a detected value V1H (n) with respect to time (frame) change, a detected value V1Hf (n) when filtering processing is performed using only an image to be output, and an image that is not output. It is the graph which showed detection value V1Hf '(n) when performing a filtering process using, and V1Hf (n) -V1Hf' (n) showing stability.
同図において、横軸は時間（フレーム表記で、期間は１〜１００フレーム）を示し、縦軸は検出値Ｖ１Ｈ（ｎ）、Ｖ１Ｈｆ（ｎ）、Ｖ１Ｈｆ´（ｎ）、及び差分値Ｖ１Ｈｆ（ｎ）−Ｖ１Ｈｆ´（ｎ）を示している。本実施形態においては、映像出力する画像のみを用いてフィルタリング処理を行った時の検出値Ｖ１Ｈｆ（ｎ）は、巡回係数を高めに設定している。一方、映像出力しない画像も用いてフィルタリング処理を行ったときの検出値Ｖ１Ｈｆ´（ｎ）は、できるだけ安定した検出値を取得するために（安定度を判定するための基準となるため）、巡回係数を最も低い設定にしている。このときの差分値Ｖ１Ｈｆ（ｎ）−Ｖ１Ｈｆ´（ｎ）が大きければ大きいほど、検出値Ｖ１Ｈｆ（ｎ）が安定していないことになる。 In the figure, the horizontal axis indicates time (in frame notation, the period is 1 to 100 frames), and the vertical axis indicates the detection values V1H (n), V1Hf (n), V1Hf ′ (n), and the difference value V1Hf (n ) −V1Hf ′ (n). In the present embodiment, the detection value V1Hf (n) when the filtering process is performed using only the image to be output is set to a higher cyclic coefficient. On the other hand, the detection value V1Hf ′ (n) when the filtering process is performed also using an image that is not output is a cyclic value in order to obtain a detection value that is as stable as possible (because it serves as a reference for determining stability). The coefficient is set to the lowest setting. As the difference value V1Hf (n) −V1Hf ′ (n) at this time is larger, the detected value V1Hf (n) is not stable.
本実施形態では、図１４（ｂ）に示すように、差分値Ｖ１Ｈｆ（ｎ）−Ｖ１Ｈｆ´（ｎ）の大きさに応じた、巡回係数ｐに乗算するための乗算値ｑの値をテーブルデータとして持ち、このテーブルデータに基づいて、巡回係数ｐに乗算値ｑを乗算する処理を行う。こうすることで、映像出力する画像のみを用いてフィルタリング処理を行ったときの検出値Ｖ１Ｈｆ（ｎ）を算出するために用いる巡回係数が、安定度の観点から適正でない場合に、巡回係数を最適化させることができる。なお、図１４（ｂ）においては説明の便宜上、正の差分値のみをテーブルデータとして設けたが、負の差分値も同様であり、厳密には絶対値｜Ｖ１Ｈｆ（ｎ）−Ｖ１Ｈｆ´（ｎ）｜となる。 In the present embodiment, as shown in FIG. 14B, the value of the multiplication value q for multiplying the cyclic coefficient p according to the magnitude of the difference value V1Hf (n) −V1Hf ′ (n) is table data. The cyclic coefficient p is multiplied by the multiplication value q based on the table data. In this way, when the cyclic coefficient used for calculating the detection value V1Hf (n) when performing the filtering process using only the image to be output is not optimal from the viewpoint of stability, the cyclic coefficient is optimized. It can be made. In FIG. 14B, only positive difference values are provided as table data for convenience of explanation, but negative difference values are also the same, strictly speaking, absolute values | V1Hf (n) −V1Hf ′ (n ) |
上記の通り、映像出力として用いるフレームの検出値Ｖ１Ｈ（ｎ）のみを用いてフィルタリング処理した結果と、フレームの検出値Ｖ１Ｈ（ｎ）に加えて、映像出力として用いないフレームの検出値Ｖ１Ｈ（ｎ）も用いてフィルタリング処理した結果の差分を取る。そして、映像出力として用いるフレームの検出値の安定度を求め、安定度に応じて巡回係数を変更することにより、巡回係数を最適化することができる。 As described above, in addition to the result of filtering using only the detection value V1H (n) of the frame used as the video output and the detection value V1H (n) of the frame, the detection value V1H (n of the frame not used as the video output ) Is also used to take the difference between the filtering results. Then, the stability of the detection value of the frame used as the video output is obtained, and the cyclic coefficient can be optimized by changing the cyclic coefficient according to the stability.
（７）被写体の動き
電源ノイズ等による検出値Ｖ１Ｈ（ｎ）の変動に起因して発生するレベル段差の見え方は、被写体によって目立ち方が変わる。特に、動画の場合は、被写体に動きが無い状態だと見え易いが、被写体に動きがあると、各画素の信号レベルが常に変化していることが多いため、目立ち難くなる。
(7) Movement of subject The appearance of the level difference caused by the fluctuation of the detection value V1H (n) due to power supply noise or the like varies depending on the subject. In particular, in the case of a moving image, it is easy to see when there is no movement of the subject, but when there is movement of the subject, the signal level of each pixel often changes constantly, so it becomes difficult to stand out.
そこで、本実施形態においては、被写体の動き量に応じて巡回係数を決定する処理を行う。動き量を検出するには、一般的に用いられている、ジャイロセンサを用いる方法や、取得した画像から動きベクトルを算出し、動き量を検出する方法などがある。被写体の動き量の検出については、既知の技術を用いて検出するものとし、詳細については説明を省略する。 Therefore, in the present embodiment, processing for determining a cyclic coefficient according to the amount of movement of the subject is performed. In order to detect the amount of motion, there are a commonly used method using a gyro sensor, a method of calculating a motion vector from an acquired image, and a method of detecting the amount of motion. The detection of the amount of movement of the subject is assumed to be performed using a known technique, and a detailed description thereof is omitted.
図１５は、被写体の動き量に対する、巡回係数に乗算する乗算値ｑを表したテーブルデータである。本実施形態においては、被写体の動き量が小さい場合を基準（１．０倍）として、被写体の動き量が大きくなるにつれて巡回係数を高くし、検出値Ｖ１Ｈｆ（ｎ）が理想値に対して追従し易くなるような処理を行う。なお、本実施形態においては、被写体の動き量が大きい時の乗算値ｑを４．０倍としているが、巡回係数ｐと乗算値ｑとの乗算結果が１．０よりも大きくなった場合は、乗算結果を１．０とする。なお、図１５では動き量を「大」、「中」、「小」と表しているが、動き量を検出する方法に応じて、動き量の範囲を適宜分ければ良い。 FIG. 15 is table data representing a multiplication value q by which the cyclic coefficient is multiplied with respect to the amount of movement of the subject. In the present embodiment, assuming that the amount of movement of the subject is small (1.0 times), the cyclic coefficient is increased as the amount of movement of the subject increases, and the detection value V1Hf (n) follows the ideal value. A process that makes it easier to perform is performed. In the present embodiment, the multiplication value q when the amount of movement of the subject is large is 4.0 times. However, when the multiplication result of the cyclic coefficient p and the multiplication value q is larger than 1.0. The multiplication result is 1.0. In FIG. 15, the amount of motion is represented as “large”, “medium”, and “small”, but the range of the amount of motion may be appropriately divided according to the method of detecting the amount of motion.
これにより、被写体として信号レベルの段差が見え難い条件においては、フィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）が理想値に対して追従し易くし、かつ被写体として段差が見え易い条件においては、検出値Ｖ１Ｈｆ（ｎ）の変動を低減させることができる。従って、検出値Ｖ１Ｈｆ（ｎ）の理想値への追従性と、電源ノイズ等に起因する検出値の変動の低減効果を、最適化することができる。 As a result, the detection value V1Hf (n) after the filtering process is easy to follow the ideal value under the condition that the step of the signal level is difficult to see as the subject, and the detection value under the condition that the step is easy to see as the subject. Variations in V1Hf (n) can be reduced. Therefore, it is possible to optimize the followability of the detection value V1Hf (n) to the ideal value and the effect of reducing fluctuations in the detection value caused by power supply noise or the like.
以上説明したように、被写体の動き量を検出し、検出した動き量に応じて巡回係数を変更する。これにより、被写体に応じてフィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）の理想値への追従性と、電源ノイズ等に起因する検出値の変動の低減効果を、最適化することができる。 As described above, the amount of movement of the subject is detected, and the cyclic coefficient is changed according to the detected amount of movement. As a result, it is possible to optimize the followability of the detected value V1Hf (n) after filtering processing to the ideal value and the effect of reducing fluctuations in the detected value caused by power supply noise or the like according to the subject.
（８）カラーフィルタの分光特性
前述したように、撮像素子で用いられるカラーフィルタは、Ｒ、Ｇ、Ｂの３色の原色カラーフィルタを用いたベイヤー配列の周期構造をとっているのが一般的である。上述したＲ、Ｇ、Ｂの３色のカラーフィルタを備えた各々の画素から出力される画素信号のうち、人間の視覚特性として、Ｇ画素に対して非常に敏感であるのに対し、ＲＢ画素に対してはＧ画素ほどは敏感で無いという特徴がある。つまり、信号レベルの段差がＧ画素に対しては目立って見えるのに対し、ＲＢ画素は、Ｇ画素ほどは目立ち難い。例として、Ｇ画素は信号レベルの段差が±１０ＬＳＢを超えたときに目立ち始めるが、ＲＢ画素については、±２０ＬＳＢまでは目立たないといった、視覚的なレベル段差の見え方（限界値）の違いが生じる。
(8) Spectral characteristics of the color filter As described above, the color filter used in the image sensor generally has a Bayer array periodic structure using three primary color filters of R, G, and B. It is. Of the pixel signals output from the respective pixels having the three color filters of R, G, and B described above, RB pixels are very sensitive to G pixels as human visual characteristics. Is not as sensitive as G pixels. That is, while the signal level difference is conspicuous for the G pixel, the RB pixel is less conspicuous than the G pixel. As an example, the G pixel starts to stand out when the signal level step exceeds ± 10 LSB, but the RB pixel does not stand out until ± 20 LSB, and there is a difference in visual level step appearance (limit value). Arise.
そこで、本実施形態においては、Ｇ画素を基準（１．０）として、Ｒ画素、Ｂ画素の巡回係数ｐに対して、乗算値ｑを乗算することで、ＲＧＢ画素毎に異なる巡回係数を設定する。具体的には、Ｇ画素に対して、ＲＢ画素の乗算値ｑを１．０よりも大きくすることで、フィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）の変動が画像上に信号レベルの段差が見え始める限界値以下の状態を維持しつつ、かつ理想値への追従を早めることが可能となる。特に、電源起動時や撮像素子の駆動方法の切替え時などに急激に検出値Ｖ１Ｈ（ｎ）が変化することがあるが、急激な変化に対しては感度の低いＲＢ画素でも、信号レベルの段差として見えてしまう。つまり、ＲＢ画素の巡回係数を、補正値を算出した際に画像としてレベル段差が発生し得る限界値（±２０ＬＳＢ）以下に抑えつつ、理想値への追従速度はできるだけ早くしておくことがＲＢ画素の巡回係数として好ましい。 Therefore, in the present embodiment, a cyclic coefficient different for each RGB pixel is set by multiplying the cyclic coefficient p of the R pixel and the B pixel by a multiplication value q with the G pixel as a reference (1.0). To do. Specifically, by making the multiplication value q of the RB pixel larger than 1.0 with respect to the G pixel, the fluctuation of the detection value V1Hf (n) after the filtering process can be seen on the image as a signal level step. It becomes possible to speed up the follow-up to the ideal value while maintaining the state below the starting limit value. In particular, the detection value V1H (n) may change abruptly when the power is turned on or when the driving method of the image sensor is switched. Will appear as. In other words, it is necessary to keep the tracking speed to the ideal value as fast as possible while keeping the cyclic coefficient of the RB pixel below a limit value (± 20 LSB) that can cause a level difference in the image when calculating the correction value. It is preferable as a cyclic coefficient of a pixel.
図１６は、カラーフィルタの各色に対する、巡回係数への乗算値ｑを示している。Ｇ画素が基準となるため、Ｇ画素の乗算値ｑは１．０倍としている。また、本実施形態では、Ｒ画素、Ｂ画素については、乗算値ｑを２．０倍としている。なお、本実施形態においては、ＲＢ画素の乗算値ｑを２．０倍としているが、巡回係数ｐと乗算値ｑとの乗算結果が１．０よりも大きくなった場合は、乗算結果を１．０とする。 FIG. 16 shows a multiplication value q to the cyclic coefficient for each color of the color filter. Since the G pixel is the reference, the multiplication value q of the G pixel is set to 1.0 times. In the present embodiment, the multiplication value q is set to 2.0 times for the R pixel and the B pixel. In the present embodiment, the multiplication value q of the RB pixel is set to 2.0 times. However, when the multiplication result of the cyclic coefficient p and the multiplication value q is larger than 1.0, the multiplication result is set to 1. .0.
こうすることで、フィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）の変動を、補正値を算出した際に画像としてレベル段差が発生し得る限界値以下に抑えつつ、急激な理想値の変化に対しても、検出値Ｖ１Ｈｆ（ｎ）を迅速に追従させることができる。 By doing so, the fluctuation of the detection value V1Hf (n) after the filtering process is suppressed to a value less than a limit value at which a level step can be generated as an image when the correction value is calculated, and against a sudden change in ideal value. In addition, the detection value V1Hf (n) can be quickly followed.
以上説明したように、Ｒ画素、Ｇ画素、Ｂ画素毎に異なる巡回係数を設定し、各々の画素に対して巡回係数を最適化する。これにより、各色の画素の検出値Ｖ１Ｈｆ（ｎ）の変動を、補正値を算出した際に画像としてレベル段差が発生し得る限界値以下に抑えつつ、急激な理想値の変化に対してもフィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）を迅速に追従させることができる。 As described above, different cyclic coefficients are set for each of the R pixel, G pixel, and B pixel, and the cyclic coefficient is optimized for each pixel. As a result, the fluctuation of the detection value V1Hf (n) of the pixel of each color is suppressed to a value less than a limit value at which a level difference can be generated as an image when the correction value is calculated, and filtering is also performed for a sudden change in ideal value. The detected value V1Hf (n) after processing can be followed quickly.
（９）列アンプ群１３０のゲイン切替えに応じて判定レベルを変更した場合
低照度時において、画像信号のＳ／Ｎ比を改善するために、撮像素子１の列アンプ群１３０のゲインを切替えることがある。列アンプ群１３０のゲインを切替えることで、列アンプ群１３０以降の回路にて発生するノイズ成分を、画素信号に対して相対的に小さくすることが可能となり、Ｓ／Ｎ比を改善することができる。
(9) When the judgment level is changed in accordance with the gain switching of the
本実施形態においては、列アンプ群１３０のゲインは、アナログゲインを想定しており、離散的なゲイン設定を持つ。具体的には、×２、×４の設定を持ち、通常は×２の設定となっており、低照度時には×４の設定に切替える。
In this embodiment, the gain of the
判定レベルＶｓ近傍の信号レベルを有する画素信号が、列アンプ群１３０のゲイン設定の切替えにより増幅された場合、判定レベルＶｓをゲイン切替えによる増幅率に対応するように高いレベルに変更する必要がある。これは、万が一レベル段差が生じていた場合に、画面内における信号レベルの段差の発生位置が瞬時に変わってしまうからである。特に、列アンプ群１３０のゲインの切替え後において、信号レベルの段差が発生する画素が多い場合、画像として目立ってしまう。本実施形態では、列アンプ群１３０のゲイン切替えに応じて判定レベルＶｓを変更する際における、巡回係数の設定方法について説明する。
When a pixel signal having a signal level near the determination level Vs is amplified by switching the gain setting of the
本第１の実施形態では、列アンプ群１３０のゲイン切替え後に変更された判定レベルＶｓに応じて、巡回係数ｐに乗算するための乗算値ｑの設定値を変更する。図１７は、列アンプ群１３０のゲイン切替え後の判定レベルＶｓに対する、巡回係数に乗算する乗算値ｑを示している。ここでは、ＡＤ変換のレンジが最大で１２ｂｉｔ（０〜４０９５ＬＳＢ）であって、乗算値ｑの基準値（×１．０）は、列アンプ群１３０のゲイン切替え後の判定レベルＶｓが、段差レベルが最も目立ち難い０〜５１１ＬＳＢの範囲であった場合とする。
In the first embodiment, the set value of the multiplication value q for multiplying the cyclic coefficient p is changed according to the determination level Vs changed after the gain switching of the
上記基準値に対し、列アンプ群１３０のゲイン切替え後の判定レベルＶｓが２０４８〜４０９５ＬＳＢの場合は乗算値ｑ＝４．０倍、判定レベルＶｓが５１２〜２０４７ＬＳＢの場合は乗算値ｑ＝２．０倍となるようにする。つまり、段差レベルが目立ち易くなるにつれて、巡回係数が高くなるように設定し、追従性を向上させる。なお、本実施形態においては、列アンプ切替え後の信号レベルが２０４８〜４０９５ＬＳＢの場合、乗算値ｑを４．０倍としているが、巡回係数ｐと乗算値ｑとの乗算結果が１．０よりも大きくなった場合は、乗算結果を１．０とする。
When the determination level Vs after gain switching of the
これにより、列アンプ群１３０のゲイン切替え後の判定レベルＶｓが大きい場合、すなわちＳ信号の信号レベルの段差が目立ち易い場合は、巡回係数を一時的に高くすることでフィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）を迅速に理想値付近に収束させる。一方、列アンプ群１３０のゲイン切替え後の判定レベルＶｓが小さい場合、すなわちＳ信号の信号レベルの段差が目立ち難い場合は、巡回係数を低いまま維持することでフィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）の変動を低減させる。また、列アンプ群１３０のゲイン切替え直後のみ、この乗算値を適用しても良い。
As a result, when the determination level Vs after the gain switching of the
以上説明したように、列アンプ群１３０のゲイン切替えに応じて判定レベルを変更する際に、列アンプ群１３０のゲイン切替え後に設定した判定レベルＶｓの大きさに応じて、巡回係数の設定値を変更する。これにより、画像として段差が見え難い状態を維持しつつ、フィルタリング処理後の検出値Ｖ１Ｈｆ（ｎ）が理想値付近に収束するまでの時間と、ノイズによる検出値の変動の低減効果を、最適化させることができる。
As described above, when the determination level is changed according to the gain switching of the
以上、好適なフィルタリング処理方法について、いくつかの例を挙げて説明したが、これら複数を考慮して巡回係数を決定しても良い。また、本実施形態においては一つの例として巡回係数を示してきたが、各条件に対する巡回係数の設定方法としては必ずしもこの限りでなく、ノイズの発生条件や、温度変化率、撮像素子の駆動切り替えによる理想値の変化量などに応じて決定すると良い。 The preferred filtering processing method has been described above with some examples, but the cyclic coefficient may be determined in consideration of the plurality of examples. In the present embodiment, the cyclic coefficient has been shown as an example. However, the cyclic coefficient setting method for each condition is not necessarily limited to this. The noise generation condition, the temperature change rate, and the drive switching of the image sensor It may be determined according to the amount of change in the ideal value due to.
また、本実施例においては、フィルタリング処理を行う対象として、検出値Ｖ１Ｈを用いて説明したが、前述したように、Ｖ１Ｌ、Ｖ２Ｈ、Ｖ２Ｌについても同様の処理を行う必要がある。これらの検出値Ｖ１Ｈ、Ｖ１Ｌ、Ｖ２Ｈ、Ｖ２Ｌを安定化させることで、補正値α、βの値の安定化を実現することができる。なお、検出値Ｖ１Ｌ、Ｖ２Ｈ、Ｖ２Ｌに対しても、上記式（３）に示すようなフィルタリング処理を行うが、式（３）を検出値Ｖ１Ｈ、Ｖ１Ｌ、Ｖ２Ｈ、Ｖ２Ｌに対して一般化すると、以下の式（５）のように表すことができる。
Ｖｆ（ｎ）＝Ｖ（ｎ）×ｐ＋Ｖｆ（ｎ−１）×（１−ｐ）
（０≦ｐ≦１） …（５）
式（５）において、Ｖｆ（ｎ）は、ｎフレーム目におけるフィルタリング処理後の検出値、Ｖ（ｎ）はｎフレーム目に取得したダミー画素の読み出し期間中に取得された新たな検出値である。また、Ｖｆ（ｎ−１）はｎ−１フレーム目におけるフィルタリング処理後の検出値であり、巡回係数をｐ（０≦ｐ≦１）としている。
In the present embodiment, the detection value V1H has been described as the target for the filtering process. However, as described above, the same process needs to be performed for V1L, V2H, and V2L. By stabilizing these detection values V1H, V1L, V2H, and V2L, the correction values α and β can be stabilized. Note that the filtering process shown in the above equation (3) is also performed on the detection values V1L, V2H, and V2L. If equation (3) is generalized to the detection values V1H, V1L, V2H, and V2L, It can be expressed as the following formula (5).
Vf (n) = V (n) * p + Vf (n-1) * (1-p)
(0 ≦ p ≦ 1) (5)
In Expression (5), Vf (n) is a detection value after filtering processing in the nth frame, and V (n) is a new detection value acquired during the dummy pixel readout period acquired in the nth frame. . Vf (n−1) is a detection value after filtering processing in the (n−1) th frame, and the cyclic coefficient is p (0 ≦ p ≦ 1).
また、上記方法以外で、補正値α、βを求めるための演算の途中に得られる、式（１）、式（２）に記載した項ごとに巡回フィルタをかけても良い。具体的には、Ｖ２Ｈ−Ｖ１Ｈの算出結果（中間値）と、Ｖ２Ｌ−Ｖ１Ｌの算出結果（中間値）に対してフィルタリング処理を行うこともできる。このような処理を行うことで、Ｖ２ＨとＶ１Ｈに同じレベルの外乱ノイズが発生した場合は、打ち消し合って巡回係数を高めに設定することができるため、フィルタリング処理後の検出差分値Ｖ２Ｈ−Ｖ１Ｈが理想値付近まで収束する速度を早めることができる。 In addition to the above method, a cyclic filter may be applied to each term described in Expression (1) and Expression (2) obtained in the middle of calculation for obtaining correction values α and β. Specifically, a filtering process may be performed on the calculation result (intermediate value) of V2H-V1H and the calculation result (intermediate value) of V2L-V1L. By performing such processing, if disturbance noise of the same level occurs in V2H and V1H, the cyclic coefficient can be set higher by canceling each other, so that the detection difference value V2H−V1H after filtering processing is The speed of convergence to near the ideal value can be increased.
どの方法を用いるかは、検出値を取得するためのダミー画素の配置や、外乱ノイズの発生の仕方などを考慮して決めれば良い。 Which method is to be used may be determined in consideration of the arrangement of dummy pixels for obtaining the detection value, the manner in which disturbance noise is generated, and the like.
＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。第２の実施形態において用いられる撮像装置は、第１の実施形態で図１を参照して説明した撮像装置と同様の構成を有するため、説明は省略し、差異についてのみ説明する。
<Second Embodiment>
Hereinafter, a second embodiment of the present invention will be described. Since the imaging apparatus used in the second embodiment has the same configuration as the imaging apparatus described with reference to FIG. 1 in the first embodiment, description thereof will be omitted, and only differences will be described.
第２の実施形態では、図５に示す第１の実施形態の画素部１１０の構成に対して、図１８に示すように、有効画素領域を水平方向に４分割している。画面左から順に、有効画素領域Ａ、有効画素領域Ｂ、有効画素領域Ｃ、有効画素領域Ｄとする。また、有効画素領域に対応させて、ダミー画素も水平方向に４分割し、画面左から順に、ダミー画素領域Ａ、ダミー画素領域Ｂ、ダミー画素領域Ｃ、ダミー画素領域Ｄとする。このように、水平方向に対していくつかの領域に分割することで、ＡＤ変換器の性能が水平方向にばらついた場合でも、より理想値に近い補正を行うことができる。
In the second embodiment, the effective pixel region is divided into four in the horizontal direction as shown in FIG. 18 with respect to the configuration of the
上述した第１の実施形態では、画面全体のダミー画素を用いて検出値Ｖ１Ｈ、Ｖ１Ｌ、Ｖ２Ｈ、Ｖ２Ｌを取得したが、本実施形態においては、分割されたＡ〜Ｄの領域毎に検出値を取得する。上記領域ごとに算出された検出値Ｖ１Ｈ、Ｖ１Ｌ、Ｖ２Ｈ、Ｖ２Ｌについては、上述した第１の実施形態と同様の処理を行うことで、信号レベルの段差が見えないようにする。 In the first embodiment described above, the detection values V1H, V1L, V2H, and V2L are acquired using the dummy pixels of the entire screen. However, in this embodiment, the detection values are set for each of the divided areas A to D. get. The detection values V1H, V1L, V2H, and V2L calculated for each region are processed in the same manner as in the first embodiment so that the signal level step is not visible.
以上説明したように、水平方向に対して複数の領域に分割し、各々の領域についてフィルタリング処理後の検出値を取得する。これにより、ＡＤ変換器の性能が水平方向にばらついた場合でも、より理想値に近い検出値の取得を行うことが可能となり、さらに、第１の実施形態と同様の効果を得ることができる。 As described above, it is divided into a plurality of regions in the horizontal direction, and the detection value after the filtering process is acquired for each region. Thereby, even when the performance of the AD converter varies in the horizontal direction, it is possible to obtain a detection value closer to the ideal value, and further, it is possible to obtain the same effect as in the first embodiment.
なお、第１及び第２の実施形態では、異なる傾きの２種類のランプ信号について記載したが、３種類以上の傾きについても同様の扱いができるため、ランプ信号の種類の数により本願発明が制限されるものではない。また、ダミー画素領域を用いて算出された検出値に対してフィルタリング処理を行うことが必須であり、補正値の取得方法及び演算方法などは、第１の実施形態に記載したものが代表的なものであるが、これに限られるものではない。 In the first and second embodiments, two types of ramp signals having different slopes are described. However, since the same treatment can be applied to three or more types of slopes, the present invention is limited by the number of types of ramp signals. Is not to be done. Further, it is essential to perform a filtering process on the detection value calculated using the dummy pixel region, and the correction value acquisition method and the calculation method are typically those described in the first embodiment. However, it is not limited to this.
また、本第１及び第２の実施形態においては、撮像素子１として、回路規模の小さい列ＡＤＣを列毎に１つ備えた構成をとっているが、本発明はこれに限られるものではない。例えば、各列に複数の列ＡＤＣを備え、それぞれが異なるスロープのランプ信号を用いてＡＤ変換し、いずれかを選択する構成や、特開２０１３−００９０８７号公報に記載されている構成を有するものであってもよい。特開２０１３−００９０８７号公報には、撮像素子内にある列アンプ回路において、画素信号のレベルに応じて画素毎に、第１のランプ信号と、第１のランプ信号よりも傾きが小さい第２のランプ信号のいずれかを選択的に用いてＡＤ変換を行うことが開示されている。即ち、異なる傾きを有する複数のランプ信号のいずれかによりＡＤ変換された画素信号を選択的に用いて各フレームの画像を構成するものであれば、本発明を適用することが可能である。
In the first and second embodiments, the
１：撮像素子、２：画像処理部、１００：タイミング制御部、１１０：画素部、１２０：垂直走査回路、１３０：列アンプ群、１４０：ランプ回路、１５０：列アナログデジタル変換器群（列ＡＤＣ群）、１５１：比較部、１５２：カウンタ・ラッチ回路、１６０：水平転送回路、１７０：信号処理回路、１８０：外部出力回路、４００：定電圧回路 DESCRIPTION OF SYMBOLS 1: Image sensor, 2: Image processing part, 100: Timing control part, 110: Pixel part, 120: Vertical scanning circuit, 130: Column amplifier group, 140: Ramp circuit, 150: Column analog-digital converter group (column ADC) Group), 151: comparison unit, 152: counter / latch circuit, 160: horizontal transfer circuit, 170: signal processing circuit, 180: external output circuit, 400: constant voltage circuit
Claims (21)
予め決められた複数の異なる出力レベルのアナログ信号を前記アナログデジタル変換手段に供給する電圧供給手段と、
前記複数の異なる出力レベルのアナログ信号を前記複数の参照信号によりそれぞれ変換して得られた検出値に対してフィルタリング処理を行い、該フィルタリング処理後の検出値に基づいて、撮像素子の画素部から出力されるアナログ信号を前記アナログデジタル変換手段により変換して得られるデジタル信号を補正するための補正係数をフレーム毎に算出する算出手段と、を有し、
前記フィルタリング処理は、前記フィルタリング処理前の検出値と、前のフレームにおける前記フィルタリング処理後の検出値を、巡回係数により重み付け加算する処理であることを特徴とする撮像装置。 Analog-to-digital conversion means for converting an analog signal into a digital signal using a plurality of reference signals having different slopes;
Voltage supply means for supplying analog signals of a plurality of predetermined different output levels to the analog-digital conversion means;
A filtering process is performed on the detection values obtained by converting the analog signals having different output levels with the plurality of reference signals, respectively, and based on the detection values after the filtering process, from the pixel portion of the image sensor Calculating means for calculating for each frame a correction coefficient for correcting the digital signal obtained by converting the output analog signal by the analog-digital conversion means;
The imaging apparatus, wherein the filtering process is a process of weighting and adding a detection value before the filtering process and a detection value after the filtering process in a previous frame using a cyclic coefficient.
Ｖｆ（ｎ）＝Ｖ（ｎ）×ｐ＋Ｖｆ（ｎ−１）×（１−ｐ），（０≦ｐ≦１）
により前記フィルタリング処理を行うことを特徴とする請求項１に記載の撮像装置。 The calculation means sets the detected value before the filtering process to V (n), the detected value after the filtering process as Vf (n), and the detected value after the filtering process in the previous frame as Vf (n−1). When the cyclic coefficient is p,
Vf (n) = V (n) × p + Vf (n−1) × (1-p), (0 ≦ p ≦ 1)
The imaging apparatus according to claim 1, wherein the filtering process is performed by:
前記温度検出手段により測定された温度の変化率の絶対値が予め決められた範囲内にある場合に、該範囲より小さい場合よりも、大きい値を前記巡回係数に設定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。 A temperature detecting means for measuring the temperature;
The absolute value of the rate of change in temperature measured by the temperature detecting means is within a predetermined range, and a larger value is set for the cyclic coefficient than when the absolute value is smaller than the range. Item 5. The imaging device according to any one of Items 1 to 4.
前記映像出力として用いるフレームで算出された前記フィルタリング処理後の検出値と、前記映像出力として用いないフレームを含めて算出された前記フィルタリング処理後の検出値との差分の絶対値が予め決められた範囲内にある場合に、該範囲より大きい場合よりも、より大きい値を前記巡回係数に乗ずることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。 An image obtained by reading out the pixel portion of the image sensor includes a frame used as a video output and a frame not used.
An absolute value of a difference between the detection value after filtering calculated in the frame used as the video output and the detection value after filtering calculated including the frame not used as the video output is determined in advance. The imaging apparatus according to claim 1, wherein when it is within a range, the cyclic coefficient is multiplied by a larger value than when it is larger than the range.
前記動き量の検出手段により検出された動き量が予め決められた範囲内にある場合に、該範囲より小さい場合よりも、大きい値を前記巡回係数に乗ずることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。 A movement amount detecting means for detecting the movement amount of the subject;
11. When the motion amount detected by the motion amount detection means is within a predetermined range, the cyclic coefficient is multiplied by a larger value than when the motion amount is smaller than the range. The imaging device according to any one of the above.
赤または青のフィルタにより覆われた画素に対応するデジタル信号を補正するための補正係数は、緑のフィルタにより覆われた画素に対応するデジタル信号を補正するための補正係数よりも大きい値を前記巡回係数に乗じて算出することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。 The pixel portion of the image sensor is covered with a primary color filter in a Bayer array,
The correction coefficient for correcting the digital signal corresponding to the pixel covered by the red or blue filter has a value larger than the correction coefficient for correcting the digital signal corresponding to the pixel covered by the green filter. The imaging apparatus according to claim 1, wherein the imaging apparatus is calculated by multiplying a cyclic coefficient.
前記増幅手段による増幅率が変化した場合に、前記判定レベルを前記増幅率の変化に対応するように変更した値が予め決められた範囲内にある場合に、該範囲より小さい場合よりも、大きい値を前記巡回係数に乗ずることを特徴とする請求項１３に記載の撮像装置。 An amplifying means for amplifying an analog signal output from each pixel constituting the pixel portion of the image sensor before the analog signal is converted by the analog-digital converting means;
When the amplification factor by the amplification means changes, the value obtained by changing the determination level so as to correspond to the change of the amplification factor is within a predetermined range. The imaging apparatus according to claim 13, wherein the value is multiplied by the cyclic coefficient.
前記アナログデジタル変換手段が、前記複数の異なる出力レベルのアナログ信号を、互いに異なる傾きを有する複数の参照信号を用いて複数のデジタル信号に変換するアナログデジタル変換工程と、
算出手段が、前記複数の異なる出力レベルのアナログ信号を前記複数の参照信号によりそれぞれ変換して得られた検出値に対してフィルタリング処理を行うフィルタリング工程と、
前記算出手段が、前記フィルタリング処理後の前記検出値に基づいて、撮像素子の画素部から出力されるアナログ信号を前記アナログデジタル変換手段により変換して得られるデジタル信号を補正するための補正係数をフレーム毎に算出する算出工程と、を有し、
前記フィルタリング処理は、前記フィルタリング処理前の検出値と、前のフレームで前記フィルタリング処理後の検出値を、巡回係数により重み付け加算する処理であることを特徴とする撮像装置の制御方法。 A voltage supply step in which the voltage supply means supplies analog signals of a plurality of different output levels determined in advance to the analog-digital conversion means; and
The analog-to-digital conversion unit converts the plurality of analog signals having different output levels into a plurality of digital signals using a plurality of reference signals having different slopes, and
A filtering step in which the calculation means performs a filtering process on the detection values obtained by converting the analog signals of the plurality of different output levels by the plurality of reference signals,
Based on the detection value after the filtering process, the calculation unit calculates a correction coefficient for correcting a digital signal obtained by converting the analog signal output from the pixel portion of the image sensor by the analog-to-digital conversion unit. A calculation step of calculating for each frame,
The method of controlling an imaging apparatus, wherein the filtering process is a process of weighting and adding a detection value before the filtering process and a detection value after the filtering process in a previous frame by a cyclic coefficient.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015010677A JP6494301B2 (en) | 2015-01-22 | 2015-01-22 | Imaging apparatus and control method thereof |
| US15/001,944 US9736406B2 (en) | 2015-01-22 | 2016-01-20 | Image capturing apparatus and control method thereof |
| CN201610044460.3A CN105828003B (en) | 2015-01-22 | 2016-01-22 | The control method of picture pick-up device and picture pick-up device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015010677A JP6494301B2 (en) | 2015-01-22 | 2015-01-22 | Imaging apparatus and control method thereof |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2016134909A true JP2016134909A (en) | 2016-07-25 |
| JP2016134909A5 JP2016134909A5 (en) | 2018-03-01 |
| JP6494301B2 JP6494301B2 (en) | 2019-04-03 |
Family
ID=56434738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015010677A Active JP6494301B2 (en) | 2015-01-22 | 2015-01-22 | Imaging apparatus and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6494301B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018174493A (en) * | 2017-03-31 | 2018-11-08 | キヤノン株式会社 | Imaging device, imaging system, and mobile body |
| JP2018200206A (en) * | 2017-05-26 | 2018-12-20 | 日本アビオニクス株式会社 | Infrared imaging device |
| WO2020184149A1 (en) * | 2019-03-11 | 2020-09-17 | ソニーセミコンダクタソリューションズ株式会社 | Imaging element and imaging device |
| KR102413629B1 (en) * | 2021-03-09 | 2022-06-28 | 성균관대학교산학협력단 | Image sensor and image processing device including the same |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004289559A (en) * | 2003-03-24 | 2004-10-14 | Matsushita Electric Ind Co Ltd | Solid-state imaging apparatus |
| JP2007208832A (en) * | 2006-02-03 | 2007-08-16 | Fujifilm Corp | Digital camera |
| JP2012235306A (en) * | 2011-04-28 | 2012-11-29 | Canon Inc | Image processing apparatus and control method therefor |
| JP2014103626A (en) * | 2012-11-22 | 2014-06-05 | Olympus Corp | Image processor, image processing method and program |
| JP2014212450A (en) * | 2013-04-18 | 2014-11-13 | キヤノン株式会社 | Imaging device |
| JP2014220663A (en) * | 2013-05-08 | 2014-11-20 | キヤノン株式会社 | Imaging device |
-
2015
- 2015-01-22 JP JP2015010677A patent/JP6494301B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004289559A (en) * | 2003-03-24 | 2004-10-14 | Matsushita Electric Ind Co Ltd | Solid-state imaging apparatus |
| JP2007208832A (en) * | 2006-02-03 | 2007-08-16 | Fujifilm Corp | Digital camera |
| JP2012235306A (en) * | 2011-04-28 | 2012-11-29 | Canon Inc | Image processing apparatus and control method therefor |
| JP2014103626A (en) * | 2012-11-22 | 2014-06-05 | Olympus Corp | Image processor, image processing method and program |
| JP2014212450A (en) * | 2013-04-18 | 2014-11-13 | キヤノン株式会社 | Imaging device |
| JP2014220663A (en) * | 2013-05-08 | 2014-11-20 | キヤノン株式会社 | Imaging device |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018174493A (en) * | 2017-03-31 | 2018-11-08 | キヤノン株式会社 | Imaging device, imaging system, and mobile body |
| JP2018200206A (en) * | 2017-05-26 | 2018-12-20 | 日本アビオニクス株式会社 | Infrared imaging device |
| WO2020184149A1 (en) * | 2019-03-11 | 2020-09-17 | ソニーセミコンダクタソリューションズ株式会社 | Imaging element and imaging device |
| US11838670B2 (en) | 2019-03-11 | 2023-12-05 | Sony Semiconductor Solutions Corporation | Imaging element and imaging apparatus |
| KR102413629B1 (en) * | 2021-03-09 | 2022-06-28 | 성균관대학교산학협력단 | Image sensor and image processing device including the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6494301B2 (en) | 2019-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9736406B2 (en) | Image capturing apparatus and control method thereof | |
| US10785439B2 (en) | Image sensor comprising detection error correction using correction coefficient based on count values from plural pixels | |
| JP4364903B2 (en) | Automatic gain control circuit | |
| JP5350466B2 (en) | Column fixed pattern noise correction method | |
| US20120273655A1 (en) | Image sensing apparatus and control method thereof | |
| CN107154803B (en) | Signal processing apparatus, signal processing method, and image pickup apparatus | |
| US11184565B2 (en) | Image pickup apparatus and its control method | |
| KR20050054843A (en) | Solid-state image pickup apparatus and image pickup method | |
| CN107154801B (en) | Signal processing apparatus and method, image pickup apparatus, and control apparatus and method | |
| JP6494301B2 (en) | Imaging apparatus and control method thereof | |
| JP2010520707A (en) | Method and apparatus for improving and controlling the dynamic range of an image sensor | |
| US20110205386A1 (en) | Solid-state imaging device and camera system | |
| JP2013175936A (en) | Semiconductor device and imaging device | |
| JP6525602B2 (en) | Image pickup apparatus and control method thereof | |
| JP5921092B2 (en) | Imaging device, control method thereof, and control program | |
| US10313617B2 (en) | Image capturing apparatus, control method for the same, and storage medium | |
| JP2011151549A (en) | Signal processing apparatus, imaging device, and signal processing method | |
| JPWO2008129885A1 (en) | Output control circuit and imaging apparatus | |
| JP6433276B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
| JP2018050234A (en) | Imaging apparatus and method of processing imaging apparatus | |
| US11284017B2 (en) | Image pickup device and storage medium | |
| KR100589572B1 (en) | Digital clamp circuit | |
| JP2017152838A (en) | Imaging apparatus and control method for imaging apparatus | |
| KR100858073B1 (en) | Automatic gain control circuit | |
| JP2021153291A (en) | Imaging apparatus, computer program, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180117 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181102 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190305 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6494301 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |