JP6229363B2 - Imaging apparatus, processing unit, and program - Google Patents
Imaging apparatus, processing unit, and program Download PDFInfo
- Publication number
- JP6229363B2 JP6229363B2 JP2013163034A JP2013163034A JP6229363B2 JP 6229363 B2 JP6229363 B2 JP 6229363B2 JP 2013163034 A JP2013163034 A JP 2013163034A JP 2013163034 A JP2013163034 A JP 2013163034A JP 6229363 B2 JP6229363 B2 JP 6229363B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- row
- correction value
- pixel
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は、撮像装置、処理ユニットおよびプログラムに関する。 The present invention relates to an imaging device, a processing unit, and a program.
撮像素子に含まれる画素の画素値を順次読み出すローリング読み出し方式においては、グローバルリセットされて画素値が読み出されるまでの時間が画素毎に変動するので、発生する暗電流量が画素毎に変動することが知られている（例えば、特許文献１参照）。また、画素自体の特性のばらつきによっても暗電流量は画素毎に変動する。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１２−１２００７６号公報
In the rolling readout method that sequentially reads the pixel values of the pixels included in the image sensor, the time from the global reset until the pixel values are read varies from pixel to pixel, so that the amount of generated dark current varies from pixel to pixel. Is known (see, for example, Patent Document 1). Also, the dark current amount varies from pixel to pixel due to variations in the characteristics of the pixels themselves.
[Prior art documents]
[Patent Literature]
[Patent Document 1] JP 2012-120076 A
このため、画素値の読出タイミングの差により生じる暗電流の変動、および、画素自体のばらつきによる暗電流の変動の両方を考慮した補正値を生成することが好ましい。また、撮像素子を遮光して補正用画像を取得する場合、補正用画像の画素値を読み出している間は本画像を取得することができないので、補正用画像の画素値の読み出しを短期間で行うことが好ましい。 For this reason, it is preferable to generate a correction value that takes into account both fluctuations in dark current caused by differences in readout timing of pixel values and fluctuations in dark current due to variations in the pixels themselves. In addition, when acquiring a correction image while shielding the image sensor, the main image cannot be acquired while the pixel value of the correction image is being read. Preferably it is done.
本発明の第１の態様においては、撮像装置は、複数の行ラインに配列された画素を有する撮像素子と、画素の画素値に対する補正値を算出する場合に、複数の行ラインを間引いた一部の行ラインの画素値を行ライン毎に順次読み出す読出制御部と、一部の行ラインに含まれる各行ラインの読出タイミングと各行ラインの画素値との関係を近似した第１近似直線と、一部の行ラインよりも多い行を読み出した場合の各行ラインの読出タイミングと各行ラインの画素値との関係を近似した、第１近似直線と異なる第２近似直線と、に基づいて複数の行ラインの各行ラインに対する補正値を算出する補正値算出部とを備える。
In the first aspect of the present invention, an imaging device includes an imaging device having pixels arranged in a plurality of row lines and a thinned-out plurality of row lines when calculating correction values for the pixel values of the pixels. A read controller that sequentially reads out the pixel values of the row lines for each row line, a first approximate line that approximates the relationship between the readout timing of each row line included in some row lines and the pixel value of each row line; A plurality of rows based on a second approximate line different from the first approximate line, which approximates the relationship between the readout timing of each row line and the pixel value of each row line when more rows than some of the row lines are read. A correction value calculation unit that calculates a correction value for each line of the line.
本発明の第２の態様においては、処理ユニットは、第１の態様における補正値算出部を備える。本発明の第３の態様においては、プログラムは、コンピュータを、第１の態様における補正値算出部として機能させる。 In the second aspect of the present invention, the processing unit includes the correction value calculation unit in the first aspect. In the third aspect of the present invention, the program causes the computer to function as the correction value calculation unit in the first aspect.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図１は、撮像装置１０の要部の模式断面を示す。まず、撮像装置１０の構成の概要について説明する。なお、本例では撮像装置１０として一眼レフカメラを示すが、撮像装置１０は一眼レフカメラに限定されない。撮像装置１０は、撮像素子３６の各画素の電荷を一斉にリセットして、画素値を順次読み出すグローバルリセットローリング読み出し方式のカメラであればよい。
FIG. 1 shows a schematic cross section of the main part of the
本例の撮像装置１０は、レンズユニット２０がカメラユニット３０に装着されて、カメラとして機能する。レンズユニット２０は、光軸１１に沿って配列され鏡筒２６に支持されたレンズ系２１を備える。撮像レンズの一例としてのレンズ系２１は、入射される被写体光束をカメラユニット３０へ導く。レンズ系２１は、前玉２２およびレンズ群２３と、絞り２８とを含む。レンズ群２３は、フォーカスおよびズームを担う。
In the
鏡筒２６は、レンズ回路基板２７を支持する。レンズ回路基板２７は、レンズユニット２０を制御する各種回路、電子素子等を搭載している。レンズユニット２０は、カメラユニット３０との接続部にレンズマウント２９を備え、カメラユニット３０が備えるカメラマウント３１と係合して、カメラユニット３０と一体化する。レンズマウント２９とカメラマウント３１とはそれぞれ通信端子を備えており、マウント同士が係合したときに互いの通信端子が接続される。これにより、レンズ回路基板２７に搭載された各種回路、電子素子等は、カメラユニット３０側と電気的に接続される。
The lens barrel 26 supports the lens circuit board 27. The lens circuit board 27 is mounted with various circuits, electronic elements and the like for controlling the
カメラユニット３０は、レンズユニット２０から入射される被写体光束を反射するメインミラー３２と、メインミラー３２で反射された被写体光束が結像するピント板３３を備える。メインミラー３２は、ミラーボックス内で、ミラーボックスの側壁に支持されたメインミラー回転軸４０周りに揺動する。メインミラー３２は、光軸１１を中心とする被写体光束中に斜設される斜設状態と、被写体光束から退避した退避状態とを取り得る。サブミラー３４は、メインミラー３２が被写体光束から退避する場合に、メインミラー３２に連動して被写体光束から退避する。
The
メインミラー３２は、ライブビュースイッチが押し下げられた場合、または、レリーズボタンが最下部まで押し下げられた場合、破線で示した退避状態を取る。例えば、メインミラー３２が被写体光束中に斜設された状態で、ライブビュースイッチが押し下げられた場合またはレリーズボタンが最下部まで押し下げられた場合、メインミラー３２は破線で示した退避位置に移動する。
The
ライブビュースイッチが押し下げられた場合、メインミラー３２は再度ライブビューボタンが押し下げられるまで退避位置に留まる。一方、レリーズボタンが押し下げられた場合は、所定の撮像動作を終えると、メインミラー３２はダウンされ元の斜設状態の位置に戻される。
When the live view switch is depressed, the
フォーカルプレーンシャッタ４１および撮像素子３６は、光軸１１に沿って配列されている。撮像素子３６は、撮像素子基板４２に形成される。メインミラー３２およびサブミラー３４が退避状態である場合に、被写体光束は、レンズ系２１を透過してカメラユニット３０へ入射し、ミラーボックス内部と開放状態のフォーカルプレーンシャッタ４１を通過して、撮像素子３６の受光面で結像する。
The
撮像素子３６は、受光面で結像した被写体像を電気信号として出力する複数の画素を有する。撮像素子３６は、複数の行ラインおよび列ラインを有しており、各ラインには複数の画素が配列される。各画素は、光電変換素子を含む。撮像素子３６としては、ＣＭＯＳセンサ、ＣＣＤセンサ等を例示することができる。メイン基板４３には、撮像素子３６で光電変換された電気信号を処理する画像処理部５５、カメラユニット３０の全体を制御するカメラシステム制御部５０等を実装する電気素子が搭載されている。
The
遮光部の一例としてのフォーカルプレーンシャッタ４１は、撮像素子３６への入射光を遮光するか否かを切り替える。本例における撮像装置１０は、被写体の本画像を取得する直前に、暗電流を補正するための補正用画像を取得する。補正用画像を取得する場合、フォーカルプレーンシャッタ４１は閉状態に制御され、撮像素子３６への光束を遮光する。撮像素子３６は、フォーカルプレーンシャッタ４１が閉状態に制御された状態で生じた電荷を蓄積する。画像処理部５５は、撮像素子３６の各画素が蓄積した電荷に応じた電気信号を画素値として読み出して、暗電流を補正する補正値を生成する。
A
カメラユニット３０の背面には液晶モニタ等による表示ユニット５３が配設されている。表示ユニット５３は、被写体を撮像した撮像素子３６の各画素が出力した画素値から生成された画像を表示する。表示ユニット５３は、撮像した画像に限らず、各種メニュー情報、撮像情報、告知情報等を表示する。ライブビュー時には、被写体に対して焦点調節をしながら、撮像素子３６の受光面に結像した被写体像の画素値から画像処理部５５によって表示用画像データが生成され、生成された表示用画像データを用いて表示ユニット５３が被写体像を表示する。
A
ピント板３３は、撮像素子３６の受光面と共役の位置に配置されている。メインミラー３２が斜設状態にある場合、ピント板３３で結像した被写体像は、ペンタプリズム３７で正立像に変換され、接眼光学系３８を介してユーザに観察される。ペンタプリズム３７の射出面上方には、測光素子３９が配置される。測光素子３９は、測光光学系３５を介して、被写体を撮像する光電変換素子である。また、測光素子３９が備える光電変換素子により検出された被写体像の輝度分布は、シャッタスピード、絞り値等を決定するためにカメラシステム制御部５０において使用される。
The
斜設状態におけるメインミラー３２の光軸１１の近傍領域は、ハーフミラーとして形成されており、入射される被写体光束の一部が透過する。透過した被写体光束は、メインミラー３２と連動して揺動するサブミラー３４で反射されて、合焦ユニット５２へ導かれる。合焦ユニット５２に導かれた被写体光束は、合焦ユニット５２内の合焦光学系を通じて合焦センサへ入射される。
A region near the optical axis 11 of the
合焦センサは、複数の焦点調整領域のそれぞれにおいて合焦状態、前ピン状態、後ピン状態を示す位相差検出信号を出力する。前ピン状態、後ピン状態の場合には、位相差検出信号は合焦状態からのずれ量も示す。カメラシステム制御部５０は、位相差検出方式による位相差ＡＦ（オートフォーカス）によって、レンズユニット２０の焦点調節を行う。
The focus sensor outputs a phase difference detection signal indicating the focus state, the front pin state, and the rear pin state in each of the plurality of focus adjustment regions. In the case of the front pin state and the rear pin state, the phase difference detection signal also indicates the amount of deviation from the focused state. The camera
カメラユニット３０には着脱可能な二次電池４８が収容される。二次電池４８は、カメラユニット３０に限らず、レンズユニット２０にも電力を供給する。電源がＯＮされた場合に、二次電池４８から撮像装置１０の各部に電力が供給される。閃光部６０は、被写体を照明する照明光としての閃光を発光する。閃光部６０は、二次電池４８からの電力を受けてキセノンランプ等から閃光を発光させる。
The
図２は、撮像装置１０のシステム構成を概略的に示すブロック図である。撮像装置１０のシステムは、レンズユニット２０とカメラユニット３０のそれぞれに対応して、レンズシステム制御部２５を中心とするレンズ制御系と、カメラシステム制御部５０を中心とするカメラ制御系により構成される。そして、レンズ制御系とカメラ制御系は、レンズマウント２９とカメラマウント３１とによって接続される通信端子を介して、相互に各種データ、制御信号の授受を行う。
FIG. 2 is a block diagram schematically showing the system configuration of the
読出制御部の一例としてのカメラシステム制御部５０は、撮像素子３６の画素の画素値を、行ライン毎に順次読み出す。カメラ制御系に含まれる画像処理部５５は、カメラシステム制御部５０からの指示に従って、読み出された本画像の画素値を処理して画像データを生成する。生成された画像データは、表示制御部５９へ送られて、例えば撮影後の一定時間の間、表示ユニット５３に表示される。これに並行して、本画像の画像データは、予め定められた画像フォーマットに加工され、外部接続ＩＦ５６を介して外部メモリに記録される。
A camera
また、画像処理部５５は、測光素子３９の出力を受けて被写体環境の明るさを算出する。算出された明るさ情報は、カメラシステム制御部５０において適正露出の演算に用いられる。自動露出（ＡＥ）で制御される場合、カメラシステム制御部５０は適正露出に従って露光時間、絞り２８等を制御して、撮像素子３６で露出する。
In addition, the
また、カメラシステム制御部５０は、被写体の本画像を取得する直前に、暗電流を補正するための補正用画像を取得して、画像処理部５５に伝送する。カメラシステム制御部５０は、補正用画像を取得する場合に、撮像素子３６に含まれる複数の行ラインを間引いた一部の行ラインの画素値を行ライン毎に順次読み出す。
Further, the camera
処理ユニットの一例としての画像処理部５５は、当該一部の行ラインの画素値から暗電流を補正する補正値を算出する補正値算出部６７と、当該補正値に基づいて本画像の画像データを補正する補正部６８とを有する。本例の補正値算出部６７は、行ライン毎に平均した画素値に応じた値を、各行ラインの補正値とする。本例の補正部６８は、本画像の各画素値から、対応する補正値を減算する。
The
カメラメモリ５７は、例えばフラッシュメモリ等の不揮発性メモリであり、撮像装置１０を制御するプログラム、各種変数、パラメータ等を記憶する役割を担う。ワークメモリ５８は、例えばＲＡＭ等の高速アクセスできるメモリであり、処理中の画像データを一時的に保管する役割などを担う。
The
駆動部５１は、カメラシステム制御部５０からの指令に従ってメインミラー３２およびサブミラー３４、フォーカルプレーンシャッタ４１、閃光部６０等を駆動する。操作入力部５４は、レリーズボタン、撮像モードダイヤル等の操作部材がユーザに操作されたことを検出して、カメラシステム制御部５０へ出力する。
The
電源制御部４９は、二次電池４８と通信して残電力を検出する。また電源制御部４９は、撮像装置１０の各部への電力供給を制御する。電源制御部４９は、二次電池４８の他、家庭用ＡＣ電源等からの電力供給を制御してよい。
The
レンズシステム制御部２５は、カメラシステム制御部５０からの制御信号を受けて各種動作を制御する。レンズメモリ２４は、レンズ固有の情報およびレンズシステム制御部２５が実行するプログラム等を記憶している。レンズ固有の情報は、通信端子を介してカメラシステム制御部５０に送信され、カメラユニット３０において、カメラシステム制御部５０および画像処理部５５等で利用される。
The lens
図３は、補正用画像を取得する場合に画素値が読み出される行ライン７０の配列の一例を示す。上述したように、撮像素子３６は、複数の行ライン７０を有する。カメラシステム制御部５０は、補正用画像を取得する場合に、撮像素子３６に含まれる複数の行ライン７０を間引いた一部の行ライン７０の画素値を行ライン毎に順次読み出す。つまり、カメラシステム制御部５０は、複数の行ライン７０のうち、互いに離間する一部の行ライン７０の画素値を読み出し、他の行ライン７０の画素値を読み出さない。図３においては、画素値が読み出される行ライン７０を斜線で示す。
FIG. 3 shows an example of an array of
また、カメラシステム制御部５０は、１／ｎに間引いた行ライン７０の画素値を連続して読み出す。これにより、行ラインの数を１／ｎに間引いた補正用画像の画素値を読み出す期間は、本画像の画素値を読み出す期間の１／ｎとなる。これにより、補正用画像の画素値を短期間に取得することができる。本例のカメラシステム制御部５０は、複数の行ライン７０を等間隔に間引いた一部の行ライン（７０−１、７０−（ｎ＋１）、７０−（２ｎ＋１）、・・・、７０−（ｋｎ＋１））の画素値を読み出す。補正値算出部６７は、行ライン７０毎に平均した画素値を算出する。なお、ｎは２以上の整数、ｋは１以上の整数である。図３の例では、ｎ＝３である。
Further, the camera
図４は、読出タイミングの差により生じる暗電流の変動を算出する処理例を示す。図４の横軸は各行ライン７０の読出タイミングを示し、縦軸は各行ライン７０の画素値を示す。図４においては、間引きされた各行ライン７０−１〜７０−（ｋｎ＋１）の画素値をプロットしている。
FIG. 4 shows an example of processing for calculating fluctuations in dark current caused by differences in readout timing. The horizontal axis in FIG. 4 indicates the read timing of each
補正値算出部６７は、読出タイミングに対する画素値の変動を近似した第１近似直線８０−１を算出する。本例の補正値算出部６７は、最小二乗法等の方法で第１近似直線８０−１を算出する。補正値算出部６７は、複数の行ライン７０を間引かずに読み出した場合の最終行ラインの読出タイミングまで第１近似直線８０−１を外挿する。間引き率がｎであり、間引かれた行ライン７０の画素値の読み出しが終了するタイミングをＴとすると、行ライン７０を間引かずに読み出した場合の最終行ラインの読出タイミングはｎＴで表される。
The correction
各画素の暗電流量は、リセットタイミングから読出タイミングまでの期間に比例して増大する。このため、読出タイミング０〜Ｔまでの期間におけるデータから算出した第１近似直線８０を、読出タイミングｎＴまでの期間で外挿することで、本画像を取得する場合における全ての行ライン７０に対して、読出タイミングの差により生じる暗電流の変動を推測することができる。
The dark current amount of each pixel increases in proportion to the period from the reset timing to the read timing. Therefore, by extrapolating the first approximate line 80 calculated from the data in the period from the
図５は、各行ライン７０に含まれる画素のばらつきにより生じる暗電流の変動を算出する処理例を示す。補正値算出部６７は、間引いて読み出された各行ライン７０の読出タイミングを、間引かずに読み出された場合に当該行ライン７０が読み出されるべき読出タイミングに変換する。本例では、行ライン７０は間引き率ｎで等間隔に間引かれるので、間引いて読み出された各行ライン７０の読出タイミングをｎ倍することで、間引かずに読み出された場合の読出タイミングに変換できる。
FIG. 5 shows an example of processing for calculating fluctuations in dark current caused by variations in pixels included in each
補正値算出部６７は、変換後の読出タイミングに対する画素値の変動を近似した第２近似直線８０−２を算出する。このとき、画素値（図５の縦軸）の大きさは、読出タイミングの変換前後で変化しない。補正値算出部６７は、第１近似直線８０−１と同一の最小二乗法等の方法で第２近似直線８０−２を算出する。なお、補正値算出部６７は、第１近似直線８０−１の傾きを１／ｎ倍することで第２近似直線８０−２を算出してもよい。補正値算出部６７は、各画素値の第２近似直線８０−２に対する差分Ｄ１、Ｄｎ＋１、・・・、Ｄｋｎ＋１を算出する。当該差分が、画素のばらつきにより生じる暗電流の変動に対応する。
The correction
また、補正値算出部６７は、画素値が既知の行ライン７０の間の行ライン７０の画素値を、補間法により算出する。例えば補正値算出部６７は、線形補間により各行ライン７０の画素値を算出する。補正値算出部６７は、補間された各行ライン７０に対しても、差分Ｄを算出する。例えば、行ライン７０−１と行ライン７０−（ｎ＋１）との間にある行ライン７０−２、・・・、７０−ｎの画素値を、行ライン７０−１の画素値および行ライン７０−（ｎ＋１）の画素値を用いて線形補間することで算出する。
Further, the correction
図６は、各行ライン７０に対する補正値を算出する処理例を示す。なお図６において、白抜きの矩形で示されるプロットは、上述した線形補間により画素値を算出した行ライン７０を示す。補正値算出部６７は、第１近似直線８０−１と、差分Ｄ１、Ｄ２、・・・、Ｄｋｎ＋１に基づいて、全ての行ライン７０に対する補正値を算出する。具体的には、補正値算出部６７は、第１近似直線８０−１に、差分Ｄ１、Ｄ２、・・・、Ｄｋｎ＋１を重畳する。これにより、補正値算出部６７は、間引きされた行ライン７０の画素値の第２近似直線８０−２に対する差分を、間引かずに読み出した場合の当該各行ライン７０の読出タイミングにおける第１近似直線８０−１に重畳することができる。
FIG. 6 shows an example of processing for calculating a correction value for each
これにより、読出タイミングの差により生じる暗電流の変動と、画素のばらつきにより生じる暗電流の変動の両方を含んだ、各行ライン７０の暗電流を算出することができる。補正値算出部６７は、当該暗電流の値を補正値として用いる。なお、間引き読み出しされた行ライン７０のうち、最終の行ライン７０−（ｋｎ＋１）以降に行ライン７０−（ｋｎ＋２）等が存在する場合、当該行ライン７０に対応する差分としてＤｋｎ＋１を用いてよい。
As a result, the dark current of each
また、補正値算出部６７は、第２近似直線８０−１と画素値との差分を算出する処理に代えて、図４に示した読出タイミングを変換する前の各画素値と、第１近似直線８０−１との差分Ｄ１、Ｄｎ＋１、・・・、Ｄｋｎ＋１を算出してもよい。この場合、補正値算出部６７は、当該差分Ｄ１、Ｄｎ＋１、・・・、Ｄｋｎ＋１に対応する読出タイミングを、図５に示したようにｎ倍して変換する。補正値算出部６７は、読出タイミングを変換した各差分Ｄ１、Ｄｎ＋１、・・・、Ｄｋｎ＋１の間を補間して、差分Ｄ１、Ｄ２、・・・、Ｄｋｎ＋１を算出する。そして、補正値算出部６７は、当該差分Ｄ１、Ｄ２、・・・、Ｄｋｎ＋１を、第１近似直線８０−１に重畳する。この場合、補正値算出部６７は、第２近似直線８０−２を算出しなくともよい。
In addition, the correction
また、補正値算出部６７は、画素値を線形補間して全ての行ライン７０の画素値を算出する処理に代えて、差分Ｄを線形補間することで、全ての行ライン７０に対応する差分Ｄを算出してもよい。このように、補正値算出部６７は、第１近似直線８０−１と、いずれかの近似直線８０および画素値との差分とに基づいて、多様な方法で補正値を算出することができる。
In addition, the correction
図７は、画像処理部５５の動作例を示すフローチャートである。まず、画像処理部５５には、図３に示したように補正用画像の画素値を間引き読み出ししたデータが入力される（Ｓ１０２）。補正用画像の撮像および画素値の取得は、本画像を取得するための準備を行っている間に実行することが好ましい。例えば、画像処理部５５は、被写体を撮像するためにメインミラー３２等の構造物を可動している間に、補正用画像の画素値を取得する。また、画像処理部５５は、本画像のシャッタ秒時の長さに関わらず、補正用画像の画素値を取得してよい。
FIG. 7 is a flowchart illustrating an operation example of the
次に、画像処理部５５は、読み出した画素値のうち、予め欠陥であることがわかっている画素の画素値を補正する（Ｓ１０４）。例えば、画像処理部５５は、欠陥画素に隣接する画素の画素値を用いて補間することで、欠陥画素の画素値を算出する。画像処理部５５には、いずれの画素が欠陥画素であるかを示すマップが予め記録される。
Next, the
次に、補正値算出部６７は、補正用画像の列ライン毎の平均画素値を算出する（Ｓ１０６）。補正値算出部６７は、当該平均画素値を、列ラインの位置と対応付けてワークメモリ５８に記録する。次に、補正値算出部６７は、補正用画像の行ライン毎の平均画素値を算出する（Ｓ１０８）。補正値算出部６７は、当該平均画素値を、読出タイミングを示す情報と対応付けてワークメモリ５８に記録する。当該情報は、行ラインの位置情報であってよい。
Next, the correction
次に、補正値算出部６７は、図４に示した第１近似直線８０−１を算出する（Ｓ１１０）。次に、補正値算出部６７は、図５に示したように、各画素値に対応する読出タイミングの値をｎ倍して、間引き読み出しした行ライン７０の画素値の横軸上の位置を、本画像において対応する行ライン７０の位置に変換する（Ｓ１１２）。次に、補正値算出部６７は、図５に示した第２近似直線８０−２を算出する（Ｓ１１４）。次に、補正値算出部６７は、画素値が未知の行ライン７０について、補間法により画素値を算出する（Ｓ１１６）。そして、補正値算出部６７は、図６に示すように、第２近似直線８０−２と各画素値との差分を、第１近似直線８０−１に重畳する（Ｓ１１８）。これにより、行ライン毎の補正値を算出することができる。補正値算出部６７は、当該補正値を、ワークメモリ５８に記録する。
Next, the correction
次に、画像処理部５５は、本画像の画像データを取得する（Ｓ１２０）。そして、補正部６８は、Ｓ１０６で算出した列ライン毎の平均画素値と、Ｓ１１８で算出した行ライン毎の補正値とに基づいて、本画像の画像データを補正する（Ｓ１２２）。例えば補正部６８は、行ライン毎の補正値と、列ライン毎の平均画素値とを組み合わせて、画素毎の補正値を算出する。より具体的には、補正部６８は、行ライン毎の補正値と、列ライン毎の平均画素値とを乗算した結果に基づいて、当該行ラインおよび列ラインが交差する画素に対する補正値を算出してよい。画像処理部５５は、補正後の本画像の画像データを、カメラメモリ５７、外部メモリ等に記録する。
Next, the
なお、補正値算出部６７は、Ｓ１１０およびＳ１１４において第１近似直線８０−１および第２近似直線８０−２を算出する場合に、間引き読み出しした行ライン７０のうち、最初に読み出された行ライン７０および最後に読み出された行ライン７０の少なくとも一方の画素値を用いなくともよい。補正値算出部６７は、近似直線８０を算出する場合に、間引き読み出しした行ライン７０のうち、最初の数行および最後の数行の画素値を用いなくともよい。端部よりの画素は、中央よりの画素に比べて、周辺回路の発熱等の外部の影響を受けやすいので、端部よりの画素を除外することでより精度よく近似直線８０を算出することができる。これに対し、第１近似直線８０−１に差分Ｄを重畳する場合には、間引き読み出しした全ての行ライン７０に関する差分Ｄを用いることが好ましい。
The correction
また、カメラシステム制御部５０は、補正用画像を取得する場合、および、本画像を取得する場合のいずれにおいても、相関２重サンプリングを行ってよい。相関２重サンプリングとは、各画素の電荷をリセットした直後に読み出した画素値と、所定の読出タイミングで読み出した画素値との差分を算出することで、トランジスタ、アンプ等の回路に起因する雑音等を低減する方法である。
In addition, the camera
図８は、複数の画素を列ライン単位で複数の領域に分割した分割領域７４の例を示す。本例の補正値算出部６７は、各行ライン７０における分割領域７４毎に、図４から図７に関連して説明した補正値を算出する。例えば補正値算出部６７は、図７に示したＳ１０８の処理において、各行ライン７０における分割領域７４毎に、平均画素値を算出する。
FIG. 8 shows an example of a divided region 74 obtained by dividing a plurality of pixels into a plurality of regions in units of column lines. The correction
それぞれの分割領域７４に含まれる列ラインの数は同一であってよく、異なっていてもよい。一例として、中央の分割領域７４に含まれる列ラインの数を、他の分割領域７４に含まれる数より多くしてよい。また、より読出タイミングが遅い分割領域７４ほど、列ラインの数を少なくしてもよい。 The number of column lines included in each divided region 74 may be the same or different. As an example, the number of column lines included in the central divided region 74 may be larger than the number included in other divided regions 74. Further, the number of column lines may be reduced in the divided region 74 having a later reading timing.
図９は、補正用画像を取得する場合に画素値が読み出される行ライン７０の配列の他の例を示す。カメラシステム制御部５０は、補正値を複数回算出する場合に、複数の行ライン７０のうち、前回とは異なる一部の行ライン７０の画素値を読み出す。例えばカメラシステム制御部５０は、１回目の補正値算出時には、図３に示したように、行ライン７０−１、７０−（ｎ＋１）、７０−（２ｎ＋１）、・・・の画素値を読み出し、２回目の補正値算出時には、図９に示したように、行ライン７０−２、７０−（ｎ＋２）、・・・の画素値を読み出す。
FIG. 9 shows another example of an array of
また、カメラシステム制御部５０は、補正値を所定の回数算出したときに、全ての行ライン７０が一度は読み出しされるように、間引き読み出しする行ライン７０を選択してよい。例えばｎ＝３の場合において、１回目の補正値算出時には行ライン７０−１、７０−（ｎ＋１）、７０−（２ｎ＋１）、・・・の画素値を読み出し、２回目の補正値算出時には行ライン７０−２、７０−（ｎ＋２）、・・・の画素値を読み出し、３回目の補正値算出時には行ライン７０−３、７０−（ｎ＋３）、・・・の画素値を読み出す。これにより、補正値を３回算出したときに、全ての行ライン７０の画素値が読み出される。
Further, the camera
この場合、補正値算出部６７は、図５および図６に関連して説明した補間された画素値に代えて、前回以前の補正値算出時に取得した画素値を用いて補正値を算出することができる。補正値算出部６７は、予め定められた期間内に取得された画素値を用いて補正値を算出してよい。カメラシステム制御部５０は、間引き読み出しした行ライン７０の画素値を、取得した時期に関する情報と対応付けて、カメラメモリ５７に記録する。
In this case, the correction
図１０は、カメラメモリ５７に記録された画素値データの一例を示す。カメラシステム制御部５０は、補正用画像から取得した画素値データを、その取得時期を示す情報と共に、カメラメモリ５７に記録する。また、カメラメモリ５７は、それぞれの画素値データが、いずれの行ライン７０についてのデータであるかを示す情報を更に記録する。補正値算出部６７は、カメラメモリ５７に記録された画素値データのうち、予め定められた期間内に取得されたデータを用いて補正値を算出してよい。
FIG. 10 shows an example of pixel value data recorded in the
また、カメラメモリ５７は、それぞれの画素値を取得したときの撮像素子３６の温度に関する情報を、それぞれの画素値データと対応付けて更に記録する。この場合、撮像素子３６には温度センサが設けられる。補正値算出部６７は、カメラメモリ５７から、現在の撮像素子３６の温度に対して所定の範囲内の温度に対応付けられた画素値データを読み出し、読み出した画素値データに基づいて補正値を算出する。補正値算出部６７は、現在の撮像素子３６の温度と同一の温度に対応付けられた画素値データを読み出してよい。これにより、それぞれの行ライン７０の画素値として、補間データではなく実測したデータを用いて補正値を算出することができる。
Further, the
上記の説明において、カメラシステム制御部５０の動作として説明した処理は、カメラシステム制御部５０がプログラムに従って撮像装置１０が有する各ハードウェアを制御することにより実現される。また、上記の説明において画像処理部５５により実現される処理は、プロセッサによって実現することができる。例えば、画像処理部５５の動作として説明した処理は、プロセッサがプログラムに従って撮像装置１０が有する各ハードウェアを制御することにより実現される。
In the above description, the processing described as the operation of the camera
すなわち、本実施形態の撮像装置１０に関連して説明した処理は、プロセッサがプログラムに従って動作して各ハードウェアを制御することにより、プロセッサ、メモリ等を含む各ハードウェアとプログラムとが協働して動作することにより実現することができる。すなわち、コンピュータ装置を、カメラシステム制御部５０および画像処理部５５として機能させることができる。コンピュータ装置は、コンピュータ装置に上述した処理を実行させるプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体から当該プログラムをロードすることができる。
That is, the processing described in relation to the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
１０ 撮像装置、１１ 光軸、２０ レンズユニット、２１ レンズ系、２２ 前玉、２３ レンズ群、２４ レンズメモリ、２５ レンズシステム制御部、２６ 鏡筒、２７ レンズ回路基板、２９ レンズマウント、３０ カメラユニット、３１ カメラマウント、３２ メインミラー、３３ ピント板、３４ サブミラー、３５ 測光光学系、３６ 撮像素子、３７ ペンタプリズム、３８ 接眼光学系、３９ 測光素子、４０ メインミラー回転軸、４１ フォーカルプレーンシャッタ、４２ 撮像素子基板、４３ メイン基板、４８ 二次電池、４９ 電源制御部、５０ カメラシステム制御部、５１ 駆動部、５２ 合焦ユニット、５３ 表示ユニット、５４ 操作入力部、５５ 画像処理部、５６ 外部接続ＩＦ、５７ カメラメモリ、５８ ワークメモリ、５９ 表示制御部、６０ 閃光部、６７ 補正値算出部、６８ 補正部、７０ 行ライン、７４ 分割領域、８０ 近似直線
DESCRIPTION OF
Claims (14)
前記画素の画素値に対する補正値を算出する場合に、前記複数の行ラインを間引いた一部の行ラインの画素値を行ライン毎に順次読み出す読出制御部と、
前記一部の行ラインに含まれる各行ラインの読出タイミングと前記各行ラインの画素値との関係を近似した第１近似直線と、前記一部の行ラインよりも多い行を読み出した場合の前記各行ラインの読出タイミングと前記各行ラインの画素値との関係を近似した、前記第１近似直線と異なる第２近似直線と、に基づいて前記複数の行ラインの各行ラインに対する前記補正値を算出する補正値算出部と
を備える撮像装置。 An imaging device having pixels arranged in a plurality of row lines;
When calculating a correction value for the pixel value of the pixel, a readout control unit that sequentially reads out the pixel values of some row lines obtained by thinning the plurality of row lines for each row line;
The first approximate line that approximates the relationship between the readout timing of each row line included in the some row lines and the pixel value of each row line, and each row when more rows are read than the some row lines. Correction for calculating the correction value for each row line of the plurality of row lines based on a second approximate line different from the first approximate line, which approximates the relationship between the line readout timing and the pixel value of each row line An imaging device comprising: a value calculation unit.
請求項１から３のいずれか一項に記載の撮像装置。 The correction value calculation unit is configured to read a straight line approximating a change in pixel value of each row line with respect to a reading timing of each row line included in the partial row line, when the plurality of row lines are read out without being thinned out. the imaging apparatus according to any one of claims 1 to calculate the first approximate straight line by extrapolating to read out timing of the row lines 3.
請求項４に記載の撮像装置。 The correction value calculation unit is configured to read a difference between the pixel values of the row lines included in the partial row lines with respect to the second approximate line without reading out the plurality of row lines. The imaging device according to claim 4 , wherein the imaging device is superimposed on a value of the first approximate straight line at a readout timing.
前記第１近似直線および第２近似直線の少なくとも一方を算出する場合には、前記一部の行ラインに含まれる行ラインのうち、最初に読み出された行ラインおよび最後に読み出された行ラインの少なくとも一方の画素値を用いず、
前記第１近似直線に前記差分を重畳する場合には、前記一部の行ラインに含まれる全ての行ラインに関する前記差分を用いる
請求項５に記載の撮像装置。 The correction value calculation unit
When calculating at least one of the first approximate line and the second approximate line, of the row lines included in the partial row line, the first read row line and the last read row Do not use the pixel value of at least one of the lines
The imaging device according to claim 5 , wherein when the difference is superimposed on the first approximate straight line, the difference regarding all row lines included in the partial row line is used.
請求項１から６のいずれか一項に記載の撮像装置。 The imaging according to any one of claims 1 to 6 , wherein the correction value calculation unit uses an average pixel value of the plurality of pixels included in each row line as a pixel value of each row line of the partial row line. apparatus.
請求項１から７のいずれか一項に記載の撮像装置。 The reading control unit, when calculating the correction value, according to any one of claims 1 to 7 for reading a pixel value of said plurality of said portion of the row lines of the row line is thinned out at regular intervals Imaging device.
前記読出制御部は、前記補正値を算出する場合に、前記遮光部が前記画素を遮光状態にしている間に、前記一部の行ラインの画素値を読み出す
請求項１から８のいずれか一項に記載の撮像装置。 Further comprising a light-shielding portion for making the pixels light-shielded;
The reading control unit, when calculating the correction value, while the light-shielding portion is the pixel in the light blocking state, any one of claims 1 to 8 for reading the pixel value of the portion of the row line The imaging device according to item.
請求項１から９のいずれか一項に記載の撮像装置。 The reading control unit, when calculating a plurality of times the correction value, among the plurality of row lines, to any one of claims 1 to read the pixel values of the different portion of the row line 9 from the previous The imaging device described.
前記補正値算出部は、前記メモリから、現在の前記撮像素子の温度に対して予め定められた範囲内の温度に対応付けられた前記画素値を読み出し、読み出した前記画素値に基づいて前記補正値を算出する
請求項１０に記載の撮像装置。 A memory that records the pixel values of the part of the row lines read by the read control unit in association with the temperature of the image sensor when the read control unit reads the pixel values;
The correction value calculation unit reads out the pixel value associated with a temperature within a predetermined range with respect to the current temperature of the image sensor from the memory, and performs the correction based on the read pixel value. The imaging device according to claim 10 , wherein a value is calculated.
請求項１から１１のいずれか一項に記載の撮像装置。 The imaging device according to any one of claims 1 to 11 , wherein the correction value calculation unit calculates the correction value for each divided region obtained by dividing the pixel into a plurality of regions in units of column lines.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013163034A JP6229363B2 (en) | 2013-08-06 | 2013-08-06 | Imaging apparatus, processing unit, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013163034A JP6229363B2 (en) | 2013-08-06 | 2013-08-06 | Imaging apparatus, processing unit, and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017202964A Division JP2018011364A (en) | 2017-10-19 | 2017-10-19 | Imaging apparatus, processing unit, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015033067A JP2015033067A (en) | 2015-02-16 |
| JP6229363B2 true JP6229363B2 (en) | 2017-11-15 |
Family
ID=52518033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013163034A Active JP6229363B2 (en) | 2013-08-06 | 2013-08-06 | Imaging apparatus, processing unit, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6229363B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020061605A (en) | 2018-10-05 | 2020-04-16 | ソニーセミコンダクタソリューションズ株式会社 | Solid-state imaging device, drive method and electronic equipment |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4161660B2 (en) * | 2002-09-25 | 2008-10-08 | 日本ビクター株式会社 | Imaging device and dark current data updating method for imaging device |
| JP5219778B2 (en) * | 2008-12-18 | 2013-06-26 | キヤノン株式会社 | Imaging apparatus and control method thereof |
| JP2013118563A (en) * | 2011-12-05 | 2013-06-13 | Nikon Corp | Imaging apparatus |
-
2013
- 2013-08-06 JP JP2013163034A patent/JP6229363B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015033067A (en) | 2015-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6263035B2 (en) | Imaging device | |
| US8730374B2 (en) | Focus detection apparatus | |
| US20130314564A1 (en) | Image capturing apparatus and image processing method | |
| JP2010271670A (en) | Imaging apparatus | |
| US11290648B2 (en) | Image capture apparatus and control method thereof | |
| JP6175748B2 (en) | Imaging device | |
| JP2015111252A (en) | Imaging device, imaging device control method, program, and storage medium | |
| JP6960755B2 (en) | Imaging device and its control method, program, storage medium | |
| JP6229363B2 (en) | Imaging apparatus, processing unit, and program | |
| JP5436139B2 (en) | Imaging device | |
| US9113098B2 (en) | Image pickup apparatus and control method thereof, image pickup system, and non-transitory computer-readable storage medium | |
| WO2017010027A1 (en) | Imaging device, signal processing method, and signal processing program | |
| JP2018011364A (en) | Imaging apparatus, processing unit, and program | |
| JP5961058B2 (en) | Imaging apparatus and control method thereof, image processing apparatus and control method thereof | |
| JP2012063664A (en) | Photometric device and electronic camera | |
| JP5423140B2 (en) | Photometric device and imaging device | |
| JP6395790B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND FOCUS CONTROL PROGRAM | |
| JP6573382B2 (en) | Imaging apparatus and photometric method | |
| JP6566800B2 (en) | Imaging apparatus and imaging method | |
| JP2016010008A (en) | Imaging device and noise correction method | |
| JP5836673B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM | |
| JP7079161B2 (en) | Imaging device and its control method | |
| JP5375471B2 (en) | Imaging device | |
| JP2015080114A (en) | Image-capturing device, control method therefor, program, and recording medium | |
| JP2015128226A (en) | Imaging device, method of controlling the same, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160715 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170321 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170411 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170612 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170810 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170919 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171002 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6229363 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |