JP2018137586A - Image pick-up device and electronic apparatus - Google Patents
Image pick-up device and electronic apparatus Download PDFInfo
- Publication number
- JP2018137586A JP2018137586A JP2017030370A JP2017030370A JP2018137586A JP 2018137586 A JP2018137586 A JP 2018137586A JP 2017030370 A JP2017030370 A JP 2017030370A JP 2017030370 A JP2017030370 A JP 2017030370A JP 2018137586 A JP2018137586 A JP 2018137586A
- Authority
- JP
- Japan
- Prior art keywords
- defect
- image data
- temperature
- correction
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、画像撮像装置及びそれを用いた電子機器に関する。 The present invention relates to an image pickup apparatus and an electronic apparatus using the same.
ＣＭＯＳラインセンサなどの固体画像撮像装置に搭載される画素部分には、欠陥を含む画素が含まれることがある。画素部での光電変換により発生する電荷以外に、欠陥による暗電流が発生する。このような欠陥画素から得られる画像は本来の画像よりも明るくなってしまう。特にラインセンサにおいては、欠陥画素の影響が縦筋状の傷となって目立つ。 A pixel portion mounted on a solid-state image pickup device such as a CMOS line sensor may include a pixel including a defect. In addition to charges generated by photoelectric conversion in the pixel portion, dark current due to defects is generated. An image obtained from such defective pixels is brighter than the original image. Particularly in a line sensor, the influence of defective pixels is conspicuous as a vertical streak.
そこで、対象とする画像を撮像する前に、画素を遮光した状態において遮光画像を取得し、欠陥画素と周辺の正常画素各々から得られる画像データの差分を評価することで欠陥画素の位置を特定し、画像処理により欠陥画素位置部分の画像を補正する技術が考えられ既に知られている。 Therefore, before capturing the target image, acquire the light-shielded image in the state where the pixels are light-shielded, and identify the position of the defective pixel by evaluating the difference between the image data obtained from the defective pixel and the surrounding normal pixels. However, a technique for correcting an image at a defective pixel position by image processing has been considered and already known.
例えば特許文献１においては、欠陥データを補正する目的で、固体撮像素子の欠陥画素からの撮像信号を出力する際には、記憶手段からの欠陥データに基づいたデータの信号が補正手段にて温度補正がなされた後に供給され、撮像信号にこの信号を重畳することで、温度に応じた最適な補正を行う技術が開示されている。 For example, in Patent Document 1, when an imaging signal is output from a defective pixel of a solid-state imaging device for the purpose of correcting defect data, a data signal based on the defect data from the storage unit is output by the correction unit. A technique is disclosed that is supplied after correction is performed, and that this signal is superimposed on an imaging signal to perform optimal correction according to temperature.
また、例えば特許文献２においては、欠陥データを補正する目的で、欠陥画素の欠陥の種類を示すモードコードを判別する判別手段と、温度を検出する温度検出手段とを用いて、モードコードに応じた温度補正手段により選択的に温度補正処理を施す技術が開示されている。
For example, in
しかし、特許文献１及び２では、温度依存のある欠陥データを、温度状況を監視して補正することができるが、欠陥画素位置の検出、欠陥データの検出手段に関して処理に要する時間が多大となるという問題点があった。
However, in
本発明の目的は以上の問題点を解決し、欠陥画素から得られる画像データを補正する補正処理にかかる時間を削減することができる画像撮像装置を提供することにある。 An object of the present invention is to solve the above-described problems and to provide an image pickup apparatus capable of reducing the time required for correction processing for correcting image data obtained from defective pixels.
本発明の一態様にかかる画像撮像装置は、
欠陥が含まれる欠陥画素の位置情報を検出し、前記欠陥画素に含まれる欠陥起因情報を検出する欠陥情報検出手段と、
撮像時の温度を検出する温度検出手段と、
前記温度検出手段で得た温度情報に基づいて、前記欠陥起因情報を補正するための補正手段とを備えた画像撮像装置において、
前記欠陥情報検出手段は、前記欠陥画素から得られる画像データ中に含まれる欠陥起因情報を一定に保持し、
前記補正手段は、前記欠陥起因情報を含む遮光画像データを用いて、撮像された被写体画像データから欠陥起因情報を除去するように補正することを特徴とする。
An image pickup apparatus according to one embodiment of the present invention includes:
Defect information detection means for detecting position information of a defective pixel including a defect and detecting defect cause information included in the defective pixel;
Temperature detection means for detecting the temperature at the time of imaging;
In an image pickup apparatus comprising correction means for correcting the defect cause information based on temperature information obtained by the temperature detection means,
The defect information detecting means holds constant the defect cause information included in the image data obtained from the defective pixels,
The correction means performs correction so as to remove the defect cause information from the captured subject image data by using the light-shielded image data including the defect cause information.
従って、本発明に係る画像撮像装置によれば、欠陥画素から得られる画像データを補正する補正処理にかかる時間を削減することができる。 Therefore, according to the image pickup apparatus of the present invention, it is possible to reduce the time required for correction processing for correcting image data obtained from defective pixels.
以下、本発明に係る実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。 Hereinafter, embodiments according to the present invention will be described with reference to the drawings. In addition, in each following embodiment, the same code | symbol is attached | subjected about the same component.
図１は本発明の実施形態にかかる画像撮像装置１００の構成例を示すブロック図である。図１において、画像撮像装置１００は、光電変換素子１と、画像処理装置２と、コントローラ１０とを備えて構成される。ここで、光電変換素子１は例えばＣＭＯＳリニアセンサに用いる。光電変換素子１は、画素部１１と、ＡＤ変換部１２と、欠陥情報検出部１３と、欠陥情報保持メモリ１４と、温度検出部１５と、温度補正係数保持メモリ１６と、欠陥データ補正部１７と、画像データ処理部１８とを備える。画像処理装置２は、画像データ保持メモリ２１と、固定オフセット除去部２２と、画像データ処理部２３とを備える。
FIG. 1 is a block diagram illustrating a configuration example of an
図１において、画素部１１は、露光期間に受ける光量を電荷量に光電変換する複数の画素を備え、光電変換された画素信号をＡＤ変換部１２に出力する。ＡＤ変換部１２は画素部１１からの画素信号をデジタル画素信号である画像データに変換して欠陥データ補正部１７に出力する。温度検出部１５は、撮像時の温度を検出してその情報を欠陥データ補正部１７に出力する。温度補正係数保持メモリ１６は欠陥データへの温度補正に用いる係数を保持して欠陥データ補正部１７に出力する。欠陥情報検出部１３は画素部１１において欠陥が含まれる画素（欠陥画素）に関する情報を検出して欠陥情報保持メモリ１４に出力する。欠陥情報保持メモリ１４は画素部１１における欠陥画素の位置とその欠陥のデータを保持して欠陥データ補正部１７に出力する。欠陥データ補正部１７は、詳細後述するように、欠陥画素から得られる画像データに対して欠陥データの補正を行って欠陥レベル補正後の画像データを画像データ処理部１８に出力する。画像データ処理部１８は欠陥データの補正を行った画像データに対して所定の画像処理を行って、出力画像データを画像処理装置２の画像データ保持メモリ２１に出力する。
In FIG. 1, the
従って、光電変換素子１は、コントローラ１０からの制御に応じて撮像動作を行い、得られた画像データに対して、欠陥データ補正処理と所定の画像処理を施したデジタルデータを後段の画像処理装置２に転送する。光電変換素子１から画像処理装置２への画像データ転送は例えば専用のデジタル信号バスを用いて行われる。
Therefore, the photoelectric conversion element 1 performs an imaging operation in accordance with control from the
画像処理装置２において、画像データ保持メモリ２１は光電変換素子１から転送される画像データを保持して固定オフセット除去部２２に出力する。固定オフセット除去部２２は、入力される画像データに対して、画素毎のオフセットのバラツキを補正して画像データ処理部２３に出力する。画像データ処理部２３は、入力される画像データに対して所定の各種の画像処理を行って出力画像データを出力する。ここで、画像データ処理部２３で所定の画像処理を行った画像データは、例えば、画像データ保存用のメモリなどへ転送される。
In the
コントローラ１０は光電変換素子１と画像処理装置２の動作を制御し、また光電変換素子１への被写体露光制御及び遮光制御も行う。なお、図１の構成図では、実施形態として本発明が必要とする構成のみを記載する。
The
次いで、光電変換素子１内に配置されている画素部１１について以下に説明する。
Next, the
画素部１１には光電変換を行う画素が複数配置されている。各画素の上にはカラーフィルタが配置されており、それぞれ異なる波長の光のみを透過する。各画素では、露光により入射した特定波長域に限られた光を電荷へと変換する光電変換が行われる。後段のＡＤ変換部１２により光電変換により発生した電荷量を示す画素信号をデジタル信号に変換することで、入射光量に応じた画像データが得られる。
A plurality of pixels that perform photoelectric conversion are arranged in the
正常な画素では、遮光された状態、つまり光を受けず光電変換による電荷が発生しない状況下において、全ての画素から得られる画像データは均一なデータとなる。一方、欠陥画素では、その欠陥部分で発生する暗電流の影響により、正常画素とは異なるレベルの画像データとなってしまう。光電変換により得られる電荷量に、暗電流に起因するノイズが加算されるためである。 In a normal pixel, image data obtained from all the pixels is uniform data in a light-shielded state, that is, in a situation where no charge is generated by photoelectric conversion without receiving light. On the other hand, in the defective pixel, the image data has a level different from that of the normal pixel due to the influence of the dark current generated in the defective portion. This is because noise due to dark current is added to the amount of charge obtained by photoelectric conversion.
欠陥による暗電流の量は温度の上昇と依存して指数関数的に増加する。また、欠陥による暗電流の量は露光期間に比例して増加する。つまり、使用状況によって欠陥画素からの画像データ中に占める欠陥起因のデータ量は変動する。 The amount of dark current due to defects increases exponentially with increasing temperature. The amount of dark current due to defects increases in proportion to the exposure period. In other words, the amount of data due to defects in the image data from the defective pixels varies depending on the use situation.
欠陥を補正せず撮像を行うと、欠陥画素から得られる画像データは高いレベルになる。画像では本来よりも白く見える。ラインセンサでの場合には、得られた画像に縦筋となって見えてしまうため、画像品質が低下する。低温状態では目立たなくても、高温状態になるにつれて目立つようになる。また、欠陥画素からの画像データを採用せず、周囲の正常画素から得られる画像から、欠陥画素部分の画像を補間する手法もある。しかし、ラインセンサだと、同一カラーを撮像している画素は１行しか配置されておらず、補間に使用できる周辺画素が少ないため画像品質低下を招く。欠陥画素が含まれる場合は、製造後のテスト工程で不良品と判断することも可能だが、欠陥画素の発生を防ぐことは困難であり、結果歩留りが低下しコストアップとなる。 When imaging is performed without correcting the defect, the image data obtained from the defective pixel is at a high level. The image looks whiter than it should be. In the case of a line sensor, the obtained image appears as vertical stripes, and the image quality deteriorates. Even if it is not conspicuous in the low temperature state, it becomes conspicuous as the temperature becomes high. There is also a method of interpolating an image of a defective pixel portion from an image obtained from surrounding normal pixels without employing image data from the defective pixel. However, in the case of a line sensor, only one row of pixels that capture the same color is arranged, and there are few peripheral pixels that can be used for interpolation, resulting in a reduction in image quality. If a defective pixel is included, it can be determined as a defective product in a test process after manufacturing, but it is difficult to prevent the generation of a defective pixel, resulting in a decrease in yield and an increase in cost.
本実施形態では、欠陥画素が含まれる光電変換素子であっても、温度変化による欠陥データの変動の影響を受けず、一定の画像品質を得るための欠陥補正手段を提供することを一つの目的とする。また、欠陥画素が含まれている場合でも、補正により正常画素と同等に扱えるようにすることで、製造歩留りを向上し、コストダウンを図ることを一つの目的とする。前記の目的を果たすための手段を短時間で実行し、被写体撮像までに要する時間を短縮する。撮像スループット低下を防ぎつつ、上メリットを得ることを目的とする。 One object of the present embodiment is to provide a defect correcting means for obtaining a constant image quality without being affected by a variation in defect data due to a temperature change even in a photoelectric conversion element including a defective pixel. And Another object is to improve the manufacturing yield and reduce the cost by making it possible to handle the defective pixel in the same way as a normal pixel by correction. Means for fulfilling the above-mentioned purpose is executed in a short time, and the time required for subject imaging is shortened. An object is to obtain the above merit while preventing a decrease in imaging throughput.
図１に示した画像撮像装置１００では、電源投入後、または、被写体撮像開始前に欠陥画素情報の取得を行う。
In the
図２は図１のコントローラ１０によって実行される画像撮像制御処理を示すフローチャートである。すなわち、図２において、欠陥画素情報取得から、被写体撮像を行うまでの画像撮像装置１００による画像撮像制御処理を示す。以降に示す画像撮像装置１００の画像撮像制御処理では、本実施形態に関係する内容のみを記載する。
FIG. 2 is a flowchart showing an image capturing control process executed by the
図２において、画素部１１に対して遮光を行い（Ｓ１）、欠陥情報取得処理（図３のＳ２）を実行し、温度補正係数の設定処理（Ｓ３）を行い、画素部１１に対して露光する（Ｓ４）。そして最後に被写体撮像処理（図６のＳ５）を行う。
In FIG. 2, the
図３は図２のサブルーチンである欠陥情報取得処理を示すフローチャートである。また、図４は図３のサブルーチンである欠陥情報取得処理を示すフローチャートである。さらに、図５は図３のサブルーチンである欠陥画素出力データ取得処理を示すフローチャートである。 FIG. 3 is a flowchart showing defect information acquisition processing which is a subroutine of FIG. FIG. 4 is a flowchart showing defect information acquisition processing which is a subroutine of FIG. Further, FIG. 5 is a flowchart showing defective pixel output data acquisition processing which is a subroutine of FIG.
図３において、まず、欠陥情報検出部１３が欠陥画素位置情報取得処理（Ｓ１１）を実行することで、欠陥画素の特性のうち欠陥による暗電流の量が露光期間に比例する特性を利用して欠陥画素の位置を特定する。遮光された状態で、露光期間を十分に長くとって画像データを取得すると（図４のＳ２１）、正常画素からは理想とする遮光画像データに近いレベルの画像データが得られる。そして欠陥画素からは、理想とする遮光画像データとはかけ離れたレベルの画像データが得られる（図４のＳ２２）。ここで、欠陥画素位置情報を取得する処理（図４のＳ２３）の一例を以下に示す。
In FIG. 3, first, the defect
光電変換素子１において、遮光画像データを取得するための露光期間を被写体撮像時の露光期間Ｔの例えば１０倍とする（図５のＳ３１）。また、欠陥画素で発生する暗電流の影響を大きくするため、ＡＤ変換部１２及びその前段に配置される増幅器などのゲインは、設定しうる最大値に設定にする。所定のしきい値よりも短い短期の露光期間（１０×Ｔ）で遮光画像を１ライン分取得し、事前にコントローラ１０より与えられる所定の制限値を超える遮光画像データが得られた画素には欠陥が含まれる画素として、その位置情報を取得する（図５のＳ３２，Ｓ３３）。
In the photoelectric conversion element 1, the exposure period for acquiring the light-shielded image data is set to, for example, 10 times the exposure period T at the time of subject imaging (S31 in FIG. 5). Further, in order to increase the influence of dark current generated in the defective pixel, the gains of the
以上の実施形態では、露光期間を被写体撮像時の１０倍としたが、コントローラ１０により自由に設定してもよい。また、前記実施形態では判別に用いるしきい値をコントローラ１０から設定したが、長時間露光での遮光画像取得を行う前に、短時間露光での遮光画像を取得し、画像データの最大値を算出して長時間露光の欠陥有無判別のしきい値としてもよい。画素部１１の各画素又はＡＤ変換部１２の実際のバラツキを加味して最適なしきい値を決定することができる。さらに、欠陥画素から得られる画像データが最大値となる場合を考慮して、しきい値に上限を設定する手段を設けてもよい。所定の上限値を超えない場合は、該最大値をしきい値として採用する。前記上限値を超える場合は上限値をしきい値とする。上限値は、正常画素から得られる遮光画像データにプロセル上のバラツキを加味して設定しておく。上述のように得られた欠陥画素位置情報は、欠陥情報保持メモリ１４にて保持される。
In the embodiment described above, the exposure period is set to 10 times that during imaging of the subject, but may be set freely by the
欠陥位置情報取得処理（Ｓ１１）にて得られた遮光画像データは、光電変換素子１でのみ使用する。画像処理装置２では特に必要としないため、光電変換素子１から画像処理装置２へ画像データを転送する必要はない。
The shading image data obtained in the defect position information acquisition process (S11) is used only by the photoelectric conversion element 1. Since it is not particularly necessary in the
欠陥画素出力データ取得処理（図５のＳ１２）において、まず、露光期間を被写体撮像時に使用予定の露光期間と同等に設定して遮光画像データを取得する（Ｓ３１）。次いで、欠陥画素情報取得処理（Ｓ１１）で得た位置に配置された画素から得られる遮光画像データを取得する（Ｓ３２）。画像データは画素や回路に起因するばらつきが含まれているため、複数回数の撮像を行い、その平均値を算出して欠陥画素ｎの欠陥データとして取得する（Ｓ３３）する。 In the defective pixel output data acquisition process (S12 in FIG. 5), first, the exposure period is set to be equal to the exposure period scheduled to be used when the subject is imaged, and the shaded image data is acquired (S31). Next, shaded image data obtained from the pixels arranged at the position obtained in the defective pixel information obtaining process (S11) is obtained (S32). Since the image data includes variations due to pixels and circuits, imaging is performed a plurality of times, and the average value is calculated and acquired as defect data of the defective pixel n (S33).
また、正常画素から得られる画像データの平均値も取得する。欠陥を含まなくても、画素あるいは回路部分起因による一定のオフセットが存在する。欠陥画素から得られる遮光画像データにも、同様にオフセット成分が含まれている。欠陥画素から得られる遮光画像データから欠陥起因のデータ量を特定する必要があるために予めオフセットデータ量を測定し、温度補正の対象外とする。オフセット成分は画素毎にばらつくため、複数回数の遮光画像撮像を行い、その平均値を算出して正常画素群の持つオフセットデータとする。 Also, an average value of image data obtained from normal pixels is acquired. Even if the defect is not included, there is a certain offset due to the pixel or circuit portion. Similarly, the shading image data obtained from the defective pixel also includes an offset component. Since it is necessary to specify the data amount due to the defect from the light-shielded image data obtained from the defective pixel, the offset data amount is measured in advance and excluded from the temperature correction target. Since the offset component varies from pixel to pixel, the shaded image is captured a plurality of times, and the average value is calculated as offset data of the normal pixel group.
本実施形態では、ある光電変換素子の画素部に欠陥画素が一つだけ含まれていると仮定しその画素をｎとする。また、欠陥画素出力データ取得処理（Ｓ１２）を実行したときの温度を基準温度Ｔ１とする。また、正常画素から得られる遮光画像データ平均値を平均オフセットデータＤ０とする。また、欠陥画素出力データ取得処理（Ｓ１２）により、欠陥画素ｎから得られた遮光画像データから、正常画素群より得られる平均オフセットデータＤ０を減じたデータを基準欠陥データＤ１［ｎ］とする。欠陥画素出力データ取得処理（Ｓ１２）で得られた遮光画像データは、後述する固定オフセット除去部２２により固定オフセット除去処理を実行するための基準黒画像データとして画像処理装置２へと転送される。また、欠陥画素出力データ取得処理（Ｓ１２）の実行中の温度情報Ｔ１はコントローラ１０へと転送される。
In the present embodiment, it is assumed that the pixel portion of a certain photoelectric conversion element includes only one defective pixel, and that pixel is n. Further, the temperature when the defective pixel output data acquisition process (S12) is executed is set as a reference temperature T1. In addition, the average value of light-shielded image data obtained from normal pixels is set as average offset data D0. In addition, data obtained by subtracting the average offset data D0 obtained from the normal pixel group from the light-shielded image data obtained from the defective pixel n by the defective pixel output data acquisition process (S12) is set as reference defect data D1 [n]. The shaded image data obtained in the defective pixel output data acquisition process (S12) is transferred to the
次いで、温度補正係数の設定（図２のＳ３）について以下に説明する。 Next, the setting of the temperature correction coefficient (S3 in FIG. 2) will be described below.
欠陥画素出力データ取得処理（Ｓ１２）で得た温度情報に基づいて、温度Ｔ１を中心として、温度差が発生した時の欠陥データ補正係数を算出して光電変換素子１内の温度補正係数保持メモリ１６に格納する。前述したように、光電変換素子１に配置される画素は、例え欠陥を含まない正常な画素であっても画素毎に異なる固定のオフセットを持っている。画像処理装置では、その画素毎のオフセットのバラツキを除去するオフセット除去部が備えられていることが一般的である。オフセット除去処理で用いる基準黒画像データとして、欠陥画素出力データ取得処理（Ｓ１２）で得た画像データを用いる。基準黒画像データには、欠陥起因のデータが含まれている。 Based on the temperature information obtained in the defective pixel output data acquisition process (S12), a defect data correction coefficient when a temperature difference occurs around the temperature T1 is calculated, and a temperature correction coefficient holding memory in the photoelectric conversion element 1 is calculated. 16. As described above, the pixels arranged in the photoelectric conversion element 1 have different fixed offsets for each pixel even if they are normal pixels that do not include defects. In general, an image processing apparatus includes an offset removing unit that removes variations in offset for each pixel. The image data obtained in the defective pixel output data acquisition process (S12) is used as the reference black image data used in the offset removal process. The reference black image data includes data resulting from defects.
図６は図２の被写体撮像処理（Ｓ５）を示すフローチャートである。図６において、まず、ステップＳ４１において、温度変化を検出したか否かを判断し、ＹＥＳのときはステップＳ４２に進む一方、ＮＯのときはステップＳ４３に進む。ステップＳ４２では温度補正係数を変更した後、ステップＳ４３では、画像データを取得する。以下、これらの処理について詳述する。 FIG. 6 is a flowchart showing the subject imaging process (S5) of FIG. In FIG. 6, first, in step S41, it is determined whether or not a temperature change is detected. If YES, the process proceeds to step S42, and if NO, the process proceeds to step S43. After changing the temperature correction coefficient in step S42, image data is acquired in step S43. Hereinafter, these processes will be described in detail.
図７は温度Ｔ１の状況下で欠陥画素の画像データＷ１［ｎ］を補正する図１の欠陥データ補正部１７の構成例を示すブロック図である。また、図８は温度Ｔ１の状況下で欠陥画素の画像データＷ１［ｎ］を補正する欠陥データ補正及び固定オフセット除去を示す信号レベルのグラフである。図７において、欠陥データ補正部１７は例えば乗算器１７ａと減算器１７ｂとを備えて構成される。
FIG. 7 is a block diagram illustrating a configuration example of the defect
被写体画像取得時には、光電変換素子１において欠陥画素からの画像データに対して補正を行う。撮像開始後しばらくは、先述の欠陥画素情報取得時の温度Ｔ１とほぼ温度差は無いと想定される。温度変化が発生していないため（Ｔ１が一定）、欠陥画素から得られる画像データＷ１［ｎ］に対しての欠陥データ補正は行わない。温度Ｔ１での欠陥画素から得られた被写体画像データＷ１［ｎ］には、Ｄ１［ｎ］の欠陥起因データが含まれている。光電変換素子１から画像処理装置へと転送される画像データＷ１ａ［ｎ］にも同等量の欠陥起因データが含まれる。Ｗ１ａ［ｎ］には、先述した欠陥画素出力データ取得処理（Ｓ１２）で得られた遮光画像データに含まれる欠陥データと同等のレベルの欠陥データＤ１［ｎ］が含まれている。このため、画像処理装置２にて行われる固定オフセット除去部２２により欠陥による影響Ｄ１［ｎ］を除去することにより、欠陥成分を含まない画像データＷ１ｂ［ｎ］を得る。
When the subject image is acquired, the photoelectric conversion element 1 corrects the image data from the defective pixel. For a while after the start of imaging, it is assumed that there is almost no temperature difference from the temperature T1 when the defective pixel information is acquired. Since no temperature change has occurred (T1 is constant), defect data correction is not performed on the image data W1 [n] obtained from the defective pixel. The subject image data W1 [n] obtained from the defective pixel at the temperature T1 includes defect cause data of D1 [n]. The image data W1a [n] transferred from the photoelectric conversion element 1 to the image processing apparatus also includes the same amount of defect cause data. W1a [n] includes defect data D1 [n] having the same level as the defect data included in the light-shielded image data obtained in the above-described defective pixel output data acquisition process (S12). Therefore, by removing the influence D1 [n] due to the defect by the fixed offset removing
図９は温度Ｔ１から温度Ｔ２に変化した状況下で欠陥画素の画像データＷ１［ｎ］を補正する欠陥データ補正及び固定オフセット除去（画像品質低下）を示す信号レベルのグラフである。 FIG. 9 is a signal level graph showing defect data correction and fixed offset removal (image quality deterioration) for correcting the image data W1 [n] of the defective pixel under the condition where the temperature T1 changes to the temperature T2.
上述のように、そのまま撮像を続けると、各装置や装置周辺環境の影響により温度上昇或いは温度低下が発生する。温度変化（Ｔ１→Ｔ２）が発生すると、欠陥起因のデータ量が変化する（Ｄ１［ｎ］→Ｄ２［ｎ］）ため、先述と全く同じ被写体画像を撮像したとしても得られる画像データが画像データＷ２［ｎ］に変化している。温度Ｔ１で取得した欠陥データＤ１［ｎ］での欠陥画像データでは欠陥データの温度変化の影響を除去できずに、ずれが生じる（図９参照）。 As described above, if imaging is continued as it is, a temperature increase or a temperature decrease occurs due to the influence of each device and the surrounding environment of the device. When the temperature change (T1 → T2) occurs, the data amount due to the defect changes (D1 [n] → D2 [n]). Therefore, even if the same subject image as that described above is captured, the image data obtained is image data. It has changed to W2 [n]. In the defect image data with the defect data D1 [n] acquired at the temperature T1, the influence of the temperature change of the defect data cannot be removed, and a shift occurs (see FIG. 9).
図１０は温度Ｔ２の状況下で欠陥画素の画像データＷ２［ｎ］を補正する図１の欠陥データ補正部１７の構成例を示すブロック図である。図１１は温度Ｔ２の状況下で欠陥画素の画像データＷ２［ｎ］を補正する欠陥データ補正及び固定オフセット除去を示す信号レベルのグラフである。
FIG. 10 is a block diagram illustrating a configuration example of the defect
図９のずれが発生する場合には、温度補正係数保持メモリ１６により保持された係数Ｃｏｅｆｆ（ΔＴ）を用いて、欠陥データ補正に用いる欠陥補正値に補正をかける。光電変換素子１では、温度変化量ΔＴ＝Ｔ２−Ｔ１を算出して温度補正係数保持メモリ１６に入力する。温度補正係数保持メモリ１６には、基準温度Ｔ１を中心として、温度変化が発生した場合の補正係数Ｃｏｅｆｆ（ΔＴ）が格納されている。図１０に示すように、温度変化量ΔＴに対応した係数Ｃｏｅｆｆ（ΔＴ）を選択して乗算器１７ａに出力する。乗算器１７ａは、基準温度Ｔ１での欠陥データＤ１［ｎ］に対して補正係数Ｃｏｅｆｆ（ΔＴ）を乗算することで、温度Ｔ１からＴ２に変化したことによる、欠陥レベルの変化で補正データΔＤ［ｎ］を得る。さらに、減算器１７ｂは、画像データＷ２［ｎ］から補正データΔＤ［ｎ］を減算することで、温度Ｔ１時と同等の欠陥起因データＤ１［ｎ］を含む被写体画像データＷ２ａ［ｎ］を取得できる。画像処理装置２にて行われる固定オフセット除去部２２により欠陥による影響Ｄ１［ｎ］が除去された出力画像データＷ２ｂ［ｎ］を得る。
When the deviation of FIG. 9 occurs, the coefficient correction value used for defect data correction is corrected using the coefficient Coeff (ΔT) held by the temperature correction
以上説明したように、本実施形態によれば、前記の機能を光電変換素子１に実装することで、被写体撮像時の温度変化に追従し、欠陥画素から得られる画像データ中に含まれる欠陥に起因したデータを一定に保つことが可能になる。光電変換素子１内でのデジタル信号処理による欠陥データ補正は、撮像により得られる画像データを順次処理するだけで、画像を一旦メモリなどへ保存する必要がないため高速に処理できる。また、光電変換素子１内に配置した画像データ処理部１８が所定の画像データ処理を実行する前の画像データに対して欠陥データ取得と欠陥データ補正を行うため、ＡＤ変換部１２相当の高精度での補正を行うことができる。
As described above, according to the present embodiment, by mounting the above function on the photoelectric conversion element 1, it follows the temperature change at the time of subject imaging, and the defect included in the image data obtained from the defective pixel is detected. The resulting data can be kept constant. The defect data correction by the digital signal processing in the photoelectric conversion element 1 can be processed at high speed because it only needs to sequentially process the image data obtained by imaging, and it is not necessary to temporarily store the image in a memory or the like. In addition, since the image
次いで、画像処理装置２では、欠陥位画素位置の検出、欠陥データ検出など欠陥画素への対策としての画像データ補正を実行する必要がなく、従来からある固定オフセット除去部２２を行うだけで、欠陥画素の影響を排除できる。すなわち、画像処理装置２で欠陥補正に伴う画像処理手段を新たに実装するなどの負担が発生しない。光電変換素子１から画像処理装置２へのデータ転送は、従来からある固定オフセット除去手段を実施するための基準黒画像データと、被写体画像データの転送のみである。
Next, in the
例えば、欠陥データを補正により取り除く（０にする）ことも可能である。しかし、この場合には、欠陥データ情報を取得するための遮光画像データ取得処理と、固定オフセット除去処理のための欠陥補正込みの遮光画像データ取得と、２回の遮光画像を取得しなければならない。本実施形態では、欠陥データを取り除くのではなく、欠陥データを一定に保つようにしたことで、欠陥データ情報を取得するための遮光画像データを固定オフセット除去部２２にも転用できる。これにより、欠陥情報を取得する行うことによる撮像スループット低下を防ぐことが出来る。ここで、欠陥画素が含まれていても補正が可能なため、製造時のテスト工程で不良品と判定する必要がなく、生産性向上に繋がり、結果コストを削減できる。
For example, defect data can be removed (set to 0) by correction. However, in this case, the shading image data acquisition process for acquiring the defect data information, the shading image data acquisition including defect correction for the fixed offset removal process, and the two shading images must be acquired. . In the present embodiment, the defect data is not removed, but the defect data is kept constant, so that the light-shielded image data for obtaining the defect data information can be diverted to the fixed offset removing
以上の実施形態では、欠陥画素を一つとしたが、複数の欠陥画素が存在したとしても、各欠陥画素に対して同様の処理を行うことですべての欠陥画素について同様の補正を行うことが可能である。 In the above embodiment, the number of defective pixels is one. However, even when there are a plurality of defective pixels, the same correction can be performed for all defective pixels by performing the same processing on each defective pixel. It is.
以上の実施形態では、温度補正係数をコントローラ１０から設定する構成としたが、光電変換素子１内で生成してもよい。この場合、撮像毎に取得した温度情報に基づいて、補正係数を算出する。ここで、温度補正係数保持メモリ１６は必要なく、撮像単位毎にリアルタイムに補正値を算出して、欠陥データ補正に適用すればよい。
In the above embodiment, the temperature correction coefficient is set from the
以上の実施形態では、温度補正係数保持メモリ１６には、基準温度からの温度差に応じた係数を格納しておくとしたが、係数を保持するメモリ数にも限界がある。この課題を解決するための手段として、基準温度Ｔ１からの所定のしきい値以上温度変化が大きくなった場合に、光電変換素子からコントローラ１０へと警告を発する手段を設けてもよい。例えば、基準温度から±１０゜Ｃに対応した温度補正係数を格納するためのメモリのみを搭載しておくことでメモリ規模を小さくできる。この場合、±１０゜Ｃ以上の温度変化が発生すると正しく温度変化による欠陥データ分を除去出来なくなる。このため、コントローラ１０に対して補正可能範囲外の温度変化が発生したことを伝える手段を設ける。コントローラ１０は必要に応じて、光電変換素子１を制御して再度の欠陥データ取得を行い、光電変換素子１内の基準温度Ｔ１と基準欠陥データＤ１［ｎ］を更新する。また、更新した基準温度Ｔ１に対応する温度補正係数を再設定する。以上の処理を行うことで、大きな温度変化が発生しても光電変換素子１による欠陥補正性能を維持出来る。なお、欠陥画素位置情報は欠陥情報保持メモリ１４に保持されているため再取得を行う必要はない。すなわち、欠陥画素位置情報の再取得は禁止される。
In the above embodiment, the temperature correction
図１２は図１の画像撮像装置１００を用いた電子機器２００の構成例を示すブロック図である。図１２において、電子機器２００は、図１の画像撮像装置１００と、例えばプリンタなどの画像印刷装置１１０とを備えて構成される。ここで、電子機器２００は、例えば複合機、コピー機などの電子機器である。
FIG. 12 is a block diagram illustrating a configuration example of an electronic device 200 using the
以上説明したように、本実施形態によれば、光電変換素子１により基準温度と基準欠陥データを取得し、その後は、その基準温度及び基準欠陥データに基づいて、温度変化量に応じた欠陥データ補正値の調整を行う。従って、画像処理装置２で得られる画像データは、常に温度変化による影響を受けない。温度変化による影響を受けないため、欠陥画素であっても、画素に入射された光から得られた画像データを抽出することが可能になり、欠陥部分を周辺画素の画像で補間する必要がないので、実際の被写体から得られる画像に近い画像を再現できる。また、光電変換素子１で、画素毎或いはフレーム毎の画像データ群に対しての演算処理を実行できるため、画像処理装置２を介さずに補正に必要な情報を収集できるので、欠陥データ補正に必要な情報取得、画像転送、画像処理にかかる時間を削減することができる。
As described above, according to this embodiment, the photoelectric conversion element 1 acquires the reference temperature and the reference defect data, and thereafter, the defect data corresponding to the temperature change amount based on the reference temperature and the reference defect data. Adjust the correction value. Therefore, the image data obtained by the
さらに、光電変換素子１での欠陥情報検出部１３（欠陥補正前）で得た画像データを、画像処理装置２での固定オフセット除去に用いる遮光画像データとして使用できるので、被写体撮像前の遮光画像取得回数を少なくでき、被写体撮像までの時間を短縮できる。ここで、欠陥画素が含まれていても画像品質が低下しないので、製造歩留りを上げコストを削減することができる。
Furthermore, since the image data obtained by the defect information detection unit 13 (before defect correction) in the photoelectric conversion element 1 can be used as the light-shielded image data used for the fixed offset removal in the
従来技術との相違点
従来技術に係る欠陥補正技術では、欠陥を含む画素からの出力を無効とし、周辺画素から得られた画像により補間する手法が考案されているが、欠陥画素への入射光を全て無視することになるため、画像品質が低下する。特にラインセンサでは、一つの色を再現するための画素行が１行しか配置されていないため、前述の周辺画素情報による補正を実施しようとしても、補正に使用できる周辺画素が少なくなるため画像品質低下が顕著に現れるという問題があった。
Differences from the prior art In the defect correction technology according to the prior art, a method has been devised in which the output from the pixel including the defect is invalidated and interpolation is performed based on the image obtained from the peripheral pixels. Will be ignored, and the image quality will deteriorate. In particular, in a line sensor, only one pixel row for reproducing one color is arranged. Therefore, even if an attempt is made to perform correction based on the peripheral pixel information described above, the number of peripheral pixels that can be used for correction is reduced, so image quality is reduced. There was a problem that the drop appeared remarkably.
前記従来技術では、欠陥画素への入射光を無視せず、画像データの補正を行う方法として、遮光状態で得られる欠陥画素による画像データから欠陥起因のデータ量を割り出し、被写体撮像時の画像データへの補正に用いる方法がある。欠陥画素から得られた画像データから欠陥起因のデータを差し引けば、欠陥起因のデータを除去できる。しかし、従来の技術は欠陥画素位置の検出や、欠陥データの検出手段に関して処理に要する時間が考慮されていないという問題があった。 In the prior art, as a method of correcting the image data without ignoring the incident light to the defective pixel, the amount of data caused by the defect is calculated from the image data of the defective pixel obtained in a light-shielded state, and the image data at the time of subject imaging There is a method that is used for correction. By subtracting the defect-derived data from the image data obtained from the defective pixel, the defect-derived data can be removed. However, the conventional technique has a problem that the time required for processing is not taken into consideration with respect to detection of a defective pixel position and detection means of defective data.
これに対して、本実施形態では、欠陥画素を含む光電変換素子１において、温度により欠陥画素の欠陥データが変化したとしても、欠陥画素から得られる画像データを適切に補正し、画像データとして採用できるため画像品質低下を防ぐことができる。また、補正処理にかかる時間を削減することが出来る処理手段を有する画像撮像装置１００を提供することができる。また、欠陥画素を含む光電変換素子において、温度により欠陥画素の欠陥データが変化したとしても、欠陥画素から得られる画像データを適切に補正し、画像データとして採用できるため画像品質低下を防ぐことができる。また、撮像処理にかかる時間を削減することができる。欠陥画素が含まれていても画像品質が劣化しないため、欠陥が含まれていても製品として使用することができ、製造歩留りを上げコストを削減できる。
In contrast, in the present embodiment, in the photoelectric conversion element 1 including a defective pixel, even if the defect data of the defective pixel changes due to temperature, the image data obtained from the defective pixel is appropriately corrected and used as image data. Therefore, it is possible to prevent the image quality from deteriorating. In addition, it is possible to provide the
１…光電変換素子、
２…画像処理装置、
１０…コントローラ、
１１…画素部、
１２…ＡＤ変換部、
１３…欠陥情報検出部、
１４…欠陥情報保持メモリ、
１５…温度検出部、
１６…温度補正係数保持メモリ、
１７…欠陥データ補正部、
１７ａ…乗算器、
１７ｂ…減算器、
１８…画像データ処理部、
２１…画像データ保持メモリ、
２２…固定オフセット除去部、
２３…画像データ処理部、
１００…画像撮像装置、
１１０…画像印刷装置、
２００…電子機器。
1 ... photoelectric conversion element,
2 ... image processing device,
10 ... Controller,
11 ... pixel part,
12 ... AD converter,
13 ... Defect information detection unit,
14: Defect information holding memory,
15 ... temperature detector,
16 ... Temperature correction coefficient holding memory,
17: Defect data correction unit,
17a ... multiplier,
17b ... subtractor,
18 ... image data processing unit,
21: Image data holding memory,
22: Fixed offset removing unit,
23. Image data processing unit,
100: Image pickup device,
110: Image printing apparatus,
200: Electronic equipment.
Claims (8)
撮像時の温度を検出する温度検出手段と、
前記温度検出手段で得た温度情報に基づいて、前記欠陥起因情報を補正するための補正手段とを備えた画像撮像装置において、
前記欠陥情報検出手段は、前記欠陥画素から得られる画像データ中に含まれる欠陥起因情報を一定に保持し、
前記補正手段は、前記欠陥起因情報を含む遮光画像データを用いて、撮像された被写体画像データから欠陥起因情報を除去するように補正することを特徴とする画像撮像装置。 Defect information detection means for detecting position information of a defective pixel including a defect and detecting defect cause information included in the defective pixel;
Temperature detection means for detecting the temperature at the time of imaging;
In an image pickup apparatus comprising correction means for correcting the defect cause information based on temperature information obtained by the temperature detection means,
The defect information detecting means holds constant the defect cause information included in the image data obtained from the defective pixels,
The image capturing apparatus according to claim 1, wherein the correction unit performs correction so as to remove the defect cause information from the captured subject image data using the light-shielded image data including the defect cause information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017030370A JP6878947B2 (en) | 2017-02-21 | 2017-02-21 | Image imager and electronic equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017030370A JP6878947B2 (en) | 2017-02-21 | 2017-02-21 | Image imager and electronic equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018137586A true JP2018137586A (en) | 2018-08-30 |
| JP6878947B2 JP6878947B2 (en) | 2021-06-02 |
Family
ID=63365786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017030370A Active JP6878947B2 (en) | 2017-02-21 | 2017-02-21 | Image imager and electronic equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6878947B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008118571A (en) * | 2006-11-07 | 2008-05-22 | Canon Inc | Imaging apparatus and its control method |
| JP2011188224A (en) * | 2010-03-09 | 2011-09-22 | Sony Corp | Temperature information output device, imaging apparatus, and temperature information output method |
| JP2012124778A (en) * | 2010-12-09 | 2012-06-28 | Canon Inc | Imaging apparatus, imaging processing method, and computer program |
-
2017
- 2017-02-21 JP JP2017030370A patent/JP6878947B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008118571A (en) * | 2006-11-07 | 2008-05-22 | Canon Inc | Imaging apparatus and its control method |
| JP2011188224A (en) * | 2010-03-09 | 2011-09-22 | Sony Corp | Temperature information output device, imaging apparatus, and temperature information output method |
| JP2012124778A (en) * | 2010-12-09 | 2012-06-28 | Canon Inc | Imaging apparatus, imaging processing method, and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6878947B2 (en) | 2021-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9066033B2 (en) | Defective pixel data correcting apparatus, image capturing apparatus, and method for correcting defective pixel data | |
| EP2161919B1 (en) | Read out method for a CMOS imager with reduced dark current | |
| JP5526014B2 (en) | Imaging device | |
| JP2009284424A (en) | Imaging apparatus, imaging method, and program | |
| JP2003204486A (en) | Imaging apparatus | |
| JP2010057114A (en) | Device and method for detecting/correcting defect | |
| JP2009033321A (en) | Image device, image processing method, and computer program | |
| JP2007019577A (en) | Solid-state image pickup device | |
| JP6878947B2 (en) | Image imager and electronic equipment | |
| WO2005004467A1 (en) | Electronic camera video signal correcting device | |
| JP2008288723A (en) | Imaging apparatus, imaging method, program, and integrated circuit | |
| JP2009105582A (en) | Noise correction circuit, imaging device and noise correction method | |
| JP2007174500A (en) | Imaging apparatus | |
| JP2007281759A (en) | Imaging device and imaging apparatus | |
| JP5251700B2 (en) | Imaging device | |
| JP6149615B2 (en) | Imaging device | |
| JP5404217B2 (en) | Imaging apparatus and control method thereof | |
| JP4397869B2 (en) | Smear correction method and smear correction circuit | |
| JP2007096607A (en) | Image processing apparatus | |
| JP2017143585A (en) | Imaging device | |
| JP2008141325A (en) | Imaging device and defect correction method | |
| JP7490939B2 (en) | Imaging device | |
| JP5794670B2 (en) | Imaging apparatus and imaging method | |
| JP2006108918A (en) | Imaging apparatus | |
| JP4952548B2 (en) | Noise detection device, imaging device, and noise detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200728 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200818 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210412 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6878947 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |