JP2013219665A - Imaging device, control method therefor, and program - Google Patents
Imaging device, control method therefor, and program Download PDFInfo
- Publication number
- JP2013219665A JP2013219665A JP2012090267A JP2012090267A JP2013219665A JP 2013219665 A JP2013219665 A JP 2013219665A JP 2012090267 A JP2012090267 A JP 2012090267A JP 2012090267 A JP2012090267 A JP 2012090267A JP 2013219665 A JP2013219665 A JP 2013219665A
- Authority
- JP
- Japan
- Prior art keywords
- defective pixel
- condition
- image
- imaging
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は撮像装置及びその制御方法に関し、特に撮像装置が用いる撮像素子の欠陥画素の補正技術に関する。 The present invention relates to an imaging apparatus and a control method thereof, and more particularly to a technique for correcting defective pixels of an imaging element used by the imaging apparatus.
撮像素子であるＣＭＯＳセンサ、ＣＣＤ等を構成する多くの画素には、結晶欠陥やダストなどにより正規の出力信号を発生しない欠陥画素が存在することが知られている。欠陥画素は、その出力信号レベルの時間的な変化の有無で主に２種類に分類できる。 It is known that in many pixels constituting a CMOS sensor, a CCD, or the like that is an image sensor, there is a defective pixel that does not generate a normal output signal due to crystal defects or dust. Defective pixels can be classified mainly into two types depending on whether or not the output signal level changes with time.
１つは、定常的に正規のレベルの出力信号を発生しない（本発明では異常出力と呼ぶ）定常欠陥画素、他の１つは、正規の出力信号と異常出力信号とが非定常的に出力される点滅欠陥画素である（ＲＴＳ(Random Telegraph Signal)ノイズとも言われる）。 One is a stationary defective pixel that does not regularly generate an output signal of a normal level (referred to as an abnormal output in the present invention), and the other is a non-stationary output of a normal output signal and an abnormal output signal. Blinking defective pixels (also referred to as RTS (Random Telegraph Signal) noise).
ＣＭＯＳセンサにおいては、定常欠陥画素と点滅欠陥画素では、異常出力時の出力特性として異なる特性を持つことが知られている。定常欠陥画素では、ダスト、開口むら等の感度依存性欠陥を除いた場合、受光部の結晶欠陥による白点欠陥が多くを占める。よって、本願では白点欠陥画素を定常欠陥画素と定義する。 In a CMOS sensor, it is known that a steady defective pixel and a blinking defective pixel have different characteristics as output characteristics at the time of abnormal output. In the case of stationary defect pixels, when sensitivity-dependent defects such as dust and aperture unevenness are removed, white spot defects due to crystal defects in the light receiving portion occupy most. Therefore, in the present application, a white point defective pixel is defined as a steady defective pixel.
この白点欠陥は暗信号増加を伴うため、異常出力レベルは、温度および蓄積時間に依存し、ほぼ安定的に発生する特性を有する。 Since this white spot defect is accompanied by an increase in dark signal, the abnormal output level depends on temperature and accumulation time, and has a characteristic that occurs almost stably.
一方、点滅欠陥画素は結晶欠陥が発生する箇所が定常欠陥画素の場合の受光部とは異なるため、異常出力レベルは温度および蓄積時間にほとんど依存せず、欠陥レベルも、プラス方向、ほぼ０、マイナス方向の３種類をランダムに発生する特性を有する。 On the other hand, the blinking defective pixel is different from the light receiving part in the case where the crystal defect occurs in the stationary defect pixel, so that the abnormal output level hardly depends on the temperature and the accumulation time, and the defect level is almost zero, It has the characteristic of randomly generating three types in the negative direction.
次に、点滅欠陥画素の結晶欠陥が発生する箇所を、図１０を用いて説明する。 Next, the location where the crystal defect of the blinking defective pixel occurs will be described with reference to FIG.
図１０は、ＣＭＯＳセンサの画素回路の一般的な構成を示す。
同図において、１００１は受光部であるフォトダイオード（ＰＤ）、１００２は蓄積された電荷をリセットするリセットＭＯＳトランジスタ、１００３は電荷検出を行うフローティングディフュージョン（ＦＤ）である。また、１００４は画素ソースフォロアＭＯＳトランジスタである。
FIG. 10 shows a general configuration of a pixel circuit of a CMOS sensor.
In the figure,
上述の定常欠陥画素の多くは、ＰＤ部（１００１）の結晶欠陥に因るものである。 Many of the above-described stationary defect pixels are due to crystal defects in the PD portion (1001).
一方、点滅欠陥画素は、画素ソースフォロア部（１００４）の結晶欠陥により、ＭＯＳトランジスタの界面準位で電子が捕獲、放出を繰り返すことでＲＴＳノイズを発生することによると考えられている。 On the other hand, the blinking defective pixel is considered to be caused by generation of RTS noise due to repeated capture and emission of electrons at the interface state of the MOS transistor due to crystal defects in the pixel source follower portion (1004).
上述した、非定常的に信号を出力する点滅欠陥画素の検出方法および補正方法として、以下が提案されている（特許文献１）。 The following has been proposed as a detection method and correction method of the above-described blinking defective pixel that outputs a signal non-stationarily (Patent Document 1).
複数の撮像によって得られる複数枚の検出対象画像データの各位置の画素の画素値の最大値を画素値とする最大値画像データと、欠陥画素検出用のしきい値を比較する。この比較により、点滅欠陥画素および異常出力レベルを検出し、異常レベルに基づき、そのレベルが大きい上位Ｎ個の欠陥画素を選択することで、異常出力レベルが大きい画素値の補正を優先的に行っている。 The maximum value image data having the pixel value of the maximum pixel value of the pixels at each position of the plurality of detection target image data obtained by the plurality of imaging is compared with the threshold value for detecting defective pixels. By this comparison, the blinking defective pixel and the abnormal output level are detected, and based on the abnormal level, the top N defective pixels having the highest level are selected, so that correction of the pixel value having the high abnormal output level is performed with priority. ing.
昨今のデジタルスチルカメラ、デジタルビデオカメラでは、
１、多画素化により撮像素子の微細化が進み、点滅欠陥画素の個数が一段と増加し、また
２、高感度化により、点滅欠陥画素の補正対象数が増加している。
With recent digital still cameras and digital video cameras,
1. With the increase in the number of pixels, miniaturization of the image sensor has progressed, and the number of blinking defective pixels has increased further. 2. With the increase in sensitivity, the number of blinking defective pixels to be corrected has increased.
１、２の事情により、上述の特許文献１に開示された従来技術では、本来補正すべき点滅欠陥画素の数の増加に対し、レベルが大きい上位の欠陥画素のみでは欠陥画素補正数に不足が生じ、高感度撮影時に白点キズが目立つケースがあった。
Due to the circumstances of 1 and 2, in the conventional technique disclosed in
この対策として、本来補正すべき点滅欠陥画素全てに対して補正を行うと、全画素数に対し点滅欠陥画素の占める割合が大きくなり、欠陥画素補正の誤補正の頻度が増えて解像度劣化問題が生じる。 As a countermeasure, if all the blinking defective pixels that should be corrected are corrected, the proportion of the blinking defective pixels increases with respect to the total number of pixels, and the frequency of erroneous correction of defective pixel correction increases, resulting in a resolution degradation problem. Arise.
特に、点滅欠陥画素の発生箇所である画素ソースフォロア部は、周囲の画素で共有に使用されるケースが昨今多い。例えば、画素ソースフォロア部を縦４画素で共有している場合、縦4画素が連なって点滅欠陥画素となる可能性が高い。すなわち欠陥画素が画面内のある領域に集中してしまうことになる。 In particular, in many cases, the pixel source follower portion where the blinking defective pixel is generated is commonly used by surrounding pixels. For example, when the pixel source follower part is shared by four vertical pixels, there is a high possibility that the four vertical pixels are connected to become a blinking defective pixel. That is, defective pixels are concentrated in a certain area in the screen.
通常、欠陥画素の補正は欠陥画素の周囲画素からの補間で行い、値を置き換える処理をする。欠陥画素が特定の画像領域に集中する場合や、全画素に対し欠陥画素の占める割合が大きい場合では、欠陥画素の周囲の画素も欠陥画素になる可能性が高くなり、周囲画素からの補間が正しい値の置き換えにならない頻度が高くなる。 Normally, defective pixels are corrected by interpolation from surrounding pixels of the defective pixel, and a process of replacing the value is performed. When defective pixels are concentrated in a specific image area, or when the proportion of defective pixels is large with respect to all pixels, the pixels around the defective pixels are likely to be defective pixels, and interpolation from surrounding pixels is possible. The frequency of not replacing the correct value increases.
低周波の被写体撮影時では影響が小さいが、高周波成分が含まれた被写体、例えばビル等を遠くから撮影した場合等では、周囲画素からの補間処理が正しい値の置き換えにならない頻度が高くなり、著しく解像度が劣化してしまう。 When shooting a low-frequency subject, the effect is small, but when shooting a subject containing a high-frequency component, such as a building from a distance, the frequency at which interpolation processing from surrounding pixels does not replace the correct value is high, The resolution will deteriorate significantly.
また、欠陥画素の補正対象数を増やすことは、欠陥画素のアドレスやレベルを記憶するためのメモリの容量を大きくする必要があるため、撮像装置のコストアップにもつながるという問題も発生する。 In addition, increasing the number of defective pixels to be corrected requires increasing the capacity of a memory for storing the address and level of the defective pixel, which causes a problem of increasing the cost of the imaging apparatus.
本発明はこのような従来技術の課題に鑑みてなされたもので、撮像装置のコストアップなしに、欠陥画素の補正対象の数の増加を抑制し、かつ解像度の劣化を低減することが可能な撮像装置を提供する。 The present invention has been made in view of such a problem of the prior art, and can suppress an increase in the number of defective pixels to be corrected and reduce resolution deterioration without increasing the cost of the imaging apparatus. An imaging device is provided.
本発明によれば、撮像装置は、複数の画素を有する撮像素子により被写体を撮影して画像信号を出力する撮像手段をそなえ、撮像素子により被写体を撮影して画像信号を出力する撮像手段と、撮像手段による撮影の異なる撮影条件と各撮影条件に対応した少なくとも欠陥画素の第１の補正条件及び第２の補正条件とを保持する保持手段と、撮影条件の非露光状態において撮像手段から出力される画像信号を用いて、保持手段に保持されている撮影条件に対応する第１の補正条件に従って欠陥画素を検出し、該検出された欠陥画素の情報を保持手段に保持する欠陥画素検出手段と、被写体の撮像条件および保持手段に保持された撮影条件に対応する第２の補正条件に従って撮像手段で被写体を撮影し、当該撮影で得た画像信号を合成する画像合成手段と、画像合成手段で合成された画像信号に対して、保持手段に保持されている欠陥画素の情報に従って欠陥画素の補正を行なう欠陥画素補正手段と、を備える。 According to the present invention, an imaging apparatus includes an imaging unit that captures a subject with an imaging element having a plurality of pixels and outputs an image signal, and that captures the subject with the imaging element and outputs an image signal; Different holding conditions for shooting by the imaging means and holding means for holding at least the first correction condition and the second correction condition for at least defective pixels corresponding to each shooting condition, and output from the imaging means in the non-exposure state of the shooting conditions A defective pixel detecting means for detecting a defective pixel in accordance with a first correction condition corresponding to the photographing condition held in the holding means using the image signal, and holding information on the detected defective pixel in the holding means; In this case, the subject is imaged by the imaging unit in accordance with the second correction condition corresponding to the imaging condition of the subject and the imaging condition held in the holding unit, and the image signal obtained by synthesizing the image signal obtained by the imaging is combined. Comprising means and, on the synthesized image signal by the image synthesizing means, the defective pixel correction means for correcting a defective pixel according to the information of a defective pixel held in the holding means.
本発明によれば、点滅欠陥画素の欠陥画素補正対象の数の増加を抑制し、かつ点滅欠陥画素補正による解像感の劣化を抑えた画像を提供することが可能となる。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to provide the image which suppressed the increase in the number of the defect pixel correction | amendment objects of a blinking defective pixel, and suppressed the deterioration of the resolution feeling by blinking defective pixel correction.
以下、添付図面を参照して、本発明の例示的な実施形態を詳細に説明する。 Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
図１は本発明の一実施形態に係る撮像装置の一例としてのデジタルスチルカメラのブロック図である。
図において、１０２は光電変換素子である撮像素子であり、被写体の光学像を画素単位のアナログ映像信号に変換して出力する。本実施形態では撮像素子１０２はＣＭＯＳイメージセンサとする。レンズ１００は被写体の光学像を撮像素子１０２上に結像する。メカニカルシャッター（メカシャッター）１０１は、レンズ１００と撮像素子１０２との間の光路を開閉させる。タイミングジェネレータ（ＴＧ）１０３は、撮像素子１０２の駆動信号を生成する。レンズ１００、メカニカルシャッター１０１と撮像素子１０２とは、本実施形態に係わる撮像装置の撮像手段を構成する。
FIG. 1 is a block diagram of a digital still camera as an example of an imaging apparatus according to an embodiment of the present invention.
In the figure, reference numeral 102 denotes an image sensor which is a photoelectric conversion element, which converts an optical image of a subject into an analog video signal in units of pixels and outputs the analog video signal. In the present embodiment, the image sensor 102 is a CMOS image sensor. The
Ａ／Ｄ変換部１０４は撮像素子１０２から出力されるアナログ画像信号をデジタル画像信号(画像データ)へ変換する。デジタル画像信号はＲＡＷ画像データとして、記憶部１０５の画像用メモリ１０６に一時記憶させる。画像用メモリ１０６は例えばＤＲＡＭで構成される。
The A /
記憶部１０５は例えば半導体記憶装置から構成され、画像用メモリ１０６、欠陥画素情報メモリ１０７、欠陥画素補正テーブル１０８、欠陥画素検出条件テーブル１０９を有する。
The
欠陥画素判定部１１０は、欠陥画素の種類の判別と異常出力信号レベルの判定を行う。本実施形態において、欠陥画素判定部１１０は点滅欠陥画素と定常欠陥画素の判別を行うが、他の種類を判別可能に構成してもよい。 The defective pixel determination unit 110 determines the type of defective pixel and determines the abnormal output signal level. In the present embodiment, the defective pixel determination unit 110 determines the blinking defective pixel and the steady defective pixel, but may be configured to be able to determine other types.
欠陥画素補正部１１１は、欠陥画素判定部１１０で欠陥画素と判定された画素について、欠陥画素判定部１１０で判別された欠陥画素の種別に応じて補正を行う。 The defective pixel correction unit 111 corrects the pixel determined as the defective pixel by the defective pixel determination unit 110 according to the type of the defective pixel determined by the defective pixel determination unit 110.
画像処理部１１２は、画像用メモリ１０６に一時記憶されたＲＡＷ画像データに予め定められた画像処理を適用し、最終的な出力画像フォーマット、例えばＤＣＦ(Design rule for camera file system)に準拠したＪＰＥＧ形式の画像データに変換する。そして、画像処理部１１２は、例えば半導体メモリカードである記録媒体１１３に、撮像画像データを最終画像フォーマットで記録する。
The image processing unit 112 applies predetermined image processing to the RAW image data temporarily stored in the
制御部１１４は例えばＣＰＵ、ＲＯＭ及びＲＡＭを含み、ＲＯＭに記憶されたプログラムをＲＡＭに展開してＣＰＵで実行することにより、後述する欠陥画素の検出処理や補正処理を始めとしたデジタルスチルカメラ全体の動作を制御する。
The
操作部１１６は電源ＯＮ／ＯＦＦボタン、シャッターボタン、メニューボタン、方向キー、決定ボタンなど、各種ボタンやキーなどを有する入力デバイス群である。操作部１１６は、デジタルスチルカメラ１２０の操作者がデジタルスチルカメラ１２０に各種の指示を与えるために用いられる。操作部１１６の操作は、制御部１１４によって検出される。
The
次に、図２、図３、図４および図５のフローチャートを用いて、本発明の第一の実施例に係わる欠陥画素の補正動作を説明する。 Next, the defective pixel correction operation according to the first embodiment of the present invention will be described with reference to the flowcharts of FIGS. 2, 3, 4, and 5.
図２は、本実施例に係わる欠陥画素の補正動作全体のフローチャートを示す図、図３は、図２のＳ２０１の動作の詳なフローチャートを示す図である。また、図４は、図２のＳ２０２の動作の詳細なフローチャートを示す図、図５は、図２のＳ２０３の動作の詳細なフローチャートを示す図である。 FIG. 2 is a diagram illustrating a flowchart of the entire defective pixel correction operation according to the present embodiment, and FIG. 3 is a diagram illustrating a detailed flowchart of the operation of S201 in FIG. 4 is a diagram showing a detailed flowchart of the operation of S202 of FIG. 2, and FIG. 5 is a diagram of a detailed flowchart of the operation of S203 of FIG.
まず、図２のフローチャートを用いて本実施例の欠陥画素の補正動作全体の流れを説明する。 First, the overall flow of the defective pixel correction operation of this embodiment will be described with reference to the flowchart of FIG.
Ｓ２０１は、点滅欠陥画素の補正対象数が少なくなるように、撮影条件に対応した点滅欠陥画素の補正条件を与える補正テーブルを作成する動作である。詳細については図３のフローチャートを用いて説明する。この動作は、後述するように、カメラの設計段階において行なうが、製品段階において変更、更新できるようにしてもよい。 S201 is an operation of creating a correction table that gives correction conditions for blinking defective pixels corresponding to shooting conditions so that the number of correction targets for blinking defective pixels is reduced. Details will be described with reference to the flowchart of FIG. As will be described later, this operation is performed at the camera design stage, but may be changed or updated at the product stage.
Ｓ２０２は、点滅欠陥画素補正テーブルの補正対象となる点滅欠陥画素を検出する動作である。点滅欠陥画素検出の動作の詳細は、図４のフローチャートを用いて説明する。 S202 is an operation for detecting a blinking defective pixel to be corrected in the blinking defective pixel correction table. The details of the operation of detecting the blinking defective pixel will be described with reference to the flowchart of FIG.
Ｓ２０３は画像の撮影時に行なう欠陥画素の補正動作である。Ｓ２０２で検出された点滅欠陥画素をＳ２０１で作成された点滅欠陥画素補正テーブルに従って、所定枚数の画像の撮像、合成処理を行った後、欠陥画素補正（例えば補間処理）を行う動作である。 S203 is a defective pixel correction operation performed when an image is captured. This is an operation of performing defective pixel correction (for example, interpolation processing) after imaging and synthesizing a predetermined number of images according to the blinking defective pixel correction table created in S201 for the blinking defective pixel detected in S202.
次に、Ｓ２０１の詳細フローである、図３のフローチャートを説明する。本実施例では、点滅欠陥画素補正テーブルの作成をカメラ設計段階で行なうものとして説明する。 Next, the flowchart of FIG. 3 which is a detailed flow of S201 will be described. In the present embodiment, description will be made assuming that the creation of the blinking defective pixel correction table is performed at the camera design stage.
まず、Ｓ３０２でＩＳＯ感度毎に、欠陥画素補正閾値、すなわち補正すべき欠陥レベルを決定する。補正すべき欠陥レベルとは、最終的な出力画像フォーマット（本実施例ではＪＰＥＧ）上で、白点キズ、黒点キズとして目立ち始めるレベルを表している。 First, in S302, a defective pixel correction threshold, that is, a defect level to be corrected is determined for each ISO sensitivity. The defect level to be corrected represents a level at which conspicuous white spots and black spots appear on the final output image format (JPEG in this embodiment).
図９は、各ＩＳＯ感度と補正すべき欠陥レベルの関係の一例を示す図で、各ＩＳＯ感度に対して、補正すべき欠陥レベルがＣＭＯＳのアナログ信号レベル（ｍＶ）で記載されている。これらのアナログ信号レベル（ｍＶ）は、最終的な出力画像フォーマット（本実施例ではＪＰＥＧ）上で、目立ち始めるレベルを複数シーンの実写を行って決定することが望ましい。 FIG. 9 is a diagram showing an example of the relationship between each ISO sensitivity and the defect level to be corrected. The defect level to be corrected is described in CMOS analog signal level (mV) for each ISO sensitivity. As for these analog signal levels (mV), it is desirable to determine a level that starts to stand out on a final output image format (JPEG in the present embodiment) by performing actual shooting of a plurality of scenes.
次にＳ３０３で、各ＩＳＯ感度において、図９の補正すべき欠陥レベルで点滅欠陥画素の検出を行い、Ｓ３０４において、検出される点滅欠陥画素の個数の全体画素数に対する比率を算出する。なお、本実施例では点滅欠陥画素数を全画素数に対する比率で表わし(図８及び９)、また、点滅欠陥画素の検出方法は、後術する図４のフローチャートによる動作と同様に行われる。 Next, at S303, at each ISO sensitivity, the blinking defective pixel is detected at the defect level to be corrected in FIG. 9, and at S304, the ratio of the number of detected blinking defective pixels to the total number of pixels is calculated. In this embodiment, the number of blinking defective pixels is expressed as a ratio to the total number of pixels (FIGS. 8 and 9), and the method of detecting the blinking defective pixel is performed in the same manner as the operation according to the flowchart of FIG.
次にＳ３０５で、図８の点滅欠陥画素の数と画像合成枚数のテーブルに従って、Ｓ３０４で算出した比率（点滅欠陥画素の数）に応じた画像合成枚数を決定する。 Next, in S305, the number of images to be combined according to the ratio (number of blinking defective pixels) calculated in S304 is determined according to the table of the number of defective blinking pixels and the number of combined images in FIG.
例えば、ＩＳＯ感度４００の場合、補正すべき欠陥レベル４ｍＶ（第１の補正条件）で点滅欠陥画素の検出調整を行った結果、検出数として全画素数に対する比率が０．３１％であった場合、図８のテーブルから、該当する画像合成枚数(第２の補正条件)、３を決定する。
For example, in the case of
なお、ここで画像合成とは一般的に同一被写体の複数枚撮影を行い、画像を加算平均処理して最終的に１枚の画像とする信号処理のことである。例えば、本発明の実施形態に係わる撮像装置の撮像素子１０２のＣＭＯＳセンサの画素を原色ベイヤー配列とした場合、Ｇｒｅｅｎの色フィルタを有する１画素に着目すれば、当該画素のｎ枚撮影時のＧｒｅｅｎの加算平均出力値を、次のように表わす。
［式１］
ＧＡｖｅ＝（Ａ1＋・・・＋Ａn）/n
なお、式中、Ａ1、Ａ２、・・・Ａnは、各撮影画像での上記画素の値である。ここで、本実施例に従って画像合成を行うことにより、点滅欠陥画素の補正対象画素数を減らせる理由を図６および図７を用いて説明する。
Here, the image composition is generally signal processing in which a plurality of images of the same subject are photographed, and the images are added and averaged to finally form one image. For example, when the pixels of the CMOS sensor of the imaging device 102 of the imaging device according to the embodiment of the present invention are arranged in a primary color Bayer array, if attention is paid to one pixel having a Green color filter, Green at the time of shooting n pixels of the pixel Is expressed as follows.
[Formula 1]
G Ave = (A 1 +... + A n ) / n
In the equation, A 1 , A 2 ,... An are the values of the pixels in each captured image. Here, the reason why the number of correction target pixels of the blinking defective pixel can be reduced by performing image synthesis according to the present embodiment will be described with reference to FIGS. 6 and 7.
図６（ａ）は、一つの定常欠陥画素（本願では受光部の結晶欠陥による白点欠陥として説明している）の撮影毎の欠陥レベルの推移を表している。 FIG. 6A shows a transition of the defect level for each photographing of one stationary defect pixel (explained as a white point defect due to a crystal defect in the light receiving portion in the present application).
通常、定常欠陥画素は、温度、露光時間が同じ条件であれば、図６（ａ）のようにレベル変動の小さい安定した欠陥レベルの推移を示す特性を持つ。 Normally, a steady defective pixel has a characteristic that shows a stable defect level transition with a small level fluctuation as shown in FIG. 6A, under the same conditions of temperature and exposure time.
一方、点滅欠陥画素は非定常的に異常なレベルを出力する。点滅欠陥画素のある一つの画素の欠陥レベルの推移は、図６（b）に示すように、欠陥レベルがプラス方向、ほぼ０、マイナス方向の３種類がランダムに発生する推移を示す特性を持つ。 On the other hand, the blinking defective pixel outputs an abnormal level irregularly. As shown in FIG. 6B, the transition of the defect level of one pixel having a blinking defective pixel has a characteristic indicating a transition in which three kinds of defect levels are randomly generated in the positive direction, almost 0, and the negative direction. .
図６中の点線は、欠陥レベルを撮影枚数毎に加算平均した場合の推移を示す。特徴的なのは、点滅欠陥画素の加算平均の推移が、撮影枚数を重ねる毎に、欠陥レベルの０に近づくことである。この現象は、原理的に欠陥レベルがプラス方向、ほぼ０、マイナス方向にランダムに発生していることによるものである。 The dotted line in FIG. 6 shows the transition when the defect level is averaged for each number of shots. What is characteristic is that the transition of the addition average of blinking defective pixels approaches the defect level of 0 each time the number of shots is increased. This phenomenon is due to the fact that, in principle, defect levels are randomly generated in the positive direction, almost 0, and in the negative direction.
本実施例では、この特性を生かし、補正すべき点滅欠陥画素の数が増加する撮影条件の場合には、画像合成枚数を増やす、すなわち加算平均枚数を増やすことで、補正すべき点滅欠陥画素総数の増加を抑制している。 In the present embodiment, taking advantage of this characteristic, in the case of a shooting condition in which the number of blinking defective pixels to be corrected increases, the total number of blinking defective pixels to be corrected is increased by increasing the number of images to be combined, that is, by increasing the addition average number. The increase of is suppressed.
図７は、ＩＳＯが８００の場合の、画像合成枚数と補正すべき点滅欠陥画素の数の推移を示す。同図によれば、画像合成枚数を増やせば増やすほど、補正すべき点滅欠陥画素数が減少していく特性を有していることが分かる。従って、点滅欠陥画素が多いほど画像合成枚数を増やすことで点滅欠陥画素の補正による画質劣化を抑制することが可能となる。図８の表は、この点を考慮して作成されている。 FIG. 7 shows the transition of the number of combined images and the number of blinking defective pixels to be corrected when ISO is 800. As can be seen from the figure, the number of blinking defective pixels to be corrected decreases as the number of combined images increases. Therefore, it is possible to suppress image quality deterioration due to correction of blinking defective pixels by increasing the number of image composites as the number of blinking defective pixels increases. The table in FIG. 8 is created in consideration of this point.
例えば、ＩＳＯ８００の場合の画像合成枚数を決定する場合、点滅欠陥画素の補正総数を点線以下に抑えたい場合、図７のグラフから画像合成枚数、５が決定される。 For example, when determining the number of image compositing in the case of ISO 800, when it is desired to keep the total number of corrections of blinking defective pixels below the dotted line, the number of image compositing 5 is determined from the graph of FIG.
上記の手法で、各ＩＳＯ毎について画像合成枚数を決定した結果の表が図８である。 FIG. 8 is a table showing the result of determining the number of images to be combined for each ISO by the above method.
上述の通り、図８に基づいて、撮影条件（ＩＳＯ感度）と補正条件（補正すべき欠陥レベル、欠陥画素の検出数、画像の合成数）との関係を規定する点滅欠陥補正テーブルを作成し、欠陥画素補正テーブル１０８に記録する。図９はこのように作成された欠陥画素補正テーブル１０８を示す。 As described above, based on FIG. 8, a blinking defect correction table that defines the relationship between shooting conditions (ISO sensitivity) and correction conditions (defect level to be corrected, number of detected defective pixels, number of combined images) is created. And recorded in the defective pixel correction table 108. FIG. 9 shows the defective pixel correction table 108 created in this way.
次に、Ｓ２０２の詳細フローである、図４のフローチャートを説明する。
なお、図４のフローチャートは、点滅欠陥画素の検出動作である。ここでは点滅欠陥画素の検出をデジタルスチルカメラの動作開始時に行う一例を示すが、カメラ動作終了時、またはカメラ動作中のいずれかのタイミングで、またはデジタルスチルカメラ出荷前の工場調整で行っても構わない。
Next, the flowchart of FIG. 4 which is a detailed flow of S202 will be described.
Note that the flowchart in FIG. 4 is a blinking defective pixel detection operation. Here, an example of performing detection of a blinking defective pixel at the start of the operation of the digital still camera is shown, but it may be performed at the end of the camera operation, at any time during the camera operation, or by factory adjustment before shipping the digital still camera. I do not care.
点滅欠陥画素の欠陥レベルは、前述の通り温度依存性がほとんどないため、本実施例では定常欠陥画素の影響を受けにくいデジタルスチルカメラの温度が低い状態である電源オン動作時に点滅欠陥画素の検出を行う。 Since the defect level of the blinking defective pixel has almost no temperature dependency as described above, in this embodiment, the defect detection of the blinking defective pixel is detected during the power-on operation in which the temperature of the digital still camera which is not easily affected by the steady defective pixel is low. I do.
まず、図４フローチャートのＳ４０１で、撮影者が撮影を開始するために、デジタルスチルカメラの電源オン動作を開始する。 First, in step S401 in the flowchart of FIG. 4, in order for the photographer to start photographing, a power-on operation of the digital still camera is started.
カメラ電源ＯＮ動作の開始後、欠陥画素検出用ダーク画像撮影のために、Ｓ４０２でメカシャッター１０１を閉じる（非露光状態）。次に、Ｓ４０３で点滅欠陥撮影条件を、欠陥画素検出条件テーブル１０９から取得し、取得した撮影条件でダーク画像の撮影を行う。 After starting the camera power ON operation, the mechanical shutter 101 is closed in S402 (non-exposure state) in order to capture a defective pixel detection dark image. Next, in step S403, the blinking defect shooting condition is acquired from the defective pixel detection condition table 109, and a dark image is shot under the acquired shooting condition.
点滅欠陥画素の検出は、定常欠陥画素を分離して検出できるように、温度が低く、かつ蓄積時間が短い条件にすることが望ましい。 The detection of the blinking defective pixel is preferably performed under conditions where the temperature is low and the accumulation time is short so that the steady defective pixel can be detected separately.
また、点滅欠陥画素の欠陥レベルはプラス方向、ほぼ０、マイナス方向、の３種類をランダムに発生する特性を持つことから、複数回の撮影を行って決定するのが望ましい。具体的には、複数回の撮影中の各画素のプラス方向またはマイナス方向の最大出力レベルを点滅欠陥画素異常出力レベルとする、ピークホールド方式で検出することが望ましい。 Further, since the defect level of the blinking defective pixel has a characteristic of randomly generating three types of positive direction, approximately 0, and negative direction, it is desirable to determine by performing a plurality of shootings. Specifically, it is desirable to detect by a peak hold method in which the maximum output level in the positive direction or the negative direction of each pixel during a plurality of times of photographing is set as a blinking defective pixel abnormal output level.
最大出力レベルを検出するには撮影回数は多い方が望ましいが、当然のことながら撮影時間が増加するため、撮影時間と撮影回数の検出効率度合いを考慮して、バランスの取れた撮影回数とすることが望ましい。 To detect the maximum output level, it is desirable to have a large number of shots. However, since the shooting time increases as a matter of course, the number of shots in a balanced manner is taken into account in consideration of the degree of detection efficiency of the shooting time and the number of shots. It is desirable.
Ｓ４０３において点滅欠陥画素検出の撮影条件下でダークＲＡＷ画像を撮影した後は、Ｓ４０４およびＳ４０５でＲＡＷ画像の各画素について欠陥画素の判定を行う。 After the dark RAW image is photographed under the photographing condition of blinking defective pixel detection in S403, the defective pixel is determined for each pixel of the RAW image in S404 and S405.
欠陥画素の判定方法の例を、図１１を用いて説明する。この方法は、判定対象の画素と同色の周辺画素との差分値を計算して欠陥画素の判定を行う方法である。 An example of a defective pixel determination method will be described with reference to FIG. This method is a method for determining a defective pixel by calculating a difference value between a pixel to be determined and a peripheral pixel of the same color.
図１１は、原色ベイヤー配列の一部（５×５）領域のみを示す図である。 FIG. 11 is a diagram showing only a part (5 × 5) region of the primary color Bayer array.
今、判定対象の画素を領域の中心にある画素Ｒ33とした場合、判定対象の画素の同色周囲画素、即ち図の画素Ｒ11、Ｒ13、Ｒ15、Ｒ31、Ｒ35、Ｒ51、Ｒ53、Ｒ55 の画素値の平均値をＡＶＥＲ33とする。
［式２］
ＡＶＥＲ33 ＝（Ｒ11+ Ｒ13+ Ｒ15+ Ｒ31+ Ｒ35+ Ｒ51+ Ｒ53+ Ｒ55）/ 8
であり、この加算平均値ＡＶＥＲ33とＲ33との差分値ＤＲ33を、
［式３］
ＤＲ33 ＝｜Ｒ33 −ＡＶＥＲ33 ｜
とする（Ｓ４０４）。
If the pixel to be determined is the pixel R 33 at the center of the region, the surrounding pixels of the same color of the pixel to be determined, that is, the pixels R 11 , R 13 , R 15 , R 31 , R 35 , R 51 , The average value of the pixel values of R 53 and R 55 is AVE R33 .
[Formula 2]
AVE R33 = (R 11 + R 13 + R 15 + R 31 + R 35 + R 51 + R 53 + R 55) / 8
The difference value D R33 between the addition average value AVE R33 and R 33 is
[Formula 3]
D R33 = | R 33 -AVE R33 |
(S404).
そしてＳ４０５で、点滅欠陥画素の判定レベルをＫｔとし、ＫｔとＤＲ33との比較を行う。 In step S405, the determination level of the blinking defective pixel is set to Kt, and Kt is compared with DR33 .
欠陥画素の判定しきい値Ｋｔは、点滅欠陥画素検出撮影条件と定常欠陥画素検出撮影条件が異なることから、点滅欠陥画素検出用と定常欠陥画素検出用、それぞれを設定することが望ましい。 The determination threshold value Kt for the defective pixel is preferably set for detecting a blinking defective pixel and detecting a steady defective pixel because the blinking defective pixel detection photographing condition and the steady defective pixel detection photographing condition are different.
また、欠陥画素の判定しきい値については、事前に撮像素子１０２の所定の撮影条件で、撮像素子間のばらつきを含めたデータ取りを行って決定し、欠陥画素検出条件テーブル１０９に記録する。このしきい値を図９の補正すべき欠陥レベルに基づいて適宜決定することで、上述した点滅欠陥画素の検出調整を行なうことが可能となる。 Further, the determination threshold value of the defective pixel is determined in advance by taking data including variations between the imaging elements under predetermined imaging conditions of the imaging element 102 and recorded in the defective pixel detection condition table 109. By appropriately determining this threshold value based on the defect level to be corrected in FIG. 9, it is possible to perform the detection adjustment of the blinking defective pixel described above.
Ｓ４０５においてＫｔ≧ＤＲ33の場合は、Ｒ33は正規の値を出力している、すなわち点滅欠陥画素ではないと判断する（Ｓ４０７）。 For Kt ≧ D R33 in S405, R 33 is outputting a normal value, i.e., it determines that there is no blinking defective pixel (S407).
Ｋｔ＜ＤＲ33の場合は、Ｒ33は点滅欠陥画素であると判断し、当該画素Ｒ33のＸアドレスとＹアドレス及び欠陥レベルを、欠陥画素情報メモリ１０７に記録する。
For Kt <D R33, R 33 is determined to be a blink defective pixel, the X and Y addresses and defect level of the pixel R 33, recorded in the defective
次に、Ｒ33の欠陥画素情報が欠陥画素情報メモリ１０７に記録されていない場合は、新規に記録する。既に、Ｒ33の欠陥画素情報（例えば定常欠陥画素）が欠陥画素情報メモリ１０７に記録されている場合は、既記録欠陥画素情報と点滅欠陥画素アドレス情報をまとめて欠陥画素情報メモリ１０７に記録する（Ｓ４０６）。
Then, if the defective pixel information of R 33 is not recorded in the defective
Ｓ４０４−Ｓ４０８と同様の動作を、欠陥画素検出領域の全画素について繰り返し行い、点滅欠陥画素の検出を終了する（Ｓ４０９）。 The same operation as S404 to S408 is repeated for all the pixels in the defective pixel detection area, and the detection of the blinking defective pixel is finished (S409).
次に、Ｓ２０３の詳細フローである、図５のフローチャートを説明する。
なお、図５は、Ｓ２０１で作成された点滅欠陥画素補正テーブルを使用して撮影を行なう動作のフローチャートである。
Next, the flowchart of FIG. 5 which is a detailed flow of S203 will be described.
FIG. 5 is a flowchart of an operation for performing imaging using the blinking defective pixel correction table created in S201.
Ｓ４０９で点滅欠陥画素の検出を終了した後、ユーザーが操作部１１６を操作して撮影の開始状態に入る（Ｓ５０１）。
After completing the detection of the blinking defective pixel in S409, the user operates the
ユーザーにより操作部１１６のシャッターボタンが半押しされた状態で、ＩＳＯ感度、シャッタースピード、絞り等の撮影条件を記録する（Ｓ５０２）。
Shooting conditions such as ISO sensitivity, shutter speed, and aperture are recorded while the shutter button of the
次にＳ５０３で、Ｓ２０１で作成した点滅欠陥画素補正テーブルを参照することで、Ｓ５０２で記録された撮影条件から、画像の合成数を決定する（Ｓ５０４）。 Next, in S503, the number of combined images is determined from the shooting conditions recorded in S502 by referring to the blinking defective pixel correction table created in S201 (S504).
決定された画像合成枚数に従って、画像合成部１１５で前述の式１の通り枚数分の画像の加算平均処理を行う（Ｓ５０５）。そして加算平均処理後の画像に対して、欠陥画素補正部１１１で、欠陥画素情報メモリ１０７に記録してアドレスア情報に従って欠陥画素補正を行う（Ｓ５０６）。
In accordance with the determined number of images to be combined, the image combining unit 115 performs addition averaging processing for the number of images as in
なお、本実施例では、画像合成方法として加算平均処理を行う例を示したが、最終的に平均化される処理であればその他の方法でも構わない。 In the present embodiment, an example in which addition averaging processing is performed as an image synthesis method has been described, but other methods may be used as long as the processing is finally averaged.
Ｓ５０６の欠陥画素補正の一例として、補正対象の画素に隣接する同色画素から補間する方法を以下に説明する。 As an example of the defective pixel correction in S506, a method of interpolating from the same color pixel adjacent to the pixel to be corrected will be described below.
図１１のＲ33が欠陥画素の場合、隣接同色の上下または左右の画素から補間する。上下方向または左右方向どちらから補正処理を行うかは、予め設定しておくか、または被写体に応じて適応的に判断しても良い。これらは、製品後に適宜プログラムを修正して更新することにより対処できる
上下方向の補完方法の一例としては、
［式４］
Ｒ33＝（Ｒ31＋Ｒ35）÷２
により画素Ｒ33の補間を行なう。
他方、左右方向の補完方法の一例としては、
［式５］
Ｒ33＝（Ｒ13＋Ｒ53）÷２
により画素Ｒ33の補間を行なう。
If R 33 in FIG. 11 is a defective pixel is interpolated from the upper and lower or right and left pixels adjacent the same color. Whether the correction process is performed in the vertical direction or the horizontal direction may be set in advance or may be adaptively determined according to the subject. These can be dealt with by modifying and updating the program as appropriate after the product.
[Formula 4]
R 33 = (R 31 + R 35 ) / 2
Performing interpolation of the pixel R 33 by.
On the other hand, as an example of the complementary method in the left-right direction,
[Formula 5]
R 33 = (R 13 + R 53 ) / 2
Performing interpolation of the pixel R 33 by.
Ｓ５０６の欠陥画素補正を、欠陥画像情報メモリ１０７に記録されている欠陥画素全てに対して行い、画像処理部１１１で画像処理を行って最終的な出力画像フォーマットの画像データとして、記録媒体１１３に記録し、撮影を完了する。
上述した本発明の実施例によれば、点滅欠陥画素の検出の調整と検出数に応じた数の画像の合成を行なうことにより、欠陥画素の補正対象の数の増加を抑制し、かつ解像度の劣化を低減することが可能となる。
The defective pixel correction in S506 is performed on all the defective pixels recorded in the defective
According to the embodiment of the present invention described above, by adjusting the detection of the blinking defective pixel and synthesizing the number of images according to the number of detection, the increase in the number of correction targets of the defective pixel is suppressed, and the resolution is increased. Deterioration can be reduced.
また、上述した実施形態において図２乃至５に示した各処理は、各処理の機能を実現する為のプログラムをメモリから読み出して制御部１１４のＣＰＵが実行することによりその機能を実現させるものである。
2 to 5 in the above-described embodiment realizes the function by reading a program for realizing the function of each process from the memory and executing it by the CPU of the
尚、上述した構成に限定されるものではなく、図２乃至５に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリから構成されてよい。また、それらの組合せによるコンピュータ読み取り、書き込み可能な記録媒体より構成されてもよい。 Note that the present invention is not limited to the above-described configuration, and all or some of the functions shown in FIGS. 2 to 5 may be realized by dedicated hardware. The above-described memory may be composed of a non-volatile memory such as a magneto-optical disk device or a flash memory, a recording medium such as a CD-ROM that can only be read, and a volatile memory other than the RAM. Moreover, you may comprise from the computer-readable / writable recording medium by those combination.
また、図２乃至５に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。 2 to 5 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed. Each process may be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices. Specifically, the program read from the storage medium is written into a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. After that, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、一定時間プログラムを保持しているものも含むものとする。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）である。 The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” includes a medium that holds a program for a certain period of time. For example, a volatile memory (RAM) inside a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line.
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。 The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。 A program product such as a computer-readable recording medium in which the above program is recorded can also be applied as an embodiment of the present invention. The above program, recording medium, transmission medium, and program product are included in the scope of the present invention.
上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち本発明はその技術思想、またはその主要な特徴から逸脱することはなく、様々な形で実施することが出来る。 Each of the above-described embodiments is merely an example of the implementation of the present invention, and the technical scope of the present invention should not be construed as being limited thereto. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
Claims (12)
前記撮像素子により被写体を撮影して画像信号を出力する撮像手段と、
前記撮像手段による撮影の異なる撮影条件と各撮影条件に対応した少なくとも欠陥画素の第１の補正条件及び第２の補正条件とを保持する保持手段と、
前記撮影条件の非露光状態において前記撮像手段から出力される画像信号を用いて、前記保持手段に保持されている前記撮影条件に対応する第１の補正条件に従って欠陥画素を検出し、該検出された欠陥画素の情報を前記保持手段に保持する欠陥画素検出手段と
前記被写体の撮影条件および前記保持手段に保持された前記撮影条件に対応する第２の補正条件に従って前記撮像手段で前記被写体を撮影し、当該撮影で得た画像信号を合成する画像合成手段と、
前記画像合成手段で合成された画像信号に対して、前記保持手段に保持されている前記欠陥画素の情報に従って欠陥画素の補正を行なう欠陥画素補正手段と、を備えることを特徴とする撮像装置。 An imaging apparatus including an imaging device having a plurality of pixels,
Imaging means for photographing a subject by the imaging element and outputting an image signal;
Holding means for holding different shooting conditions for shooting by the imaging means and at least a first correction condition and a second correction condition for at least a defective pixel corresponding to each shooting condition;
Using the image signal output from the imaging unit in the non-exposure state of the shooting condition, a defective pixel is detected according to a first correction condition corresponding to the shooting condition held in the holding unit, and the detection is performed. Defective pixel detection means for holding information on defective pixels in the holding means, and photographing of the subject by the imaging means in accordance with a photographing condition of the subject and a second correction condition corresponding to the photographing condition held in the holding means Image synthesizing means for synthesizing the image signals obtained by the photographing;
An imaging apparatus comprising: defective pixel correction means for correcting a defective pixel in accordance with information on the defective pixel held in the holding means with respect to the image signal synthesized by the image synthesis means.
前記被写体の異なる撮影条件と各撮影条件に対応した少なくとも欠陥画素の第１の補正条件及び第２の補正条件とを保持手段に保持する保持ステップと、
前記撮影条件の非露光状態において前記撮像素子から出力される画像信号を用いて、前記保持手段に保持されている前記撮影条件に対応する第１の補正条件に従って欠陥画素を検出し、該検出された欠陥画素の情報を前記保持手段に保持する欠陥画素検出ステップと
前記被写体の撮影条件および前記保持手段に保持された前記撮影条件に対応する第２の補正条件に従って前記被写体を撮影し、当該撮影で得た画像信号を合成する画像合成ステップと、
前記画像合成ステップで合成された画像信号に対して、前記保持手段に保持されている前記欠陥画素の情報に従って欠陥画素の補正を行なう欠陥画素補正ステップと、を備えることを特徴とする欠陥画素の補正方法。 A method for correcting defective pixels of an image sensor having a plurality of pixels, imaging a subject and outputting an image signal,
Holding step for holding different shooting conditions of the subject and at least a first correction condition and a second correction condition of at least a defective pixel corresponding to each shooting condition in a holding unit;
Using the image signal output from the image sensor in the non-exposure state of the shooting condition, a defective pixel is detected according to the first correction condition corresponding to the shooting condition held in the holding unit, and the detection is performed. A defective pixel detecting step of holding information on the defective pixel in the holding unit, shooting the subject in accordance with a second correction condition corresponding to the shooting condition of the subject and the shooting condition held in the holding unit, An image synthesizing step for synthesizing the image signal obtained by
A defective pixel correction step comprising: correcting a defective pixel in accordance with information on the defective pixel held in the holding unit with respect to the image signal synthesized in the image synthesis step. Correction method.
複数の画素を有する撮像素子により被写体を撮影して画像信号を出力する撮像手段を備えた撮像装置の制御方法において、
前記撮像手段による撮影の異なる撮影条件と各撮影条件に対応した少なくとも欠陥画素の第１の補正条件及び第２の補正条件とを保持する保持手段と、
前記撮影条件の非露光状態において前記撮像手段から出力される画像信号を用いて、前記保持手段に保持されている前記撮影条件に対応する第１の補正条件に従って欠陥画素を検出し、該検出された欠陥画素の情報を前記保持手段に保持する欠陥画素検出手段と
前記被写体の撮影条件および前記保持手段に保持された前記撮影条件に対応する第２の補正条件に従って前記撮像手段で前記被写体を撮影し、当該撮影で得た画像信号を合成する画像合成手段と、
前記画像合成手段で合成された画像信号に対して、前記保持手段に保持されている前記欠陥画素の情報に従って欠陥画素の補正を行なう欠陥画素補正手段と、を備えることを特徴とする撮像装置。
として機能させるプログラム。 Computer
In a control method for an image pickup apparatus including an image pickup unit that picks up a subject with an image pickup device having a plurality of pixels and outputs an image signal,
Holding means for holding different shooting conditions for shooting by the imaging means and at least a first correction condition and a second correction condition for at least a defective pixel corresponding to each shooting condition;
Using the image signal output from the imaging unit in the non-exposure state of the shooting condition, a defective pixel is detected according to a first correction condition corresponding to the shooting condition held in the holding unit, and the detection is performed. Defective pixel detection means for holding information on defective pixels in the holding means, and photographing of the subject by the imaging means in accordance with a photographing condition of the subject and a second correction condition corresponding to the photographing condition held in the holding means Image synthesizing means for synthesizing the image signals obtained by the photographing;
An imaging apparatus comprising: defective pixel correction means for correcting a defective pixel in accordance with information on the defective pixel held in the holding means with respect to the image signal synthesized by the image synthesis means.
Program to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012090267A JP2013219665A (en) | 2012-04-11 | 2012-04-11 | Imaging device, control method therefor, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012090267A JP2013219665A (en) | 2012-04-11 | 2012-04-11 | Imaging device, control method therefor, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013219665A true JP2013219665A (en) | 2013-10-24 |
| JP2013219665A5 JP2013219665A5 (en) | 2015-05-28 |
Family
ID=49591283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012090267A Pending JP2013219665A (en) | 2012-04-11 | 2012-04-11 | Imaging device, control method therefor, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013219665A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016117034A1 (en) * | 2015-01-20 | 2016-07-28 | オリンパス株式会社 | Image processing device, image processing method, and program |
| WO2016117035A1 (en) * | 2015-01-20 | 2016-07-28 | オリンパス株式会社 | Image processing device, image processing method, and program |
| WO2016147325A1 (en) * | 2015-03-17 | 2016-09-22 | オリンパス株式会社 | Image processing device, image processing method, and program |
| WO2016151823A1 (en) * | 2015-03-25 | 2016-09-29 | オリンパス株式会社 | Image processing device, image processing method, and program |
| JP2017005571A (en) * | 2015-06-12 | 2017-01-05 | リコーイメージング株式会社 | Imaging device |
| CN107710733A (en) * | 2015-07-24 | 2018-02-16 | 奥林巴斯株式会社 | Image processing apparatus, image processing method and program |
| US11399700B2 (en) * | 2017-10-05 | 2022-08-02 | Olympus Corporation | Processing device, endoscope, endoscope system, image processing method, and computer-readable recording medium for correcting a defective pixel |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006109217A (en) * | 2004-10-07 | 2006-04-20 | Sony Corp | Imaging apparatus |
| JP2006319602A (en) * | 2005-05-12 | 2006-11-24 | Mitsubishi Electric Corp | Solid-state image pickup apparatus and method for detecting flicker defect |
| JP2007013269A (en) * | 2005-06-28 | 2007-01-18 | Olympus Corp | Imaging apparatus |
| JP2007243778A (en) * | 2006-03-10 | 2007-09-20 | Mitsubishi Electric Corp | Imaging apparatus |
| JP2009010930A (en) * | 2007-05-31 | 2009-01-15 | Canon Inc | Image processing apparatus and image processing method |
-
2012
- 2012-04-11 JP JP2012090267A patent/JP2013219665A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006109217A (en) * | 2004-10-07 | 2006-04-20 | Sony Corp | Imaging apparatus |
| JP2006319602A (en) * | 2005-05-12 | 2006-11-24 | Mitsubishi Electric Corp | Solid-state image pickup apparatus and method for detecting flicker defect |
| JP2007013269A (en) * | 2005-06-28 | 2007-01-18 | Olympus Corp | Imaging apparatus |
| JP2007243778A (en) * | 2006-03-10 | 2007-09-20 | Mitsubishi Electric Corp | Imaging apparatus |
| JP2009010930A (en) * | 2007-05-31 | 2009-01-15 | Canon Inc | Image processing apparatus and image processing method |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10158811B2 (en) | 2015-01-20 | 2018-12-18 | Olympus Corporation | Image processing apparatus, image processing method, and computer-readable recording medium |
| WO2016117035A1 (en) * | 2015-01-20 | 2016-07-28 | オリンパス株式会社 | Image processing device, image processing method, and program |
| WO2016117034A1 (en) * | 2015-01-20 | 2016-07-28 | オリンパス株式会社 | Image processing device, image processing method, and program |
| US10791288B2 (en) | 2015-01-20 | 2020-09-29 | Olympus Corporation | Image processing apparatus, image processing method, and computer-readable recording medium |
| JPWO2016117035A1 (en) * | 2015-01-20 | 2017-06-08 | オリンパス株式会社 | Image processing apparatus, image processing method, and program |
| JPWO2016117034A1 (en) * | 2015-01-20 | 2017-07-06 | オリンパス株式会社 | Image processing apparatus, image processing method, and program |
| WO2016147325A1 (en) * | 2015-03-17 | 2016-09-22 | オリンパス株式会社 | Image processing device, image processing method, and program |
| JPWO2016147325A1 (en) * | 2015-03-17 | 2018-01-18 | オリンパス株式会社 | Image processing apparatus, image processing method, and program |
| US10270991B2 (en) | 2015-03-17 | 2019-04-23 | Olympus Corporation | Image processing apparatus, image processing method, and computer-readable recording medium |
| WO2016151823A1 (en) * | 2015-03-25 | 2016-09-29 | オリンパス株式会社 | Image processing device, image processing method, and program |
| US10104323B2 (en) | 2015-03-25 | 2018-10-16 | Olympus Corporation | Image processing apparatus, image processing method, and computer-readable recording medium |
| JPWO2016151823A1 (en) * | 2015-03-25 | 2018-02-15 | オリンパス株式会社 | Image processing apparatus, image processing method, and program |
| JP2017005571A (en) * | 2015-06-12 | 2017-01-05 | リコーイメージング株式会社 | Imaging device |
| CN107710733A (en) * | 2015-07-24 | 2018-02-16 | 奥林巴斯株式会社 | Image processing apparatus, image processing method and program |
| US11399700B2 (en) * | 2017-10-05 | 2022-08-02 | Olympus Corporation | Processing device, endoscope, endoscope system, image processing method, and computer-readable recording medium for correcting a defective pixel |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9066033B2 (en) | Defective pixel data correcting apparatus, image capturing apparatus, and method for correcting defective pixel data | |
| JP2013219665A (en) | Imaging device, control method therefor, and program | |
| RU2619721C2 (en) | Image capture device, image capture system and control method for image capture device | |
| KR20080056004A (en) | Graphics processing unit use and device | |
| JP6308748B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| US8970742B2 (en) | Image processing apparatus and method capable of performing correction process speedily and easily | |
| US9635289B2 (en) | Image capturing apparatus, control method thereof, and storage medium | |
| JP5656561B2 (en) | Image processing apparatus, control method thereof, and control program | |
| JP6021465B2 (en) | Image processing apparatus and image processing apparatus control method | |
| JP6351271B2 (en) | Image composition apparatus, image composition method, and program | |
| JP2018093257A (en) | Imaging apparatus | |
| JP5084366B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| US9900533B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
| US10999489B2 (en) | Image processing apparatus, image processing method, and image capture apparatus | |
| JP2013135343A (en) | Imaging device | |
| US10129449B2 (en) | Flash band, determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus | |
| US11032463B2 (en) | Image capture apparatus and control method thereof | |
| JP5780885B2 (en) | Imaging device, control method thereof, and control program | |
| JP5933306B2 (en) | Imaging device | |
| JP7134786B2 (en) | Imaging device and control method | |
| JP5316098B2 (en) | Imaging apparatus, imaging method, and program | |
| JP6184132B2 (en) | Imaging apparatus and image processing method | |
| JP5522299B2 (en) | Imaging apparatus, imaging method, and program | |
| JP2006217418A (en) | Image processing apparatus and method | |
| JP6575926B2 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150408 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150408 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160324 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160407 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160606 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161006 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170404 |