JP2005286668A - Imaging apparatus, image processor and image processing method - Google Patents
Imaging apparatus, image processor and image processing method Download PDFInfo
- Publication number
- JP2005286668A JP2005286668A JP2004097288A JP2004097288A JP2005286668A JP 2005286668 A JP2005286668 A JP 2005286668A JP 2004097288 A JP2004097288 A JP 2004097288A JP 2004097288 A JP2004097288 A JP 2004097288A JP 2005286668 A JP2005286668 A JP 2005286668A
- Authority
- JP
- Japan
- Prior art keywords
- defective pixel
- image data
- information
- correction
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 82
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000012937 correction Methods 0.000 claims abstract description 206
- 230000007547 defect Effects 0.000 claims abstract description 16
- 230000002950 deficient Effects 0.000 claims description 433
- 238000012545 processing Methods 0.000 claims description 179
- 238000003860 storage Methods 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000013256 coordination polymer Substances 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000976 ink Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000113 differential scanning calorimetry Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、撮像装置および画像処理に関し、特に、撮像素子の欠陥画素に対応する画像データの補正技術に関する。 The present invention relates to an imaging apparatus and image processing, and more particularly to a technique for correcting image data corresponding to a defective pixel of an imaging element.
デジタルスチルカメラ(以下DSCという。)の高性能化に伴い、プロやハイアマチュアの写真家もデジタルカメラを使用するようになっている。これらの上位ユーザーの間では、高画質が期待できるRAWデータでの出力が好まれている。RAWデータは、CCD等の撮像素子から出力された電気信号を、そのまま撮像素子の画素単位で数値化したデータである。 With the high performance of digital still cameras (hereinafter referred to as DSCs), professional and high amateur photographers are also using digital cameras. Among these upper users, output with RAW data that can be expected to have high image quality is preferred. The RAW data is data obtained by digitizing an electrical signal output from an image sensor such as a CCD in units of pixels of the image sensor.
撮像素子を構成する画素に欠陥画素が含まれている場合には、RAWデータにおいて、欠陥画素に対応する画素データ(以下、欠陥画素データという。)は、被写体の情報を正しく表していないため、欠陥画素データを補正(以下、欠陥画素補正という。)する必要がある。欠陥画素補正技術として、DSCの撮像素子固有の欠陥画素の位置情報(以下、欠陥画素情報という。)を備え、DSC内部において欠陥画素補正を実行する技術が知られている(例えば、特許文献1)。 When defective pixels are included in the pixels constituting the image sensor, pixel data corresponding to defective pixels (hereinafter referred to as defective pixel data) in RAW data does not correctly represent subject information. It is necessary to correct defective pixel data (hereinafter referred to as defective pixel correction). As a defective pixel correction technique, a technique is known that includes position information (hereinafter referred to as defective pixel information) of a defective pixel unique to an image sensor of a DSC and performs defective pixel correction inside the DSC (for example, Patent Document 1). ).
しかしながら、DSC側において欠陥画素補正されていないRAWデータが出力された場合や、DSCにおける欠陥画素補正とは異なる補正処理(例えば、より精度の高い補正処理や、ユーザーの好みで選択した補正処理)を実行したい場合には、外部の画像処理装置(例えば、パーソナルコンピュータ)において欠陥画素補正を実行する必要がある。 However, when raw data that has not been subjected to defective pixel correction is output on the DSC side, or correction processing different from defective pixel correction in DSC (for example, correction processing with higher accuracy or correction processing selected according to user preference) When it is desired to execute the above, it is necessary to execute defective pixel correction in an external image processing apparatus (for example, a personal computer).
かかる場合には、外部の画像処理装置側においてDSCの撮像素子固有の欠陥画素情報が取得できないため、外部の画像処理装置は、高い演算能力や優れた画像処理ソフトを有していても、正確に欠陥画素補正を実行することができない場合があった。 In such a case, since the defect image information unique to the DSC image sensor cannot be acquired on the external image processing apparatus side, the external image processing apparatus is accurate even if it has high calculation capability and excellent image processing software. In some cases, defective pixel correction cannot be executed.
本発明は、上記課題を解決するためになされたものであり、外部の画像処理装置において、正確に欠陥画素補正を実行することを目的とする。 The present invention has been made to solve the above-described problems, and an object thereof is to accurately perform defective pixel correction in an external image processing apparatus.
上記課題を解決するために本発明の第1の態様は、撮像装置を提供する。本発明の第1の態様に係る撮像装置は、複数の画素を有すると共に、撮像画像を画素単位の電気信号として出力する撮像素子と、前記出力された電気信号に基づいて、画素データから構成される画像データを生成する画像データ生成手段と、前記撮像素子が有する画素のうち、正しく電気信号を出力できない欠陥画素の位置情報を取得する欠陥画素情報取得手段と、前記取得された欠陥画素情報を、前記生成された画像データに関連付けて出力する画像データ出力手段とを備えることを特徴とする。 In order to solve the above problems, a first aspect of the present invention provides an imaging apparatus. An imaging device according to a first aspect of the present invention includes a plurality of pixels, an imaging element that outputs a captured image as an electrical signal in pixel units, and pixel data based on the output electrical signal. Image data generating means for generating image data, defective pixel information acquiring means for acquiring position information of defective pixels that cannot correctly output electrical signals among pixels of the image sensor, and the acquired defective pixel information And image data output means for outputting the image data in association with the generated image data.
本発明の第1の態様に係る画像処理装置によれば、撮像素子が有する画素のうち、正しく電気信号を出力できない欠陥画素の位置情報(欠陥画素情報)を、生成された画像データに関連付けて出力するので、撮像装置から画像データを取得した外部の画像処理装置において、欠陥画素情報を画像処理に用いることができる。この結果、外部画像処理装置において、画像データに対して、正確に欠陥画素データの補正を実行することができる。 According to the image processing apparatus according to the first aspect of the present invention, the positional information (defective pixel information) of a defective pixel that cannot correctly output an electrical signal among the pixels of the image sensor is associated with the generated image data. Since the data is output, defective pixel information can be used for image processing in an external image processing apparatus that acquires image data from the imaging apparatus. As a result, in the external image processing apparatus, the defective pixel data can be accurately corrected for the image data.
本発明の第1の態様に係る撮像装置において、前記欠陥画素情報取得手段は、前記欠陥画素の位置情報を予め記憶した欠陥画素情報記憶手段と、前記欠陥画素情報記憶手段から前記欠陥画素情報を読み出す欠陥画素情報読み出し手段とを備えても良い。撮像装置の製造時等に、予め記憶された欠陥画素情報を読み出すので、容易に欠陥画素情報を取得できる。 In the imaging apparatus according to the first aspect of the present invention, the defective pixel information acquisition unit includes a defective pixel information storage unit in which position information of the defective pixel is stored in advance, and the defective pixel information from the defective pixel information storage unit. You may provide the defective pixel information read-out means to read. Since defective pixel information stored in advance is read out at the time of manufacturing an imaging device or the like, defective pixel information can be easily acquired.
本発明の第1の態様に係る撮像装置において、前記欠陥画素情報取得手段は、前記生成された画像データを解析して、前記欠陥画素情報を生成する欠陥画素情報生成手段を備えても良い。画像データを解析して、欠陥画素情報を生成するので、解析に用いた画像データ生成時(撮影時)における欠陥画素情報を取得することができる。この結果、外部の画像処理装置において、より新しい欠陥画素情報を用いて、正確に欠陥画素データを補正することができる。 In the imaging apparatus according to the first aspect of the present invention, the defective pixel information acquisition unit may include a defective pixel information generation unit that analyzes the generated image data and generates the defective pixel information. Since the defective pixel information is generated by analyzing the image data, it is possible to acquire defective pixel information at the time of generating the image data used for the analysis (at the time of photographing). As a result, in the external image processing apparatus, the defective pixel data can be accurately corrected using newer defective pixel information.
本発明の第1の態様に係る撮像装置において、前記欠陥画素情報生成手段は、前記画像データ生成手段に低輝度の画像データを生成させる低輝度画像撮像手段と、前記画像データ生成手段に高輝度の画像データを生成させる高輝度画像撮像手段と、生成された前記低輝度の画像データと前記高輝度の画像データとを比較して、画素値の変化量が基準値以下である画素データに対応する画素を、欠陥画素であると決定する欠陥画素決定手段とを備えても良い。かかる場合には、高輝度の画像データと低輝度の画像データとを比較して、輝度値の変化量が基準値以下である画素データに対応する画素を欠陥画素であると決定するので、正確に、画像データ解析による欠陥画素情報を取得できる。 In the imaging apparatus according to the first aspect of the present invention, the defective pixel information generation unit includes a low luminance image imaging unit that causes the image data generation unit to generate low luminance image data, and a high luminance that the image data generation unit generates. Compares the generated low-brightness image data and the high-brightness image data with the high-brightness image capturing means that generates the image data, and supports pixel data whose pixel value change amount is equal to or less than the reference value You may provide the defective pixel determination means which determines the pixel to perform as a defective pixel. In such a case, the high luminance image data is compared with the low luminance image data, and the pixel corresponding to the pixel data whose luminance value change amount is equal to or less than the reference value is determined to be a defective pixel. In addition, defective pixel information can be acquired by image data analysis.
本発明の第1の態様に係る撮像装置において、前記画像データ出力手段は、さらに、前記欠陥画素に対応する画素データを補正する欠陥画素補正に関する補正情報を、前記生成された画像データに関連付けて出力しても良い。かかる場合には、外部の画像処理装置において、画像データに対する欠陥画素補正に関する情報を用いて、欠陥画素データを補正することができる。 In the imaging apparatus according to the first aspect of the present invention, the image data output means further associates correction information related to defective pixel correction for correcting pixel data corresponding to the defective pixel with the generated image data. It may be output. In such a case, the defective pixel data can be corrected by using information regarding the defective pixel correction for the image data in an external image processing apparatus.
本発明の第1の態様に係る撮像装置において、前記補正情報は、前記生成された画像データに対して、前記欠陥画素補正を、前記撮像装置において実行したか否かを示す情報であっても良い。かかる場合には、外部の画像処理装置において、撮像装置で画像データに対して欠陥画素データの補正が実行されたか否かを認識することができる。この結果、より適切に、欠陥画素データの補正に関する判断をすることができる。 In the imaging device according to the first aspect of the present invention, the correction information may be information indicating whether or not the defective pixel correction has been performed on the generated image data in the imaging device. good. In such a case, in the external image processing apparatus, it is possible to recognize whether or not the defective pixel data is corrected for the image data in the imaging apparatus. As a result, it is possible to more appropriately make a determination regarding correction of defective pixel data.
本発明の第1の態様に係る撮像装置において、前前記画像データ出力手段は、前記欠陥画素情報に代えて、前記欠陥画素情報を用いないで前記欠陥画像データ補正を実行することを指示する指示情報を、前記生成された画像データに関連付けて出力しても良い。かかる場合には、外部の画像処理装置において、欠陥画素情報を用いないで、前記欠陥画像データ補正を実行すべきことを認識することができる。 In the imaging device according to the first aspect of the present invention, the previous image data output means instructs to execute the defect image data correction without using the defective pixel information instead of the defective pixel information. Information may be output in association with the generated image data. In such a case, the external image processing apparatus can recognize that the defect image data correction should be executed without using the defective pixel information.
本発明の第1の態様に係る撮像装置において、前記生成された画像データは、RAWデータ形式の画像データであっても良い。かかる場合には、RAWデータ形式の画像データにおいて、正確に、欠陥画素データを補正することができる。 In the imaging device according to the first aspect of the present invention, the generated image data may be image data in a RAW data format. In such a case, defective pixel data can be accurately corrected in RAW data format image data.
本発明の第1の態様に係る撮像装置において、前記画像データ出力手段は、前記生成された画像データと、前記画像データに関連付けた欠陥画素情報または補正情報または指示情報とを、一つの画像ファイルとして出力しても良い。かかる場合には、画像ファイルを取得した外部の画像処理装置において、欠陥画素情報または補正情報または指示情報を用いることができる。 In the image pickup apparatus according to the first aspect of the present invention, the image data output means includes the generated image data and defective pixel information or correction information or instruction information associated with the image data as one image file. May be output as In such a case, defective pixel information, correction information, or instruction information can be used in an external image processing apparatus that has acquired the image file.
本発明の第2の態様は、画像処理装置を提供する。本発明の第2の態様に係る画像処理装置は、複数の画素を有する撮像素子から出力された電気信号に基づいて生成された画像データであり、前記複数の画素に対応する画素データから構成される画像データを取得する画像データ取得手段と、前記取得された画像データと関連付けられた情報であり、前記撮像素子が有する画素のうち正しく電気信号を出力できない欠陥画素の位置情報である欠陥画素情報を取得する欠陥画素情報取得手段と、前記取得された欠陥画素情報を用いて、前記取得された画像データから前記欠陥画素に対応する欠陥画素データを特定する欠陥画素データ特定手段と、前記特定された欠陥画素データを補正する補正処理手段とを備えることを特徴とする。 A second aspect of the present invention provides an image processing apparatus. An image processing apparatus according to a second aspect of the present invention is image data generated based on an electrical signal output from an imaging device having a plurality of pixels, and is composed of pixel data corresponding to the plurality of pixels. Image data acquisition means for acquiring image data, and defective pixel information that is information associated with the acquired image data and is positional information of defective pixels that cannot correctly output an electrical signal among pixels of the image sensor A defective pixel information acquiring unit that acquires a defective pixel data specifying unit that specifies defective pixel data corresponding to the defective pixel from the acquired image data using the acquired defective pixel information; and And correction processing means for correcting the defective pixel data.
本発明の第2の態様に係る画像処理装置によれば、取得した画像データと関連付けられた欠陥画素情報を用いて、欠陥画素に対応する画素データ(欠陥画素データ)を特定して、欠陥画素データを補正する。この結果、取得した画像データにおける欠陥画素データを正確に、補正することができる。 According to the image processing apparatus according to the second aspect of the present invention, the defective pixel information (defective pixel data) corresponding to the defective pixel is specified using the defective pixel information associated with the acquired image data, and the defective pixel is detected. Correct the data. As a result, the defective pixel data in the acquired image data can be accurately corrected.
本発明の第2の態様に係る画像処理装置は、さらに、前記取得された画像データと関連付けられた情報であり、前記欠陥画素データの補正に関する情報である補正情報を検出する補正情報検出手段を備え、前記補正処理手段は、検出された補正情報に応じて、前記欠陥画素データの補正を実行しても良い。かかる場合には、補正情報に応じて、適切な欠陥画素データの補正を実行することができる。 The image processing apparatus according to the second aspect of the present invention further includes correction information detection means for detecting correction information that is information associated with the acquired image data and is information related to correction of the defective pixel data. The correction processing means may execute correction of the defective pixel data in accordance with detected correction information. In such a case, appropriate correction of defective pixel data can be executed according to the correction information.
本発明の第2の態様に係る画像処理装置において、前記補正情報には、前記取得された画像データに対して欠陥画素データの補正が実行されたことを示す補正済み情報が含まれ、前記補正処理手段は、前記補正済み情報が検出されない場合には、前記欠陥画素データの補正を実行するとしても良い。また、前記補正処理手段は、前記補正処理済み情報が検出された場合には、前記欠陥画素データの補正を実行しないとしても良い。かかる場合には、補正済みの画像データに対して、重複して欠陥画素データの補正を実行することを回避し、補正が必要な画像データに対してのみ、欠陥画素データの補正を実行できるので、画像処理装置のメモリリソースの節約、画像処理時間の短縮を図ることができる。 In the image processing device according to the second aspect of the present invention, the correction information includes corrected information indicating that correction of defective pixel data has been performed on the acquired image data, and the correction The processing means may execute the correction of the defective pixel data when the corrected information is not detected. The correction processing unit may not execute the correction of the defective pixel data when the corrected information is detected. In such a case, the correction of defective pixel data can be avoided from being redundantly performed on corrected image data, and the correction of defective pixel data can be performed only on image data that needs to be corrected. Thus, memory resources of the image processing apparatus can be saved and the image processing time can be shortened.
本発明の第2の態様に係る画像処理装置は、さらに、前記補正処理手段よりも高い精度で前記欠陥画素データを補正する高精度補正処理手段と、前記高精度補正処理手段による補正を指示する補正指示を検出する補正指示検出手段とを備え、前記高精度補正処理手段は、前記補正指示が検出された場合には、前記補正処理済み情報が検出された場合であっても、前記欠陥画素データを補正しても良い。かかる場合には、補正済みの画像データであるか否かに関わらず、ユーザー等の要求に応じて、精度の高い欠陥画素補正を実行することができる。 The image processing apparatus according to the second aspect of the present invention further provides a high-accuracy correction processing unit that corrects the defective pixel data with higher accuracy than the correction processing unit, and instructs correction by the high-accuracy correction processing unit. Correction instruction detecting means for detecting a correction instruction, wherein the high-precision correction processing means is configured to detect the defective pixel even when the correction-completed information is detected when the correction instruction is detected. Data may be corrected. In such a case, it is possible to execute defective pixel correction with high accuracy in accordance with a request from the user or the like regardless of whether the image data has been corrected.
本発明の第3の態様は、画像処理装置を提供する。本発明の第3の態様に係る画像処理装置は、複複数の画素を有する撮像素子から出力された電気信号に基づいて生成された画像データであり、前記複数の画素に対応する画素データから構成される画像データを取得する画像データ取得手段と、前記撮像素子が有する画素のうち正しく電気信号を出力できない欠陥画素の位置情報である欠陥画素情報であり、前記取得された画像データと関連付けられた情報を取得する欠陥画素情報取得手段と、前記取得された画像データを解析して、前記欠陥画素情報を生成する欠陥画素情報生成手段と、前記生成された欠陥画素情報と前記取得された欠陥画素情報とを比較して、前記欠陥画素の数が増加しているか否かを判定する増加判定部と、前記欠陥画素の数が増加していると判定された場合に、前記増加を報知する報知手段とを備えることを特徴とする。 A third aspect of the present invention provides an image processing apparatus. An image processing apparatus according to a third aspect of the present invention is image data generated based on an electrical signal output from an imaging device having a plurality of pixels, and is composed of pixel data corresponding to the plurality of pixels. Image data acquisition means for acquiring image data to be processed, and defective pixel information that is position information of defective pixels that cannot correctly output an electrical signal among pixels of the image sensor, and is associated with the acquired image data Defective pixel information acquisition means for acquiring information, defective pixel information generation means for analyzing the acquired image data to generate the defective pixel information, the generated defective pixel information, and the acquired defective pixel When it is determined that the number of the defective pixels is increased, and an increase determination unit that determines whether or not the number of the defective pixels is increased by comparing with the information, Characterized in that it comprises a notifying means for notifying the pressure.
本発明の第3の態様に係る画像処理装置によれば、画像データと関連付けられた欠陥画素情報と、画像データを解析して生成された欠陥画素情報とを比較して、欠陥画素の数が増加していると判定された場合に、増加を報知するので、ユーザー等は、画像データを生成した撮像装置の撮像素子の欠陥画素が、経時劣化等によって、増加していることを認識することができる。 According to the image processing device of the third aspect of the present invention, the defective pixel information associated with the image data is compared with the defective pixel information generated by analyzing the image data. When it is determined that the increase has occurred, the increase is notified, so that the user or the like recognizes that the defective pixels of the image sensor of the image capturing apparatus that generated the image data are increasing due to deterioration over time or the like. Can do.
本発明の第3の態様に係る画像処理装置は、さらに、前記欠陥画素情報を記憶する欠陥画素情報記憶手段であって、前記欠陥画素の数が増加していると判定された場合に、前記記憶された欠陥画素情報を、前記生成された欠陥画素情報に更新して記憶する欠陥画素情報記憶手段を備えても良い。かかる場合には、撮像装置の撮像素子の欠陥画素が、経時劣化等によって増加している場合に、欠陥画素情報を更新して記憶しておくことができる。この結果、この撮像装置によって生成された画像データを処理する場合に、更新された欠陥画素情報を用いて、適切な欠陥画素補正を実行できる。 The image processing apparatus according to the third aspect of the present invention is further a defective pixel information storage unit that stores the defective pixel information, and when it is determined that the number of the defective pixels is increased, You may provide the defective pixel information storage means which updates the memorize | stored defective pixel information in the said produced | generated defective pixel information, and memorize | stores it. In such a case, the defective pixel information can be updated and stored when the number of defective pixels of the image sensor of the imaging device increases due to deterioration over time or the like. As a result, when processing the image data generated by the imaging apparatus, it is possible to perform appropriate defective pixel correction using the updated defective pixel information.
本発明の第4の態様は、画像処理方法を提供する。本発明の第4の態様に係る画像処理方法は、複数の画素を有する撮像素子から出力された電気信号に基づいて生成された画像データであり、前記複数の画素に対応する画素データから構成される画像データを取得し、前記取得された画像データと関連付けられた情報であり、前記撮像素子が有する画素のうち正しく電気信号を出力できない欠陥画素の位置情報である欠陥画素情報を取得し、前記取得された欠陥画素情報を用いて、前記取得された画像データから前記欠陥画素に対応する欠陥画素データを特定し、前記特定された欠陥画素データを補正することを特徴とする。 A fourth aspect of the present invention provides an image processing method. An image processing method according to a fourth aspect of the present invention is image data generated based on an electrical signal output from an imaging device having a plurality of pixels, and is composed of pixel data corresponding to the plurality of pixels. Image data, information associated with the acquired image data, and obtaining defective pixel information that is position information of defective pixels that cannot output electrical signals correctly among the pixels of the imaging device, Using the acquired defective pixel information, defective pixel data corresponding to the defective pixel is specified from the acquired image data, and the specified defective pixel data is corrected.
本発明の第5の態様は、画像処理方法を提供する。本発明の第5の態様に係る画像処理装置は、数の画素を有する撮像素子から出力された電気信号に基づいて生成された画像データであり、前記複数の画素に対応する画素データから構成される画像データを取得し、前記取得された画像データと関連付けられた情報であり、前記撮像素子が有する画素のうち正しく電気信号を出力できない欠陥画素の位置情報である欠陥画素情報を取得し、前記取得された画像データを解析して得られる情報であり、前記撮像素子が有する画素のうち正しく電気信号を出力できない欠陥画素の位置情報である解析欠陥画素情報を生成し、前記生成された解析欠陥画素情報に基づく欠陥画素数が、取得された欠陥画素情報に基づく欠陥画素数より多い場合には、欠陥画素の増加を報知することを特徴とする。 A fifth aspect of the present invention provides an image processing method. An image processing apparatus according to a fifth aspect of the present invention is image data generated based on an electrical signal output from an imaging device having a number of pixels, and is composed of pixel data corresponding to the plurality of pixels. Image data, information associated with the acquired image data, and obtaining defective pixel information that is position information of defective pixels that cannot output electrical signals correctly among the pixels of the imaging device, It is information obtained by analyzing the acquired image data, and generates analytical defect pixel information that is position information of a defective pixel that cannot correctly output an electrical signal among pixels of the imaging device, and the generated analytical defect When the number of defective pixels based on the pixel information is larger than the number of defective pixels based on the acquired defective pixel information, an increase in defective pixels is reported.
本発明の第4の態様に係る画像処理方法および本発明の第5の態様に係る画像処理方法によれば、本発明の第2の態様および第3の態様に係る画像処理装置と同様の作用効果を得ることができる。また、本発明の第4の態様に係る画像処理方法および本発明の第5の態様に係る画像処理方法は、本発明の第2の態様および第3の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。また、本発明の第4の態様に係る画像処理方法および本発明の第5の態様に係る画像処理方法は、この他にも、画像処理プログラムおよび画像処理プログラムが記録されたコンピュータが読み取り可能な記録媒体としても実現され得る。 According to the image processing method according to the fourth aspect of the present invention and the image processing method according to the fifth aspect of the present invention, the same operation as the image processing apparatus according to the second aspect and the third aspect of the present invention. An effect can be obtained. The image processing method according to the fourth aspect of the present invention and the image processing method according to the fifth aspect of the present invention are the same as those of the image processing apparatus according to the second and third aspects of the present invention. It can be realized in various ways. In addition, the image processing method according to the fourth aspect of the present invention and the image processing method according to the fifth aspect of the present invention are readable by a computer in which the image processing program and the image processing program are recorded. It can also be realized as a recording medium.
以下、本発明にかかる撮像装置および画像処理装置について、図面を参照しつつ、実施例に基づいて説明する。 Hereinafter, an imaging device and an image processing device according to the present invention will be described based on examples with reference to the drawings.
A.画像処理システムの構成:
図1は、本発明の実施例に係る撮像装置および画像処理装置を含む画像処理システムの一例を示す説明図である。本発明の実施例に係る撮像装置および画像処理装置を適用可能な画像処理システムの構成について図1を参照して説明する。
A. Image processing system configuration:
FIG. 1 is an explanatory diagram illustrating an example of an image processing system including an imaging device and an image processing device according to an embodiment of the present invention. A configuration of an image processing system to which an imaging apparatus and an image processing apparatus according to an embodiment of the present invention can be applied will be described with reference to FIG.
画像処理システムは、画像データを生成する撮像装置としてのディジタルスチルカメラ10、ディジタルスチルカメラ10にて生成された画像データに対して、欠陥画素補正処理を含む画像処理を実行し、印刷用画像データを出力する画像処理装置としてのパーソナルコンピュータ20、印刷用画像データを用いて画像を出力する出力装置としてのプリンタ30を備えている。また、出力装置としては、プリンタ30の他に、例えば、LCDディスプレイのモニタ25、表示装置40が用いられ得る。
The image processing system performs image processing including defective pixel correction processing on image data generated by the digital
図2は、ディジタルスチルカメラ10の概略構成を示す説明図である。ディジタルスチルカメラ10は、光の情報を撮像素子(例えば、CCDやCMOS)に結像させることにより画像を取得するカメラである。図2に示すように、ディジタルスチルカメラ10は、光情報を収集し、電気信号として出力する光学回路140、光学回路140から出力された電気信号をA/D変換して数値化し、画像データを生成する画像データ生成回路130、生成された画像データを加工処理するための画像処理回路120、各回路を制御する制御回路100、制御回路100に撮像条件を始めとする利用者の意図を伝えるコントローラ110、画像データを画像ファイルとしてメモリカードMCに保存するメモリカードドライブ150を備えている。
FIG. 2 is an explanatory diagram showing a schematic configuration of the digital
光学回路140は、複数の画素を有し、撮像画像の光情報を受光して画素単位の電気信号として出力する撮像素子144と、撮像素子144の受光部に光情報を集めるレンズ142と、撮像素子144の受光量を調節する絞り146とを備えている。
The
制御回路100は、周知のコンピュータであり、制御プログラムを実行するCPU102、CPU102の扱うデータ、演算結果等を一時的に格納するRAM104、制御プログラム、後述する欠陥画素情報等を格納するROM106を備えている。
The
ディジタルスチルカメラ10は、画像データの保存形式を選択可能であり、選択可能な保存形式として、一般的なJPEG形式に加えて、RAWデータ形式が設定されている。ディジタルスチルカメラ10は、画像データをRAWデータ形式で出力する場合には、撮像素子144から出力された画素単位の電気信号を数値化して、圧縮や、色変換処理を施さずにそのまま出力する。ディジタルスチルカメラ10は、RAWデータ形式で出力する際に、欠陥画素補正を実行しても良く、実行しなくても良い。
The digital
パーソナルコンピュータ20は、一般的に用いられるタイプのコンピュータであり、欠陥画素補正処理を含む画像処理プログラムを実行するCPU200、CPU200における演算結果、画像データ等を一時的に格納するRAM201、画像処理プログラムを格納するハードディスクドライブ(HDD)202を備えている。パーソナルコンピュータ20は、メモリカードMCを装着するためのカードスロット203、ディジタルスチルカメラ10からの接続ケーブルを接続するための入出力端子204を備えている。
The
プリンタ30は、カラー画像の出力が可能なプリンタであり、例えば、シアン、マゼンタ、イエロー、ブラックの4色の色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成するインクジェット方式のプリンタである。あるいは、カラートナーを印刷媒体上に転写・定着させて画像を形成する電子写真方式のプリンタである。色インクには、上記4色に加えて、ライトシアン(薄いシアン)、ライトマゼンタ(薄いマゼンタ)、レッド、ブルーを用いても良い。
The
表示装置40は、画像を表示するための表示ディスプレイ45を有し、例えば、電子式の写真フレームとして機能する表示装置である。表示ディスプレイ45は、例えば、液晶表示ディスプレイ、有機EL表示ディスプレイが用いられ得る。
The
プリンタ30および表示装置40は、スタンドアローンにて画像処理、画像出力を実行するため、パーソナルコンピュータ20が備える画像処理機能を備えても良い。かかる場合には、プリンタ30、表示装置40は、パーソナルコンピュータ20を介さずに、例えば、メモリーカードMC等の記憶媒体、あるいは、ケーブルを介してディジタルスチルカメラ10から画像データを取得し、プリンタ30、表示装置40がそれぞれ本実施例における画像処理装置として機能することができる。
The
以下の説明では、ディジタルスチルカメラ10で生成されたRAWデータ形式の画像データGDが、パーソナルコンピュータ20に送出され、画像データGDに対する画像処理がパーソナルコンピュータ20にて実行され、処理済みの画像データがカラープリンタ30に対して出力される場合について説明する。
In the following description, image data GD in the RAW data format generated by the digital
B.画像処理システムが用いる画像ファイルの構成:
図3および図4を参照して、画像処理システムが用いる画像ファイル、すなわち、本発明の実施例に係る撮像装置としてのディジタルスチルカメラ10が出力し、本発明の実施例に係る画像処理装置としてのパーソナルコンピュータ20が取得する画像ファイルの概略構成について説明する。図3は、画像ファイルの内部構成を概念的に示す説明図である。図4は、撮像素子144の一部の構成を示す概略説明図である。図3(a)に示す画像ファイルGF1は、RAWデータ形式の画像データGDを格納する画像データ格納領域R100と、画像データGDと関連付けられた付属情報を格納する付属情報格納領域R110を備えている。画像ファイルGF1の付属情報格納領域R110には、欠陥画素情報および補正情報が格納されている。
B. Image file structure used by the image processing system:
3 and 4, the image file used by the image processing system, that is, output from the digital
RAWデータ形式の画像データGDは、図4に示す撮像素子144を構成する画素CPが出力した電気信号を数値化したデータ(画素データ)で構成されている。図4に示すように、撮像素子144には、モザイク上にRGBの各カラーフィルターが配置された原色フィルターが取り付けられている。すなわち、各画素CPには、RGB色成分のいずれかに対応する波長を持つ光のみを透過するカラーフィルターが取り付けられている。したがって、RAWデータを構成する各画素データは、対応する画素のフィルタ色に対応した色成分の画素値のみを有している。
The image data GD in the RAW data format is composed of data (pixel data) obtained by digitizing an electrical signal output from the pixel CP that constitutes the
欠陥画素情報は、撮像素子144における欠陥画素の位置情報である。欠陥画素は、撮像素子144を構成する画素CPのうち、受光した光量に対応した電気信号を正しく出力できない画素である。例えば、受光した光量に関わらず一定の電気信号を出力する画素である。図4において、CP_def1およびCP_def2は、欠陥画素を示している。欠陥画素情報として、図3(a)に示すように、欠陥画素の数NおよびN個の欠陥画素の撮像素子144における位置情報(座標(xpn、ypn:n=1〜N))が設定されている。
The defective pixel information is position information of defective pixels in the
補正情報は、欠陥画素に対応する画素データ(欠陥画素データ)の補正(欠陥画素補正)に関する情報である。画像ファイルGF1では、格納された画像データGDが、ディジタルスチルカメラ10において欠陥画素補正を実行された補正済みデータであることを示す情報(以下、補正済み情報という。)と、欠陥画素補正が実行されていない未補正データであることを示す情報(以下、未補正情報という。)のいずれかが、補正情報として格納されている。例えば、0が未補正情報を示し、2が補正済み情報を示すこととしても良い。 The correction information is information regarding correction (defective pixel correction) of pixel data (defective pixel data) corresponding to the defective pixel. In the image file GF1, information indicating that the stored image data GD is corrected data that has been subjected to defective pixel correction in the digital still camera 10 (hereinafter referred to as corrected information), and defective pixel correction is executed. One piece of information (hereinafter referred to as uncorrected information) indicating uncorrected data that has not been stored is stored as correction information. For example, 0 may indicate uncorrected information, and 2 may indicate corrected information.
図3(b)に示す画像ファイルGF2は、ディジタルスチルカメラ10が出力する画像ファイルの他の一例である。画像ファイルGF2の付属情報格納領域R110には、画像ファイルGF1と異なり、欠陥画素情報が格納されていない。一方で、画像ファイルGF2の付属情報格納領域R110には、ディジタルスチルカメラ10から出力された欠陥画素情報を用いないで画像データGDを補正する(例えば、画像データを解析して欠陥画素情報を生成することによって補正する)ことを指示(以下、解析補正指示という。)する情報が格納されている。図3(b)に示す例では、数値1が解析補正指示情報の役割を果たす。
An image file GF2 shown in FIG. 3B is another example of an image file output from the digital
C.撮像装置の実施例
・ディジタルスチルカメラ10の制御回路100の機能的構成:
図5は、本実施例に係る撮像装置としてのディジタルスチルカメラ10の制御回路100の機能ブロック図である。図5を参照して制御回路100の機能的構成の概要について説明する。
C. Embodiment of Imaging Device Functional configuration of
FIG. 5 is a functional block diagram of the
欠陥画素情報取得部M10は、欠陥画素情報を取得して、画像データ出力部M20に送出する。欠陥画素情報取得部M10は、欠陥画素情報が予め記憶された欠陥画素情報記憶部M100と、欠陥画素記憶部M100から欠陥画素情報を読み出す欠陥画素情報読出し部M110とを備え、これらによって欠陥画素情報を取得する。欠陥画素記憶部M100には、例えば、ROM106が相当する。
The defective pixel information acquisition unit M10 acquires defective pixel information and sends it to the image data output unit M20. The defective pixel information acquisition unit M10 includes a defective pixel information storage unit M100 in which defective pixel information is stored in advance, and a defective pixel information reading unit M110 that reads out defective pixel information from the defective pixel storage unit M100. To get. For example, the
また、欠陥画素情報取得部M10は、欠陥画素情報生成部M15を備え、これによって欠陥画素情報を生成することによっても欠陥画素情報を取得することができる。欠陥画素情報生成部M15は、高輝度画像撮像部M120、低輝度画像撮像部M130、欠陥画素決定部M140を備える。 Further, the defective pixel information acquisition unit M10 includes a defective pixel information generation unit M15, and can also acquire defective pixel information by generating defective pixel information. The defective pixel information generation unit M15 includes a high luminance image imaging unit M120, a low luminance image imaging unit M130, and a defective pixel determination unit M140.
高輝度画像撮像部M120は、画像データ生成回路130に、高輝度の画像データを生成させて、これを取得する。低輝度画像撮像部M130は、画像データ生成回路130に、低輝度の画像データを生成させて、これを取得する。
The high-brightness image capturing unit M120 causes the image
欠陥画素決定部M140は、高輝度画像撮像部M120が取得した高輝度の画像データと、低輝度画像撮像部M130が取得した低輝度の画像データを比較して、欠陥画素を決定することによって、欠陥画素情報を生成する。 The defective pixel determination unit M140 compares the high luminance image data acquired by the high luminance image imaging unit M120 with the low luminance image data acquired by the low luminance image imaging unit M130, and determines a defective pixel. Generate defective pixel information.
画像データ出力部M20は、画像データ生成回路130からRAWデータ形式の画像データを取得し、欠陥画素情報取得部M10から欠陥画素情報を取得する。画像データ出力部M20は、取得した画像データに取得した欠陥画素情報を関連付けて出力する。また、画像データ出力部M20は、画像処理回路120等から補正情報を取得して、取得した補正情報を、欠陥画素情報と同様に、画像データに関連付けて出力することもできる。出力された画像データ、欠陥画素情報、補正情報は、一つの画像ファイルGFとしてメモリーカードMCに記録される。
The image data output unit M20 acquires RAW data format image data from the image
・ディジタルスチルカメラ10における画像処理:
図6は、本実施例に係る撮像装置としてのディジタルスチルカメラ10における画像処理ルーチンを示すフローチャートである。制御回路100は、撮影に先立ってユーザーによって設定された撮像条件を取得する(ステップS102)。撮像条件には、「風景」「人物」等の撮影モードの設定や、生成した画像データの出力形式の設定が含まれる。
Image processing in the digital still camera 10:
FIG. 6 is a flowchart illustrating an image processing routine in the digital
制御回路100は、撮影要求、例えば、シャッターボタンの押し下げに応じて、RAWデータ形式の画像データGDを生成する(ステップS104)。画像データGDは、制御回路100は、先に取得した撮像条件において、画像データの出力形式の設定が、RAWデータ形式であるか、JPEG形式であるかを判定する(ステップS106)。制御回路100は、出力形式の設定が、RAWデータ形式である場合(ステップS106:YES)には、ROM106に予め記憶された欠陥画素情報を読み出して取得する(ステップS108)。ROM106への欠陥画素情報の記憶は、例えば、撮像素子144の品質検査によって発見された欠陥画素についての情報を、ディジタルスチルカメラ10の製造時に、ROM106に記憶させることによって行われる。
The
制御回路100は、生成したRAWデータ形式の画像データGDと、取得した欠陥画素情報とを画像ファイルGF1(図3(a)参照)としてメモリカードMCに出力する(ステップS110)。
The
制御回路100は、この際、画像データGDに対して欠陥画素補正処理を実行していないことを示す未補正情報も、同時に画像ファイルGF1に付加する。制御回路100は、メモリカードMCに画像データGDを出力する前に、画像処理回路120を制御して、画像データGDに対して欠陥画素補正処理を実行しても良い。かかる場合には、未補正情報に代えて、画像データGDに対して欠陥画素補正処理を実行したことを示す補正済み情報を、画像ファイルGF1に付加する。
At this time, the
一方、画像データの出力形式の設定が、JPEG形式である場合(ステップS106:NO)には、制御回路100は、画像処理回路120を制御して、RAWデータ形式の画像データGDに対して、色補完処理および画質調整処理を実行(ステップS112)する。色補完処理は、画像データGDを構成する各画素データのフィルタ色以外の色成分を算出し、各画素データごとにRGB各色成分の画素値を有するように、欠けているデータを補完する処理である。画質調整処理には、ホワイトバランス調整処理、欠陥画素補正処理が含まれる。
On the other hand, when the setting of the output format of the image data is JPEG format (step S106: NO), the
制御回路100は、画質調整後の画像データGDをYCbCr色空間に変換した後、JPEG圧縮してJPEG形式の画像データを生成する(ステップS114)。制御回路100は生成したJPEG形式の画像データを画像ファイルとしてメモリーカードMCに出力する(ステップS110)。
The
以上説明したように本実施例に係る撮像装置としてのディジタルスチルカメラ10によれば、RAWデータ形式の画像データGDを出力する場合に、欠陥画素情報を生成された画像データGDと関連付けて、一つの画像ファイルGF1として出力するので、画像ファイルGF1を取得した外部の画像処理装置において、欠陥画素情報を、画像データGD1の画像処理に用いることができる。この結果、外部の画像処理装置は、取得した画像データGDにおいて、欠陥画素に対応する欠陥画素データを正確かつ容易に特定でき、欠陥画素補正を正確に実行することができる。
As described above, according to the digital
また、ディジタルスチルカメラ10において、画像データGDに対して欠陥画素補正を実行したか否かを示す情報を、画像データGDと関連付けて、一つの画像ファイルGF1として出力するので、画像ファイルGF1を取得した外部の画像処理装置において、画像データGDの欠陥画素データが補正済みであるか否かを容易に認識することが出来る。この結果、外部の画像処理装置は、効率良く、かつ、適切に、画像データGDに対して、欠陥画素補正を含む画像処理を実行することができる。
Also, in the digital
また、ディジタルスチルカメラ10は、欠陥画素情報を予め、ROM106に記憶しているので、これを読み出すことで、容易に欠陥画素情報を取得し、出力することができる。
In addition, since the digital
・ディジタルスチルカメラ10における画像処理の変形例:
制御回路100は、予め記憶された欠陥画素情報を、画像データGDと関連付けて出力しない場合には、欠陥画素情報に代えて、解析補正指示情報を付加した画像データGF2(図3(b)参照)を出力しても良い。欠陥画素情報を、画像データGDと関連付けて出力しない場合として、ディジタルスチルカメラ10に欠陥画素情報を始めから記憶されていない場合や、不具合により欠陥画素情報が失われた場合がある。
A modification of image processing in the digital still camera 10:
When the defective pixel information stored in advance is not output in association with the image data GD, the
かかる場合には、画像ファイルGF1を取得した外部の画像処理装置は、画像データGDに関連付けられた欠陥画素情報は無いことを容易に認識できる。この結果、外部の画像処理装置は、適切な画像処理を選択、実行することができる。例えば、画像データGDを解析して欠陥画素情報を生成して、生成した欠陥画素情報を用いて画像データGDに対して欠陥画素補正を実行すると判断できる。 In such a case, the external image processing apparatus that has acquired the image file GF1 can easily recognize that there is no defective pixel information associated with the image data GD. As a result, the external image processing apparatus can select and execute appropriate image processing. For example, it can be determined that defective pixel information is generated by analyzing the image data GD, and defective pixel correction is performed on the image data GD using the generated defective pixel information.
上記実施例では、欠陥画素情報は、製造時にROM106に記憶されているが、ディジタルスチルカメラ10によって生成された画像データを解析して、欠陥画素情報を生成しても良い。例えば、制御回路100は、ユーザーから欠陥画素情報の生成指示に応じて、低輝度の画像データと、高輝度の画像データを取得し、取得した両画像データに基づいて、欠陥画素を決定して欠陥画素情報を生成しても良い。低輝度の画像データの取得は、例えば、絞り146を最小に絞って、撮像することによって、画像データ生成回路130に、低輝度の画像データを生成させることによって実行される。高輝度の画像データの取得は、例えば、絞り146を最大に開いて撮像することによって、画像データ生成回路130に、低輝度の画像データを生成させることによって実行される。両画像データに基づく欠陥画素を決定は、例えば、両画像データにおいて、着目画素に対応する画素データを比較して、画素値の変化量が所定の基準値以下である場合に、着目画素が欠陥画素であると決定することによって実行される。
In the above embodiment, defective pixel information is stored in the
かかる場合には、両画像データの生成時における欠陥画素情報が、画像ファイルGF1に含まれるので、外部の画像処理装置は、製造後に生じた欠陥画素に対応する欠陥画素データも、正確かつ容易に特定でき、欠陥画素補正を正確に実行することができる。 In such a case, since the defective pixel information at the time of generating both image data is included in the image file GF1, the external image processing apparatus can accurately and easily detect defective pixel data corresponding to defective pixels generated after manufacturing. The defective pixel correction can be performed accurately.
上記実施例では、補正情報として、補正済み情報または未補正情報を画像ファイルGF1に付加しているが、画像データGDに対して実行された欠陥画素補正についてさらに詳しい情報を補正情報として付加しても良い。例えば、未補正、簡易欠陥画素補正済み、高精度欠陥画素補正済みの3段階の補正情報を付加しても良い。 In the above embodiment, corrected information or uncorrected information is added to the image file GF1 as correction information, but more detailed information about defective pixel correction performed on the image data GD is added as correction information. Also good. For example, three levels of correction information that are uncorrected, simple defective pixel corrected, and highly accurate defective pixel corrected may be added.
かかる場合には、画像ファイルGF1を取得した外部の画像処理装置は、画像データGDに対して実行された欠陥画素補正について、より詳しく認識することができる。この結果、外部の画像処理装置は、効率良く、かつ、適切に、画像データGDに対して、欠陥画素補正を含む画像処理を実行することができる。 In such a case, the external image processing apparatus that has acquired the image file GF1 can recognize the defective pixel correction performed on the image data GD in more detail. As a result, the external image processing apparatus can execute image processing including defective pixel correction on the image data GD efficiently and appropriately.
D.画像処理装置の第1の実施例:
・パーソナルコンピュータ20の機能的構成:
図7は、本実施例に係る画像処理装置としてのパーソナルコンピュータ20(CPU200)の機能ブロック図である。図7を参照してパーソナルコンピュータ20(CPU200)の機能的構成の概要について説明する。
D. First Embodiment of Image Processing Device:
-Functional configuration of the personal computer 20:
FIG. 7 is a functional block diagram of the personal computer 20 (CPU 200) as the image processing apparatus according to the present embodiment. The outline of the functional configuration of the personal computer 20 (CPU 200) will be described with reference to FIG.
画像データ取得部M210は、画像ファイルGFに含まれている処理対象画像の画像データGDを取得する。欠陥画素情報取得部M220は、画像ファイルGFに含まれ、画像データGDと関連付けられた欠陥画素情報を取得する。補正情報検出部M250は、画像ファイルGFに含まれている補正情報を検出する。 The image data acquisition unit M210 acquires the image data GD of the processing target image included in the image file GF. The defective pixel information acquisition unit M220 acquires defective pixel information included in the image file GF and associated with the image data GD. The correction information detection unit M250 detects correction information included in the image file GF.
欠陥画素情報生成部M260は、補正情報検出部M250が、補正情報として、解析補正指示情報を検出した場合に、画像データGDを解析して、欠陥画素情報を生成する。 When the correction information detection unit M250 detects analysis correction instruction information as correction information, the defective pixel information generation unit M260 analyzes the image data GD and generates defective pixel information.
欠陥画素データ特定部M230は、欠陥画素情報取得部M210によって取得された欠陥画素情報、または、欠陥画素情報生成部M260によって生成された欠陥画素情報を用いて、画像データGDにおいて、欠陥画素に対応する画素データを特定する。 The defective pixel data specifying unit M230 corresponds to a defective pixel in the image data GD using the defective pixel information acquired by the defective pixel information acquisition unit M210 or the defective pixel information generated by the defective pixel information generation unit M260. The pixel data to be specified is specified.
補正処理部M240は、欠陥画素データ特定部M230によって特定された欠陥画素データを補正し、補正後画像データGD’を生成する。 The correction processing unit M240 corrects the defective pixel data specified by the defective pixel data specifying unit M230, and generates corrected image data GD ′.
・パーソナルコンピュータ20における画像処理:
図8〜図10を参照して本実施例に係るパーソナルコンピュータ20において実行される画像処理について説明する。
Image processing in the personal computer 20:
Image processing executed in the
図8は、本実施例に係るパーソナルコンピュータ20における画像処理の処理ルーチンを示すフローチャートである。パーソナルコンピュータ20(CPU200)は、スロット203にメモリカードMCが差し込まれると、本画像処理のプログラムを起動する。CPU200は、ユーザの指示に従ってメモリカードMCから処理対象画像の画像データGDを格納した画像ファイルGFを読み出し、画像データGDを取得してRAM201に一時的に格納する(ステップS210)。
FIG. 8 is a flowchart illustrating a processing routine of image processing in the
CPU200は、続いて、RAWデータ形式である画像データGDに対して、欠陥画素補正処理を実行する(ステップS220)。
Subsequently, the
図9は、本実施例に係る欠陥画素補正処理の処理ルーチンを示すフローチャートである。CPU200は、画像ファイルGFから画像データGDと関連付けられた補正情報を検出する(ステップS302)。解析補正指示情報が補正情報として検出された場合(ステップS304:YES)、すなわち画像ファイルGFが図3(b)に示す画像ファイルGF2のように、欠陥画素情報に代えて、解析補正指示情報を含む場合には、CPU200は、取得した画像データGDを解析して欠陥画素情報を生成する(ステップS318)。
FIG. 9 is a flowchart illustrating a processing routine of defective pixel correction processing according to the present embodiment. The
画像データを解析して欠陥画素情報を生成する方法は、例えば、以下に説明する公知の方法を用いることができる。CPU200は、着目画素と、着目画素の周囲に存在する複数の画素(着目画素と同じフィルタ色の画素に対応する画素データを選ぶ)との画素値(画素データ)の差分を欠陥画素検出値として算出する。CPU200は、算出した欠陥画素検出差分値が、予め設定された欠陥画素検出基準値より大きい場合に、着目画素を欠陥画素であると決定する。CPU200は、画像データを構成する全ての画素データに対応する画素もついて、欠陥画素か否かを決定し、欠陥画素情報を生成する。
As a method of generating defective pixel information by analyzing image data, for example, a known method described below can be used. The
一方、CPU200は、解析補正指示情報を検出できない場合(ステップS304:NO)、すなわち、画像ファイルGFが図3(a)に示す画像ファイルGF1のように、欠陥画素情報を含む場合には、画像ファイルGFから画像データGDと関連付けられた欠陥画素情報を取得する(ステップS306)。以下、図4に示すCP_def1およびCP_def2を含むN個の欠陥画素を有する撮像素子144の欠陥画素情報(図3(a)参照)を取得した場合を具体例として説明する。
On the other hand, when the analysis correction instruction information cannot be detected (step S304: NO), that is, when the image file GF includes defective pixel information like the image file GF1 shown in FIG. The defective pixel information associated with the image data GD is acquired from the file GF (step S306). Hereinafter, a specific example will be described in which defective pixel information (see FIG. 3A) of the
続いて、CPU200は、ステップS306で取得した欠陥画素情報またはステップS308で生成した欠陥画素情報に基づいて、着目する欠陥画素の位置情報(以下、着目位置情報という。)を取得する(ステップS310)。例えば、CPU200は、欠陥画素CP_def1を着目する欠陥画素として設定し、CP_def1の位置情報(xp1、yp1)を着目位置情報として取得する。
Subsequently, based on the defective pixel information acquired in step S306 or the defective pixel information generated in step S308, the
CPU200は、着目する欠陥画素が、撮像素子144の端部に位置するか否かを判定する(ステップS312)。撮像素子144が、図4のX軸方向に、M個並んでいる場合(欠陥画素の位置情報におけるX座標が、0〜M−1で表される場合)において、着目位置情報のX座標の値をxpとすると、以下の式(1a)または(1b)を満たす場合、着目する欠陥画素が、端部に位置すると判定され、満たさない場合には、端部に位置しないと判定される。
xp<2 …(1a)
xp>M−3 …(1b)
The
xp <2 (1a)
xp> M-3 (1b)
すなわち、撮像素子144を構成する画素のうち、左右両端に位置する画素および左右から2列目に位置する画素が、端部に位置する画素であると判定される。具体例では、図4に示すように、欠陥画素CP_def1は、端部に位置しないと判定され、欠陥画素CP_def2は端部に位置すると判定される。CPU200は、着目する欠陥画素が、端部に位置しない場合(ステップS312:NO)には、着目する欠陥画素に対応する欠陥画素データを画像データGDを構成する画素データから特定し、特定した欠陥画素データに対して、標準欠陥画素補正を実行する(ステップS314)。
That is, among the pixels constituting the
図10は、欠陥画素補正の具体例を概念的に示す説明図である。欠陥画素の画素値は、欠陥画素と同じフィルタ色を有する画素のうち、欠陥画素の左右方向で最も近い位置にある画素に対応する画素データを用いて補正される。図10(a)は、位置(xp1、yp1)の画素CP_def1の画素値G(x)に対する標準欠陥画素補正の具体例を示している。CPU200は、位置(xp1−2、yp1)の画素CP_leftに対応する画素データの画素値G(x−2)と、位置(xp1+2、yp1)の画素CP_rightに対応する画素データの画素値G(x+2)との平均値を用いて、G(x)の画素値を補正する。
FIG. 10 is an explanatory diagram conceptually showing a specific example of defective pixel correction. The pixel value of the defective pixel is corrected using pixel data corresponding to a pixel that is closest to the defective pixel in the left-right direction among pixels having the same filter color as the defective pixel. FIG. 10A shows a specific example of standard defective pixel correction for the pixel value G (x) of the pixel CP_def1 at the position (xp1, yp1). The
CPU200は、着目する欠陥画素が、端部に位置する場合(ステップS312:YES)には、着目する欠陥画素に対応する欠陥画素データに対して、端部欠陥画素補正を実行する(ステップS316)。図10(b)は、端部欠陥画素補正の具体例を示している。欠陥画素CP_def2の画素値B(x)は、図10(a)に示すように、位置(xp2+2、yp2)の画素CP_rightに対応する画素データの画素値B(x+2)を、B(x)の値として補正される。
When the defective pixel of interest is located at the end (step S312: YES), the
CPU200は、欠陥画素情報に基づく全欠陥画素について、欠陥画素補正が終了したか否かを判定する(ステップS318)。取得された欠陥画素情報がN個の欠陥画素の位置情報であるとき、CPU200は、N個の欠陥画素に対応する欠陥画素データが全て補正されていない場合には、全欠陥画素補正が終了していないと判定し、全て補正された場合には、全欠陥画素補正が終了したと判定する(ステップS318:YES)。
The
CPU200は、全欠陥画素補正が終了していない場合(ステップS318:NO)には、未補正の欠陥画素の画素位置を新たに取得(ステップS310)し、上述した処理(ステップS312〜S316)を繰り返す。CPU200は、全欠陥画素補正が終了した場合(ステップS318:YES)には、本処理を終了して、図8の処理ルーチンにリターンする。欠陥画素補正処理が実行された画像データを補正後画像データGD’とする。
If all defective pixel correction has not been completed (step S318: NO), the
図8に戻って説明を続けると、CPU200は、補正後画像データGD’に対して、色補完処理を実行する(ステップS230)。色補完処理は、画像データGDを構成する各画素データのフィルタ色以外の色成分を算出し、各画素データごとにRGB各色成分の画素値を有するように、欠けているデータを補完する処理である。補完処理によって、デジタルカメラ10の機器特性に依存した色空間(以下、CCDRGB色空間という。)におけるRGBデータ(以下、画像データGD’’という。)が生成される。
Returning to FIG. 8 and continuing the description, the
CPU200は、続いて、画像データGD’’に対して、色変換処理を実行する(ステップS240)。色変換処理は、画像データの色空間を目的に応じて適切な適切な色空間へ変換する処理である。本実施例では、画像データGD’’の色空間を、ディジタルスチルカメラ10に依存したCCDRGB色空間から、プリンタ30に出力する画像データの画質調整処理に適したwRGB色空間へと変換する。例えば、CPU200は、画像データGD2の色空間を、機器独立色空間(例えば、XYZまたはLab色空間)を介して、CCDRGB色空間からwRGB色空間へと変換する。
Subsequently, the
CPU200は、続いて、画像データGD’’の入出力特性を、出力機器を考慮した入出力特性に変換する逆ガンマ補正処理を実行する。(ステップS250)。本実施例では、プリンタ30を出力機器とするので、プリンタ30の入出力特性を示すガンマ値を用いて、逆ガンマ補正が実行される。
Subsequently, the
CPU200は、画像データGD’’に対して、必要な画質調整処理を実行する(ステップS260)。例えば、カラーバランス(ホワイトバランス)、コントラスト、色彩、シャープネスの補正を始めとする一般的な画質調整処理が実行され得る。CPU200は、これらの画質調整処理の全部または一部を、wRGB空間に変換する前にCCDRGB色空間において実行しても良いし、逆ガンマ補正前に実行しても良い。
The
CPU200は、画質調整処理後の画像データGD’’をプリンタドライバに出力して(ステップS270)、本処理ルーチンを終了する。プリンタドライバでは、画像データGD’’をCMYKデータに変換する。すなわち、画像データGD’’の表色系をプリンタ30が印刷処理を実行する際に用いる表色系であるCMYK表色系に変換する。具体的には、HDD202(または、ROM)に格納されているRGB表色系とCMYK表色系とを対応付けたルックアップデーブルを用いて実行される。また、ハーフトーン処理、解像度変換処理が実行され、印刷用のラスタデータとしてプリンタ30に出力される。
The
以上説明したように、本実施例に係る画像処理によれば、画像データGDと関連付けられた欠陥画素情報を取得し、取得した欠陥画素情報を用いて、画像データGDを構成する画素データから欠陥画素データを特定して、欠陥画素データを補正する。この結果、撮像装置とは別体の外部画像処理装置において、取得した画像データGDにおける欠陥画素データを正確に、補正することができる。 As described above, according to the image processing according to the present embodiment, the defective pixel information associated with the image data GD is acquired, and the acquired defective pixel information is used to detect defects from the pixel data constituting the image data GD. The pixel data is specified and the defective pixel data is corrected. As a result, the defective pixel data in the acquired image data GD can be accurately corrected in an external image processing apparatus separate from the imaging apparatus.
また、欠陥画素情報に代えて、解析補正指示情報を、画像データGDと関連付けられた補正情報として取得した場合には、画像データGDを解析して生成された欠陥画素情報を用いて、欠陥画素情報を補正するので、画像データGDと関連付けられた欠陥画素情報が取得できない場合であっても、適切に欠陥画素補正を実行することができる。 In addition, when the analysis correction instruction information is acquired as correction information associated with the image data GD instead of the defective pixel information, the defective pixel information is generated using the defective pixel information generated by analyzing the image data GD. Since the information is corrected, the defective pixel correction can be appropriately executed even when defective pixel information associated with the image data GD cannot be acquired.
E.画像処理装置の第2の実施例:
・パーソナルコンピュータ20の機能的構成:
図11は、本実施例に係る画像処理装置としてのパーソナルコンピュータ20(CPU200)の機能ブロック図である。図11を参照してパーソナルコンピュータ20(CPU200)の機能的構成の概要について説明する。なお、図7を参照して説明した第1の実施例と同一の構成については、図7と同一の符号を付し、その説明を省略する。
E. Second embodiment of the image processing apparatus:
-Functional configuration of the personal computer 20:
FIG. 11 is a functional block diagram of a personal computer 20 (CPU 200) as an image processing apparatus according to the present embodiment. An outline of a functional configuration of the personal computer 20 (CPU 200) will be described with reference to FIG. The same components as those in the first embodiment described with reference to FIG. 7 are denoted by the same reference numerals as those in FIG. 7, and the description thereof is omitted.
補正指示検出部M270は、ユーザー等による欠陥画素補正に関する補正指示を検出する。高精度補正処理部M280は、補正指示検出部M270が、精度の高い欠陥画素補正を指示する補正指示を検出した場合に、補正処理部M240による欠陥画素補正よりも高い精度で欠陥画素データ特定部M230によって特定された欠陥画素データを補正し、補正後画像データGD’を生成する。 The correction instruction detection unit M270 detects a correction instruction related to defective pixel correction by a user or the like. The high-precision correction processing unit M280, when the correction instruction detection unit M270 detects a correction instruction for instructing defective pixel correction with high accuracy, has a defective pixel data specifying unit with higher accuracy than the defective pixel correction by the correction processing unit M240. The defective pixel data specified by M230 is corrected, and corrected image data GD ′ is generated.
補正処理部M240は、第1の実施例と同様に、欠陥画素データ特定部M230によって特定された欠陥画素データを補正し、補正後画像データGD’を生成する。第1の実施例と異なり、補正指示検出部M270が、精度の高い欠陥画素補正を指示する補正指示を検出した場合や、補正済み情報を検出した場合には、欠陥画素補正を実行しない。 Similar to the first embodiment, the correction processing unit M240 corrects the defective pixel data specified by the defective pixel data specifying unit M230, and generates corrected image data GD '. Unlike the first embodiment, when the correction instruction detection unit M270 detects a correction instruction for instructing defective pixel correction with high accuracy, or detects corrected information, the correction instruction detection unit M270 does not perform defective pixel correction.
・パーソナルコンピュータ20における画像処理:
図12を参照して本実施例に係るパーソナルコンピュータ20において実行される画像処理について説明する。本実施例に係る画像処理において、欠陥画素補正処理(図8:ステップ220)以外の処理は、図8を参照して説明した第1の実施例に係る画像処理と同一であるので、その説明を省略し、本実施例に係る欠陥画素補正処理についてのみ説明する。
Image processing in the personal computer 20:
Image processing executed in the
図12は、本実施例に係る欠陥画素補正処理の処理ルーチンを示すフローチャートである。CPU200は、欠陥画素補正処理を開始すると、第1の実施例におけるステップS306と同様に、画像ファイルGFから画像データGDと関連付けられた欠陥画素情報を取得する(ステップS402)。
FIG. 12 is a flowchart illustrating a processing routine of defective pixel correction processing according to the present embodiment. When the defective pixel correction process is started, the
CPU200は、続いて、画像ファイルGFから画像データGDと関連付けられた補正情報を検出する(ステップS404)。さらに、CPU200は、ユーザー等から画像データGDに対して精度の高い欠陥画素補正を実行する高精度補正指示と通常の欠陥画素補正を実行する通常補正指示とのいずれかを検出する(ステップS406)。例えば、ユーザーが、画像データを画像処理(現像)するモードとして、高画質モードと、高速モードの2種類を選択できるようする。そして、高画質モードが選択された場合には、高精度補正指示であるとして検出し、高速モードが選択された場合には、通常補正指示であるとして検出する。
Subsequently, the
CPU200は、検出された補正指示が、高精度補正指示か通常補正指示かを判断する(ステップS408)。補正指示が高精度補正指示である場合(ステップS408:YES)には、取得した欠陥画素情報を用いて画像データGDにおける欠陥画素データを特定し、精度の高い欠陥画素補正を実行する(ステップS410)。
精度の高い欠陥画素補正としては、例えば、以下に説明する公知の方法を用いることができる。図13は、精度の高い欠陥画素補正の内容の一例を説明する説明図である。図13において、中央に位置するB(ブルー)をフィルタ色とする画素CP_defは、補正対象の欠陥画素である。画素CP_defの画素値をB_defとする。そして、同一のフィルタ色を有する画素であって、図13において画素CP_defから上下左右斜めの8方向に存在する画素を参照画素CP1〜CP8とし、それぞれの画素値をB1〜B8とする。 As the defective pixel correction with high accuracy, for example, a known method described below can be used. FIG. 13 is an explanatory diagram illustrating an example of the details of defective pixel correction with high accuracy. In FIG. 13, a pixel CP_def whose filter color is B (blue) located in the center is a defective pixel to be corrected. Let the pixel value of the pixel CP_def be B_def. Pixels having the same filter color and existing in eight directions diagonally up, down, left, and right from the pixel CP_def in FIG. 13 are referred to as reference pixels CP1 to CP8, and the pixel values thereof are B1 to B8.
CPU200は、画素CP_defを上下方向、左右方向、斜め2方向に挟む参照画素の画素値の差分値をそれぞれ、以下の式(2a)〜(2d)によって算出する。
D_26 = | B2 - B6 | …(2a)
D_48 = | B4 - B8 | …(2b)
D_15 = | B1 - B5 | …(2c)
D_37 = | B3 - B7 | …(2d)
The
D_26 = | B2-B6 | (2a)
D_48 = | B4-B8 |… (2b)
D_15 = | B1-B5 | (2c)
D_37 = | B3-B7 |… (2d)
そして、CPU200は、算出した4つの差分値(D_26、D_48、D_15、D_37)のうち最小値を示す差分値を認識する。そして、CPU200は、認識した最小の差分値の算出に用いた画素値の平均値を、欠陥画素値B_defとして用いることにより、欠陥画素データを補正する。例えば、図13に示す例において、
MIN(D_26、D_48、D_15、D_37) = D_15 …(3a)
ならば、
B_def = ( B1 + B5 ) / 2 …(3b)
となる。このような欠陥画素補正は、補正の際に考慮する周囲の画素数が通常の補正よりも多いため、精度の高い補正が望める反面、補正に要する演算時間が長くなる。そのため、このような欠陥画素補正は、一般的に演算能力が低いディジタルスチルカメラにおいて、実行するには適していない。
Then, the
MIN (D_26, D_48, D_15, D_37) = D_15 (3a)
Then
B_def = (B1 + B5) / 2 ... (3b)
It becomes. In such defective pixel correction, the number of surrounding pixels to be considered at the time of correction is larger than that of the normal correction, so that a highly accurate correction can be expected, but the calculation time required for the correction becomes long. For this reason, such defective pixel correction is generally not suitable for execution in a digital still camera with low calculation capability.
CPU200は、検出された補正指示が、通常補正指示である場合(ステップS408:NO)には、CPU200は、ステップS404で補正情報として補正済み情報(図3(a)参照)を検出したか否かを判断する(ステップS412)。CPU200は、補正済み情報を検出した場合(ステップS412:YES)には、画像データに対して、欠陥画素補正を実行することなく、本処理を終了する。
When the detected correction instruction is a normal correction instruction (step S408: NO), the
CPU200は、補正済み情報を検出しなかった場合(ステップS212:NO)には、取得した欠陥画素情報を用いて、画像データGDにおける欠陥画素データを特定し、通常の欠陥画素補正を実行する(ステップS414)。通常の欠陥画素補正は、例えば、第1の実施例において説明した欠陥画素補正(図9:ステップS310〜ステップS318)を用いる。
If the corrected information is not detected (step S212: NO), the
以上説明したように、本実施例に係る画像処理によれば、第1の実施例と同様に、画像データGDと関連付けられた欠陥画素情報を用いて、撮像装置とは別体の外部の画像処理装置において、取得した画像データGDにおける欠陥画素データを、正確に補正することができる。 As described above, according to the image processing according to the present embodiment, as in the first embodiment, an external image separate from the imaging apparatus is used using the defective pixel information associated with the image data GD. In the processing device, the defective pixel data in the acquired image data GD can be corrected accurately.
さらに、画像ファイルGFから画像データGDと関連付けられた補正情報として、補正済み情報を検出した場合には、通常の欠陥画素補正を実行しない。一方で、画像ファイルGFから補正情報が検出されない場合であって、高精度補正指示が検出されない場合には、通常の欠陥画素補正を実行する。この結果、欠陥画素補正が既に実行された画像データに対して、重複して欠陥画素補正を実行することを回避し、補正が必要な画像データに対してのみ、欠陥画素補正を実行できるので、画像処理装置のメモリリソースの節約、画像処理時間の短縮を図ることができる。 Further, when corrected information is detected as correction information associated with the image data GD from the image file GF, normal defective pixel correction is not executed. On the other hand, when correction information is not detected from the image file GF and a high-precision correction instruction is not detected, normal defective pixel correction is executed. As a result, it is possible to avoid performing defective pixel correction redundantly on image data on which defective pixel correction has already been performed, and to perform defective pixel correction only on image data that requires correction. It is possible to save memory resources of the image processing apparatus and shorten the image processing time.
また、高精度補正指示が検出された場合には、画像ファイルGFから補正済み情報が検出されたか否かに関わらず、精度の高い欠陥画素補正を画像データGDに対して実行するので、ユーザー等の要求に応じて、適切に精度の高い欠陥画素補正を実行することができる。 Further, when a high-precision correction instruction is detected, a highly accurate defective pixel correction is performed on the image data GD regardless of whether corrected information is detected from the image file GF. Therefore, it is possible to appropriately perform defective pixel correction with high accuracy.
E.画像処理装置の第3の実施例:
・パーソナルコンピュータ20の機能的構成:
図14は、本実施例に係る画像処理装置としてのパーソナルコンピュータ20(CPU200)の機能ブロック図である。図14を参照してパーソナルコンピュータ20(CPU200)の機能的構成の概要について説明する。なお、図7を参照して説明した第1の実施例と同一の構成については、図7と同一の符号を付し、その説明を省略する。
E. Third embodiment of the image processing apparatus:
-Functional configuration of the personal computer 20:
FIG. 14 is a functional block diagram of a personal computer 20 (CPU 200) as an image processing apparatus according to the present embodiment. The outline of the functional configuration of the personal computer 20 (CPU 200) will be described with reference to FIG. The same components as those in the first embodiment described with reference to FIG. 7 are denoted by the same reference numerals as those in FIG. 7, and the description thereof is omitted.
欠陥画素情報生成部M260は、画像データGDを解析して、欠陥画素情報を生成する。増加判定部M290は、欠陥画素情報取得部M220によって取得された欠陥画素情報と、欠陥画素情報生成部M260によって生成された欠陥画素情報とを比較して、欠陥画素の数が増加しているか否かを判定する。増加判定部M290は、欠陥画素の数が増加していると判定した場合には、欠陥画素情報生成部M260によって生成された欠陥画素情報を、記憶装置(例えば、HDD202)に記録する。 The defective pixel information generation unit M260 analyzes the image data GD and generates defective pixel information. The increase determination unit M290 compares the defective pixel information acquired by the defective pixel information acquisition unit M220 with the defective pixel information generated by the defective pixel information generation unit M260, and determines whether or not the number of defective pixels has increased. Determine whether. If the increase determination unit M290 determines that the number of defective pixels has increased, the increase pixel determination unit M290 records the defective pixel information generated by the defective pixel information generation unit M260 in the storage device (for example, the HDD 202).
報知部M295は、増加判定部M290が欠陥画素の数が増加していると判定した場合に、ユーザー等にその旨を報知する。 When the increase determination unit M290 determines that the number of defective pixels has increased, the notification unit M295 notifies the user or the like to that effect.
・パーソナルコンピュータ20における画像処理:
図15を参照して本実施例に係るパーソナルコンピュータ20において実行される画像処理について説明する。
Image processing in the personal computer 20:
Image processing executed in the
図15は、本実施例に係る画像処理装置としてのパーソナルコンピュータ20における画像処理の処理ルーチンを示すフローチャートである。パーソナルコンピュータ20(CPU200)は、ユーザー等の指示に従って、あるいは、一定期間ごとに自動的に、本画像処理のプログラムを起動して、欠陥画素の増加判定を実行する。CPU200は、ユーザの指示に従って、または、増加判定の対象であるディジタルスチルカメラ10によって撮像された最新のファイルを自動的に選択して、HDD202やメモリーカードMCから処理対象画像の画像データGDが格納された画像ファイルGFを読み出し、画像データGDを取得する(ステップS502)。
FIG. 15 is a flowchart illustrating a processing routine of image processing in the
CPU200は、画像ファイルGFから画像データGDと関連付けられた欠陥画素情報を取得する(ステップS504)。CPU200は、取得した画像データGDを解析して、ステップS504で取得した欠陥画素情報とは別に欠陥画素情報を生成する(ステップS506)。欠陥画素情報の生成には、第1の実施例に係る画像処理における欠陥画素情報の生成(図9:ステップS318)と同様の方法を用いる。
The
CPU200は、続いて、画像データGDを解析して生成された欠陥画素情報と、画像データと関連付けられた欠陥画素情報を比較して、欠陥画素の数が増加しているか否かを判定する(ステップS508)。例えば、生成された欠陥画素情報に基づく欠陥画素の数と、関連付けられた欠陥画素情報に基づく欠陥画素の数の差が基準値以上である場合に、CPU200は、欠陥画素の数が増加していると判定する。
Subsequently, the
CPU200は、欠陥画素の数が増加していると判定した場合(ステップS508:YES)には、欠陥画素の数が増加していることをユーザー等に報知する(ステップS510)。ユーザー等への報知は、例えば、パーソナルコンピュータ20の表示装置25に、欠陥画素の増加数を表示することによって行われる。さらに、CPU200は、生成された欠陥画素情報を記憶しておく(ステップS512)。CPU200は、同じディジタルスチルカメラ10について、以前に記憶された欠陥画素情報がHDD202ある場合には、記憶された欠陥画素情報を、生成された欠陥情報と更新して記憶しても良く、別々に保存して欠陥画素情報の履歴を残しても良い。
If the
以上説明したように、本実施例に係る画像処理によれば、画像データGDと関連付けられた欠陥画素情報と、画像データを解析して生成された欠陥画素情報とを比較して、欠陥画素の数が増加していると判定された場合に、増加を報知する。この結果、ユーザー等は、画像データを生成したディジタルスチルカメラ10の撮像素子の欠陥画素が、経時劣化等によって、増加していることを認識することができる。
As described above, according to the image processing according to the present embodiment, the defective pixel information associated with the image data GD is compared with the defective pixel information generated by analyzing the image data. When it is determined that the number is increasing, the increase is notified. As a result, the user or the like can recognize that the number of defective pixels of the image sensor of the digital
また、欠陥画素の数が増加していると判定された場合に、新たに生成した欠陥画素情報をHDD202等に記憶させておくので、同じディジタルスチルカメラ10で生成された画像データに対して、欠陥画素補正を実行する場合に、記憶させた欠陥画素情報を用いることができる。この結果、ディジタルスチルカメラ10の製造後に、発生した欠陥画素に対応する画素データについても正確に補正することができる。
In addition, when it is determined that the number of defective pixels has increased, newly generated defective pixel information is stored in the
以上、実施例、変形例に基づき本発明に係る撮像装置および画像処理について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。 As described above, the imaging apparatus and the image processing according to the present invention have been described based on the examples and the modifications. However, the embodiments of the present invention described above are for facilitating the understanding of the present invention. It is not limited. The present invention can be changed and improved without departing from the spirit and scope of the claims, and the present invention includes equivalents thereof.
10…ディジタルスチルカメラ(DSC)
100…制御回路
102…中央演算装置(CPU)
104…ランダムアクセスメモリ(RAM)
106…リードオンリメモリ(ROM)
110…コントローラ
120…画像処理回路
130…画像データ生成回路
140…光学回路
142…レンズ
144…撮像素子
146…絞り
150…メモリカードドライブ
20…パーソナルコンピュータ
200…中央演算装置(CPU)
201…ランダムアクセスメモリ(RAM)
202…ハードディスク(HDD)
203…カードスロット
204…入出力端子
25…モニタ
30…プリンタ
40…表示装置
45…表示部
MC…メモリカード
M10…欠陥画素情報取得部
M15…欠陥画素情報生成部
M100…欠陥画素情報取得部
M110…欠陥画素情報読出し部
M120…高輝度画像撮像部
M130…低輝度画像撮像部
M140…欠陥画素決定部
M20…画像データ出力部
M210…画像データ取得部
M220…欠陥画素情報取得部
M230…欠陥画素データ特定部
M240…補正処理部
M250…補正情報検出部
M260…欠陥画素情報生成部
M270…補正指示検出部
M280…高精度補正処理部
M290…増加判定部
M295…報知部
10. Digital still camera (DSC)
DESCRIPTION OF
104: Random access memory (RAM)
106: Read only memory (ROM)
DESCRIPTION OF
201: Random access memory (RAM)
202: Hard disk (HDD)
DESCRIPTION OF
Claims (18)
複数の画素を有すると共に、撮像画像を画素単位の電気信号として出力する撮像素子と、
前記出力された電気信号に基づいて、画素データから構成される画像データを生成する画像データ生成手段と、
前記撮像素子が有する画素のうち、正しく電気信号を出力できない欠陥画素の位置情報を取得する欠陥画素情報取得手段と、
前記取得された欠陥画素情報を、前記生成された画像データに関連付けて出力する画像データ出力手段とを備える撮像装置。 An imaging device,
An image sensor that has a plurality of pixels and outputs a captured image as an electrical signal in units of pixels;
Image data generating means for generating image data composed of pixel data based on the output electrical signal;
Among the pixels of the image sensor, defective pixel information acquisition means for acquiring position information of defective pixels that cannot output electrical signals correctly;
An imaging apparatus comprising: image data output means for outputting the acquired defective pixel information in association with the generated image data.
前記欠陥画素情報取得手段は、
前記欠陥画素の位置情報を予め記憶した欠陥画素情報記憶手段と、
前記欠陥画素情報記憶手段から前記欠陥画素情報を読み出す欠陥画素情報読み出し手段とを備える撮像装置。 The imaging device according to claim 1,
The defective pixel information acquisition unit includes:
Defective pixel information storage means for previously storing position information of the defective pixels;
An imaging apparatus comprising: defective pixel information reading means for reading the defective pixel information from the defective pixel information storage means.
前記欠陥画素情報取得手段は、前記生成された画像データを解析して、前記欠陥画素情報を生成する欠陥画素情報生成手段を備える撮像装置。 In the imaging device according to claim 1 or 2,
The defective pixel information acquisition unit includes an defective pixel information generation unit that analyzes the generated image data and generates the defective pixel information.
前記欠陥画素情報生成手段は、
前記画像データ生成手段に低輝度の画像データを生成させる低輝度画像撮像手段と、
前記画像データ生成手段に高輝度の画像データを生成させる高輝度画像撮像手段と、
生成された前記低輝度の画像データと前記高輝度の画像データとを比較して、画素値の変化量が基準値以下である画素データに対応する画素を、欠陥画素であると決定する欠陥画素決定手段とを備える撮像装置。 The imaging device according to claim 3.
The defective pixel information generating means includes
Low-luminance image capturing means for causing the image data generating means to generate low-luminance image data;
High-luminance image capturing means for causing the image data generation means to generate high-luminance image data; and
A defective pixel that compares the generated low-brightness image data with the high-brightness image data and determines that a pixel corresponding to pixel data whose pixel value change amount is equal to or less than a reference value is a defective pixel An imaging apparatus comprising a determining unit.
前記画像データ出力手段は、さらに、
前記欠陥画素に対応する画素データを補正する欠陥画素補正に関する補正情報を、前記生成された画像データに関連付けて出力する撮像装置。 The imaging apparatus according to any one of claims 1 to 4,
The image data output means further includes:
An imaging apparatus that outputs correction information related to defective pixel correction for correcting pixel data corresponding to the defective pixel in association with the generated image data.
前記補正情報は、前記生成された画像データに対して、前記欠陥画素補正を、前記撮像装置において実行したか否かを示す情報である撮像装置。 The imaging apparatus according to claim 5,
The imaging apparatus, wherein the correction information is information indicating whether or not the defective pixel correction is performed on the generated image data in the imaging apparatus.
前記画像データ出力手段は、前記欠陥画素情報に代えて、前記欠陥画素情報を用いないで前記欠陥画像データ補正を実行することを指示する指示情報を、前記生成された画像データに関連付けて出力する撮像装置撮像装置。 The imaging device according to claim 1,
The image data output means outputs instruction information instructing execution of the defect image data correction without using the defective pixel information in association with the generated image data instead of the defective pixel information. Imaging device Imaging device.
前記生成された画像データは、RAWデータ形式の画像データである撮像装置。 The imaging device according to any one of claims 1 to 7,
The imaging apparatus, wherein the generated image data is image data in a RAW data format.
前記画像データ出力手段は、前記生成された画像データと、前記画像データに関連付けた欠陥画素情報または補正情報または指示情報とを、一つの画像ファイルとして出力する撮像装置。 The imaging apparatus according to any one of claims 1 to 8,
The image data output unit outputs the generated image data and defective pixel information or correction information or instruction information associated with the image data as one image file.
複数の画素を有する撮像素子から出力された電気信号に基づいて生成された画像データであり、前記複数の画素に対応する画素データから構成される画像データを取得する画像データ取得手段と、
前記取得された画像データと関連付けられた情報であり、前記撮像素子が有する画素のうち正しく電気信号を出力できない欠陥画素の位置情報である欠陥画素情報を取得する欠陥画素情報取得手段と、
前記取得された欠陥画素情報を用いて、前記取得された画像データから前記欠陥画素に対応する欠陥画素データを特定する欠陥画素データ特定手段と、
前記特定された欠陥画素データを補正する補正処理手段とを備える画像処理装置。 An image processing apparatus,
Image data acquisition means for acquiring image data, which is image data generated based on an electrical signal output from an imaging device having a plurality of pixels, and is composed of pixel data corresponding to the plurality of pixels;
Defective pixel information acquisition means for acquiring defective pixel information which is information associated with the acquired image data and which is position information of a defective pixel that cannot correctly output an electrical signal among pixels of the imaging device;
Using the acquired defective pixel information, defective pixel data specifying means for specifying defective pixel data corresponding to the defective pixel from the acquired image data;
An image processing apparatus comprising correction processing means for correcting the specified defective pixel data.
前記取得された画像データと関連付けられた情報であり、前記欠陥画素データの補正に関する情報である補正情報を検出する補正情報検出手段を備え、
前記補正処理手段は、検出された補正情報に応じて、前記欠陥画素データの補正を実行する画像処理装置。 The image processing apparatus according to claim 10 further includes:
Correction information detecting means for detecting correction information which is information associated with the acquired image data and is information relating to correction of the defective pixel data;
The image processing apparatus, wherein the correction processing unit corrects the defective pixel data in accordance with detected correction information.
前記補正情報には、前記取得された画像データに対して欠陥画素データの補正が実行されたことを示す補正済み情報が含まれ、
前記補正処理手段は、前記補正済み情報が検出されない場合には、前記欠陥画素データの補正を実行する画像処理装置。 The image processing apparatus according to claim 11.
The correction information includes corrected information indicating that correction of defective pixel data has been performed on the acquired image data,
The correction processing means is an image processing apparatus that executes correction of the defective pixel data when the corrected information is not detected.
前記補正情報には、前記取得された画像データに対して欠陥画素データの補正が実行されたことを示す補正済み情報が含まれ、
前記補正処理手段は、前記補正処理済み情報が検出された場合には、前記欠陥画素データの補正を実行しない画像処理装置。 The image processing apparatus according to claim 11 or 12,
The correction information includes corrected information indicating that correction of defective pixel data has been performed on the acquired image data,
The image processing apparatus, wherein the correction processing unit does not perform correction of the defective pixel data when the corrected information is detected.
前記補正処理手段よりも高い精度で前記欠陥画素データを補正する高精度補正処理手段と、
前記高精度補正処理手段による補正を指示する補正指示を検出する補正指示検出手段とを備え、
前記高精度補正処理手段は、前記補正指示が検出された場合には、前記補正処理済み情報が検出された場合であっても、前記欠陥画素データを補正する画像処理装置。 The image processing apparatus according to claim 13 further includes:
High-precision correction processing means for correcting the defective pixel data with higher accuracy than the correction processing means;
Correction instruction detecting means for detecting a correction instruction for instructing correction by the high-precision correction processing means,
The high-precision correction processing means corrects the defective pixel data when the correction instruction is detected, even when the corrected information is detected.
複数の画素を有する撮像素子から出力された電気信号に基づいて生成された画像データであり、前記複数の画素に対応する画素データから構成される画像データを取得する画像データ取得手段と、
前記撮像素子が有する画素のうち正しく電気信号を出力できない欠陥画素の位置情報である欠陥画素情報であり、前記取得された画像データと関連付けられた情報を取得する欠陥画素情報取得手段と、
前記取得された画像データを解析して、前記欠陥画素情報を生成する欠陥画素情報生成手段と、
前記生成された欠陥画素情報と前記取得された欠陥画素情報とを比較して、前記欠陥画素の数が増加しているか否かを判定する増加判定部と、
前記欠陥画素の数が増加していると判定された場合に、前記増加を報知する報知手段とを備える画像処理装置。 An image processing apparatus,
Image data acquisition means for acquiring image data, which is image data generated based on an electrical signal output from an imaging device having a plurality of pixels, and is composed of pixel data corresponding to the plurality of pixels;
Defective pixel information acquisition means for acquiring information associated with the acquired image data, which is defective pixel information that is position information of a defective pixel that cannot correctly output an electrical signal among pixels of the imaging element;
Analyzing the acquired image data and generating the defective pixel information, defective pixel information generating means;
An increase determination unit that compares the generated defective pixel information with the acquired defective pixel information to determine whether the number of defective pixels is increased;
An image processing apparatus comprising notification means for notifying the increase when it is determined that the number of defective pixels is increasing.
前記欠陥画素情報を記憶する欠陥画素情報記憶手段であって、前記欠陥画素の数が増加していると判定された場合に、前記記憶された欠陥画素情報を、前記生成された欠陥画素情報に更新して記憶する欠陥画素情報記憶手段を備える画像処理装置。 The image processing apparatus according to claim 15 further includes:
In the defective pixel information storage unit for storing the defective pixel information, when it is determined that the number of the defective pixels is increased, the stored defective pixel information is used as the generated defective pixel information. An image processing apparatus comprising defective pixel information storage means for updating and storing.
複数の画素を有する撮像素子から出力された電気信号に基づいて生成された画像データであり、前記複数の画素に対応する画素データから構成される画像データを取得し、
前記取得された画像データと関連付けられた情報であり、前記撮像素子が有する画素のうち正しく電気信号を出力できない欠陥画素の位置情報である欠陥画素情報を取得し、
前記取得された欠陥画素情報を用いて、前記取得された画像データから前記欠陥画素に対応する欠陥画素データを特定し、
前記特定された欠陥画素データを補正する画像処理方法。 An image processing method comprising:
Image data generated based on an electrical signal output from an imaging device having a plurality of pixels, obtaining image data composed of pixel data corresponding to the plurality of pixels,
It is information associated with the acquired image data, and acquires defective pixel information that is position information of a defective pixel that cannot correctly output an electrical signal among pixels of the image sensor,
Using the acquired defective pixel information, identify defective pixel data corresponding to the defective pixel from the acquired image data,
An image processing method for correcting the specified defective pixel data.
複数の画素を有する撮像素子から出力された電気信号に基づいて生成された画像データであり、前記複数の画素に対応する画素データから構成される画像データを取得し、
前記取得された画像データと関連付けられた情報であり、前記撮像素子が有する画素のうち正しく電気信号を出力できない欠陥画素の位置情報である欠陥画素情報を取得し、
前記取得された画像データを解析して得られる情報であり、前記撮像素子が有する画素のうち正しく電気信号を出力できない欠陥画素の位置情報である解析欠陥画素情報を生成し、
前記生成された解析欠陥画素情報に基づく欠陥画素数が、取得された欠陥画素情報に基づく欠陥画素数より多い場合には、欠陥画素の増加を報知する画像処理方法。 An image processing method comprising:
Image data generated based on an electrical signal output from an imaging device having a plurality of pixels, obtaining image data composed of pixel data corresponding to the plurality of pixels,
It is information associated with the acquired image data, and acquires defective pixel information that is position information of a defective pixel that cannot correctly output an electrical signal among pixels of the image sensor,
It is information obtained by analyzing the acquired image data, and generates analysis defective pixel information that is position information of a defective pixel that cannot correctly output an electrical signal among pixels of the image sensor,
An image processing method for notifying an increase in defective pixels when the number of defective pixels based on the generated analysis defective pixel information is larger than the number of defective pixels based on the acquired defective pixel information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004097288A JP4311252B2 (en) | 2004-03-30 | 2004-03-30 | Imaging apparatus, image processing apparatus, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004097288A JP4311252B2 (en) | 2004-03-30 | 2004-03-30 | Imaging apparatus, image processing apparatus, and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005286668A true JP2005286668A (en) | 2005-10-13 |
JP4311252B2 JP4311252B2 (en) | 2009-08-12 |
Family
ID=35184593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004097288A Expired - Fee Related JP4311252B2 (en) | 2004-03-30 | 2004-03-30 | Imaging apparatus, image processing apparatus, and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4311252B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017055317A (en) * | 2015-09-11 | 2017-03-16 | キヤノン株式会社 | Image data generation device, imaging apparatus and image data generation program |
-
2004
- 2004-03-30 JP JP2004097288A patent/JP4311252B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017055317A (en) * | 2015-09-11 | 2017-03-16 | キヤノン株式会社 | Image data generation device, imaging apparatus and image data generation program |
Also Published As
Publication number | Publication date |
---|---|
JP4311252B2 (en) | 2009-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4281311B2 (en) | Image processing using subject information | |
JP4406195B2 (en) | Output image adjustment of image data | |
US20070041030A1 (en) | Photographing apparatus | |
US8537253B2 (en) | Defect pixel detection apparatus and method for detecting defect pixel | |
CN102870404B (en) | Imaging device and dark current correction method of same | |
US20060056684A1 (en) | Image processing apparatus, image processing program, image processing method, and imaging apparatus | |
JP4859938B2 (en) | Image processing using subject information | |
JP2006222552A (en) | Image forming apparatus, method, and program | |
JP5359553B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP4311252B2 (en) | Imaging apparatus, image processing apparatus, and image processing method | |
JP2001307079A (en) | Image processor, image processing method and recording medium | |
JP4096828B2 (en) | Image processing device | |
JP4714516B2 (en) | Imaging device | |
JP2006203528A (en) | Image processor, image processing program, and recording medium | |
JP3922223B2 (en) | Output image adjustment of image data | |
US10657673B2 (en) | Image processing apparatus, image processing method, and storage medium to correct pixels using singular value decomposition | |
JP4320225B2 (en) | Image processing for image data | |
JP2005197886A (en) | Image pickup apparatus, image storing method, image storing program, image reproducing apparatus, image reproducing method, image reproducing program and image reproducing system | |
JP4600503B2 (en) | Output image adjustment of image data | |
JP4879508B2 (en) | Conversion parameter calculation method, conversion parameter calculation program, and image processing apparatus | |
JP2005198097A (en) | Imaging apparatus, light emitter, imaging method and imaging system in the imaging apparatus, and its program | |
JP4155339B2 (en) | Image processing device | |
JP4838228B2 (en) | Output device for outputting image, output method, and program | |
JP2004336386A (en) | Digital camera and image correction device and method | |
JP4600474B2 (en) | Output image adjustment of image data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060630 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090421 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090504 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120522 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130522 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140522 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |