JP2005286668A - Imaging apparatus, image processor and image processing method - Google Patents
Imaging apparatus, image processor and image processing method Download PDFInfo
- Publication number
- JP2005286668A JP2005286668A JP2004097288A JP2004097288A JP2005286668A JP 2005286668 A JP2005286668 A JP 2005286668A JP 2004097288 A JP2004097288 A JP 2004097288A JP 2004097288 A JP2004097288 A JP 2004097288A JP 2005286668 A JP2005286668 A JP 2005286668A
- Authority
- JP
- Japan
- Prior art keywords
- defective pixel
- image data
- information
- correction
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 82
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000012937 correction Methods 0.000 claims abstract description 206
- 230000007547 defect Effects 0.000 claims abstract description 16
- 230000002950 deficient Effects 0.000 claims description 433
- 238000012545 processing Methods 0.000 claims description 179
- 238000003860 storage Methods 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000013256 coordination polymer Substances 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000976 ink Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000113 differential scanning calorimetry Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、撮像装置および画像処理に関し、特に、撮像素子の欠陥画素に対応する画像データの補正技術に関する。 The present invention relates to an imaging apparatus and image processing, and more particularly to a technique for correcting image data corresponding to a defective pixel of an imaging element.
デジタルスチルカメラ（以下ＤＳＣという。）の高性能化に伴い、プロやハイアマチュアの写真家もデジタルカメラを使用するようになっている。これらの上位ユーザーの間では、高画質が期待できるＲＡＷデータでの出力が好まれている。ＲＡＷデータは、ＣＣＤ等の撮像素子から出力された電気信号を、そのまま撮像素子の画素単位で数値化したデータである。 With the high performance of digital still cameras (hereinafter referred to as DSCs), professional and high amateur photographers are also using digital cameras. Among these upper users, output with RAW data that can be expected to have high image quality is preferred. The RAW data is data obtained by digitizing an electrical signal output from an image sensor such as a CCD in units of pixels of the image sensor.
撮像素子を構成する画素に欠陥画素が含まれている場合には、ＲＡＷデータにおいて、欠陥画素に対応する画素データ（以下、欠陥画素データという。）は、被写体の情報を正しく表していないため、欠陥画素データを補正（以下、欠陥画素補正という。）する必要がある。欠陥画素補正技術として、ＤＳＣの撮像素子固有の欠陥画素の位置情報（以下、欠陥画素情報という。）を備え、ＤＳＣ内部において欠陥画素補正を実行する技術が知られている（例えば、特許文献１）。 When defective pixels are included in the pixels constituting the image sensor, pixel data corresponding to defective pixels (hereinafter referred to as defective pixel data) in RAW data does not correctly represent subject information. It is necessary to correct defective pixel data (hereinafter referred to as defective pixel correction). As a defective pixel correction technique, a technique is known that includes position information (hereinafter referred to as defective pixel information) of a defective pixel unique to an image sensor of a DSC and performs defective pixel correction inside the DSC (for example, Patent Document 1). ).
しかしながら、ＤＳＣ側において欠陥画素補正されていないＲＡＷデータが出力された場合や、ＤＳＣにおける欠陥画素補正とは異なる補正処理（例えば、より精度の高い補正処理や、ユーザーの好みで選択した補正処理）を実行したい場合には、外部の画像処理装置（例えば、パーソナルコンピュータ）において欠陥画素補正を実行する必要がある。 However, when raw data that has not been subjected to defective pixel correction is output on the DSC side, or correction processing different from defective pixel correction in DSC (for example, correction processing with higher accuracy or correction processing selected according to user preference) When it is desired to execute the above, it is necessary to execute defective pixel correction in an external image processing apparatus (for example, a personal computer).
かかる場合には、外部の画像処理装置側においてＤＳＣの撮像素子固有の欠陥画素情報が取得できないため、外部の画像処理装置は、高い演算能力や優れた画像処理ソフトを有していても、正確に欠陥画素補正を実行することができない場合があった。 In such a case, since the defect image information unique to the DSC image sensor cannot be acquired on the external image processing apparatus side, the external image processing apparatus is accurate even if it has high calculation capability and excellent image processing software. In some cases, defective pixel correction cannot be executed.
本発明は、上記課題を解決するためになされたものであり、外部の画像処理装置において、正確に欠陥画素補正を実行することを目的とする。 The present invention has been made to solve the above-described problems, and an object thereof is to accurately perform defective pixel correction in an external image processing apparatus.
上記課題を解決するために本発明の第１の態様は、撮像装置を提供する。本発明の第１の態様に係る撮像装置は、複数の画素を有すると共に、撮像画像を画素単位の電気信号として出力する撮像素子と、前記出力された電気信号に基づいて、画素データから構成される画像データを生成する画像データ生成手段と、前記撮像素子が有する画素のうち、正しく電気信号を出力できない欠陥画素の位置情報を取得する欠陥画素情報取得手段と、前記取得された欠陥画素情報を、前記生成された画像データに関連付けて出力する画像データ出力手段とを備えることを特徴とする。 In order to solve the above problems, a first aspect of the present invention provides an imaging apparatus. An imaging device according to a first aspect of the present invention includes a plurality of pixels, an imaging element that outputs a captured image as an electrical signal in pixel units, and pixel data based on the output electrical signal. Image data generating means for generating image data, defective pixel information acquiring means for acquiring position information of defective pixels that cannot correctly output electrical signals among pixels of the image sensor, and the acquired defective pixel information And image data output means for outputting the image data in association with the generated image data.
本発明の第１の態様に係る画像処理装置によれば、撮像素子が有する画素のうち、正しく電気信号を出力できない欠陥画素の位置情報（欠陥画素情報）を、生成された画像データに関連付けて出力するので、撮像装置から画像データを取得した外部の画像処理装置において、欠陥画素情報を画像処理に用いることができる。この結果、外部画像処理装置において、画像データに対して、正確に欠陥画素データの補正を実行することができる。 According to the image processing apparatus according to the first aspect of the present invention, the positional information (defective pixel information) of a defective pixel that cannot correctly output an electrical signal among the pixels of the image sensor is associated with the generated image data. Since the data is output, defective pixel information can be used for image processing in an external image processing apparatus that acquires image data from the imaging apparatus. As a result, in the external image processing apparatus, the defective pixel data can be accurately corrected for the image data.
本発明の第１の態様に係る撮像装置において、前記欠陥画素情報取得手段は、前記欠陥画素の位置情報を予め記憶した欠陥画素情報記憶手段と、前記欠陥画素情報記憶手段から前記欠陥画素情報を読み出す欠陥画素情報読み出し手段とを備えても良い。撮像装置の製造時等に、予め記憶された欠陥画素情報を読み出すので、容易に欠陥画素情報を取得できる。 In the imaging apparatus according to the first aspect of the present invention, the defective pixel information acquisition unit includes a defective pixel information storage unit in which position information of the defective pixel is stored in advance, and the defective pixel information from the defective pixel information storage unit. You may provide the defective pixel information read-out means to read. Since defective pixel information stored in advance is read out at the time of manufacturing an imaging device or the like, defective pixel information can be easily acquired.
本発明の第１の態様に係る撮像装置において、前記欠陥画素情報取得手段は、前記生成された画像データを解析して、前記欠陥画素情報を生成する欠陥画素情報生成手段を備えても良い。画像データを解析して、欠陥画素情報を生成するので、解析に用いた画像データ生成時（撮影時）における欠陥画素情報を取得することができる。この結果、外部の画像処理装置において、より新しい欠陥画素情報を用いて、正確に欠陥画素データを補正することができる。 In the imaging apparatus according to the first aspect of the present invention, the defective pixel information acquisition unit may include a defective pixel information generation unit that analyzes the generated image data and generates the defective pixel information. Since the defective pixel information is generated by analyzing the image data, it is possible to acquire defective pixel information at the time of generating the image data used for the analysis (at the time of photographing). As a result, in the external image processing apparatus, the defective pixel data can be accurately corrected using newer defective pixel information.
本発明の第１の態様に係る撮像装置において、前記欠陥画素情報生成手段は、前記画像データ生成手段に低輝度の画像データを生成させる低輝度画像撮像手段と、前記画像データ生成手段に高輝度の画像データを生成させる高輝度画像撮像手段と、生成された前記低輝度の画像データと前記高輝度の画像データとを比較して、画素値の変化量が基準値以下である画素データに対応する画素を、欠陥画素であると決定する欠陥画素決定手段とを備えても良い。かかる場合には、高輝度の画像データと低輝度の画像データとを比較して、輝度値の変化量が基準値以下である画素データに対応する画素を欠陥画素であると決定するので、正確に、画像データ解析による欠陥画素情報を取得できる。 In the imaging apparatus according to the first aspect of the present invention, the defective pixel information generation unit includes a low luminance image imaging unit that causes the image data generation unit to generate low luminance image data, and a high luminance that the image data generation unit generates. Compares the generated low-brightness image data and the high-brightness image data with the high-brightness image capturing means that generates the image data, and supports pixel data whose pixel value change amount is equal to or less than the reference value You may provide the defective pixel determination means which determines the pixel to perform as a defective pixel. In such a case, the high luminance image data is compared with the low luminance image data, and the pixel corresponding to the pixel data whose luminance value change amount is equal to or less than the reference value is determined to be a defective pixel. In addition, defective pixel information can be acquired by image data analysis.
本発明の第１の態様に係る撮像装置において、前記画像データ出力手段は、さらに、前記欠陥画素に対応する画素データを補正する欠陥画素補正に関する補正情報を、前記生成された画像データに関連付けて出力しても良い。かかる場合には、外部の画像処理装置において、画像データに対する欠陥画素補正に関する情報を用いて、欠陥画素データを補正することができる。 In the imaging apparatus according to the first aspect of the present invention, the image data output means further associates correction information related to defective pixel correction for correcting pixel data corresponding to the defective pixel with the generated image data. It may be output. In such a case, the defective pixel data can be corrected by using information regarding the defective pixel correction for the image data in an external image processing apparatus.
本発明の第１の態様に係る撮像装置において、前記補正情報は、前記生成された画像データに対して、前記欠陥画素補正を、前記撮像装置において実行したか否かを示す情報であっても良い。かかる場合には、外部の画像処理装置において、撮像装置で画像データに対して欠陥画素データの補正が実行されたか否かを認識することができる。この結果、より適切に、欠陥画素データの補正に関する判断をすることができる。 In the imaging device according to the first aspect of the present invention, the correction information may be information indicating whether or not the defective pixel correction has been performed on the generated image data in the imaging device. good. In such a case, in the external image processing apparatus, it is possible to recognize whether or not the defective pixel data is corrected for the image data in the imaging apparatus. As a result, it is possible to more appropriately make a determination regarding correction of defective pixel data.
本発明の第１の態様に係る撮像装置において、前前記画像データ出力手段は、前記欠陥画素情報に代えて、前記欠陥画素情報を用いないで前記欠陥画像データ補正を実行することを指示する指示情報を、前記生成された画像データに関連付けて出力しても良い。かかる場合には、外部の画像処理装置において、欠陥画素情報を用いないで、前記欠陥画像データ補正を実行すべきことを認識することができる。 In the imaging device according to the first aspect of the present invention, the previous image data output means instructs to execute the defect image data correction without using the defective pixel information instead of the defective pixel information. Information may be output in association with the generated image data. In such a case, the external image processing apparatus can recognize that the defect image data correction should be executed without using the defective pixel information.
本発明の第１の態様に係る撮像装置において、前記生成された画像データは、ＲＡＷデータ形式の画像データであっても良い。かかる場合には、ＲＡＷデータ形式の画像データにおいて、正確に、欠陥画素データを補正することができる。 In the imaging device according to the first aspect of the present invention, the generated image data may be image data in a RAW data format. In such a case, defective pixel data can be accurately corrected in RAW data format image data.
本発明の第１の態様に係る撮像装置において、前記画像データ出力手段は、前記生成された画像データと、前記画像データに関連付けた欠陥画素情報または補正情報または指示情報とを、一つの画像ファイルとして出力しても良い。かかる場合には、画像ファイルを取得した外部の画像処理装置において、欠陥画素情報または補正情報または指示情報を用いることができる。 In the image pickup apparatus according to the first aspect of the present invention, the image data output means includes the generated image data and defective pixel information or correction information or instruction information associated with the image data as one image file. May be output as In such a case, defective pixel information, correction information, or instruction information can be used in an external image processing apparatus that has acquired the image file.
本発明の第２の態様は、画像処理装置を提供する。本発明の第２の態様に係る画像処理装置は、複数の画素を有する撮像素子から出力された電気信号に基づいて生成された画像データであり、前記複数の画素に対応する画素データから構成される画像データを取得する画像データ取得手段と、前記取得された画像データと関連付けられた情報であり、前記撮像素子が有する画素のうち正しく電気信号を出力できない欠陥画素の位置情報である欠陥画素情報を取得する欠陥画素情報取得手段と、前記取得された欠陥画素情報を用いて、前記取得された画像データから前記欠陥画素に対応する欠陥画素データを特定する欠陥画素データ特定手段と、前記特定された欠陥画素データを補正する補正処理手段とを備えることを特徴とする。 A second aspect of the present invention provides an image processing apparatus. An image processing apparatus according to a second aspect of the present invention is image data generated based on an electrical signal output from an imaging device having a plurality of pixels, and is composed of pixel data corresponding to the plurality of pixels. Image data acquisition means for acquiring image data, and defective pixel information that is information associated with the acquired image data and is positional information of defective pixels that cannot correctly output an electrical signal among pixels of the image sensor A defective pixel information acquiring unit that acquires a defective pixel data specifying unit that specifies defective pixel data corresponding to the defective pixel from the acquired image data using the acquired defective pixel information; and And correction processing means for correcting the defective pixel data.
本発明の第２の態様に係る画像処理装置によれば、取得した画像データと関連付けられた欠陥画素情報を用いて、欠陥画素に対応する画素データ（欠陥画素データ）を特定して、欠陥画素データを補正する。この結果、取得した画像データにおける欠陥画素データを正確に、補正することができる。 According to the image processing apparatus according to the second aspect of the present invention, the defective pixel information (defective pixel data) corresponding to the defective pixel is specified using the defective pixel information associated with the acquired image data, and the defective pixel is detected. Correct the data. As a result, the defective pixel data in the acquired image data can be accurately corrected.
本発明の第２の態様に係る画像処理装置は、さらに、前記取得された画像データと関連付けられた情報であり、前記欠陥画素データの補正に関する情報である補正情報を検出する補正情報検出手段を備え、前記補正処理手段は、検出された補正情報に応じて、前記欠陥画素データの補正を実行しても良い。かかる場合には、補正情報に応じて、適切な欠陥画素データの補正を実行することができる。 The image processing apparatus according to the second aspect of the present invention further includes correction information detection means for detecting correction information that is information associated with the acquired image data and is information related to correction of the defective pixel data. The correction processing means may execute correction of the defective pixel data in accordance with detected correction information. In such a case, appropriate correction of defective pixel data can be executed according to the correction information.
本発明の第２の態様に係る画像処理装置において、前記補正情報には、前記取得された画像データに対して欠陥画素データの補正が実行されたことを示す補正済み情報が含まれ、前記補正処理手段は、前記補正済み情報が検出されない場合には、前記欠陥画素データの補正を実行するとしても良い。また、前記補正処理手段は、前記補正処理済み情報が検出された場合には、前記欠陥画素データの補正を実行しないとしても良い。かかる場合には、補正済みの画像データに対して、重複して欠陥画素データの補正を実行することを回避し、補正が必要な画像データに対してのみ、欠陥画素データの補正を実行できるので、画像処理装置のメモリリソースの節約、画像処理時間の短縮を図ることができる。 In the image processing device according to the second aspect of the present invention, the correction information includes corrected information indicating that correction of defective pixel data has been performed on the acquired image data, and the correction The processing means may execute the correction of the defective pixel data when the corrected information is not detected. The correction processing unit may not execute the correction of the defective pixel data when the corrected information is detected. In such a case, the correction of defective pixel data can be avoided from being redundantly performed on corrected image data, and the correction of defective pixel data can be performed only on image data that needs to be corrected. Thus, memory resources of the image processing apparatus can be saved and the image processing time can be shortened.
本発明の第２の態様に係る画像処理装置は、さらに、前記補正処理手段よりも高い精度で前記欠陥画素データを補正する高精度補正処理手段と、前記高精度補正処理手段による補正を指示する補正指示を検出する補正指示検出手段とを備え、前記高精度補正処理手段は、前記補正指示が検出された場合には、前記補正処理済み情報が検出された場合であっても、前記欠陥画素データを補正しても良い。かかる場合には、補正済みの画像データであるか否かに関わらず、ユーザー等の要求に応じて、精度の高い欠陥画素補正を実行することができる。 The image processing apparatus according to the second aspect of the present invention further provides a high-accuracy correction processing unit that corrects the defective pixel data with higher accuracy than the correction processing unit, and instructs correction by the high-accuracy correction processing unit. Correction instruction detecting means for detecting a correction instruction, wherein the high-precision correction processing means is configured to detect the defective pixel even when the correction-completed information is detected when the correction instruction is detected. Data may be corrected. In such a case, it is possible to execute defective pixel correction with high accuracy in accordance with a request from the user or the like regardless of whether the image data has been corrected.
本発明の第３の態様は、画像処理装置を提供する。本発明の第３の態様に係る画像処理装置は、複複数の画素を有する撮像素子から出力された電気信号に基づいて生成された画像データであり、前記複数の画素に対応する画素データから構成される画像データを取得する画像データ取得手段と、前記撮像素子が有する画素のうち正しく電気信号を出力できない欠陥画素の位置情報である欠陥画素情報であり、前記取得された画像データと関連付けられた情報を取得する欠陥画素情報取得手段と、前記取得された画像データを解析して、前記欠陥画素情報を生成する欠陥画素情報生成手段と、前記生成された欠陥画素情報と前記取得された欠陥画素情報とを比較して、前記欠陥画素の数が増加しているか否かを判定する増加判定部と、前記欠陥画素の数が増加していると判定された場合に、前記増加を報知する報知手段とを備えることを特徴とする。 A third aspect of the present invention provides an image processing apparatus. An image processing apparatus according to a third aspect of the present invention is image data generated based on an electrical signal output from an imaging device having a plurality of pixels, and is composed of pixel data corresponding to the plurality of pixels. Image data acquisition means for acquiring image data to be processed, and defective pixel information that is position information of defective pixels that cannot correctly output an electrical signal among pixels of the image sensor, and is associated with the acquired image data Defective pixel information acquisition means for acquiring information, defective pixel information generation means for analyzing the acquired image data to generate the defective pixel information, the generated defective pixel information, and the acquired defective pixel When it is determined that the number of the defective pixels is increased, and an increase determination unit that determines whether or not the number of the defective pixels is increased by comparing with the information, Characterized in that it comprises a notifying means for notifying the pressure.
本発明の第３の態様に係る画像処理装置によれば、画像データと関連付けられた欠陥画素情報と、画像データを解析して生成された欠陥画素情報とを比較して、欠陥画素の数が増加していると判定された場合に、増加を報知するので、ユーザー等は、画像データを生成した撮像装置の撮像素子の欠陥画素が、経時劣化等によって、増加していることを認識することができる。 According to the image processing device of the third aspect of the present invention, the defective pixel information associated with the image data is compared with the defective pixel information generated by analyzing the image data. When it is determined that the increase has occurred, the increase is notified, so that the user or the like recognizes that the defective pixels of the image sensor of the image capturing apparatus that generated the image data are increasing due to deterioration over time or the like. Can do.
本発明の第３の態様に係る画像処理装置は、さらに、前記欠陥画素情報を記憶する欠陥画素情報記憶手段であって、前記欠陥画素の数が増加していると判定された場合に、前記記憶された欠陥画素情報を、前記生成された欠陥画素情報に更新して記憶する欠陥画素情報記憶手段を備えても良い。かかる場合には、撮像装置の撮像素子の欠陥画素が、経時劣化等によって増加している場合に、欠陥画素情報を更新して記憶しておくことができる。この結果、この撮像装置によって生成された画像データを処理する場合に、更新された欠陥画素情報を用いて、適切な欠陥画素補正を実行できる。 The image processing apparatus according to the third aspect of the present invention is further a defective pixel information storage unit that stores the defective pixel information, and when it is determined that the number of the defective pixels is increased, You may provide the defective pixel information storage means which updates the memorize | stored defective pixel information in the said produced | generated defective pixel information, and memorize | stores it. In such a case, the defective pixel information can be updated and stored when the number of defective pixels of the image sensor of the imaging device increases due to deterioration over time or the like. As a result, when processing the image data generated by the imaging apparatus, it is possible to perform appropriate defective pixel correction using the updated defective pixel information.
本発明の第４の態様は、画像処理方法を提供する。本発明の第４の態様に係る画像処理方法は、複数の画素を有する撮像素子から出力された電気信号に基づいて生成された画像データであり、前記複数の画素に対応する画素データから構成される画像データを取得し、前記取得された画像データと関連付けられた情報であり、前記撮像素子が有する画素のうち正しく電気信号を出力できない欠陥画素の位置情報である欠陥画素情報を取得し、前記取得された欠陥画素情報を用いて、前記取得された画像データから前記欠陥画素に対応する欠陥画素データを特定し、前記特定された欠陥画素データを補正することを特徴とする。 A fourth aspect of the present invention provides an image processing method. An image processing method according to a fourth aspect of the present invention is image data generated based on an electrical signal output from an imaging device having a plurality of pixels, and is composed of pixel data corresponding to the plurality of pixels. Image data, information associated with the acquired image data, and obtaining defective pixel information that is position information of defective pixels that cannot output electrical signals correctly among the pixels of the imaging device, Using the acquired defective pixel information, defective pixel data corresponding to the defective pixel is specified from the acquired image data, and the specified defective pixel data is corrected.
本発明の第５の態様は、画像処理方法を提供する。本発明の第５の態様に係る画像処理装置は、数の画素を有する撮像素子から出力された電気信号に基づいて生成された画像データであり、前記複数の画素に対応する画素データから構成される画像データを取得し、前記取得された画像データと関連付けられた情報であり、前記撮像素子が有する画素のうち正しく電気信号を出力できない欠陥画素の位置情報である欠陥画素情報を取得し、前記取得された画像データを解析して得られる情報であり、前記撮像素子が有する画素のうち正しく電気信号を出力できない欠陥画素の位置情報である解析欠陥画素情報を生成し、前記生成された解析欠陥画素情報に基づく欠陥画素数が、取得された欠陥画素情報に基づく欠陥画素数より多い場合には、欠陥画素の増加を報知することを特徴とする。 A fifth aspect of the present invention provides an image processing method. An image processing apparatus according to a fifth aspect of the present invention is image data generated based on an electrical signal output from an imaging device having a number of pixels, and is composed of pixel data corresponding to the plurality of pixels. Image data, information associated with the acquired image data, and obtaining defective pixel information that is position information of defective pixels that cannot output electrical signals correctly among the pixels of the imaging device, It is information obtained by analyzing the acquired image data, and generates analytical defect pixel information that is position information of a defective pixel that cannot correctly output an electrical signal among pixels of the imaging device, and the generated analytical defect When the number of defective pixels based on the pixel information is larger than the number of defective pixels based on the acquired defective pixel information, an increase in defective pixels is reported.
本発明の第４の態様に係る画像処理方法および本発明の第５の態様に係る画像処理方法によれば、本発明の第２の態様および第３の態様に係る画像処理装置と同様の作用効果を得ることができる。また、本発明の第４の態様に係る画像処理方法および本発明の第５の態様に係る画像処理方法は、本発明の第２の態様および第３の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。また、本発明の第４の態様に係る画像処理方法および本発明の第５の態様に係る画像処理方法は、この他にも、画像処理プログラムおよび画像処理プログラムが記録されたコンピュータが読み取り可能な記録媒体としても実現され得る。 According to the image processing method according to the fourth aspect of the present invention and the image processing method according to the fifth aspect of the present invention, the same operation as the image processing apparatus according to the second aspect and the third aspect of the present invention. An effect can be obtained. The image processing method according to the fourth aspect of the present invention and the image processing method according to the fifth aspect of the present invention are the same as those of the image processing apparatus according to the second and third aspects of the present invention. It can be realized in various ways. In addition, the image processing method according to the fourth aspect of the present invention and the image processing method according to the fifth aspect of the present invention are readable by a computer in which the image processing program and the image processing program are recorded. It can also be realized as a recording medium.
以下、本発明にかかる撮像装置および画像処理装置について、図面を参照しつつ、実施例に基づいて説明する。 Hereinafter, an imaging device and an image processing device according to the present invention will be described based on examples with reference to the drawings.
Ａ．画像処理システムの構成：
図１は、本発明の実施例に係る撮像装置および画像処理装置を含む画像処理システムの一例を示す説明図である。本発明の実施例に係る撮像装置および画像処理装置を適用可能な画像処理システムの構成について図１を参照して説明する。
A. Image processing system configuration:
FIG. 1 is an explanatory diagram illustrating an example of an image processing system including an imaging device and an image processing device according to an embodiment of the present invention. A configuration of an image processing system to which an imaging apparatus and an image processing apparatus according to an embodiment of the present invention can be applied will be described with reference to FIG.
画像処理システムは、画像データを生成する撮像装置としてのディジタルスチルカメラ１０、ディジタルスチルカメラ１０にて生成された画像データに対して、欠陥画素補正処理を含む画像処理を実行し、印刷用画像データを出力する画像処理装置としてのパーソナルコンピュータ２０、印刷用画像データを用いて画像を出力する出力装置としてのプリンタ３０を備えている。また、出力装置としては、プリンタ３０の他に、例えば、ＬＣＤディスプレイのモニタ２５、表示装置４０が用いられ得る。
The image processing system performs image processing including defective pixel correction processing on image data generated by the digital
図２は、ディジタルスチルカメラ１０の概略構成を示す説明図である。ディジタルスチルカメラ１０は、光の情報を撮像素子（例えば、ＣＣＤやＣＭＯＳ）に結像させることにより画像を取得するカメラである。図２に示すように、ディジタルスチルカメラ１０は、光情報を収集し、電気信号として出力する光学回路１４０、光学回路１４０から出力された電気信号をＡ／Ｄ変換して数値化し、画像データを生成する画像データ生成回路１３０、生成された画像データを加工処理するための画像処理回路１２０、各回路を制御する制御回路１００、制御回路１００に撮像条件を始めとする利用者の意図を伝えるコントローラ１１０、画像データを画像ファイルとしてメモリカードＭＣに保存するメモリカードドライブ１５０を備えている。
FIG. 2 is an explanatory diagram showing a schematic configuration of the digital
光学回路１４０は、複数の画素を有し、撮像画像の光情報を受光して画素単位の電気信号として出力する撮像素子１４４と、撮像素子１４４の受光部に光情報を集めるレンズ１４２と、撮像素子１４４の受光量を調節する絞り１４６とを備えている。
The
制御回路１００は、周知のコンピュータであり、制御プログラムを実行するＣＰＵ１０２、ＣＰＵ１０２の扱うデータ、演算結果等を一時的に格納するＲＡＭ１０４、制御プログラム、後述する欠陥画素情報等を格納するＲＯＭ１０６を備えている。
The
ディジタルスチルカメラ１０は、画像データの保存形式を選択可能であり、選択可能な保存形式として、一般的なＪＰＥＧ形式に加えて、ＲＡＷデータ形式が設定されている。ディジタルスチルカメラ１０は、画像データをＲＡＷデータ形式で出力する場合には、撮像素子１４４から出力された画素単位の電気信号を数値化して、圧縮や、色変換処理を施さずにそのまま出力する。ディジタルスチルカメラ１０は、ＲＡＷデータ形式で出力する際に、欠陥画素補正を実行しても良く、実行しなくても良い。
The digital
パーソナルコンピュータ２０は、一般的に用いられるタイプのコンピュータであり、欠陥画素補正処理を含む画像処理プログラムを実行するＣＰＵ２００、ＣＰＵ２００における演算結果、画像データ等を一時的に格納するＲＡＭ２０１、画像処理プログラムを格納するハードディスクドライブ（ＨＤＤ）２０２を備えている。パーソナルコンピュータ２０は、メモリカードＭＣを装着するためのカードスロット２０３、ディジタルスチルカメラ１０からの接続ケーブルを接続するための入出力端子２０４を備えている。
The
プリンタ３０は、カラー画像の出力が可能なプリンタであり、例えば、シアン、マゼンタ、イエロー、ブラックの４色の色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成するインクジェット方式のプリンタである。あるいは、カラートナーを印刷媒体上に転写・定着させて画像を形成する電子写真方式のプリンタである。色インクには、上記４色に加えて、ライトシアン（薄いシアン）、ライトマゼンタ（薄いマゼンタ）、レッド、ブルーを用いても良い。
The
表示装置４０は、画像を表示するための表示ディスプレイ４５を有し、例えば、電子式の写真フレームとして機能する表示装置である。表示ディスプレイ４５は、例えば、液晶表示ディスプレイ、有機ＥＬ表示ディスプレイが用いられ得る。
The
プリンタ３０および表示装置４０は、スタンドアローンにて画像処理、画像出力を実行するため、パーソナルコンピュータ２０が備える画像処理機能を備えても良い。かかる場合には、プリンタ３０、表示装置４０は、パーソナルコンピュータ２０を介さずに、例えば、メモリーカードＭＣ等の記憶媒体、あるいは、ケーブルを介してディジタルスチルカメラ１０から画像データを取得し、プリンタ３０、表示装置４０がそれぞれ本実施例における画像処理装置として機能することができる。
The
以下の説明では、ディジタルスチルカメラ１０で生成されたＲＡＷデータ形式の画像データＧＤが、パーソナルコンピュータ２０に送出され、画像データＧＤに対する画像処理がパーソナルコンピュータ２０にて実行され、処理済みの画像データがカラープリンタ３０に対して出力される場合について説明する。
In the following description, image data GD in the RAW data format generated by the digital
Ｂ．画像処理システムが用いる画像ファイルの構成：
図３および図４を参照して、画像処理システムが用いる画像ファイル、すなわち、本発明の実施例に係る撮像装置としてのディジタルスチルカメラ１０が出力し、本発明の実施例に係る画像処理装置としてのパーソナルコンピュータ２０が取得する画像ファイルの概略構成について説明する。図３は、画像ファイルの内部構成を概念的に示す説明図である。図４は、撮像素子１４４の一部の構成を示す概略説明図である。図３（ａ）に示す画像ファイルＧＦ１は、ＲＡＷデータ形式の画像データＧＤを格納する画像データ格納領域Ｒ１００と、画像データＧＤと関連付けられた付属情報を格納する付属情報格納領域Ｒ１１０を備えている。画像ファイルＧＦ１の付属情報格納領域Ｒ１１０には、欠陥画素情報および補正情報が格納されている。
B. Image file structure used by the image processing system:
3 and 4, the image file used by the image processing system, that is, output from the digital
ＲＡＷデータ形式の画像データＧＤは、図４に示す撮像素子１４４を構成する画素ＣＰが出力した電気信号を数値化したデータ（画素データ）で構成されている。図４に示すように、撮像素子１４４には、モザイク上にＲＧＢの各カラーフィルターが配置された原色フィルターが取り付けられている。すなわち、各画素ＣＰには、ＲＧＢ色成分のいずれかに対応する波長を持つ光のみを透過するカラーフィルターが取り付けられている。したがって、ＲＡＷデータを構成する各画素データは、対応する画素のフィルタ色に対応した色成分の画素値のみを有している。
The image data GD in the RAW data format is composed of data (pixel data) obtained by digitizing an electrical signal output from the pixel CP that constitutes the
欠陥画素情報は、撮像素子１４４における欠陥画素の位置情報である。欠陥画素は、撮像素子１４４を構成する画素ＣＰのうち、受光した光量に対応した電気信号を正しく出力できない画素である。例えば、受光した光量に関わらず一定の電気信号を出力する画素である。図４において、ＣＰ_def１およびＣＰ_def２は、欠陥画素を示している。欠陥画素情報として、図３（ａ）に示すように、欠陥画素の数ＮおよびＮ個の欠陥画素の撮像素子１４４における位置情報（座標（ｘｐｎ、ｙｐｎ：ｎ＝１〜Ｎ））が設定されている。
The defective pixel information is position information of defective pixels in the
補正情報は、欠陥画素に対応する画素データ（欠陥画素データ）の補正（欠陥画素補正）に関する情報である。画像ファイルＧＦ１では、格納された画像データＧＤが、ディジタルスチルカメラ１０において欠陥画素補正を実行された補正済みデータであることを示す情報（以下、補正済み情報という。）と、欠陥画素補正が実行されていない未補正データであることを示す情報（以下、未補正情報という。）のいずれかが、補正情報として格納されている。例えば、０が未補正情報を示し、２が補正済み情報を示すこととしても良い。 The correction information is information regarding correction (defective pixel correction) of pixel data (defective pixel data) corresponding to the defective pixel. In the image file GF1, information indicating that the stored image data GD is corrected data that has been subjected to defective pixel correction in the digital still camera 10 (hereinafter referred to as corrected information), and defective pixel correction is executed. One piece of information (hereinafter referred to as uncorrected information) indicating uncorrected data that has not been stored is stored as correction information. For example, 0 may indicate uncorrected information, and 2 may indicate corrected information.
図３（ｂ）に示す画像ファイルＧＦ２は、ディジタルスチルカメラ１０が出力する画像ファイルの他の一例である。画像ファイルＧＦ２の付属情報格納領域Ｒ１１０には、画像ファイルＧＦ１と異なり、欠陥画素情報が格納されていない。一方で、画像ファイルＧＦ２の付属情報格納領域Ｒ１１０には、ディジタルスチルカメラ１０から出力された欠陥画素情報を用いないで画像データＧＤを補正する（例えば、画像データを解析して欠陥画素情報を生成することによって補正する）ことを指示（以下、解析補正指示という。）する情報が格納されている。図３（ｂ）に示す例では、数値１が解析補正指示情報の役割を果たす。
An image file GF2 shown in FIG. 3B is another example of an image file output from the digital
Ｃ．撮像装置の実施例
・ディジタルスチルカメラ１０の制御回路１００の機能的構成：
図５は、本実施例に係る撮像装置としてのディジタルスチルカメラ１０の制御回路１００の機能ブロック図である。図５を参照して制御回路１００の機能的構成の概要について説明する。
C. Embodiment of Imaging Device Functional configuration of
FIG. 5 is a functional block diagram of the
欠陥画素情報取得部Ｍ１０は、欠陥画素情報を取得して、画像データ出力部Ｍ２０に送出する。欠陥画素情報取得部Ｍ１０は、欠陥画素情報が予め記憶された欠陥画素情報記憶部Ｍ１００と、欠陥画素記憶部Ｍ１００から欠陥画素情報を読み出す欠陥画素情報読出し部Ｍ１１０とを備え、これらによって欠陥画素情報を取得する。欠陥画素記憶部Ｍ１００には、例えば、ＲＯＭ１０６が相当する。
The defective pixel information acquisition unit M10 acquires defective pixel information and sends it to the image data output unit M20. The defective pixel information acquisition unit M10 includes a defective pixel information storage unit M100 in which defective pixel information is stored in advance, and a defective pixel information reading unit M110 that reads out defective pixel information from the defective pixel storage unit M100. To get. For example, the
また、欠陥画素情報取得部Ｍ１０は、欠陥画素情報生成部Ｍ１５を備え、これによって欠陥画素情報を生成することによっても欠陥画素情報を取得することができる。欠陥画素情報生成部Ｍ１５は、高輝度画像撮像部Ｍ１２０、低輝度画像撮像部Ｍ１３０、欠陥画素決定部Ｍ１４０を備える。 Further, the defective pixel information acquisition unit M10 includes a defective pixel information generation unit M15, and can also acquire defective pixel information by generating defective pixel information. The defective pixel information generation unit M15 includes a high luminance image imaging unit M120, a low luminance image imaging unit M130, and a defective pixel determination unit M140.
高輝度画像撮像部Ｍ１２０は、画像データ生成回路１３０に、高輝度の画像データを生成させて、これを取得する。低輝度画像撮像部Ｍ１３０は、画像データ生成回路１３０に、低輝度の画像データを生成させて、これを取得する。
The high-brightness image capturing unit M120 causes the image
欠陥画素決定部Ｍ１４０は、高輝度画像撮像部Ｍ１２０が取得した高輝度の画像データと、低輝度画像撮像部Ｍ１３０が取得した低輝度の画像データを比較して、欠陥画素を決定することによって、欠陥画素情報を生成する。 The defective pixel determination unit M140 compares the high luminance image data acquired by the high luminance image imaging unit M120 with the low luminance image data acquired by the low luminance image imaging unit M130, and determines a defective pixel. Generate defective pixel information.
画像データ出力部Ｍ２０は、画像データ生成回路１３０からＲＡＷデータ形式の画像データを取得し、欠陥画素情報取得部Ｍ１０から欠陥画素情報を取得する。画像データ出力部Ｍ２０は、取得した画像データに取得した欠陥画素情報を関連付けて出力する。また、画像データ出力部Ｍ２０は、画像処理回路１２０等から補正情報を取得して、取得した補正情報を、欠陥画素情報と同様に、画像データに関連付けて出力することもできる。出力された画像データ、欠陥画素情報、補正情報は、一つの画像ファイルＧＦとしてメモリーカードＭＣに記録される。
The image data output unit M20 acquires RAW data format image data from the image
・ディジタルスチルカメラ１０における画像処理：
図６は、本実施例に係る撮像装置としてのディジタルスチルカメラ１０における画像処理ルーチンを示すフローチャートである。制御回路１００は、撮影に先立ってユーザーによって設定された撮像条件を取得する（ステップＳ１０２）。撮像条件には、「風景」「人物」等の撮影モードの設定や、生成した画像データの出力形式の設定が含まれる。
Image processing in the digital still camera 10:
FIG. 6 is a flowchart illustrating an image processing routine in the digital
制御回路１００は、撮影要求、例えば、シャッターボタンの押し下げに応じて、ＲＡＷデータ形式の画像データＧＤを生成する（ステップＳ１０４）。画像データＧＤは、制御回路１００は、先に取得した撮像条件において、画像データの出力形式の設定が、ＲＡＷデータ形式であるか、ＪＰＥＧ形式であるかを判定する（ステップＳ１０６）。制御回路１００は、出力形式の設定が、ＲＡＷデータ形式である場合（ステップＳ１０６：ＹＥＳ）には、ＲＯＭ１０６に予め記憶された欠陥画素情報を読み出して取得する（ステップＳ１０８）。ＲＯＭ１０６への欠陥画素情報の記憶は、例えば、撮像素子１４４の品質検査によって発見された欠陥画素についての情報を、ディジタルスチルカメラ１０の製造時に、ＲＯＭ１０６に記憶させることによって行われる。
The
制御回路１００は、生成したＲＡＷデータ形式の画像データＧＤと、取得した欠陥画素情報とを画像ファイルＧＦ１（図３（ａ）参照）としてメモリカードＭＣに出力する（ステップＳ１１０）。
The
制御回路１００は、この際、画像データＧＤに対して欠陥画素補正処理を実行していないことを示す未補正情報も、同時に画像ファイルＧＦ１に付加する。制御回路１００は、メモリカードＭＣに画像データＧＤを出力する前に、画像処理回路１２０を制御して、画像データＧＤに対して欠陥画素補正処理を実行しても良い。かかる場合には、未補正情報に代えて、画像データＧＤに対して欠陥画素補正処理を実行したことを示す補正済み情報を、画像ファイルＧＦ１に付加する。
At this time, the
一方、画像データの出力形式の設定が、ＪＰＥＧ形式である場合（ステップＳ１０６：ＮＯ）には、制御回路１００は、画像処理回路１２０を制御して、ＲＡＷデータ形式の画像データＧＤに対して、色補完処理および画質調整処理を実行（ステップＳ１１２）する。色補完処理は、画像データＧＤを構成する各画素データのフィルタ色以外の色成分を算出し、各画素データごとにＲＧＢ各色成分の画素値を有するように、欠けているデータを補完する処理である。画質調整処理には、ホワイトバランス調整処理、欠陥画素補正処理が含まれる。
On the other hand, when the setting of the output format of the image data is JPEG format (step S106: NO), the
制御回路１００は、画質調整後の画像データＧＤをＹＣｂＣｒ色空間に変換した後、ＪＰＥＧ圧縮してＪＰＥＧ形式の画像データを生成する（ステップＳ１１４）。制御回路１００は生成したＪＰＥＧ形式の画像データを画像ファイルとしてメモリーカードＭＣに出力する（ステップＳ１１０）。
The
以上説明したように本実施例に係る撮像装置としてのディジタルスチルカメラ１０によれば、ＲＡＷデータ形式の画像データＧＤを出力する場合に、欠陥画素情報を生成された画像データＧＤと関連付けて、一つの画像ファイルＧＦ１として出力するので、画像ファイルＧＦ１を取得した外部の画像処理装置において、欠陥画素情報を、画像データＧＤ１の画像処理に用いることができる。この結果、外部の画像処理装置は、取得した画像データＧＤにおいて、欠陥画素に対応する欠陥画素データを正確かつ容易に特定でき、欠陥画素補正を正確に実行することができる。
As described above, according to the digital
また、ディジタルスチルカメラ１０において、画像データＧＤに対して欠陥画素補正を実行したか否かを示す情報を、画像データＧＤと関連付けて、一つの画像ファイルＧＦ１として出力するので、画像ファイルＧＦ１を取得した外部の画像処理装置において、画像データＧＤの欠陥画素データが補正済みであるか否かを容易に認識することが出来る。この結果、外部の画像処理装置は、効率良く、かつ、適切に、画像データＧＤに対して、欠陥画素補正を含む画像処理を実行することができる。
Also, in the digital
また、ディジタルスチルカメラ１０は、欠陥画素情報を予め、ＲＯＭ１０６に記憶しているので、これを読み出すことで、容易に欠陥画素情報を取得し、出力することができる。
In addition, since the digital
・ディジタルスチルカメラ１０における画像処理の変形例：
制御回路１００は、予め記憶された欠陥画素情報を、画像データＧＤと関連付けて出力しない場合には、欠陥画素情報に代えて、解析補正指示情報を付加した画像データＧＦ２（図３（ｂ）参照）を出力しても良い。欠陥画素情報を、画像データＧＤと関連付けて出力しない場合として、ディジタルスチルカメラ１０に欠陥画素情報を始めから記憶されていない場合や、不具合により欠陥画素情報が失われた場合がある。
A modification of image processing in the digital still camera 10:
When the defective pixel information stored in advance is not output in association with the image data GD, the
かかる場合には、画像ファイルＧＦ１を取得した外部の画像処理装置は、画像データＧＤに関連付けられた欠陥画素情報は無いことを容易に認識できる。この結果、外部の画像処理装置は、適切な画像処理を選択、実行することができる。例えば、画像データＧＤを解析して欠陥画素情報を生成して、生成した欠陥画素情報を用いて画像データＧＤに対して欠陥画素補正を実行すると判断できる。 In such a case, the external image processing apparatus that has acquired the image file GF1 can easily recognize that there is no defective pixel information associated with the image data GD. As a result, the external image processing apparatus can select and execute appropriate image processing. For example, it can be determined that defective pixel information is generated by analyzing the image data GD, and defective pixel correction is performed on the image data GD using the generated defective pixel information.
上記実施例では、欠陥画素情報は、製造時にＲＯＭ１０６に記憶されているが、ディジタルスチルカメラ１０によって生成された画像データを解析して、欠陥画素情報を生成しても良い。例えば、制御回路１００は、ユーザーから欠陥画素情報の生成指示に応じて、低輝度の画像データと、高輝度の画像データを取得し、取得した両画像データに基づいて、欠陥画素を決定して欠陥画素情報を生成しても良い。低輝度の画像データの取得は、例えば、絞り１４６を最小に絞って、撮像することによって、画像データ生成回路１３０に、低輝度の画像データを生成させることによって実行される。高輝度の画像データの取得は、例えば、絞り１４６を最大に開いて撮像することによって、画像データ生成回路１３０に、低輝度の画像データを生成させることによって実行される。両画像データに基づく欠陥画素を決定は、例えば、両画像データにおいて、着目画素に対応する画素データを比較して、画素値の変化量が所定の基準値以下である場合に、着目画素が欠陥画素であると決定することによって実行される。
In the above embodiment, defective pixel information is stored in the
かかる場合には、両画像データの生成時における欠陥画素情報が、画像ファイルＧＦ１に含まれるので、外部の画像処理装置は、製造後に生じた欠陥画素に対応する欠陥画素データも、正確かつ容易に特定でき、欠陥画素補正を正確に実行することができる。 In such a case, since the defective pixel information at the time of generating both image data is included in the image file GF1, the external image processing apparatus can accurately and easily detect defective pixel data corresponding to defective pixels generated after manufacturing. The defective pixel correction can be performed accurately.
上記実施例では、補正情報として、補正済み情報または未補正情報を画像ファイルＧＦ１に付加しているが、画像データＧＤに対して実行された欠陥画素補正についてさらに詳しい情報を補正情報として付加しても良い。例えば、未補正、簡易欠陥画素補正済み、高精度欠陥画素補正済みの３段階の補正情報を付加しても良い。 In the above embodiment, corrected information or uncorrected information is added to the image file GF1 as correction information, but more detailed information about defective pixel correction performed on the image data GD is added as correction information. Also good. For example, three levels of correction information that are uncorrected, simple defective pixel corrected, and highly accurate defective pixel corrected may be added.
かかる場合には、画像ファイルＧＦ１を取得した外部の画像処理装置は、画像データＧＤに対して実行された欠陥画素補正について、より詳しく認識することができる。この結果、外部の画像処理装置は、効率良く、かつ、適切に、画像データＧＤに対して、欠陥画素補正を含む画像処理を実行することができる。 In such a case, the external image processing apparatus that has acquired the image file GF1 can recognize the defective pixel correction performed on the image data GD in more detail. As a result, the external image processing apparatus can execute image processing including defective pixel correction on the image data GD efficiently and appropriately.
Ｄ．画像処理装置の第１の実施例：
・パーソナルコンピュータ２０の機能的構成：
図７は、本実施例に係る画像処理装置としてのパーソナルコンピュータ２０（ＣＰＵ２００）の機能ブロック図である。図７を参照してパーソナルコンピュータ２０（ＣＰＵ２００）の機能的構成の概要について説明する。
D. First Embodiment of Image Processing Device:
-Functional configuration of the personal computer 20:
FIG. 7 is a functional block diagram of the personal computer 20 (CPU 200) as the image processing apparatus according to the present embodiment. The outline of the functional configuration of the personal computer 20 (CPU 200) will be described with reference to FIG.
画像データ取得部Ｍ２１０は、画像ファイルＧＦに含まれている処理対象画像の画像データＧＤを取得する。欠陥画素情報取得部Ｍ２２０は、画像ファイルＧＦに含まれ、画像データＧＤと関連付けられた欠陥画素情報を取得する。補正情報検出部Ｍ２５０は、画像ファイルＧＦに含まれている補正情報を検出する。 The image data acquisition unit M210 acquires the image data GD of the processing target image included in the image file GF. The defective pixel information acquisition unit M220 acquires defective pixel information included in the image file GF and associated with the image data GD. The correction information detection unit M250 detects correction information included in the image file GF.
欠陥画素情報生成部Ｍ２６０は、補正情報検出部Ｍ２５０が、補正情報として、解析補正指示情報を検出した場合に、画像データＧＤを解析して、欠陥画素情報を生成する。 When the correction information detection unit M250 detects analysis correction instruction information as correction information, the defective pixel information generation unit M260 analyzes the image data GD and generates defective pixel information.
欠陥画素データ特定部Ｍ２３０は、欠陥画素情報取得部Ｍ２１０によって取得された欠陥画素情報、または、欠陥画素情報生成部Ｍ２６０によって生成された欠陥画素情報を用いて、画像データＧＤにおいて、欠陥画素に対応する画素データを特定する。 The defective pixel data specifying unit M230 corresponds to a defective pixel in the image data GD using the defective pixel information acquired by the defective pixel information acquisition unit M210 or the defective pixel information generated by the defective pixel information generation unit M260. The pixel data to be specified is specified.
補正処理部Ｍ２４０は、欠陥画素データ特定部Ｍ２３０によって特定された欠陥画素データを補正し、補正後画像データＧＤ’を生成する。 The correction processing unit M240 corrects the defective pixel data specified by the defective pixel data specifying unit M230, and generates corrected image data GD ′.
・パーソナルコンピュータ２０における画像処理：
図８〜図１０を参照して本実施例に係るパーソナルコンピュータ２０において実行される画像処理について説明する。
Image processing in the personal computer 20:
Image processing executed in the
図８は、本実施例に係るパーソナルコンピュータ２０における画像処理の処理ルーチンを示すフローチャートである。パーソナルコンピュータ２０（ＣＰＵ２００）は、スロット２０３にメモリカードＭＣが差し込まれると、本画像処理のプログラムを起動する。ＣＰＵ２００は、ユーザの指示に従ってメモリカードＭＣから処理対象画像の画像データＧＤを格納した画像ファイルＧＦを読み出し、画像データＧＤを取得してＲＡＭ２０１に一時的に格納する（ステップＳ２１０）。
FIG. 8 is a flowchart illustrating a processing routine of image processing in the
ＣＰＵ２００は、続いて、ＲＡＷデータ形式である画像データＧＤに対して、欠陥画素補正処理を実行する（ステップＳ２２０）。
Subsequently, the
図９は、本実施例に係る欠陥画素補正処理の処理ルーチンを示すフローチャートである。ＣＰＵ２００は、画像ファイルＧＦから画像データＧＤと関連付けられた補正情報を検出する（ステップＳ３０２）。解析補正指示情報が補正情報として検出された場合（ステップＳ３０４：ＹＥＳ）、すなわち画像ファイルＧＦが図３（ｂ）に示す画像ファイルＧＦ２のように、欠陥画素情報に代えて、解析補正指示情報を含む場合には、ＣＰＵ２００は、取得した画像データＧＤを解析して欠陥画素情報を生成する（ステップＳ３１８）。
FIG. 9 is a flowchart illustrating a processing routine of defective pixel correction processing according to the present embodiment. The
画像データを解析して欠陥画素情報を生成する方法は、例えば、以下に説明する公知の方法を用いることができる。ＣＰＵ２００は、着目画素と、着目画素の周囲に存在する複数の画素（着目画素と同じフィルタ色の画素に対応する画素データを選ぶ）との画素値（画素データ）の差分を欠陥画素検出値として算出する。ＣＰＵ２００は、算出した欠陥画素検出差分値が、予め設定された欠陥画素検出基準値より大きい場合に、着目画素を欠陥画素であると決定する。ＣＰＵ２００は、画像データを構成する全ての画素データに対応する画素もついて、欠陥画素か否かを決定し、欠陥画素情報を生成する。
As a method of generating defective pixel information by analyzing image data, for example, a known method described below can be used. The
一方、ＣＰＵ２００は、解析補正指示情報を検出できない場合（ステップＳ３０４：ＮＯ）、すなわち、画像ファイルＧＦが図３（ａ）に示す画像ファイルＧＦ１のように、欠陥画素情報を含む場合には、画像ファイルＧＦから画像データＧＤと関連付けられた欠陥画素情報を取得する（ステップＳ３０６）。以下、図４に示すＣＰ_def１およびＣＰ_def２を含むＮ個の欠陥画素を有する撮像素子１４４の欠陥画素情報（図３（ａ）参照）を取得した場合を具体例として説明する。
On the other hand, when the analysis correction instruction information cannot be detected (step S304: NO), that is, when the image file GF includes defective pixel information like the image file GF1 shown in FIG. The defective pixel information associated with the image data GD is acquired from the file GF (step S306). Hereinafter, a specific example will be described in which defective pixel information (see FIG. 3A) of the
続いて、ＣＰＵ２００は、ステップＳ３０６で取得した欠陥画素情報またはステップＳ３０８で生成した欠陥画素情報に基づいて、着目する欠陥画素の位置情報（以下、着目位置情報という。）を取得する（ステップＳ３１０）。例えば、ＣＰＵ２００は、欠陥画素ＣＰ_def１を着目する欠陥画素として設定し、ＣＰ_def１の位置情報（ｘｐ１、ｙｐ１）を着目位置情報として取得する。
Subsequently, based on the defective pixel information acquired in step S306 or the defective pixel information generated in step S308, the
ＣＰＵ２００は、着目する欠陥画素が、撮像素子１４４の端部に位置するか否かを判定する（ステップＳ３１２）。撮像素子１４４が、図４のＸ軸方向に、Ｍ個並んでいる場合（欠陥画素の位置情報におけるX座標が、０〜Ｍ−１で表される場合）において、着目位置情報のＸ座標の値をｘｐとすると、以下の式（１ａ）または（１ｂ）を満たす場合、着目する欠陥画素が、端部に位置すると判定され、満たさない場合には、端部に位置しないと判定される。
ｘｐ＜２ …（１ａ）
ｘｐ＞Ｍ−３ …（１ｂ）
The
xp <2 (1a)
xp> M-3 (1b)
すなわち、撮像素子１４４を構成する画素のうち、左右両端に位置する画素および左右から２列目に位置する画素が、端部に位置する画素であると判定される。具体例では、図４に示すように、欠陥画素ＣＰ_def１は、端部に位置しないと判定され、欠陥画素ＣＰ_def２は端部に位置すると判定される。ＣＰＵ２００は、着目する欠陥画素が、端部に位置しない場合（ステップＳ３１２：ＮＯ）には、着目する欠陥画素に対応する欠陥画素データを画像データＧＤを構成する画素データから特定し、特定した欠陥画素データに対して、標準欠陥画素補正を実行する（ステップＳ３１４）。
That is, among the pixels constituting the
図１０は、欠陥画素補正の具体例を概念的に示す説明図である。欠陥画素の画素値は、欠陥画素と同じフィルタ色を有する画素のうち、欠陥画素の左右方向で最も近い位置にある画素に対応する画素データを用いて補正される。図１０（ａ）は、位置（ｘｐ１、ｙｐ１）の画素ＣＰ_def１の画素値Ｇ（ｘ）に対する標準欠陥画素補正の具体例を示している。ＣＰＵ２００は、位置（ｘｐ１−２、ｙｐ１）の画素ＣＰ_leftに対応する画素データの画素値Ｇ（ｘ−２）と、位置（ｘｐ１＋２、ｙｐ１）の画素ＣＰ_rightに対応する画素データの画素値Ｇ（ｘ+２）との平均値を用いて、Ｇ（ｘ）の画素値を補正する。
FIG. 10 is an explanatory diagram conceptually showing a specific example of defective pixel correction. The pixel value of the defective pixel is corrected using pixel data corresponding to a pixel that is closest to the defective pixel in the left-right direction among pixels having the same filter color as the defective pixel. FIG. 10A shows a specific example of standard defective pixel correction for the pixel value G (x) of the pixel CP_def1 at the position (xp1, yp1). The
ＣＰＵ２００は、着目する欠陥画素が、端部に位置する場合（ステップＳ３１２：ＹＥＳ）には、着目する欠陥画素に対応する欠陥画素データに対して、端部欠陥画素補正を実行する（ステップＳ３１６）。図１０（ｂ）は、端部欠陥画素補正の具体例を示している。欠陥画素ＣＰ_def２の画素値Ｂ（ｘ）は、図１０（ａ）に示すように、位置（ｘｐ２＋２、ｙｐ２）の画素ＣＰ_rightに対応する画素データの画素値Ｂ（ｘ+２）を、Ｂ（ｘ）の値として補正される。
When the defective pixel of interest is located at the end (step S312: YES), the
ＣＰＵ２００は、欠陥画素情報に基づく全欠陥画素について、欠陥画素補正が終了したか否かを判定する（ステップＳ３１８）。取得された欠陥画素情報がＮ個の欠陥画素の位置情報であるとき、ＣＰＵ２００は、Ｎ個の欠陥画素に対応する欠陥画素データが全て補正されていない場合には、全欠陥画素補正が終了していないと判定し、全て補正された場合には、全欠陥画素補正が終了したと判定する（ステップＳ３１８：ＹＥＳ）。
The
ＣＰＵ２００は、全欠陥画素補正が終了していない場合（ステップＳ３１８：ＮＯ）には、未補正の欠陥画素の画素位置を新たに取得（ステップＳ３１０）し、上述した処理（ステップＳ３１２〜Ｓ３１６）を繰り返す。ＣＰＵ２００は、全欠陥画素補正が終了した場合（ステップＳ３１８：ＹＥＳ）には、本処理を終了して、図８の処理ルーチンにリターンする。欠陥画素補正処理が実行された画像データを補正後画像データＧＤ’とする。
If all defective pixel correction has not been completed (step S318: NO), the
図８に戻って説明を続けると、ＣＰＵ２００は、補正後画像データＧＤ’に対して、色補完処理を実行する（ステップＳ２３０）。色補完処理は、画像データＧＤを構成する各画素データのフィルタ色以外の色成分を算出し、各画素データごとにＲＧＢ各色成分の画素値を有するように、欠けているデータを補完する処理である。補完処理によって、デジタルカメラ１０の機器特性に依存した色空間（以下、ＣＣＤＲＧＢ色空間という。）におけるＲＧＢデータ（以下、画像データＧＤ’’という。）が生成される。
Returning to FIG. 8 and continuing the description, the
ＣＰＵ２００は、続いて、画像データＧＤ’’に対して、色変換処理を実行する（ステップＳ２４０）。色変換処理は、画像データの色空間を目的に応じて適切な適切な色空間へ変換する処理である。本実施例では、画像データＧＤ’’の色空間を、ディジタルスチルカメラ１０に依存したＣＣＤＲＧＢ色空間から、プリンタ３０に出力する画像データの画質調整処理に適したｗＲＧＢ色空間へと変換する。例えば、ＣＰＵ２００は、画像データＧＤ２の色空間を、機器独立色空間（例えば、ＸＹＺまたはＬａｂ色空間）を介して、ＣＣＤＲＧＢ色空間からｗＲＧＢ色空間へと変換する。
Subsequently, the
ＣＰＵ２００は、続いて、画像データＧＤ’’の入出力特性を、出力機器を考慮した入出力特性に変換する逆ガンマ補正処理を実行する。（ステップＳ２５０）。本実施例では、プリンタ３０を出力機器とするので、プリンタ３０の入出力特性を示すガンマ値を用いて、逆ガンマ補正が実行される。
Subsequently, the
ＣＰＵ２００は、画像データＧＤ’’に対して、必要な画質調整処理を実行する（ステップＳ２６０）。例えば、カラーバランス（ホワイトバランス）、コントラスト、色彩、シャープネスの補正を始めとする一般的な画質調整処理が実行され得る。ＣＰＵ２００は、これらの画質調整処理の全部または一部を、ｗＲＧＢ空間に変換する前にＣＣＤＲＧＢ色空間において実行しても良いし、逆ガンマ補正前に実行しても良い。
The
ＣＰＵ２００は、画質調整処理後の画像データＧＤ’’をプリンタドライバに出力して（ステップＳ２７０）、本処理ルーチンを終了する。プリンタドライバでは、画像データＧＤ’’をＣＭＹＫデータに変換する。すなわち、画像データＧＤ’’の表色系をプリンタ３０が印刷処理を実行する際に用いる表色系であるＣＭＹＫ表色系に変換する。具体的には、ＨＤＤ２０２（または、ＲＯＭ）に格納されているＲＧＢ表色系とＣＭＹＫ表色系とを対応付けたルックアップデーブルを用いて実行される。また、ハーフトーン処理、解像度変換処理が実行され、印刷用のラスタデータとしてプリンタ３０に出力される。
The
以上説明したように、本実施例に係る画像処理によれば、画像データＧＤと関連付けられた欠陥画素情報を取得し、取得した欠陥画素情報を用いて、画像データＧＤを構成する画素データから欠陥画素データを特定して、欠陥画素データを補正する。この結果、撮像装置とは別体の外部画像処理装置において、取得した画像データＧＤにおける欠陥画素データを正確に、補正することができる。 As described above, according to the image processing according to the present embodiment, the defective pixel information associated with the image data GD is acquired, and the acquired defective pixel information is used to detect defects from the pixel data constituting the image data GD. The pixel data is specified and the defective pixel data is corrected. As a result, the defective pixel data in the acquired image data GD can be accurately corrected in an external image processing apparatus separate from the imaging apparatus.
また、欠陥画素情報に代えて、解析補正指示情報を、画像データＧＤと関連付けられた補正情報として取得した場合には、画像データＧＤを解析して生成された欠陥画素情報を用いて、欠陥画素情報を補正するので、画像データＧＤと関連付けられた欠陥画素情報が取得できない場合であっても、適切に欠陥画素補正を実行することができる。 In addition, when the analysis correction instruction information is acquired as correction information associated with the image data GD instead of the defective pixel information, the defective pixel information is generated using the defective pixel information generated by analyzing the image data GD. Since the information is corrected, the defective pixel correction can be appropriately executed even when defective pixel information associated with the image data GD cannot be acquired.
Ｅ．画像処理装置の第２の実施例：
・パーソナルコンピュータ２０の機能的構成：
図１１は、本実施例に係る画像処理装置としてのパーソナルコンピュータ２０（ＣＰＵ２００）の機能ブロック図である。図１１を参照してパーソナルコンピュータ２０（ＣＰＵ２００）の機能的構成の概要について説明する。なお、図７を参照して説明した第１の実施例と同一の構成については、図７と同一の符号を付し、その説明を省略する。
E. Second embodiment of the image processing apparatus:
-Functional configuration of the personal computer 20:
FIG. 11 is a functional block diagram of a personal computer 20 (CPU 200) as an image processing apparatus according to the present embodiment. An outline of a functional configuration of the personal computer 20 (CPU 200) will be described with reference to FIG. The same components as those in the first embodiment described with reference to FIG. 7 are denoted by the same reference numerals as those in FIG. 7, and the description thereof is omitted.
補正指示検出部Ｍ２７０は、ユーザー等による欠陥画素補正に関する補正指示を検出する。高精度補正処理部Ｍ２８０は、補正指示検出部Ｍ２７０が、精度の高い欠陥画素補正を指示する補正指示を検出した場合に、補正処理部Ｍ２４０による欠陥画素補正よりも高い精度で欠陥画素データ特定部Ｍ２３０によって特定された欠陥画素データを補正し、補正後画像データＧＤ’を生成する。 The correction instruction detection unit M270 detects a correction instruction related to defective pixel correction by a user or the like. The high-precision correction processing unit M280, when the correction instruction detection unit M270 detects a correction instruction for instructing defective pixel correction with high accuracy, has a defective pixel data specifying unit with higher accuracy than the defective pixel correction by the correction processing unit M240. The defective pixel data specified by M230 is corrected, and corrected image data GD ′ is generated.
補正処理部Ｍ２４０は、第１の実施例と同様に、欠陥画素データ特定部Ｍ２３０によって特定された欠陥画素データを補正し、補正後画像データＧＤ’を生成する。第１の実施例と異なり、補正指示検出部Ｍ２７０が、精度の高い欠陥画素補正を指示する補正指示を検出した場合や、補正済み情報を検出した場合には、欠陥画素補正を実行しない。 Similar to the first embodiment, the correction processing unit M240 corrects the defective pixel data specified by the defective pixel data specifying unit M230, and generates corrected image data GD '. Unlike the first embodiment, when the correction instruction detection unit M270 detects a correction instruction for instructing defective pixel correction with high accuracy, or detects corrected information, the correction instruction detection unit M270 does not perform defective pixel correction.
・パーソナルコンピュータ２０における画像処理：
図１２を参照して本実施例に係るパーソナルコンピュータ２０において実行される画像処理について説明する。本実施例に係る画像処理において、欠陥画素補正処理（図８：ステップ２２０）以外の処理は、図８を参照して説明した第１の実施例に係る画像処理と同一であるので、その説明を省略し、本実施例に係る欠陥画素補正処理についてのみ説明する。
Image processing in the personal computer 20:
Image processing executed in the
図１２は、本実施例に係る欠陥画素補正処理の処理ルーチンを示すフローチャートである。ＣＰＵ２００は、欠陥画素補正処理を開始すると、第１の実施例におけるステップＳ３０６と同様に、画像ファイルＧＦから画像データＧＤと関連付けられた欠陥画素情報を取得する（ステップＳ４０２）。
FIG. 12 is a flowchart illustrating a processing routine of defective pixel correction processing according to the present embodiment. When the defective pixel correction process is started, the
ＣＰＵ２００は、続いて、画像ファイルＧＦから画像データＧＤと関連付けられた補正情報を検出する（ステップＳ４０４）。さらに、ＣＰＵ２００は、ユーザー等から画像データＧＤに対して精度の高い欠陥画素補正を実行する高精度補正指示と通常の欠陥画素補正を実行する通常補正指示とのいずれかを検出する（ステップＳ４０６）。例えば、ユーザーが、画像データを画像処理（現像）するモードとして、高画質モードと、高速モードの２種類を選択できるようする。そして、高画質モードが選択された場合には、高精度補正指示であるとして検出し、高速モードが選択された場合には、通常補正指示であるとして検出する。
Subsequently, the
ＣＰＵ２００は、検出された補正指示が、高精度補正指示か通常補正指示かを判断する（ステップＳ４０８）。補正指示が高精度補正指示である場合（ステップＳ４０８：ＹＥＳ）には、取得した欠陥画素情報を用いて画像データＧＤにおける欠陥画素データを特定し、精度の高い欠陥画素補正を実行する（ステップＳ４１０）。
精度の高い欠陥画素補正としては、例えば、以下に説明する公知の方法を用いることができる。図１３は、精度の高い欠陥画素補正の内容の一例を説明する説明図である。図１３において、中央に位置するＢ（ブルー）をフィルタ色とする画素ＣＰ_defは、補正対象の欠陥画素である。画素ＣＰ_defの画素値をB_defとする。そして、同一のフィルタ色を有する画素であって、図１３において画素ＣＰ_defから上下左右斜めの８方向に存在する画素を参照画素ＣＰ１〜ＣＰ８とし、それぞれの画素値をB１〜Ｂ８とする。 As the defective pixel correction with high accuracy, for example, a known method described below can be used. FIG. 13 is an explanatory diagram illustrating an example of the details of defective pixel correction with high accuracy. In FIG. 13, a pixel CP_def whose filter color is B (blue) located in the center is a defective pixel to be corrected. Let the pixel value of the pixel CP_def be B_def. Pixels having the same filter color and existing in eight directions diagonally up, down, left, and right from the pixel CP_def in FIG. 13 are referred to as reference pixels CP1 to CP8, and the pixel values thereof are B1 to B8.
ＣＰＵ２００は、画素ＣＰ_defを上下方向、左右方向、斜め２方向に挟む参照画素の画素値の差分値をそれぞれ、以下の式（２a）〜（２d）によって算出する。
Ｄ_26 = | B2 - B6 | …（２a）
Ｄ_48 = | B4 - B8 | …（２b）
Ｄ_15 = | B1 - B5 | …（２c）
Ｄ_37 = | B3 - B7 | …（２d）
The
D_26 = | B2-B6 | (2a)
D_48 = | B4-B8 |… (2b)
D_15 = | B1-B5 | (2c)
D_37 = | B3-B7 |… (2d)
そして、ＣＰＵ２００は、算出した４つの差分値（Ｄ_26、Ｄ_48、Ｄ_15、Ｄ_37）のうち最小値を示す差分値を認識する。そして、ＣＰＵ２００は、認識した最小の差分値の算出に用いた画素値の平均値を、欠陥画素値B_defとして用いることにより、欠陥画素データを補正する。例えば、図１３に示す例において、
MIN(Ｄ_26、Ｄ_48、Ｄ_15、Ｄ_37) = Ｄ_15 …（３a）
ならば、
B_def = ( B1 + B5 ) / 2 …（３b）
となる。このような欠陥画素補正は、補正の際に考慮する周囲の画素数が通常の補正よりも多いため、精度の高い補正が望める反面、補正に要する演算時間が長くなる。そのため、このような欠陥画素補正は、一般的に演算能力が低いディジタルスチルカメラにおいて、実行するには適していない。
Then, the
MIN (D_26, D_48, D_15, D_37) = D_15 (3a)
Then
B_def = (B1 + B5) / 2 ... (3b)
It becomes. In such defective pixel correction, the number of surrounding pixels to be considered at the time of correction is larger than that of the normal correction, so that a highly accurate correction can be expected, but the calculation time required for the correction becomes long. For this reason, such defective pixel correction is generally not suitable for execution in a digital still camera with low calculation capability.
ＣＰＵ２００は、検出された補正指示が、通常補正指示である場合（ステップＳ４０８：ＮＯ）には、ＣＰＵ２００は、ステップＳ４０４で補正情報として補正済み情報（図３（ａ）参照）を検出したか否かを判断する（ステップＳ４１２）。ＣＰＵ２００は、補正済み情報を検出した場合（ステップＳ４１２：ＹＥＳ）には、画像データに対して、欠陥画素補正を実行することなく、本処理を終了する。
When the detected correction instruction is a normal correction instruction (step S408: NO), the
ＣＰＵ２００は、補正済み情報を検出しなかった場合（ステップＳ２１２：ＮＯ）には、取得した欠陥画素情報を用いて、画像データＧＤにおける欠陥画素データを特定し、通常の欠陥画素補正を実行する（ステップＳ４１４）。通常の欠陥画素補正は、例えば、第１の実施例において説明した欠陥画素補正（図９：ステップＳ３１０〜ステップＳ３１８）を用いる。
If the corrected information is not detected (step S212: NO), the
以上説明したように、本実施例に係る画像処理によれば、第１の実施例と同様に、画像データＧＤと関連付けられた欠陥画素情報を用いて、撮像装置とは別体の外部の画像処理装置において、取得した画像データＧＤにおける欠陥画素データを、正確に補正することができる。 As described above, according to the image processing according to the present embodiment, as in the first embodiment, an external image separate from the imaging apparatus is used using the defective pixel information associated with the image data GD. In the processing device, the defective pixel data in the acquired image data GD can be corrected accurately.
さらに、画像ファイルＧＦから画像データＧＤと関連付けられた補正情報として、補正済み情報を検出した場合には、通常の欠陥画素補正を実行しない。一方で、画像ファイルＧＦから補正情報が検出されない場合であって、高精度補正指示が検出されない場合には、通常の欠陥画素補正を実行する。この結果、欠陥画素補正が既に実行された画像データに対して、重複して欠陥画素補正を実行することを回避し、補正が必要な画像データに対してのみ、欠陥画素補正を実行できるので、画像処理装置のメモリリソースの節約、画像処理時間の短縮を図ることができる。 Further, when corrected information is detected as correction information associated with the image data GD from the image file GF, normal defective pixel correction is not executed. On the other hand, when correction information is not detected from the image file GF and a high-precision correction instruction is not detected, normal defective pixel correction is executed. As a result, it is possible to avoid performing defective pixel correction redundantly on image data on which defective pixel correction has already been performed, and to perform defective pixel correction only on image data that requires correction. It is possible to save memory resources of the image processing apparatus and shorten the image processing time.
また、高精度補正指示が検出された場合には、画像ファイルＧＦから補正済み情報が検出されたか否かに関わらず、精度の高い欠陥画素補正を画像データＧＤに対して実行するので、ユーザー等の要求に応じて、適切に精度の高い欠陥画素補正を実行することができる。 Further, when a high-precision correction instruction is detected, a highly accurate defective pixel correction is performed on the image data GD regardless of whether corrected information is detected from the image file GF. Therefore, it is possible to appropriately perform defective pixel correction with high accuracy.
Ｅ．画像処理装置の第３の実施例：
・パーソナルコンピュータ２０の機能的構成：
図１４は、本実施例に係る画像処理装置としてのパーソナルコンピュータ２０（ＣＰＵ２００）の機能ブロック図である。図１４を参照してパーソナルコンピュータ２０（ＣＰＵ２００）の機能的構成の概要について説明する。なお、図７を参照して説明した第１の実施例と同一の構成については、図７と同一の符号を付し、その説明を省略する。
E. Third embodiment of the image processing apparatus:
-Functional configuration of the personal computer 20:
FIG. 14 is a functional block diagram of a personal computer 20 (CPU 200) as an image processing apparatus according to the present embodiment. The outline of the functional configuration of the personal computer 20 (CPU 200) will be described with reference to FIG. The same components as those in the first embodiment described with reference to FIG. 7 are denoted by the same reference numerals as those in FIG. 7, and the description thereof is omitted.
欠陥画素情報生成部Ｍ２６０は、画像データＧＤを解析して、欠陥画素情報を生成する。増加判定部Ｍ２９０は、欠陥画素情報取得部Ｍ２２０によって取得された欠陥画素情報と、欠陥画素情報生成部Ｍ２６０によって生成された欠陥画素情報とを比較して、欠陥画素の数が増加しているか否かを判定する。増加判定部Ｍ２９０は、欠陥画素の数が増加していると判定した場合には、欠陥画素情報生成部Ｍ２６０によって生成された欠陥画素情報を、記憶装置（例えば、ＨＤＤ２０２）に記録する。 The defective pixel information generation unit M260 analyzes the image data GD and generates defective pixel information. The increase determination unit M290 compares the defective pixel information acquired by the defective pixel information acquisition unit M220 with the defective pixel information generated by the defective pixel information generation unit M260, and determines whether or not the number of defective pixels has increased. Determine whether. If the increase determination unit M290 determines that the number of defective pixels has increased, the increase pixel determination unit M290 records the defective pixel information generated by the defective pixel information generation unit M260 in the storage device (for example, the HDD 202).
報知部Ｍ２９５は、増加判定部Ｍ２９０が欠陥画素の数が増加していると判定した場合に、ユーザー等にその旨を報知する。 When the increase determination unit M290 determines that the number of defective pixels has increased, the notification unit M295 notifies the user or the like to that effect.
・パーソナルコンピュータ２０における画像処理：
図１５を参照して本実施例に係るパーソナルコンピュータ２０において実行される画像処理について説明する。
Image processing in the personal computer 20:
Image processing executed in the
図１５は、本実施例に係る画像処理装置としてのパーソナルコンピュータ２０における画像処理の処理ルーチンを示すフローチャートである。パーソナルコンピュータ２０（ＣＰＵ２００）は、ユーザー等の指示に従って、あるいは、一定期間ごとに自動的に、本画像処理のプログラムを起動して、欠陥画素の増加判定を実行する。ＣＰＵ２００は、ユーザの指示に従って、または、増加判定の対象であるディジタルスチルカメラ１０によって撮像された最新のファイルを自動的に選択して、ＨＤＤ２０２やメモリーカードＭＣから処理対象画像の画像データＧＤが格納された画像ファイルＧＦを読み出し、画像データＧＤを取得する（ステップＳ５０２）。
FIG. 15 is a flowchart illustrating a processing routine of image processing in the
ＣＰＵ２００は、画像ファイルＧＦから画像データＧＤと関連付けられた欠陥画素情報を取得する（ステップＳ５０４）。ＣＰＵ２００は、取得した画像データＧＤを解析して、ステップＳ５０４で取得した欠陥画素情報とは別に欠陥画素情報を生成する（ステップＳ５０６）。欠陥画素情報の生成には、第１の実施例に係る画像処理における欠陥画素情報の生成（図９：ステップＳ３１８）と同様の方法を用いる。
The
ＣＰＵ２００は、続いて、画像データＧＤを解析して生成された欠陥画素情報と、画像データと関連付けられた欠陥画素情報を比較して、欠陥画素の数が増加しているか否かを判定する（ステップＳ５０８）。例えば、生成された欠陥画素情報に基づく欠陥画素の数と、関連付けられた欠陥画素情報に基づく欠陥画素の数の差が基準値以上である場合に、ＣＰＵ２００は、欠陥画素の数が増加していると判定する。
Subsequently, the
ＣＰＵ２００は、欠陥画素の数が増加していると判定した場合（ステップＳ５０８：ＹＥＳ）には、欠陥画素の数が増加していることをユーザー等に報知する（ステップＳ５１０）。ユーザー等への報知は、例えば、パーソナルコンピュータ２０の表示装置２５に、欠陥画素の増加数を表示することによって行われる。さらに、ＣＰＵ２００は、生成された欠陥画素情報を記憶しておく（ステップＳ５１２）。ＣＰＵ２００は、同じディジタルスチルカメラ１０について、以前に記憶された欠陥画素情報がＨＤＤ２０２ある場合には、記憶された欠陥画素情報を、生成された欠陥情報と更新して記憶しても良く、別々に保存して欠陥画素情報の履歴を残しても良い。
If the
以上説明したように、本実施例に係る画像処理によれば、画像データＧＤと関連付けられた欠陥画素情報と、画像データを解析して生成された欠陥画素情報とを比較して、欠陥画素の数が増加していると判定された場合に、増加を報知する。この結果、ユーザー等は、画像データを生成したディジタルスチルカメラ１０の撮像素子の欠陥画素が、経時劣化等によって、増加していることを認識することができる。
As described above, according to the image processing according to the present embodiment, the defective pixel information associated with the image data GD is compared with the defective pixel information generated by analyzing the image data. When it is determined that the number is increasing, the increase is notified. As a result, the user or the like can recognize that the number of defective pixels of the image sensor of the digital
また、欠陥画素の数が増加していると判定された場合に、新たに生成した欠陥画素情報をＨＤＤ２０２等に記憶させておくので、同じディジタルスチルカメラ１０で生成された画像データに対して、欠陥画素補正を実行する場合に、記憶させた欠陥画素情報を用いることができる。この結果、ディジタルスチルカメラ１０の製造後に、発生した欠陥画素に対応する画素データについても正確に補正することができる。
In addition, when it is determined that the number of defective pixels has increased, newly generated defective pixel information is stored in the
以上、実施例、変形例に基づき本発明に係る撮像装置および画像処理について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。 As described above, the imaging apparatus and the image processing according to the present invention have been described based on the examples and the modifications. However, the embodiments of the present invention described above are for facilitating the understanding of the present invention. It is not limited. The present invention can be changed and improved without departing from the spirit and scope of the claims, and the present invention includes equivalents thereof.
１０…ディジタルスチルカメラ（ＤＳＣ）
１００…制御回路
１０２…中央演算装置（ＣＰＵ）
１０４…ランダムアクセスメモリ（ＲＡＭ）
１０６…リードオンリメモリ（ＲＯＭ）
１１０…コントローラ
１２０…画像処理回路
１３０…画像データ生成回路
１４０…光学回路
１４２…レンズ
１４４…撮像素子
１４６…絞り
１５０…メモリカードドライブ
２０…パーソナルコンピュータ
２００…中央演算装置（ＣＰＵ）
２０１…ランダムアクセスメモリ（ＲＡＭ）
２０２…ハードディスク（ＨＤＤ）
２０３…カードスロット
２０４…入出力端子
２５…モニタ
３０…プリンタ
４０…表示装置
４５…表示部
ＭＣ…メモリカード
Ｍ１０…欠陥画素情報取得部
Ｍ１５…欠陥画素情報生成部
Ｍ１００…欠陥画素情報取得部
Ｍ１１０…欠陥画素情報読出し部
Ｍ１２０…高輝度画像撮像部
Ｍ１３０…低輝度画像撮像部
Ｍ１４０…欠陥画素決定部
Ｍ２０…画像データ出力部
Ｍ２１０…画像データ取得部
Ｍ２２０…欠陥画素情報取得部
Ｍ２３０…欠陥画素データ特定部
Ｍ２４０…補正処理部
Ｍ２５０…補正情報検出部
Ｍ２６０…欠陥画素情報生成部
Ｍ２７０…補正指示検出部
Ｍ２８０…高精度補正処理部
Ｍ２９０…増加判定部
Ｍ２９５…報知部
10. Digital still camera (DSC)
DESCRIPTION OF
104: Random access memory (RAM)
106: Read only memory (ROM)
DESCRIPTION OF
201: Random access memory (RAM)
202: Hard disk (HDD)
DESCRIPTION OF
Claims (18)
複数の画素を有すると共に、撮像画像を画素単位の電気信号として出力する撮像素子と、
前記出力された電気信号に基づいて、画素データから構成される画像データを生成する画像データ生成手段と、
前記撮像素子が有する画素のうち、正しく電気信号を出力できない欠陥画素の位置情報を取得する欠陥画素情報取得手段と、
前記取得された欠陥画素情報を、前記生成された画像データに関連付けて出力する画像データ出力手段とを備える撮像装置。 An imaging device,
An image sensor that has a plurality of pixels and outputs a captured image as an electrical signal in units of pixels;
Image data generating means for generating image data composed of pixel data based on the output electrical signal;
Among the pixels of the image sensor, defective pixel information acquisition means for acquiring position information of defective pixels that cannot output electrical signals correctly;
An imaging apparatus comprising: image data output means for outputting the acquired defective pixel information in association with the generated image data.
前記欠陥画素情報取得手段は、
前記欠陥画素の位置情報を予め記憶した欠陥画素情報記憶手段と、
前記欠陥画素情報記憶手段から前記欠陥画素情報を読み出す欠陥画素情報読み出し手段とを備える撮像装置。 The imaging device according to claim 1,
The defective pixel information acquisition unit includes:
Defective pixel information storage means for previously storing position information of the defective pixels;
An imaging apparatus comprising: defective pixel information reading means for reading the defective pixel information from the defective pixel information storage means.
前記欠陥画素情報取得手段は、前記生成された画像データを解析して、前記欠陥画素情報を生成する欠陥画素情報生成手段を備える撮像装置。 In the imaging device according to claim 1 or 2,
The defective pixel information acquisition unit includes an defective pixel information generation unit that analyzes the generated image data and generates the defective pixel information.
前記欠陥画素情報生成手段は、
前記画像データ生成手段に低輝度の画像データを生成させる低輝度画像撮像手段と、
前記画像データ生成手段に高輝度の画像データを生成させる高輝度画像撮像手段と、
生成された前記低輝度の画像データと前記高輝度の画像データとを比較して、画素値の変化量が基準値以下である画素データに対応する画素を、欠陥画素であると決定する欠陥画素決定手段とを備える撮像装置。 The imaging device according to claim 3.
The defective pixel information generating means includes
Low-luminance image capturing means for causing the image data generating means to generate low-luminance image data;
High-luminance image capturing means for causing the image data generation means to generate high-luminance image data; and
A defective pixel that compares the generated low-brightness image data with the high-brightness image data and determines that a pixel corresponding to pixel data whose pixel value change amount is equal to or less than a reference value is a defective pixel An imaging apparatus comprising a determining unit.
前記画像データ出力手段は、さらに、
前記欠陥画素に対応する画素データを補正する欠陥画素補正に関する補正情報を、前記生成された画像データに関連付けて出力する撮像装置。 The imaging apparatus according to any one of claims 1 to 4,
The image data output means further includes:
An imaging apparatus that outputs correction information related to defective pixel correction for correcting pixel data corresponding to the defective pixel in association with the generated image data.
前記補正情報は、前記生成された画像データに対して、前記欠陥画素補正を、前記撮像装置において実行したか否かを示す情報である撮像装置。 The imaging apparatus according to claim 5,
The imaging apparatus, wherein the correction information is information indicating whether or not the defective pixel correction is performed on the generated image data in the imaging apparatus.
前記画像データ出力手段は、前記欠陥画素情報に代えて、前記欠陥画素情報を用いないで前記欠陥画像データ補正を実行することを指示する指示情報を、前記生成された画像データに関連付けて出力する撮像装置撮像装置。 The imaging device according to claim 1,
The image data output means outputs instruction information instructing execution of the defect image data correction without using the defective pixel information in association with the generated image data instead of the defective pixel information. Imaging device Imaging device.
前記生成された画像データは、ＲＡＷデータ形式の画像データである撮像装置。 The imaging device according to any one of claims 1 to 7,
The imaging apparatus, wherein the generated image data is image data in a RAW data format.
前記画像データ出力手段は、前記生成された画像データと、前記画像データに関連付けた欠陥画素情報または補正情報または指示情報とを、一つの画像ファイルとして出力する撮像装置。 The imaging apparatus according to any one of claims 1 to 8,
The image data output unit outputs the generated image data and defective pixel information or correction information or instruction information associated with the image data as one image file.
複数の画素を有する撮像素子から出力された電気信号に基づいて生成された画像データであり、前記複数の画素に対応する画素データから構成される画像データを取得する画像データ取得手段と、
前記取得された画像データと関連付けられた情報であり、前記撮像素子が有する画素のうち正しく電気信号を出力できない欠陥画素の位置情報である欠陥画素情報を取得する欠陥画素情報取得手段と、
前記取得された欠陥画素情報を用いて、前記取得された画像データから前記欠陥画素に対応する欠陥画素データを特定する欠陥画素データ特定手段と、
前記特定された欠陥画素データを補正する補正処理手段とを備える画像処理装置。 An image processing apparatus,
Image data acquisition means for acquiring image data, which is image data generated based on an electrical signal output from an imaging device having a plurality of pixels, and is composed of pixel data corresponding to the plurality of pixels;
Defective pixel information acquisition means for acquiring defective pixel information which is information associated with the acquired image data and which is position information of a defective pixel that cannot correctly output an electrical signal among pixels of the imaging device;
Using the acquired defective pixel information, defective pixel data specifying means for specifying defective pixel data corresponding to the defective pixel from the acquired image data;
An image processing apparatus comprising correction processing means for correcting the specified defective pixel data.
前記取得された画像データと関連付けられた情報であり、前記欠陥画素データの補正に関する情報である補正情報を検出する補正情報検出手段を備え、
前記補正処理手段は、検出された補正情報に応じて、前記欠陥画素データの補正を実行する画像処理装置。 The image processing apparatus according to claim 10 further includes:
Correction information detecting means for detecting correction information which is information associated with the acquired image data and is information relating to correction of the defective pixel data;
The image processing apparatus, wherein the correction processing unit corrects the defective pixel data in accordance with detected correction information.
前記補正情報には、前記取得された画像データに対して欠陥画素データの補正が実行されたことを示す補正済み情報が含まれ、
前記補正処理手段は、前記補正済み情報が検出されない場合には、前記欠陥画素データの補正を実行する画像処理装置。 The image processing apparatus according to claim 11.
The correction information includes corrected information indicating that correction of defective pixel data has been performed on the acquired image data,
The correction processing means is an image processing apparatus that executes correction of the defective pixel data when the corrected information is not detected.
前記補正情報には、前記取得された画像データに対して欠陥画素データの補正が実行されたことを示す補正済み情報が含まれ、
前記補正処理手段は、前記補正処理済み情報が検出された場合には、前記欠陥画素データの補正を実行しない画像処理装置。 The image processing apparatus according to claim 11 or 12,
The correction information includes corrected information indicating that correction of defective pixel data has been performed on the acquired image data,
The image processing apparatus, wherein the correction processing unit does not perform correction of the defective pixel data when the corrected information is detected.
前記補正処理手段よりも高い精度で前記欠陥画素データを補正する高精度補正処理手段と、
前記高精度補正処理手段による補正を指示する補正指示を検出する補正指示検出手段とを備え、
前記高精度補正処理手段は、前記補正指示が検出された場合には、前記補正処理済み情報が検出された場合であっても、前記欠陥画素データを補正する画像処理装置。 The image processing apparatus according to claim 13 further includes:
High-precision correction processing means for correcting the defective pixel data with higher accuracy than the correction processing means;
Correction instruction detecting means for detecting a correction instruction for instructing correction by the high-precision correction processing means,
The high-precision correction processing means corrects the defective pixel data when the correction instruction is detected, even when the corrected information is detected.
複数の画素を有する撮像素子から出力された電気信号に基づいて生成された画像データであり、前記複数の画素に対応する画素データから構成される画像データを取得する画像データ取得手段と、
前記撮像素子が有する画素のうち正しく電気信号を出力できない欠陥画素の位置情報である欠陥画素情報であり、前記取得された画像データと関連付けられた情報を取得する欠陥画素情報取得手段と、
前記取得された画像データを解析して、前記欠陥画素情報を生成する欠陥画素情報生成手段と、
前記生成された欠陥画素情報と前記取得された欠陥画素情報とを比較して、前記欠陥画素の数が増加しているか否かを判定する増加判定部と、
前記欠陥画素の数が増加していると判定された場合に、前記増加を報知する報知手段とを備える画像処理装置。 An image processing apparatus,
Image data acquisition means for acquiring image data, which is image data generated based on an electrical signal output from an imaging device having a plurality of pixels, and is composed of pixel data corresponding to the plurality of pixels;
Defective pixel information acquisition means for acquiring information associated with the acquired image data, which is defective pixel information that is position information of a defective pixel that cannot correctly output an electrical signal among pixels of the imaging element;
Analyzing the acquired image data and generating the defective pixel information, defective pixel information generating means;
An increase determination unit that compares the generated defective pixel information with the acquired defective pixel information to determine whether the number of defective pixels is increased;
An image processing apparatus comprising notification means for notifying the increase when it is determined that the number of defective pixels is increasing.
前記欠陥画素情報を記憶する欠陥画素情報記憶手段であって、前記欠陥画素の数が増加していると判定された場合に、前記記憶された欠陥画素情報を、前記生成された欠陥画素情報に更新して記憶する欠陥画素情報記憶手段を備える画像処理装置。 The image processing apparatus according to claim 15 further includes:
In the defective pixel information storage unit for storing the defective pixel information, when it is determined that the number of the defective pixels is increased, the stored defective pixel information is used as the generated defective pixel information. An image processing apparatus comprising defective pixel information storage means for updating and storing.
複数の画素を有する撮像素子から出力された電気信号に基づいて生成された画像データであり、前記複数の画素に対応する画素データから構成される画像データを取得し、
前記取得された画像データと関連付けられた情報であり、前記撮像素子が有する画素のうち正しく電気信号を出力できない欠陥画素の位置情報である欠陥画素情報を取得し、
前記取得された欠陥画素情報を用いて、前記取得された画像データから前記欠陥画素に対応する欠陥画素データを特定し、
前記特定された欠陥画素データを補正する画像処理方法。 An image processing method comprising:
Image data generated based on an electrical signal output from an imaging device having a plurality of pixels, obtaining image data composed of pixel data corresponding to the plurality of pixels,
It is information associated with the acquired image data, and acquires defective pixel information that is position information of a defective pixel that cannot correctly output an electrical signal among pixels of the image sensor,
Using the acquired defective pixel information, identify defective pixel data corresponding to the defective pixel from the acquired image data,
An image processing method for correcting the specified defective pixel data.
複数の画素を有する撮像素子から出力された電気信号に基づいて生成された画像データであり、前記複数の画素に対応する画素データから構成される画像データを取得し、
前記取得された画像データと関連付けられた情報であり、前記撮像素子が有する画素のうち正しく電気信号を出力できない欠陥画素の位置情報である欠陥画素情報を取得し、
前記取得された画像データを解析して得られる情報であり、前記撮像素子が有する画素のうち正しく電気信号を出力できない欠陥画素の位置情報である解析欠陥画素情報を生成し、
前記生成された解析欠陥画素情報に基づく欠陥画素数が、取得された欠陥画素情報に基づく欠陥画素数より多い場合には、欠陥画素の増加を報知する画像処理方法。 An image processing method comprising:
Image data generated based on an electrical signal output from an imaging device having a plurality of pixels, obtaining image data composed of pixel data corresponding to the plurality of pixels,
It is information associated with the acquired image data, and acquires defective pixel information that is position information of a defective pixel that cannot correctly output an electrical signal among pixels of the image sensor,
It is information obtained by analyzing the acquired image data, and generates analysis defective pixel information that is position information of a defective pixel that cannot correctly output an electrical signal among pixels of the image sensor,
An image processing method for notifying an increase in defective pixels when the number of defective pixels based on the generated analysis defective pixel information is larger than the number of defective pixels based on the acquired defective pixel information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004097288A JP4311252B2 (en) | 2004-03-30 | 2004-03-30 | Imaging apparatus, image processing apparatus, and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004097288A JP4311252B2 (en) | 2004-03-30 | 2004-03-30 | Imaging apparatus, image processing apparatus, and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005286668A true JP2005286668A (en) | 2005-10-13 |
| JP4311252B2 JP4311252B2 (en) | 2009-08-12 |
Family
ID=35184593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004097288A Expired - Fee Related JP4311252B2 (en) | 2004-03-30 | 2004-03-30 | Imaging apparatus, image processing apparatus, and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4311252B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017055317A (en) * | 2015-09-11 | 2017-03-16 | キヤノン株式会社 | Image data generation device, imaging apparatus and image data generation program |
-
2004
- 2004-03-30 JP JP2004097288A patent/JP4311252B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017055317A (en) * | 2015-09-11 | 2017-03-16 | キヤノン株式会社 | Image data generation device, imaging apparatus and image data generation program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4311252B2 (en) | 2009-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4281311B2 (en) | Image processing using subject information | |
| JP4406195B2 (en) | Output image adjustment of image data | |
| US20070041030A1 (en) | Photographing apparatus | |
| US8537253B2 (en) | Defect pixel detection apparatus and method for detecting defect pixel | |
| CN102870404B (en) | Imaging device and dark current correction method of same | |
| US20060056684A1 (en) | Image processing apparatus, image processing program, image processing method, and imaging apparatus | |
| JP4859938B2 (en) | Image processing using subject information | |
| JP2006222552A (en) | Image forming apparatus, method, and program | |
| JP5359553B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| JP4311252B2 (en) | Imaging apparatus, image processing apparatus, and image processing method | |
| JP2001307079A (en) | Image processor, image processing method and recording medium | |
| JP4096828B2 (en) | Image processing device | |
| JP4714516B2 (en) | Imaging device | |
| JP2006203528A (en) | Image processor, image processing program, and recording medium | |
| JP3922223B2 (en) | Output image adjustment of image data | |
| US10657673B2 (en) | Image processing apparatus, image processing method, and storage medium to correct pixels using singular value decomposition | |
| JP4320225B2 (en) | Image processing for image data | |
| JP2005197886A (en) | Image pickup apparatus, image storing method, image storing program, image reproducing apparatus, image reproducing method, image reproducing program and image reproducing system | |
| JP4600503B2 (en) | Output image adjustment of image data | |
| JP4879508B2 (en) | Conversion parameter calculation method, conversion parameter calculation program, and image processing apparatus | |
| JP2005198097A (en) | Imaging apparatus, light emitter, imaging method and imaging system in the imaging apparatus, and its program | |
| JP4155339B2 (en) | Image processing device | |
| JP4838228B2 (en) | Output device for outputting image, output method, and program | |
| JP2004336386A (en) | Digital camera and image correction device and method | |
| JP4600474B2 (en) | Output image adjustment of image data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060630 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090330 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090421 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090504 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120522 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130522 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140522 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |