JP2006135744A - Image processing apparatus, image processing method, and computer program - Google Patents
Image processing apparatus, image processing method, and computer program Download PDFInfo
- Publication number
- JP2006135744A JP2006135744A JP2004323591A JP2004323591A JP2006135744A JP 2006135744 A JP2006135744 A JP 2006135744A JP 2004323591 A JP2004323591 A JP 2004323591A JP 2004323591 A JP2004323591 A JP 2004323591A JP 2006135744 A JP2006135744 A JP 2006135744A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- false
- processing
- whiteout
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
Description
本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、例えばレンズの収差による偽色の発生した画像データを補正し、高品質な画像データを生成する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a computer program. More specifically, the present invention relates to an image processing apparatus, an image processing method, and a computer program that correct image data in which false color due to lens aberration occurs and generate high-quality image data.
カメラで画像撮影を行なう際には、レンズの収差によりさまざまな問題が引き起こされる。特に、倍率の高いレンズや、製造コストの安いレンズを使用してカメラ撮影を行う際に、その撮影した画像に、レンズの収差を起因とした偽色が生じる場合がある。この偽色の中でも、輝度差が著しく大きいようなシーン（例えば木漏れ日）を撮影した際に、低輝度部分のエッジ付近に、紫色の非常に彩度の強い偽色が生じることがある。これはパープルフリンジ（ＰＦ）と呼ばれていて、画質に悪影響をおよぼしている。 When photographing images with a camera, various problems are caused by the aberration of the lens. In particular, when a camera is photographed using a lens with a high magnification or a lens with low manufacturing cost, a false color due to the aberration of the lens may occur in the photographed image. Among these false colors, when shooting a scene where the brightness difference is extremely large (for example, a sunlight through a tree), a purple false color with very high saturation may occur near the edge of the low brightness portion. This is called purple fringe (PF) and has an adverse effect on image quality.
これは、光の波長により点像分布が異なっているために、画像中のエッジ部分に偽色が発生する現象である。通常の画素ではそれほど目立たない場合でも、輝度レベルにおける飽和状態としての白とびが起こっているハイコントラストのエッジ部分があれば、その周辺に紫色の偽色が発生し、不自然な像が結像されてしまう。一般に、白とびの近傍に発生する偽色は紫系の色が多く発生するためパープルフリンジと呼ばれる。ただし、レンズ、撮影条件などに応じて、偽色の色は緑がかった色となる場合など様々である。以下、パープルフリンジとは、発生する色に関わらず白とびが起こっているハイコントラストのエッジ部分における偽色発生現象を指すものとする。 This is a phenomenon in which a false color is generated at an edge portion in an image because the point image distribution differs depending on the wavelength of light. Even if it is not so conspicuous with normal pixels, if there is a high-contrast edge part where whiteout occurs as a saturated state at the luminance level, a purple false color occurs around it and an unnatural image is formed Will be. In general, false colors that occur in the vicinity of whiteout are called purple fringes because many purple colors are generated. However, the false color varies depending on the lens, shooting conditions, and the like, such as when the color becomes greenish. Hereinafter, the purple fringe refers to a false color generation phenomenon at an edge portion of high contrast where whiteout occurs regardless of the generated color.
色収差を軽減するための技術としては、蛍石など特殊な素材で出来たガラスを用いたレンズを適用する構成がある。しかし、このようなレンズを製造するのはコストがかるため価格も高く、レンズ交換式のカメラ用など一部の高級なカメラで用いられているが、一般に広く普及しているとは言えない。 As a technique for reducing chromatic aberration, there is a configuration in which a lens using glass made of a special material such as fluorite is applied. However, manufacturing such a lens is expensive and expensive, and is used in some high-end cameras such as interchangeable lens cameras. However, it cannot be said that it is generally widely used.
また、特許文献１には、色収差によって発生する偽色を画像処理により軽減する方法が示されている。これは、緑チャンネルの高周波成分が高い部分に関して、色を抑制、つまり彩度を低下させる処理を行うものである。また、白とびが起こっている場合の対策として、露出を変えて２枚の画像を撮像し白とび部分の本来の輝度を推定し、彩度を低下させる処理を行う構成を開示している。
しかし、特許文献１に記載の処理では、白とび部分の輝度の推定結果からどの程度彩度を落とせるか判定しているため、仮に推定が間違ってしまった場合、本来の被写体の色が過度に落ちてしまう可能性があり、その結果、不自然な結果画像を生じる場合がある。また、白とび部分の輝度推定のために露出を変えて２回撮影を行う必要があり、手ぶれや被写体ぶれなどが起こった場合、正しい結果を得ることは困難になるという問題がある。さらに、露出を変えて撮影しなければならないので、ビデオカメラなどで動画撮影を行う場合、この方法は適用できないという問題がある。
本発明は、上述の問題点に鑑みてなされたものであり、ビデオカメラなどで撮影された動画像に対する効率的な画像補正処理を可能としたものであり、撮像手段から入力される一定のフレームレートの画像データに対してリアルタイムの画像処理を施してメモリに格納、あるいは出力する処理を実行する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems, and enables efficient image correction processing on a moving image shot by a video camera or the like, and is a fixed frame input from an imaging unit. An object of the present invention is to provide an image processing apparatus, an image processing method, and a computer program for executing processing for performing real-time image processing on rate image data and storing or outputting the data in a memory.
本発明は、具体的には、白とび周辺に発生するパープルフリンジ等の偽色に注目し、この偽色領域を効率的に検出し、偽色に対する補正を中心とした画像処理を実行することにより、高品質な画像データを生成することを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。 Specifically, the present invention pays attention to false colors such as purple fringes that occur in the vicinity of overexposure, efficiently detects the false color area, and executes image processing centering on correction for the false color. An object of the present invention is to provide an image processing apparatus, an image processing method, and a computer program that can generate high-quality image data.
本発明は、特に、画像データの構成画素から選択された注目画素について、偽色である可能性を示すパラメータとしての偽色度合いを算出し、偽色度合いに基づく彩度削減処理により、高品質な画像データを生成することを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。 In particular, the present invention calculates a false color degree as a parameter indicating the possibility of a false color for a target pixel selected from constituent pixels of image data, and achieves high quality by performing a saturation reduction process based on the false color degree. An object of the present invention is to provide an image processing apparatus, an image processing method, and a computer program that can generate various image data.
本発明は、さらに、偽色である可能性を示すパラメータとしての偽色度合いを算出する際に、画像データの縮小処理を実行し、縮小画像データに基づいて、飽和レベルの高輝度画素としての白とび画素の検出を実行し、白とび検出データを用いて偽色度合いを算出する構成とすることで、パラメータ算出時の計算量を削減し、効率的な画素補正を可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。 The present invention further performs image data reduction processing when calculating the false color degree as a parameter indicating the possibility of false color, and based on the reduced image data, An image processing device that performs the detection of overexposed pixels and calculates the false color degree using overexposed detection data, thereby reducing the amount of calculation at the time of parameter calculation and enabling efficient pixel correction And an image processing method and a computer program.
本発明の第１の側面は、
画像処理装置であり、
処理画像の構成画素の補正パラメータとして、画素の偽色に対する類似性情報である画素対応の偽色度を算出する補正パラメータ算出部と、
前記偽色度を適用して、処理画像の構成画素の彩度削減処理を含む画素値補正処理を実行する補正処理部とを有し、
前記補正パラメータ算出部は、
処理画像に基づく縮小画像データを生成する縮小画像生成部と、
前記縮小画像生成部の生成した縮小画像データに基づく高輝度画素としての白とび画素検出を実行する白とび検出部とを有し、
前記白とび検出部の縮小画像に基づく白とび検出情報を適用して各画素に対応する偽色度を算出する構成であることを特徴とする画像処理装置にある。
The first aspect of the present invention is:
An image processing device,
A correction parameter calculation unit that calculates a false chromaticity corresponding to a pixel, which is similarity information with respect to a false color of a pixel, as a correction parameter of a constituent pixel of a processed image;
A correction processing unit that applies the false chromaticity and executes a pixel value correction process including a saturation reduction process of the constituent pixels of the processed image;
The correction parameter calculation unit
A reduced image generation unit that generates reduced image data based on the processed image;
A whiteout detection unit that performs whiteout pixel detection as high-intensity pixels based on the reduced image data generated by the reduced image generation unit;
An image processing apparatus is characterized in that it is configured to apply a whiteout detection information based on a reduced image of the whiteout detection unit to calculate a false chromaticity corresponding to each pixel.
さらに、本発明の画像処理装置の一実施態様において、前記補正パラメータ算出部は、処理画像から選択された注目画素についての、注目画素の色相と偽色の色相との類似性情報としての紫度を算出する紫度計算部と、注目画素の白とび画素からの距離情報としての白とび度を算出する白とび度計算部と、前記紫度および白とび度とに基づいて注目画素の偽色度を算出する偽色度算出部とを有する構成であることを特徴とする。 Furthermore, in an embodiment of the image processing apparatus of the present invention, the correction parameter calculation unit includes a purpleness as similarity information between the hue of the target pixel and the false color hue for the target pixel selected from the processed image. A purpleness calculation unit for calculating the whiteness degree, a whiteness degree calculation unit for calculating a whiteness degree as distance information from the whiteout pixel of the target pixel, and a false color of the target pixel based on the purpleness and whiteout degree And a false chromaticity calculating unit for calculating the degree.
さらに、本発明の画像処理装置の一実施態様において、前記白とび検出部は、前記縮小画像生成部の生成した縮小画像データに基づく高輝度画素としての白とび画素検出を実行し、縮小画像における構成画素が白とび画素であるか否かを示すフラグ情報を持つ縮小白とび検出マップを生成しメモリに格納する構成であり、前記補正パラメータ算出部は、前記メモリに格納された縮小白とび検出マップの拡大処理を実行する白とびマップ拡大部を有し、前記白とび度計算部は、前記白とびマップ拡大部の拡大したマップに基づいて前記白とび度を算出する構成であることを特徴とする。 Furthermore, in an embodiment of the image processing apparatus of the present invention, the overexposure detection unit performs overextraction pixel detection as a high-intensity pixel based on the reduced image data generated by the reduced image generation unit, and A reduced white skip detection map having flag information indicating whether or not a constituent pixel is a white skip pixel is generated and stored in a memory, and the correction parameter calculation unit detects the reduced white skip detection stored in the memory. A whiteout map enlargement unit that executes map enlargement processing, wherein the whiteout degree calculation unit is configured to calculate the whiteout degree based on an enlarged map of the whiteout map enlargement unit; And
さらに、本発明の画像処理装置の一実施態様において、前記白とび度計算部は、前記紫度計算部の処理対象画像フレームの前フレームに対する白とび検出処理の結果データとしてメモリに格納された白とび検出マップに基づいて白とび度を算出する構成であり、前記偽色度算出部は、フレームｎの画像データに基づいて算出された紫度、およびフレームｎ−１の画像データに基づいて算出された白とび度とに基づいて注目画素の偽色度を算出する構成であることを特徴とする。 Furthermore, in an embodiment of the image processing apparatus of the present invention, the whiteout degree calculation unit includes a whiteness stored in a memory as result data of a whiteout detection process for a previous frame of a processing target image frame of the purpleness calculation unit. The degree of whiteout is calculated based on a skip detection map, and the false chromaticity calculation unit calculates based on the purpleness calculated based on the image data of frame n and the image data of frame n-1. It is characterized in that the false chromaticity of the target pixel is calculated based on the whiteout degree.
さらに、本発明の画像処理装置の一実施態様において、前記補正パラメータ算出部は、
（ａ）入力画像データに基づく縮小画像の生成および白とび検出処理、
（ｂ）入力画像データに基づく紫度の計算処理、
（ｃ）メモリに格納された前フレームの画像に基づく縮小白とび検出マップの拡大処理および該拡大結果としてのマップに基づく白とび度計算処理、
上記（ａ），（ｂ），（ｃ）の各処理を並列に実行する構成であることを特徴とする。
Furthermore, in one embodiment of the image processing apparatus of the present invention, the correction parameter calculation unit includes:
(A) Generation of reduced image based on input image data and overexposure detection processing;
(B) Purpleness calculation processing based on input image data;
(C) enlargement processing of a reduced whiteout detection map based on the image of the previous frame stored in the memory, and whiteout degree calculation processing based on the map as a result of the enlargement,
The above-described processes (a), (b), and (c) are executed in parallel.
さらに、本発明の画像処理装置の一実施態様において、前記補正処理部は、前記補正パラメータ算出部の算出する偽色度に基づいて各画素の彩度削減処理を実行する画素彩度削減処理部と、画素彩度削減処理部の出力データに対して、彩度削減処理を施した画素と周囲画素の色相の差分を減少させるぼかし処理を実行するぼかし処理部を有する構成であることを特徴とする。 Furthermore, in an embodiment of the image processing apparatus of the present invention, the correction processing unit performs a pixel saturation reduction processing unit that executes a saturation reduction process for each pixel based on the false chromaticity calculated by the correction parameter calculation unit. And a blur processing unit that executes a blur process for reducing a difference in hue between a pixel subjected to the chroma reduction process and a surrounding pixel with respect to output data of the pixel saturation reduction process unit, To do.
さらに、本発明の画像処理装置の一実施態様において、前記偽色はパープルフリンジであり、前記補正パラメータ算出部は、処理画像の構成画素の補正パラメータとして、画素のパープルフリンジに対する類似性情報である画素対応の偽色度を算出する構成であることを特徴とする。 Furthermore, in one embodiment of the image processing apparatus of the present invention, the false color is a purple fringe, and the correction parameter calculation unit is similarity information of the pixel to the purple fringe as a correction parameter of a constituent pixel of the processed image. A feature is that the false chromaticity corresponding to a pixel is calculated.
さらに、本発明の第２の側面は、
画像処理方法であり、
処理画像の構成画素の補正パラメータとして、画素の偽色に対する類似性情報である画素対応の偽色度を算出する補正パラメータ算出ステップと、
前記偽色度を適用して、処理画像の構成画素の彩度削減処理を含む画素値補正処理を実行する補正処理ステップとを有し、
前記補正パラメータ算出ステップは、
処理画像に基づく縮小画像データを生成する縮小画像生成ステップと、
前記縮小画像生成ステップにおいて生成した縮小画像データに基づく高輝度画素としての白とび画素検出を実行する白とび検出ステップと、
前記白とび検出ステップにおいて生成した縮小画像に基づく白とび検出情報を適用して各画素に対応する偽色度を算出する偽色度算出ステップと、
を有することを特徴とする画像処理方法にある。
Furthermore, the second aspect of the present invention provides
An image processing method,
A correction parameter calculating step for calculating a false chromaticity corresponding to a pixel, which is similarity information with respect to a false color of a pixel, as a correction parameter of a constituent pixel of a processed image;
A correction process step of applying a false chromaticity and executing a pixel value correction process including a saturation reduction process of the constituent pixels of the processed image,
The correction parameter calculation step includes:
A reduced image generation step for generating reduced image data based on the processed image;
An overexposure detecting step for detecting overexposed pixels as high luminance pixels based on the reduced image data generated in the reduced image generation step;
A false chromaticity calculating step of calculating false chromaticity corresponding to each pixel by applying whiteout detection information based on the reduced image generated in the whiteout detection step;
An image processing method characterized by comprising:
さらに、本発明の画像処理方法の一実施態様において、前記補正パラメータ算出ステップは、処理画像から選択された注目画素の色相と偽色の色相との類似性情報としての紫度を算出する紫度計算ステップと、注目画素の白とび画素からの距離情報としての白とび度を算出する白とび度計算ステップと、前記紫度および白とび度とに基づいて注目画素の偽色度を算出する偽色度算出ステップとを有することを特徴とする。 Furthermore, in one embodiment of the image processing method of the present invention, the correction parameter calculating step calculates a purpleness as a similarity information between a hue of a target pixel selected from the processed image and a hue of a false color. A calculation step, a whiteness calculation step for calculating a whiteness degree as distance information from the whiteout pixel of the target pixel, and a false for calculating a false chromaticity of the target pixel based on the purpleness and the whiteness degree And a chromaticity calculation step.
さらに、本発明の画像処理方法の一実施態様において、前記白とび検出ステップは、前記縮小画像生成ステップにおいて生成した縮小画像データに基づく高輝度画素としての白とび画素検出を実行し、縮小画像における構成画素が白とび画素であるか否かを示すフラグ情報を持つ縮小白とび検出マップを生成しメモリに格納する処理を実行するステップであり、前記補正パラメータ算出ステップは、さらに、前記メモリに格納された縮小白とび検出マップの拡大処理を実行する白とびマップ拡大ステップを有し、前記白とび度計算ステップは、前記白とびマップ拡大ステップの拡大したマップに基づいて前記白とび度を算出するステップであることを特徴とする。 Furthermore, in an embodiment of the image processing method of the present invention, the overexposure detection step performs overextraction pixel detection as a high luminance pixel based on the reduced image data generated in the reduced image generation step, and This is a step of executing a process of generating a reduced whiteout detection map having flag information indicating whether or not a constituent pixel is a whiteout pixel and storing it in a memory, and the correction parameter calculating step is further stored in the memory. A whiteout map enlargement step for executing the enlarged process of the reduced whiteout detection map, wherein the whiteout degree calculation step calculates the whiteout degree based on the enlarged map of the whiteout map enlargement step. It is a step.
さらに、本発明の画像処理方法の一実施態様において、前記白とび度計算ステップは、前記紫度計算ステップにおける処理対象画像フレームの前フレームに対する白とび検出処理の結果データとしてメモリに格納された白とび検出マップに基づいて白とび度を算出するステップであり、前記偽色度算出ステップは、フレームｎの画像データに基づいて算出された紫度、およびフレームｎ−１の画像データに基づいて算出された白とび度とに基づいて注目画素の偽色度を算出するステップであることを特徴とする。 Furthermore, in one embodiment of the image processing method of the present invention, the whiteout degree calculating step includes a whiteout stored in a memory as result data of a whiteout detection process for a previous frame of the processing target image frame in the purple degree calculating step. A step of calculating a whiteout degree based on a jump detection map, wherein the false chromaticity calculating step is calculated based on a purpleness calculated based on the image data of the frame n and the image data of the frame n−1. In this step, the false chromaticity of the target pixel is calculated based on the whiteout degree.
さらに、本発明の画像処理方法の一実施態様において、前記補正パラメータ算出ステップは、
（ａ）入力画像データに基づく縮小画像の生成および白とび検出処理、
（ｂ）入力画像データに基づく紫度の計算処理、
（ｃ）メモリに格納された前フレームの画像に基づく縮小白とび検出マップの拡大処理および該拡大結果としてのマップに基づく白とび度計算処理、
上記（ａ），（ｂ），（ｃ）の各処理を並列に実行することを特徴とする。
Furthermore, in one embodiment of the image processing method of the present invention, the correction parameter calculation step includes:
(A) Generation of reduced image based on input image data and overexposure detection processing;
(B) Purpleness calculation processing based on input image data;
(C) enlargement processing of a reduced whiteout detection map based on the image of the previous frame stored in the memory, and whiteout degree calculation processing based on the map as a result of the enlargement,
The processes (a), (b), and (c) are executed in parallel.
さらに、本発明の画像処理方法の一実施態様において、前記補正処理ステップは、前記補正パラメータ算出ステップにおいて算出する偽色度に基づいて各画素の彩度削減処理を実行する画素彩度削減処理ステップと、画素彩度削減処理ステップにおける処理結果としての出力データに対して、彩度削減処理を施した画素と周囲画素の色相の差分を減少させるぼかし処理を実行するぼかし処理ステップとを有することを特徴とする。 Furthermore, in an embodiment of the image processing method of the present invention, the correction processing step includes a pixel saturation reduction processing step for executing saturation reduction processing of each pixel based on the false chromaticity calculated in the correction parameter calculation step. And a blurring process step for performing a blurring process for reducing the difference in hue between the pixel subjected to the chroma reduction process and the surrounding pixels with respect to the output data as a processing result in the pixel saturation reduction process step. Features.
さらに、本発明の画像処理方法の一実施態様において、前記偽色はパープルフリンジであり、前記補正パラメータ算出ステップは、処理画像の構成画素の補正パラメータとして、画素のパープルフリンジに対する類似性情報である画素対応の偽色度を算出するステップであることを特徴とする。 Furthermore, in an embodiment of the image processing method of the present invention, the false color is a purple fringe, and the correction parameter calculation step is similarity information of the pixel to the purple fringe as a correction parameter of a constituent pixel of the processed image. It is a step of calculating a false chromaticity corresponding to a pixel.
さらに、本発明の第３の側面は、
画像処理をコンピュータ上において実行させるコンピュータ・プログラムであり、
処理画像の構成画素の補正パラメータとして、画素の偽色に対する類似性情報である画素対応の偽色度を算出する補正パラメータ算出ステップと、
前記偽色度を適用して、処理画像の構成画素の彩度削減処理を含む画素値補正処理を実行する補正処理ステップとを有し、
前記補正パラメータ算出ステップは、
処理画像に基づく縮小画像データを生成する縮小画像生成ステップと、
前記縮小画像生成ステップにおいて生成した縮小画像データに基づく高輝度画素としての白とび画素検出を実行する白とび検出ステップと、
前記白とび検出ステップにおいて生成した縮小画像に基づく白とび検出情報を適用して各画素に対応する偽色度を算出する偽色度算出ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
Furthermore, the third aspect of the present invention provides
A computer program for executing image processing on a computer;
A correction parameter calculating step for calculating a false chromaticity corresponding to a pixel, which is similarity information with respect to a false color of a pixel, as a correction parameter of a constituent pixel of a processed image;
A correction process step of applying a false chromaticity and executing a pixel value correction process including a saturation reduction process of the constituent pixels of the processed image,
The correction parameter calculation step includes:
A reduced image generation step for generating reduced image data based on the processed image;
An overexposure detecting step for detecting overexposed pixels as high luminance pixels based on the reduced image data generated in the reduced image generation step;
A false chromaticity calculating step of calculating false chromaticity corresponding to each pixel by applying whiteout detection information based on the reduced image generated in the whiteout detection step;
There is a computer program characterized by comprising:
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。 The computer program of the present invention is, for example, a storage medium or communication medium provided in a computer-readable format to a general-purpose computer system capable of executing various program codes, such as a CD, FD, MO, etc. Or a computer program that can be provided by a communication medium such as a network. By providing such a program in a computer-readable format, processing corresponding to the program is realized on the computer system.
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。 Other objects, features, and advantages of the present invention will become apparent from a more detailed description based on embodiments of the present invention described later and the accompanying drawings. In this specification, the system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
本発明の構成によれば、処理画像の構成画素の補正パラメータとして、各画素に対応する偽色度を算出し、算出した偽色度に基づいて各画素の彩度削減処理を実行する構成とし、補正パラメータとしての偽色度の算出処理においては、縮小画像を生成し、時間の要する白とび検出処理を縮小画像に基づいて実行する構成としたので、計算量の削減により処理時間の短縮が可能となる。また、偽色度算出に適用する紫度を現フレーム（ｎ）に基づいて取得し、白とび度を前フレーム（ｎ−１）に基づいて取得する構成としたので、処理時間の遅延の防止が可能となり、所定のフレームレートで入力する動画像データのリアルタイムでの補正処理が可能となり、パープルフリンジ等の偽色の彩度削減処理およびぼかし処理を実行することで高品質な補正画像データの高速生成処理が実現される。 According to the configuration of the present invention, the false chromaticity corresponding to each pixel is calculated as the correction parameter of the constituent pixels of the processed image, and the saturation reduction processing of each pixel is executed based on the calculated false chromaticity. In the calculation process of false chromaticity as a correction parameter, a reduced image is generated, and a time-consuming overexposure detection process is executed based on the reduced image, so that the processing time can be shortened by reducing the amount of calculation. It becomes possible. Further, since the purple degree applied to the false chromaticity calculation is acquired based on the current frame (n) and the overexposure degree is acquired based on the previous frame (n−1), the processing time is prevented from being delayed. Real-time correction processing of moving image data input at a predetermined frame rate is possible, and high-quality corrected image data can be corrected by executing false color saturation reduction processing such as purple fringe and blurring processing. High-speed generation processing is realized.
さらに、本発明の構成によれば、補正パラメータとしての偽色度の算出において、注目画素の色相が偽色色相と類似し、白とび画素からの距離が近いほど、大きな値の偽色度を算出する構成とし、画素彩度削減処理においては、この偽色度に基づいて各画素の彩度削減処理を実行する構成としたので、偽色度のレベルに応じた最適な彩度削減処理が実現され、パープルフリンジ等の偽色画素の存在する画像データから偽色画素を効率的に抽出した補正手処理が可能となり、効率的な高品質補正画像データの生成が可能となる。 Furthermore, according to the configuration of the present invention, in the calculation of the false chromaticity as the correction parameter, the larger the false chromaticity is as the hue of the target pixel is similar to the false hue and the distance from the overexposed pixel is shorter. In the pixel saturation reduction process, the saturation reduction process for each pixel is executed based on this false chromaticity, so that the optimal saturation reduction process according to the false chromaticity level is performed. Realized, it is possible to perform manual correction processing that efficiently extracts false color pixels from image data in which false color pixels such as purple fringes exist, and it is possible to efficiently generate high-quality corrected image data.
以下、図面を参照しながら、本発明の画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。 Hereinafter, an image processing apparatus, an image processing method, and a computer program according to the present invention will be described in detail with reference to the drawings.
まず、画像処理装置の構成例について図１を参照して説明する。なお、図１に示す画像処理装置は、撮像部を備え、撮像部において撮影した画像データの補正処理を実行する装置例として示してあるが、本発明の画像処理装置は、たとえばハードディスクなどの記憶部に格納された画像データを入力して入力画像の補正を実行することも可能であり、補正処理対象の画像データは、撮像部を介して入力されるデータのみならず、記憶手段、あるいはネットワークを介して入力する画像データなどあらゆる入力画像データに対応可能である。図１は本発明の画像処理装置の一構成例を示すものである。 First, a configuration example of the image processing apparatus will be described with reference to FIG. The image processing apparatus illustrated in FIG. 1 includes an imaging unit and is illustrated as an example of an apparatus that performs correction processing on image data captured by the imaging unit. However, the image processing apparatus of the present invention is a storage device such as a hard disk. It is also possible to execute correction of the input image by inputting the image data stored in the unit, and the image data to be corrected is not only data input via the imaging unit, but also storage means or network It is possible to cope with any input image data such as image data input via the. FIG. 1 shows a configuration example of an image processing apparatus according to the present invention.
図１に示す画像処理装置の詳細構成について説明する。図１に示すように、画像処理装置は、レンズ１０１、絞り１０２、固体撮像素子（ＣＣＤ）１０３、相関２重サンプリング回路１０４、Ａ／Ｄコンバータ１０５、ＤＳＰブロック１０６、タイミングジェネレータ１０７、Ｄ／Ａコンバータ１０８、ビデオエンコーダ１０９、ビデオモニタ１１０、コーデック（ＣＯＤＥＣ）１１１、メモリ１１２、ＣＰＵ１１３、入力デバイス１１４から構成される。
A detailed configuration of the image processing apparatus shown in FIG. 1 will be described. As shown in FIG. 1, the image processing apparatus includes a
入力デバイス１１４はカメラ本体にある録画ボタンなどの操作ボタン類を含む。また、ＤＳＰブロック１０６は信号処理用プロセッサと画像用ＲＡＭを持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対してあらかじめプログラムされた画像処理をおこなうことができるようになっている。以下ＤＳＰブロックを単にＤＳＰと呼ぶ。
The
本実施例の全体的な動作を以下に説明する。
光学系を通過して固体撮像素子（ＣＣＤ）１０３に到達した入射光は、まず撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路１０４によってノイズ除去され、Ａ／Ｄコンバータ１０５によってデジタ。信号に変換された後、デジタル信号処理部（ＤＳＰ）１０６中の画像メモリに一時格納される。
The overall operation of this embodiment will be described below.
Incident light that passes through the optical system and reaches the solid-state imaging device (CCD) 103 first reaches each light receiving device on the imaging surface, and is converted into an electrical signal by photoelectric conversion at the light receiving device, and a correlated double sampling circuit. Noise is removed by 104, and digitized by A /
撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ１０７が信号処理系を制御する。デジタル信号処理部（ＤＳＰ）１０６へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれた後、画像データはＤ／Ａコンバータ１０８もしくはコーデック（ＣＯＤＥＣ）１１１あるいはその両方に送られる。Ｄ／Ａコンバータ１０８はデジタル信号処理部（ＤＳＰ）１０６から送られる画像データをアナログ信号に変換し、それをビデオエンコーダ１０９がビデオ信号に変換し、そのビデオ信号をビデオモニタ１１０でモニタできるようになっていて、このビデオモニタ１１０は本実施例においてカメラのファインダの役割を担っている。また、コーデック（ＣＯＤＥＣ）１１１はデジタル信号処理部（ＤＳＰ）１０６から送られる画像データに対する符号化をおこない、符号化された画像データはメモリ１１２に記録される。ここで、メモリ１１２は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などであってよい。
In the state during imaging, the
以上が本実施例の画像処理装置の一例としてのデジタルビデオカメラのシステム全体の説明であるが、本発明に係る画像処理、すなわち画像データの補正処理はデジタル信号処理部（ＤＳＰ）１０６において実行される。 The above is the description of the entire system of the digital video camera as an example of the image processing apparatus of the present embodiment. Image processing according to the present invention, that is, image data correction processing is executed by the digital signal processing unit (DSP) 106. The
以下、本発明の画像処理装置のデジタル信号処理部（ＤＳＰ）１０６において実行する画像データ補正処理の詳細について説明する。本発明の画像処理装置において実行する画像処理は、主として白とび周辺に発生するパープルフリンジ等の偽色を検出して各画素の偽色度合いを算出し、算出した偽色度合いに対応する適切な補正を実行するものであり、この補正処理により高品質な画像データを生成する。 Details of the image data correction processing executed in the digital signal processing unit (DSP) 106 of the image processing apparatus of the present invention will be described below. The image processing executed in the image processing apparatus according to the present invention detects false colors such as purple fringes mainly occurring in the vicinity of white spots, calculates the false color degree of each pixel, and calculates an appropriate color corresponding to the calculated false color degree. Correction is executed, and high-quality image data is generated by this correction processing.
偽色（パープルフリンジ）は、色収差による色ずれが、白とび画素部分周辺で目立って現れる現象である。白とび画素とは、輝度レベルが飽和レベルに近い高輝度の画素である。このような高輝度画素である白とび画素の周辺の画素に、本来の被写体の色相とは異なる例えば紫色の偽色を生ずる。この偽色画素がパープルフリンジ（ＰＦ）と呼ばれる。 The false color (purple fringe) is a phenomenon in which a color shift due to chromatic aberration appears conspicuously around the overexposed pixel portion. An overexposed pixel is a pixel with high luminance whose luminance level is close to the saturation level. For example, a purple false color that is different from the original hue of the subject is generated in the peripheral pixels of such a high-brightness pixel. This false color pixel is called purple fringe (PF).
偽色（ＰＦ：パープルフリンジ）が発生する白とびの周り範囲大きさは、光学系の絞り、焦点距離に連動しており、また、光学中心からの距離にも依存し、大きさが変わる。また、偽色が出る方向も、光学中心から白とび画素の外側に向かう方向、白とび画素から光学中心に向かう方向それぞれに発生し、その傾向は、撮像する光学系により異なる。 The size of the area around the whiteout where false color (PF: purple fringe) occurs is linked to the aperture and focal length of the optical system, and also depends on the distance from the optical center. In addition, the direction in which the false color is generated also occurs in the direction from the optical center toward the outside of the pixel and from the highlight pixel to the optical center, and the tendency varies depending on the optical system to be imaged.
本発明の画像処理においては、撮影画像として入力される画像フレームの構成画素を順次、注目画素として選択し、注目画素の近傍に白とび画素が存在するかを判定し、さらに、その注目画素が紫色でかつ彩度が非常に強いかを判定する。すなわち、
（ａ）注目画素近傍に白とび画素が存在する。
（ｂ）注目画素が紫色
これらの条件を満足する画素は、偽色（ＰＦ：パープルフリンジ）画素であると判定して、補正処理を実行する。
In the image processing according to the present invention, the constituent pixels of the image frame input as the photographed image are sequentially selected as the target pixel, it is determined whether or not the overexposed pixel exists in the vicinity of the target pixel. Judge whether it is purple and the saturation is very strong. That is,
(A) An overexposed pixel exists in the vicinity of the target pixel.
(B) The pixel of interest is purple A pixel that satisfies these conditions is determined to be a false color (PF: purple fringe) pixel, and correction processing is executed.
補正処理の態様としては、例えば、検出された偽色画素の周辺にある偽色（ＰＦ）でない画素の画素値を取得し、取得した画素値の平均値を偽色画素の画素値とするなど、いわゆる周辺画素に基づく補間処理を実行することで偽色（ＰＦ）画素の補正処理を行うことも１つの方法ではあるが、このような周辺画素の画素値を取得し、取得した画素値に基づいて偽色画素に設定する画素値を算出し、算出画素値を偽色画素の画素値に再設定する補間処理は処理負荷として大きくなるという問題がある。 As an aspect of the correction processing, for example, pixel values of pixels that are not false colors (PF) around the detected false color pixel are acquired, and an average value of the acquired pixel values is used as the pixel value of the false color pixel. Although it is one method to perform correction processing of false color (PF) pixels by executing interpolation processing based on so-called peripheral pixels, the pixel values of such peripheral pixels are acquired, and the acquired pixel values are There is a problem that the interpolation processing for calculating the pixel value to be set to the false color pixel and resetting the calculated pixel value to the pixel value of the false color pixel becomes a large processing load.
例えばビデオカメラによる撮影画像で一定のフレームレートで入力される画像に対して上述の補間処理を実行した場合、補正処理がビデオフレームレートに追いつかない可能性が高く、ビデオカメラによる撮影画像に対する処理とすることは現実的でない。 For example, when the above-described interpolation processing is executed on an image input by a video camera at a constant frame rate, the correction processing is likely not to catch up with the video frame rate. It is not realistic to do.
本発明の画像処理では、上述の周囲画素の画素値を適用した補間処理ではなく、画素の彩度の低下処理を行なう構成としている。偽色である可能性を示すパラメータとしての偽色度を算出し、算出した偽色度に基づいて各画素の彩度削減処理を実行する。さらに、パラメータ算出処理において、画像データの縮小処理を実行し、縮小画像データに基づいて、飽和レベルの高輝度画素としての白とび画素の検出を実行し、白とび検出データを用いて偽色度を算出する構成とすることで、パラメータ算出時の計算量を削減し、効率的な画素補正を可能としている。 The image processing according to the present invention is configured to perform pixel saturation reduction processing instead of the above-described interpolation processing using pixel values of surrounding pixels. False chromaticity as a parameter indicating the possibility of false color is calculated, and saturation reduction processing of each pixel is executed based on the calculated false chromaticity. Further, in the parameter calculation process, a reduction process of the image data is executed, and overexposed pixels are detected as high brightness pixels at a saturation level based on the reduced image data, and the false chromaticity is detected using the overexposure detection data. By adopting a configuration for calculating, the amount of calculation at the time of parameter calculation is reduced, and efficient pixel correction is possible.
本発明の画像処理では、例えば図１に示す画像処理装置の撮像部において撮影され、デジタル信号処理部（ＤＳＰ）１０６に入力される各画像フレームの構成画素について、後述する偽色度合い（ＰＦ度合い）を算出し、算出した各画素対応の偽色度合い（ＰＦ度合い）に基づく補正処理を行なう。ＰＦはパープルフリンジ（Ｐｕｒｐｌｅ Ｆｒｉｎｇｅ）を意味する。 In the image processing of the present invention, for example, a false color degree (PF degree) to be described later with respect to the constituent pixels of each image frame captured by the imaging unit of the image processing apparatus shown in FIG. 1 and input to the digital signal processing unit (DSP) 106. ) And a correction process based on the calculated false color degree (PF degree) corresponding to each pixel is performed. PF means purple fringe (Purple Fringe).
なお、前述したように、輝度レベルにおける飽和状態としての白とびが起こっているハイコントラストのエッジ部分に発生するレンズ収差による偽色の代表的な現象をパープルフリンジと呼ぶが、偽色の色は紫に限定されるものではなく、例えば緑がかった色となる場合などもある。以下の実施例では、紫色の偽色を生じた例として説明するが、本発明は、紫色に限らず、白とび近傍に発生する任意の色を有する偽色の補正処理に適用可能である。 As described above, a typical phenomenon of false color due to lens aberration occurring at the edge portion of high contrast where whiteout occurs as a saturated state at the luminance level is called purple fringe. The color is not limited to purple. For example, the color may be greenish. In the following embodiments, an example in which a purple false color is generated will be described. However, the present invention is not limited to purple, but can be applied to a false color correction process having an arbitrary color generated in the vicinity of overexposure.
図２を参照して、本発明の画像処理装置におけるデジタル信号処理部（ＤＳＰ）１０６において実行する画像処理の全体シーケンスについて説明する。デジタル信号処理部（ＤＳＰ）１０６では例えばコンピュータ・プログラムに従ったデータ処理が実行される。図２は、デジタル信号処理部（ＤＳＰ）１０６において実行される処理を説明するため、機能別のブロックとして示したブロック図である。 With reference to FIG. 2, the entire sequence of image processing executed in the digital signal processing unit (DSP) 106 in the image processing apparatus of the present invention will be described. In the digital signal processing unit (DSP) 106, for example, data processing according to a computer program is executed. FIG. 2 is a block diagram shown as functional blocks for explaining the processing executed in the digital signal processing unit (DSP) 106.
デジタル信号処理部（ＤＳＰ）１０６は、図２に示すように、ホワイトバランス調整手段２０１、ガンマ補正処理手段２０２、デモザイク処理手段２０３、ＹｃｂＣｒ変換手段２０４、エッジ強調処理手段２０５、偽色（ＰＦ）補正処理手段２０６から構成されている。
As shown in FIG. 2, the digital signal processing unit (DSP) 106 includes a white
図１に示した画像処理装置の固体撮像素子（ＣＣＤ）１０３で取得された画像信号は色のモザイク画像２５１である。例えば原色系の色配列（例えばベイヤー配列）などの色配列を持つカラーフィルタを介した撮像を行なうと、各画素に対して特定の波長の信号、すなわち特定波長の色成分データだけを取得する。例えばベイヤー配列の単板カラー方式の固体撮像素子を用いた場合、固体撮像素子の出力画像は、各画素にＲ，Ｇ，Ｂいずれかの情報のみを持つ色モザイク画像データ２５１となる。
An image signal acquired by the solid-state imaging device (CCD) 103 of the image processing apparatus shown in FIG. 1 is a
デジタル信号処理部（ＤＳＰ）１０６は、この色モザイク画像データ２５１を入力し、まずホワイトバランス調整手段２０１でホワイトバランスを調整を実行し、ついでガンマ補正処理手段２０２でガンマ補正処理を行い、デモザイク手段２０３において色モザイク画像からＲＧＢデータがすべての画素に設定されたデータ生成処理としてのデモザイク処理を実行する。
The digital signal processing unit (DSP) 106 inputs the color
その後、ＲＧＢデータがすべての画素に設定されたデモザイク画像データをＹＣｂＣｒ変換手段２０４に入力し、ＹＣｂＣｒ変換手段２０４において、ＲＧＢ信号のＹｃｂＣｒ色空間への変換処理を実行し、輝度信号（Ｙ）と、色信号（Ｃｂ，Ｃｒ）とに分離し、輝度信号（Ｙ）をエッジ強調処理手段２０５に入力して、輝度信号（Ｙ）に基づくエッジ強調処理を実行する。
Thereafter, the demosaic image data in which the RGB data is set for all pixels is input to the
次に、偽色（ＰＦ）補正処理手段２０６において、エッジ強調処理後の輝度信号（Ｙ）と、色信号（Ｃｂ，Ｃｒ）を入力し、偽色（ＰＦ）補正処理を実行し、補正された輝度信号（Ｙ）と、色信号（Ｃｂ，Ｃｒ）とからなるＹＣｂＣｒ画像データ２５２を出力する。ＹＣｂＣｒ画像データ２５２に基づく画像データが画像処理装置内のメモリに格納され、またモニタ手段などの出力部に出力される。
Next, the false color (PF) correction processing means 206 inputs the luminance signal (Y) after the edge enhancement process and the color signal (Cb, Cr), executes the false color (PF) correction process, and is corrected.
図２に示す処理構成中、ホワイトバランス調整手段２０１〜エッジ強調処理手段２０５における処理は、従来のデジタルビデオカメラ等の画像処理装置において実行される処理と同様の処理であり、詳細な説明は省略する。偽色（ＰＦ）補正処理手段２０６における処理は、本発明に特有の処理であり、以下、偽色（ＰＦ）補正処理手段２０６において実行する処理の詳細について説明する。
In the processing configuration shown in FIG. 2, the processing in the white
図３に、偽色（ＰＦ）補正処理手段２０６の処理を説明するブロック図を示す。前述したように、デジタル信号処理部（ＤＳＰ）１０６では例えばコンピュータ・プログラムに従ったデータ処理が実行される。図３は、図２と同様、デジタル信号処理部（ＤＳＰ）１０６において実行される処理を説明するため、機能別のブロックとして示したブロック図である。図３に示す各ブロックは、偽色（ＰＦ）補正処理手段２０６で実行する個々の処理機能に対応し、各処理機能間で受け渡しされるデータを、上下の線によって挟まれたデータとして示してある。
FIG. 3 is a block diagram for explaining the processing of the false color (PF) correction processing means 206. As described above, the digital signal processing unit (DSP) 106 executes data processing according to, for example, a computer program. FIG. 3 is a block diagram shown as functional blocks for explaining the processing executed in the digital signal processing unit (DSP) 106 as in FIG. Each block shown in FIG. 3 corresponds to an individual processing function executed by the false color (PF)
偽色（ＰＦ）補正処理手段２０６は、図３に示すように、大きく２つの処理部に分割される。１つは、補正パラメータ（偽色度）算出部３００であり、もう１つは補正処理部３１０である。補正パラメータ（偽色度）算出部３００では、入力画像データであるＹＣｂＣｒ入力画像３５１に基づいて、入力画像の構成画素各々について、どれだけ偽色（ＰＦ）に近いかという指標値である偽色度を算出する。偽色度［Ｒ］３５９は、画像データの構成画素各々についての画素対応値として順次、算出される。
As shown in FIG. 3, the false color (PF)
補正処理部３１０は、補正パラメータ（偽色度）算出部３００の算出した画素対応の偽色度［Ｒ］３５９を入力し、入力した偽色度に基づいて、入力画像データであるＹＣｂＣｒ入力画像３５１の構成画素の画素値補正、具体的には、彩度削減処理、ぼかし処理の各処理を実行する。補正処理部３１０における補正処理の結果が、補正結果画像、すなわちＹＣｂＣｒ出力画像３７１として出力され、ＹＣｂＣｒ出力画像３７１に基づく画像データがメモリに格納あるいはモニタに出力される。
The
まず、図３に示す偽色（ＰＦ）補正処理手段２０６において実行する一連の処理の概要について説明する。各構成部の処理の詳細については後段で説明する。図２のＹＣｂＣｒ変換手段２０４とエッジ強調処理手段２０５からエッジ強調処理の施されたＹＣｂＣｒ画像３５１が、輝度成分［Ｙ］３５２と色差成分［Ｃ］３５３とに分けて偽色（ＰＦ）補正処理手段２０６に入力される。入力は、たとえばスキャンラインに沿った各画素毎に、輝度成分［Ｙ］３５２と色差成分［Ｃ］３５３とが順次入力される。
First, an outline of a series of processes executed in the false color (PF)
まず、補正パラメータ（偽色度）算出部３００の縮小画像生成部３０１は、輝度成分［Ｙ］３５２の縮小処理を実行する。輝度成分［Ｙ］３５２は、ＹＣｂＣｒ入力画像３５１の輝度成分情報のみを抽出したデータであり、フレーム画像データの構成画素各々の輝度［Ｙ］情報のみから構成されるデータである。縮小画像生成部３０１は、この輝度成分画像の縮小処理を実行して、［縮小画像Ｙｐ］３５４を生成し、白とび検出部３０２に出力する。
First, the reduced
白とび検出部３０２は、［縮小画像Ｙｐ］３５４に基づいて、縮小画像における輝度レベルがほぼ飽和レベルである白とび画素の検出、すなわち白とび検出処理を行い、縮小白とび検出マップ［Ｗｐ］３５４を出力する。縮小白とび検出マップ［Ｗｐ］３５４は、縮小画像における構成画素が白とび画素であるか否かを示すフラグが各画素毎に設定されたマップである。
Based on the [reduced image Yp] 354, the
白とび検出部３０２は、縮小画像に基づいて生成した縮小白とび検出マップ［Ｗｐ］３５４をメモリ３０３へ格納する。メモリ３０３に格納された縮小白とび検出マップ［Ｗｐ］３５４は、次の画像フレームの画像補正処理の際に読み出されて補正パラメータとしての偽色度を算出する際に使用される。
The
縮小白とび検出マップ拡大部３０４は、メモリ３０３に格納された前フレームの縮小白とび検出マップ［Ｗｐ］を読み出して、撮像した画像と同じサイズに拡大する拡大処理を実行する。
The reduced whiteout detection
ここで縮小画像に基づいて生成した縮小白とび検出マップ［Ｗｐ］３５４をメモリ３０３に格納し、格納データを直接拡大せず、次フレームの処理において使用する理由は、白とび検出部３０２における白とびの検出処理が時間を要する処理であり、同じフレームにおける白とび検出完了を待ってそれ以降の処理を行った場合、次のフレームの処理開始タイミングまでに全ての処理を終わらせることができなくなってしまうためである。
Here, the reason why the reduced whiteout detection map [Wp] 354 generated based on the reduced image is stored in the
すなわち、ｎフレームにおける画像補正パラメータとしての偽色（ＰＦ）度の算出は、現フレーム（ｎフレーム）のデータと、前フレーム（ｎ−１フレーム）のデータを用いて実行される。具体的には、
（ａ）すでにメモリ３０３に格納済みの前フレーム（ｎ−１フレーム）の縮小白とび検出マップ［Ｗｐ］３５５'を読み出して、縮小白とび検出マップ拡大部３０４において拡大処理を実行して生成した白とび検出マップに基づいて、注目画素（ｘ，ｙ）と最近接白とび画素までの距離に対応する値としての距離値［Ｗｉ］３５６を取得し、取得した距離値［Ｗｉ］３５６に基づいて、白とび度計算部３０５で算出した白とび度［Ｗｒ］３５７と、
（ｂ）現フレーム（ｎフレーム）の色差成分［Ｃ］３５３に基づいて、紫度計算部３０６で算出した紫度［Ｐｒ］３５８と、
上記の（ａ）前フレームデータに基づく白とび度［Ｗｒ］３５７と、（ｂ）現フレームデータに基づく紫度［Ｐｒ］３５８とに基づいて、偽色度計算部３０７において偽色度［Ｒ］３５９を算出する。算出した偽色度［Ｒ］３５９を適用して補正処理部３１０において、現フレーム（ｎフレーム）の画像データに対する補正処理が実行される。
That is, the calculation of the false color (PF) degree as the image correction parameter in the n frame is executed using the data of the current frame (n frame) and the data of the previous frame (n-1 frame). In particular,
(A) A reduced whiteout detection map [Wp] 355 ′ of the previous frame (n−1 frame) that has already been stored in the
(B) Based on the color difference component [C] 353 of the current frame (n frame), the purpleness [Pr] 358 calculated by the
Based on (a) the whiteness degree [Wr] 357 based on the previous frame data and (b) the purpleness [Pr] 358 based on the current frame data, the pseudo chromaticity [R] 359 is calculated. Applying the calculated false chromaticity [R] 359, the
補正処理部３１０では、画素彩度削減処理部３１１において、入力画像３５１の色差成分［Ｃ］３５３を入力し、補正パラメータ（偽色度）算出部３００から入力する偽色度［Ｒ］３５９に基づいて偽色（ＰＦ）画素部分の彩度削減処理を行い、彩度削減画像［Ｃｓ］３６１を画素色差成分ぼかし処理部３１２に出力する。画素色差成分ぼかし処理部３１２は、彩度削減画像［Ｃｓ］３６１における色差成分に対してＢｌｕｒを掛ける処理、すなわち、ぼかし処理を実行する。ぼかし処理については全ての画素について実行するのではなく、彩度削減処理の実行された画素を含む領域が処理対象として選択されぼかし処理が実行される。画素色差成分ぼかし処理部３１２は、この処理対象領域の選択のために偽色度［Ｒ］３５９を入力し、偽色度［Ｒ］３５９≠０の画素を選択し、ぼかし処理の処理対象領域を決定してぼかし処理を行なう。
In the
画素色差成分ぼかし処理部３１２は、ぼかし処理を実行して、補正結果としての補正色差成分画像［Ｃｔｅｍｐ］３６２を生成し出力する。補正色差成分画像［Ｃｔｅｍｐ］３６２は、輝度成分［Ｙ］３６５と合成されて、最終的な［ＹＣｂＣｒ出力画像］３７１として出力される。この補正処理の結果としての出力［ＹＣｂＣｒ出力画像］３７１が画像処理装置内のメモリに格納され、またモニタ手段などの出力部に出力される。
The pixel color difference component blurring
図４を参照して、補正パラメータ（偽色度）算出部３００の各処理部において実行する処理タイミングについて説明する。図４は、図４下部に示す矢印に示すように、時間軸（ｔ）に沿って左から右に時間が経過することを示している。
With reference to FIG. 4, processing timing executed in each processing unit of the correction parameter (false chromaticity)
時間ｔ１〜ｔ３では、フレーム（ｎ）に対する処理、時間ｔ４〜ｔ６ではフレーム（ｎ＋１）に対する処理が実行されることを示している。例えば、時間ｔ１では、入力画像として撮影画像フレーム（ｎ）３８１を入力し、縮小画像生成部３０１におけるフレーム（ｎ）の画像縮小処理と、縮小白とび検出マップ拡大部３０４において、メモリ３０３から読み出した前フレームであるフレーム（ｎ−１）の縮小白とび検出マップに対する拡大処理が並列して実行される。
The time t1 to t3 indicates that the process for the frame (n) is executed, and the time t4 to t6 indicates that the process for the frame (n + 1) is executed. For example, at time t1, a captured image frame (n) 381 is input as an input image, and is read out from the
次に、時間ｔ２では、紫度計算部３０６におけるフレーム（ｎ）のデータに基づく紫度算出と、白とび検出部３０２におけるフレーム（ｎ）の縮小データに基づく白とび検出処理、さらに、白とび度計算部３０５におけるフレーム（ｎ−１）のデータに基づく白とび度計算処理が実行される。
Next, at time t2, purpleness calculation based on the data of frame (n) in the
次の時間ｔ３では、偽色度計算部３０７において、フレーム（ｎ−１）のデータに基づいて算出された白とび度と、フレーム（ｎ）のデータに基づいて算出された紫度とに基づいて、偽色度が算出され、その後、算出された偽色度が補正処理部に出力され、補正処理部における画素彩度削減処理部３１１において、フレーム（ｎ）のデータに対する画素彩度削減処理が実行され、その後、図示していないが、画素色差成分ぼかし処理部３１２において、フレーム（ｎ）のデータに対するぼかし処理が実行される。
At the next time t3, the false
時間ｔ４〜ｔ６ではフレーム（ｎ＋１）に対して、同様のシーケンスで処理が実行される。時間ｔ４では、入力画像として撮影画像フレーム（ｎ＋１）３８２を入力し、縮小画像生成部３０１におけるフレーム（ｎ＋１）の画像縮小処理と、縮小白とび検出マップ拡大部３０４において、メモリ３０３から読み出した前フレームであるフレーム（ｎ）の縮小白とび検出マップに対する拡大処理が並列して実行される。
From time t4 to t6, processing is executed in the same sequence for frame (n + 1). At time t4, a captured image frame (n + 1) 382 is input as an input image, and the image (n + 1) image reduction processing in the reduced
次に、時間ｔ５では、紫度計算部３０６におけるフレーム（ｎ＋１）のデータに基づく紫度算出と、白とび検出部３０２におけるフレーム（ｎ＋１）の縮小データに基づく白とび検出処理、さらに、白とび度計算部３０５におけるフレーム（ｎ）のデータに基づく白とび度計算処理が実行される。
Next, at time t5, purpleness calculation based on the data of frame (n + 1) in the
次の時間ｔ６では、偽色度計算部３０７において、フレーム（ｎ）のデータに基づいて算出された白とび度と、フレーム（ｎ＋１）のデータに基づいて算出された紫度とに基づいて、偽色度が算出され、その後、算出された偽色度が補正処理部に出力され、補正処理部における画素彩度削減処理部３１１において、フレーム（ｎ＋１）のデータに対する画素彩度削減処理が実行され、その後、図示していないが、画素色差成分ぼかし処理部３１２において、フレーム（ｎ＋１）のデータに対するぼかし処理が実行される。なお、時間ｔ１〜ｔ６は、処理シーケンスを説明するために設定した時間であり、明確な処理時間の間隔に必ずしも対応しているものではない。
At the next time t6, the false
図４に示すように、各処理部での処理を並列に実行し、また前フレームのデータを活用した処理を実行することにより、各画像フレームに対応する補正パラメータ（偽色度）算出処理を短時間で効率的に行なうことが可能となり、撮影データとして入力するフレームデータの補正を、撮影速度に遅れることなく実行でき、リアルタイムでの画像処理が実現される。 As shown in FIG. 4, the correction parameter (false chromaticity) calculation processing corresponding to each image frame is performed by executing the processing in each processing unit in parallel and executing the processing using the data of the previous frame. It is possible to efficiently perform in a short time, correction of frame data input as shooting data can be executed without delay in shooting speed, and real-time image processing is realized.
図５に、上述した偽色（ＰＦ）補正処理手段２０６の実行する一連の処理の処理手順を説明するフローチャートを示す。ステップＳ１０１〜Ｓ１０７の処理は、補正パラメータ（偽色度）算出部３００の処理に相当し、ステップＳ１０８〜Ｓ１０９の処理は、補正処理部３１０の処理に相当する。ステップＳ１０１〜Ｓ１０３の処理と、ステップＳ１０４〜Ｓ１０５の処理、およびステップＳ１０６の処理は並列に実行することが可能である。また、ステップＳ１０１〜Ｓ１０３の処理およびステップＳ１０６の処理は、現フレーム（ｎ）に対する処理として実行され、ステップＳ１０４〜Ｓ１０５の処理は、前レーム（ｎ−１）に対する処理として実行される。
FIG. 5 is a flowchart for explaining a processing procedure of a series of processes executed by the false color (PF)
ステップＳ１０１は、補正パラメータ（偽色度）算出部３００の縮小画像生成部３０１における画像縮小処理による［縮小画像Ｙｐ］３５４の生成処理、ステップＳ１０２は、白とび検出部３０２における［縮小画像Ｙｐ］３５４に基づく白とび検出処理による宿所白とび検出マップ［Ｗｐ］３５５の生成処理、ステップＳ１０３は、縮小白とび検出マップ［Ｗｐ］３５５のメモリ３０３に対する格納処理である。これらの処理は、入力現フレームに対する処理として実行される。
Step S101 is processing for generating [reduced image Yp] 354 by image reduction processing in the reduced
ステップＳ１０４は、縮小白とび検出マップ拡大部３０４における処理であり、メモリ３０３から読み出した前フレームの縮小白とび検出マップ［Ｗｐ'］３５５を拡大し、注目画素（ｘ，ｙ）から最も近い白とび画素までの距離に対応する距離値［Ｗｉ］を算出する処理である。ステップＳ１０５は、白とび度計算部３０５の処理であり、前フレーム拡大データから算出した距離値［Ｗｉ］に基づいて、白とび度［Ｗｒ］を算出する処理である。これらの処理は、前フレームに対する処理として実行される。
Step S104 is a process in the reduced white skip detection
ステップＳ１０６は、紫度計算部３０６における処理であり、現フレームの色差成分［Ｃ］３５３に基づいて、紫度計算部３０６で紫度［Ｐｒ］３５８を算出する。
Step S106 is processing in the purple
ステップＳ１０７は、偽色度計算部３０７において実行する偽色度［Ｒ］３５９算出処理であり、ステップＳ１０４〜Ｓ１０５において、算出した前フレームデータに基づく白とび度［Ｗｒ］３５７と、ステップＳ１０６において算出した現フレームデータに基づく紫度［Ｐｒ］３５８とに基づいて偽色度［Ｒ］３５９を算出する。
Step S107 is a false chromaticity [R] 359 calculation process executed in the false
ステップＳ１０８は、補正処理部３１０の画素彩度削減処理部３１１における偽色（ＰＦ）画素彩度削減処理、ステップＳ１０９は、画素色差成分ぼかし処理部３１２における偽色（ＰＦ）画素色差成分ぼかし処理である。以上の処理ステップが実行されて、最終的な補正画像データであるＹＣｂＣｒ出力画像３７１が生成、出力される。
Step S108 is a false color (PF) pixel saturation reduction process in the pixel saturation
以下、偽色（ＰＦ）補正処理手段２０６の各構成部の処理の詳細について説明する。なお、本実施例において、処理対象とする画像データは、画像の横幅＝ｗｉｄｔｈ、画像の縦幅＝ｈｅｉｇｈｔの画像フレームデータであり、縮小画像生成部３０１における画像縮小処理によって生成する［縮小画像Ｙｐ］３５４は、画像の横幅＝ｓｗｉｄｔｈ、画像の縦幅＝ｓｈｅｉｇｈｔの縮小画像データであるとする。
Details of processing of each component of the false color (PF)
まず、補正パラメータ（偽色度）算出部３００の処理について説明する。前述したように、補正パラメータ（偽色度）算出部３００では、現フレームデータと前フレームデータとに基づいて補正パラメータ（偽色（ＰＦ）度）を算出する。本実施例では、白とび画素から近い位置にあり、紫色である画素を偽色（ＰＦ：パープルフリンジ）画素であると推定する。従って偽色（ＰＦ）度は、白とび画素からの距離が近く、紫色に近いものほど高くなる。
First, the processing of the correction parameter (false chromaticity)
縮小画像生成部３０１
補正パラメータ（偽色度）算出部３００の縮小画像生成部３０１は、輝度成分［Ｙ］３５２の縮小処理を実行する。輝度成分［Ｙ］３５２は、ＹＣｂＣｒ入力画像３５１の輝度成分情報のみを抽出したデータであり、フレーム画像データの構成画素各々の輝度［Ｙ］情報のみから構成されるデータである。縮小画像生成部３０１は、この輝度成分画像の縮小処理を実行して、［縮小画像Ｙｐ］３５４を生成し、白とび検出部３０２に出力する。
Reduced
The reduced
図６に縮小画像生成部３０１の実行する処理手順を説明するフローチャートを示す。フローチャートに従って縮小画像生成部３０１の実行する処理について説明する。図６に示すフローは、図５のフローチャートのステップＳ１０１の処理に対応する処理である。
FIG. 6 is a flowchart for explaining a processing procedure executed by the reduced
なお、図６に示す処理フロー中、ステップＳ２０１〜Ｓ２０４の処理は、処理対象画像データである画像、すなわち、画像の横幅＝ｗｉｄｔｈ、画像の縦幅＝ｈｅｉｇｈｔの画像フレームデータの解析処理であり、ステップＳ２１１〜Ｓ２１３の処理は、縮小ガゾウデータ、すなわち画像の横幅＝ｓｗｉｄｔｈ、画像の縦幅＝ｓｈｅｉｇｈｔの縮小画像データの生成処理である。 In the processing flow shown in FIG. 6, the processing in steps S201 to S204 is an analysis process of an image that is processing target image data, that is, image frame data in which the horizontal width of the image = width and the vertical width of the image = height. The processing in steps S211 to S213 is generation processing of reduced gazing data, that is, reduced image data with the horizontal width of the image = width and the vertical width of the image = weight.
図６において、ステップＳ２０１〜Ｓ２０４の処理部分には、２つの枠を示し、
外枠に、Ｆｏｒ（ｙ＝０；ｙ＜ｈｅｉｇｈｔ；ｙ＝ｙ＋１）と示し、
内枠に、Ｆｏｒ（ｘ＝０；ｘ＜ｗｉｄｔｈ；ｘ＝ｘ＋１）として示してあるが、
ステップＳ２０１〜Ｓ２０４を示す内枠は、
Ｆｏｒ（ｘ＝０；ｘ＜ｗｉｄｔｈ；ｘ＝ｘ＋１）
に対する処理、すなわち画像データの１つのスキャンラインであるｘ軸に沿った処理として実行され、ｘ軸に沿って０〜ｗｉｄｔｈの各画素毎にステップＳ２０１〜Ｓ２０４の処理を実行することを意味している。１つのスキャンラインが終了すると、次のスキャンラインの処理が同様に実行される。これは、外枠に示すように、
Ｆｏｒ（ｙ＝０；ｙ＜ｈｅｉｇｈｔ；ｙ＝ｙ＋１）
に対する処理として実行され、スキャンラインに垂直なｙ軸に沿って、１つずつスキャンラインを移動させて、Ｆｏｒ（ｘ＝０；ｘ＜ｗｉｄｔｈ；ｘ＝ｘ＋１）の処理、すなわち、ｘ軸に沿って０〜ｗｉｄｔｈの各画素毎にステップＳ２０１〜Ｓ２０４の処理を実行することを意味している。結果として、画像フレームにおける（ｘ＝０〜ｗｉｄｔｈ，ｙ＝０〜ｈｅｉｇｈｔ）の全構成画素について、順次ステップＳ２０１〜Ｓ２０４の処理が実行されることになる。
In FIG. 6, the processing part of steps S201 to S204 shows two frames,
In the outer frame, For (y = 0; y <height; y = y + 1) is indicated,
The inner frame shows For (x = 0; x <width; x = x + 1).
The inner frame indicating steps S201 to S204 is
For (x = 0; x <width; x = x + 1)
, I.e., the process along the x-axis that is one scan line of the image data, and the process of steps S201 to S204 is executed for each pixel of 0 to width along the x-axis. Yes. When one scan line is completed, the process for the next scan line is similarly executed. As shown in the outer frame,
For (y = 0; y <height; y = y + 1)
Is executed as a process for the above, and the scan line is moved one by one along the y-axis perpendicular to the scan line, and the process of For (x = 0; x <width; x = x + 1), that is, along the x-axis This means that the processing of steps S201 to S204 is executed for each pixel of 0 to width. As a result, the processing of steps S201 to S204 is sequentially executed for all the constituent pixels of (x = 0 to width, y = 0 to height) in the image frame.
同様に、ステップＳ２１１〜Ｓ２１３の処理部分には、２つの枠を示し、
外枠に、Ｆｏｒ（ｔ＝０；ｔ＜ｓｈｅｉｇｈｔ；ｔ＝ｔ＋１）と示し、
内枠に、Ｆｏｒ（ｓ＝０；ｓ＜ｓｗｉｄｔｈ；ｓ＝ｓ＋１）として示してあるが、
ステップＳ２１１〜Ｓ２１３を示す内枠は、
Ｆｏｒ（ｓ＝０；ｓ＜ｓｗｉｄｔｈ；ｓ＝ｓ＋１）
に対する処理、すなわち縮小画像データの１つのスキャンラインであるｓ軸に沿った処理として実行され、ｓ軸に沿って０〜ｓｗｉｄｔｈの各画素毎にステップＳ２１１〜Ｓ２１３の処理を実行することを意味している。１つのスキャンラインが終了すると、次のスキャンラインの処理が同様に実行される。これは、外枠に示すように、
Ｆｏｒ（ｔ＝０；ｔ＜ｓｈｅｉｇｈｔ；ｔ＝ｙ＋１）
に対する処理として実行され、スキャンラインに垂直なｔ軸に沿って、１つずつスキャンラインを移動させて、Ｆｏｒ（ｓ＝０；ｓ＜ｓｗｉｄｔｈ；ｓ＝ｓ＋１）の処理、すなわち、ｓ軸に沿って０〜ｓｗｉｄｔｈの各画素毎にステップＳ２１１〜Ｓ２１３の処理を実行することを意味している。結果として、縮小画像における（ｓ＝０〜ｓｗｉｄｔｈ，ｔ＝０〜ｔｈｅｉｇｈｔ）の全構成画素について、順次ステップＳ２１１〜Ｓ２１３の処理が実行されることになる。
Similarly, the processing part of steps S211 to S213 shows two frames,
In the outer frame, For (t = 0; t <weight; t = t + 1)
The inner frame shows For (s = 0; s <width; s = s + 1).
The inner frame showing steps S211 to S213 is
For (s = 0; s <width; s = s + 1)
, I.e., the process along the s-axis that is one scan line of the reduced image data, and the process of steps S211 to S213 is executed for each pixel of 0 to width along the s-axis. ing. When one scan line is completed, the process for the next scan line is similarly executed. As shown in the outer frame,
For (t = 0; t <weight; t = y + 1)
Is performed as a process for the above, and the scan line is moved one by one along the t-axis perpendicular to the scan line, and the process of For (s = 0; s <swidth; s = s + 1), that is, along the s-axis This means that the processing of steps S211 to S213 is executed for each pixel of 0 to width. As a result, the processing of steps S211 to S213 is sequentially performed on all the constituent pixels of (s = 0 to 0width, t = 0 to height) in the reduced image.
図６のフローに示す各ステップの処理について説明する。ステップＳ２０１において、画像の横幅＝ｗｉｄｔｈ、画像の縦幅＝ｈｅｉｇｈｔの画像フレームデータの構成画素（ｘ，ｙ）を１つ選択し、選択画素の輝度Ｙ（ｘ，ｙ）を取得する。なお、図３を参照して説明したように、縮小画像生成部３０１は、ＹＣｂＣｒ入力画像データ３５１に基づく輝度成分［Ｙ］３５２を入力して処理を行なう。
The process of each step shown in the flow of FIG. 6 will be described. In step S201, one constituent pixel (x, y) of the image frame data with the horizontal width of the image = width and the vertical width of the image = height is selected, and the luminance Y (x, y) of the selected pixel is acquired. As described with reference to FIG. 3, the reduced
ステップＳ２０２、Ｓ２０３では、縮小画像の座標位置（ｊ，ｋ）を設定する処理を実行する。ステップＳ２０２，Ｓ２０３に示す［ｂｌｏｃｋｗｉｄｔｈ］、［ｂｌｏｃｋｈｅｉｇｈｔ］は、縮小画像の１画素に対応するオリジナル画像の横画素数と縦画素数に対応する。すなわち、
［ｂｌｏｃｋｗｉｄｔｈ］＝オリジナル画像の横画素数
［ｂｌｏｃｋｈｅｉｇｈｔ］＝オリジナル画像の縦画素数
であり、この［ｂｌｏｃｋｗｉｄｔｈ］×［ｂｌｏｃｋｈｅｉｇｈｔ］のオリジナル画像の画素に基づいて、縮小画像の１画素の輝度が決定する。
In steps S202 and S203, processing for setting the coordinate position (j, k) of the reduced image is executed. [Blockwidth] and [blockheight] shown in steps S202 and S203 correspond to the number of horizontal pixels and the number of vertical pixels of the original image corresponding to one pixel of the reduced image. That is,
[Blockwidth] = the number of horizontal pixels of the original image [blockheight] = the number of vertical pixels of the original image The brightness of one pixel of the reduced image is determined based on the pixels of the original image of [blockwidth] × [blockheight]. .
オリジナル画像と縮小画像の対応について図７を参照して説明する。図７には、縮小処理を施すオリジナル画像４１０と、縮小処理によって生成される縮小画像４２０を示している。オリジナル画像４１０はｗｉｄｔｈ×ｈｅｉｇｈｔであり、これを縮小してｓｗｉｄｔｈ×ｓｈｅｉｇｈｔの縮小画像４２０を生成する。オリジナル画像４１０に基づいて縮小画像４２０を生成する処理において、縮小画像４１０の構成画素の輝度を順次算出する処理が図６に示す処理フローにおいて実行する処理である。 The correspondence between the original image and the reduced image will be described with reference to FIG. FIG. 7 shows an original image 410 subjected to a reduction process and a reduced image 420 generated by the reduction process. The original image 410 is width × height, and is reduced to generate a reduced image 420 of width × height. In the process of generating the reduced image 420 based on the original image 410, the process of sequentially calculating the luminance of the constituent pixels of the reduced image 410 is the process executed in the process flow shown in FIG.
図７において、オリジナル画像４１０の部分画像データ４１１は、［ｂｌｏｃｋｗｉｄｔｈ］×［ｂｌｏｃｋｈｅｉｇｈｔ］の画像データであり、この部分画像データ４１１を構成する画素、例えば図に示す画素４１２他の部分画像データ４１１を構成する複数画素の輝度値に基づいて、縮小画像４２０の１つの画素（ｓ，ｔ）４２１の輝度Ｙｐ（ｓ，ｔ）を決定する。
In FIG. 7,
図６のステップＳ２０２、Ｓ２０３の処理は、オリジナル画像における注目画素（ｘ，ｙ）の、縮小画像の対応画素位置（ｊ，ｋ）を算出する処理である。ステップＳ２０４の処理［Ｙｐ（ｊ，ｋ）＋＝ｖａｌｕｅ］は、縮小画像の画素位置（ｊ，ｋ）に対応する輝度値Ｙｐ（ｊ，ｋ）を、オリジナル画像の画素領域、すなわち、図７における部分画像データ４１１の各画素の輝度を加算した値に設定する処理である。
The processing in steps S202 and S203 in FIG. 6 is processing for calculating the corresponding pixel position (j, k) of the reduced image of the target pixel (x, y) in the original image. The process [Yp (j, k) + = value] in step S204 determines the luminance value Yp (j, k) corresponding to the pixel position (j, k) of the reduced image as the pixel area of the original image, that is, FIG. Is a process of setting the luminance of each pixel of the
ステップＳ２０１〜Ｓ２０４の処理によって、縮小画像の１つの画素（ｊ，ｋ）に対応する輝度値データ［Ｙｐ（ｊ，ｋ）＋］として、オリジナル画像の画素領域、すなわち、図７における部分画像データ４１１の構成画素の輝度値の積算値が算出される。
As a result of the processing in steps S201 to S204, the luminance value data [Yp (j, k) +] corresponding to one pixel (j, k) of the reduced image is used as the pixel area of the original image, that is, the partial image data in FIG. An integrated value of the luminance values of the
ステップＳ２１１〜Ｓ２１３は、縮小画像の構成画素（ｓ，ｔ）について、順次、輝度値Ｙｐ（ｓ，ｔ）を設定する処理である。まず、ステップＳ２１１において、縮小画像の構成画素（ｓ，ｔ）の輝度値をステップＳ２０４で算出した［ｖａｌｕｅ］、すなわち縮小画像の１つの画素に対応する輝度値データ［Ｙｐ（ｓ，ｔ）＋］として、オリジナル画像の画素領域、すなわち、図７における部分画像データ４１１の構成画素の輝度値積算値を設定する。
Steps S211 to S213 are processes for sequentially setting the luminance value Yp (s, t) for the constituent pixels (s, t) of the reduced image. First, in step S211, the luminance value of the constituent pixel (s, t) of the reduced image is calculated as [value] in step S204, that is, the luminance value data [Yp (s, t) + corresponding to one pixel of the reduced image. ], The luminance value integrated value of the pixel area of the original image, that is, the constituent pixels of the
次に、ステップＳ２１２において、以下の式に従って、値［ｖａｌｕｅ］の更新を実行する。
ｖａｌｕｅ＝ｖａｌｕｅ／（ｂｌｏｃｋｗｉｄｔｈ×ｂｌｏｃｋｈｅｉｇｈｔ）
上記式は、縮小画像の１つの画素に対応するオリジナル画像データの部分画像、すなわち、図７の例における部分画像データ４１１の構成画素の画素数で、ステップＳ２０４で算出した積算値データ［Ｙｐ（ｓ，ｔ）＋］を除算する処理である。すなわち、縮小画像の１つの画素に対応するオリジナル画像データの部分画像の構成画素の輝度値の平均値を［ｖａｌｕｅ］の新たな値として設定する。
Next, in step S212, the value [value] is updated according to the following equation.
value = value / (blockwidth × blockheight)
The above formula is the partial image of the original image data corresponding to one pixel of the reduced image, that is, the number of pixels of the constituent pixels of the
次に、ステップＳ２１３において、ステップＳ２１２で算出した縮小画像の１つの画素（ｓ，ｔ）に対応するオリジナル画像データの部分画像の構成画素の輝度値の平均値を縮小画像の画素（ｓ，ｔ）に対応する輝度Ｙｐ（ｓ，ｔ）として決定する。これらの処理を縮小画像の構成画素、すべてについて実行し、縮小画像（ｓｗｉｄｔｈ×ｓｈｅｉｇｈｔ）の全構成画素（ｓ＝０〜ｓｗｉｄｔｈ，ｔ＝０〜ｓｈｅｉｇｈｔ）の輝度値Ｙｐ（ｓ，ｔ）を決定する。 Next, in step S213, the average value of the luminance values of the constituent pixels of the partial image of the original image data corresponding to one pixel (s, t) of the reduced image calculated in step S212 is calculated as the reduced image pixel (s, t). ) Corresponding to the luminance Yp (s, t). These processes are executed for all the constituent pixels of the reduced image, and the luminance values Yp (s, t) of all the constituent pixels (s = 0 to width, t = 0 to height) of the reduced image (swith × height) are determined. To do.
上述の処理が、図３に示す補正パラメータ（偽色度）算出部３００の縮小画像生成部３０１における画像縮小処理であり、この処理によって［縮小画像Ｙｐ］３５４が生成される。上述した説明から明らかなように、［縮小画像Ｙｐ］３５４は、縮小画像（ｓｗｉｄｔｈ×ｓｈｅｉｇｈｔ）の全構成画素（ｓ＝０〜ｓｗｉｄｔｈ，ｔ＝０〜ｓｈｅｉｇｈｔ）についての輝度値Ｙｐ（ｓ，ｔ）データのみからなるデータである。縮小画像生成部３０１は、このように、輝度成分画像の縮小処理を実行して、［縮小画像Ｙｐ］３５４を生成し、白とび検出部３０２に出力する。
The above-described processing is the image reduction processing in the reduced
白とび検出部３０２
次に、図３に示す補正パラメータ（偽色度）算出部３００の白とび検出部３０２の実行する処理の詳細について説明する。白とび検出部３０２は、［縮小画像Ｙｐ］３５４に基づいて、縮小画像における輝度レベルがほぼ飽和レベルである白とび画素の検出、すなわち白とび検出処理を行い、縮小白とび検出マップ［Ｗｐ］３５４を出力する。縮小白とび検出マップ［Ｗｐ］３５４は、縮小画像における構成画素が白とび画素であるか否かを示すフラグが各画素毎に設定されたマップである。白とび検出部３０２は、縮小画像に基づいて生成した縮小白とび検出マップ［Ｗｐ］３５４をメモリ３０３へ格納する。
White
Next, details of processing executed by the
図８に白とび検出部３０２の実行する処理手順を説明するフローチャートを示す。フローチャートに従って白とび検出部３０２の実行する処理について説明する。図８に示すフローは、図５のフローチャートのステップＳ１０２の処理に対応する処理である。
FIG. 8 is a flowchart for explaining a processing procedure executed by the
図８に示す処理フローは、２つの枠を示し、
外枠に、Ｆｏｒ（ｙ＝０；ｙ＜ｓｈｅｉｇｈｔ；ｙ＝ｙ＋１）と示し、
内枠に、Ｆｏｒ（ｘ＝０；ｘ＜ｓｗｉｄｔｈ；ｘ＝ｘ＋１）として示してある。
これは、ステップＳ３０１〜Ｓ３０５の処理を、縮小画像生成部３０１の生成した［縮小画像Ｙｐ］３５４（ｓｗｉｄｔｈ×ｓｈｅｉｇｈｔ）の全構成画素（ｓ＝０〜ｓｗｉｄｔｈ，ｔ＝０〜ｓｈｅｉｇｈｔ）について、順次実行することを意味している。
The processing flow shown in FIG. 8 shows two frames,
In the outer frame, For (y = 0; y <weight; y = y + 1) is indicated,
In the inner frame, For (x = 0; x <width; x = x + 1) is shown.
This is because the processes in steps S301 to S305 are sequentially performed on all the constituent pixels (s = 0 to width, t = 0 to height) of [reduced image Yp] 354 (width × weight) generated by the reduced
各ステップの処理について説明する。ステップＳ３０１において、白とび検出部３０２は、［縮小画像Ｙｐ］３５４の構成画素から選択された注目画素（ｘ，ｙ）の輝度値Ｙｐ（ｘ，ｙ）を取得する。注目画素は画素（ｘ，ｙ）であり、注目画素（ｘ，ｙ）の輝度値をＹｐ（ｘ，ｙ）とする。ステップＳ３０２において、注目画素の輝度値Ｙｐ（ｘ，ｙ）と、予め設定した閾値と比較する。
The process of each step will be described. In step S <b> 301, the
白とび画素は、画素の輝度レベルがほぼ飽和レベルである画素であり、閾値は、白とび画素として判定する輝度レベルに相当する値が設定される。ステップＳ３０３〜Ｓ３０５では、注目画素（ｘ，ｙ）の輝度値Ｙｐ（ｘ，ｙ）＝ｖａｌｕｅが閾値よりも大きければ、注目画素（ｘ，ｙ）のフラグ（ｆｌａｇ）＝［ｔｒｕｅ］、そうでなければフラグ（ｆｌａｇ）＝［ｆａｌｓｅ］とし、白とび検出マップ［Ｗｐ（ｘ，ｙ）］３５４を設定する。これを横幅＝ｗｉｄｔｈ、縦幅＝ｈｅｉｇｈｔの画像を構成する全ての画素（ｘ＝０〜ｗｉｄｔｈ，ｙ＝０〜ｈｅｉｇｈｔ）について判定し、各画素対応のフラグ（ｔｒｕｅまたはｆａｌｓｅ）を設定した縮小白とび検出マップ［Ｗｐ（ｘ，ｙ）］３５４を完成させて、メモリ３０３へ格納する。
The overexposed pixel is a pixel in which the luminance level of the pixel is almost saturated, and a value corresponding to the luminance level determined as an overexposed pixel is set as the threshold value. In steps S303 to S305, if the luminance value Yp (x, y) = value of the target pixel (x, y) is larger than the threshold value, the flag (flag) of the target pixel (x, y) = [true], and so on. If not, a flag (flag) = [false] is set, and an overexposure detection map [Wp (x, y)] 354 is set. This is determined for all pixels (x = 0 to width, y = 0 to height) constituting an image having a horizontal width = width and a vertical width = height, and a reduced white in which a flag (true or false) corresponding to each pixel is set. The jump detection map [Wp (x, y)] 354 is completed and stored in the
この処理によって、メモリ３０３に格納された縮小白とび検出マップ［Ｗｐ（ｘ，ｙ）］３５４は、次の画像フレームの処理、すなわち次のフレームに対応する補正パラメータとしての偽色度算出処理において利用される。
By this processing, the reduced whiteout detection map [Wp (x, y)] 354 stored in the
縮小白とび検出マップ拡大部３０４
次に、縮小白とび検出マップ拡大部３０４の処理の詳細について説明する。縮小白とび検出マップ拡大部３０４は、メモリ３０３に格納された前フレームの縮小白とび検出マップ［Ｗｐ］を読み出して、撮像した画像と同じサイズに拡大する拡大処理を実行する。さらに、拡大処理を実行して生成した白とび検出マップから注目画素（ｘ，ｙ）と最近接白とび画素までの距離に対応する値としての距離値［Ｗｉ］３５６を取得し、取得した距離値［Ｗｉ］３５６を白とび度計算部３０５に出力する。
Reduced whiteout detection
Next, details of the processing of the reduced whiteout detection
図９に縮小白とび検出マップ拡大部３０４の実行する処理手順を説明するフローチャートを示す。フローチャートに従って縮小白とび検出マップ拡大部３０４の実行する処理について説明する。図９に示すフローは、図５のフローチャートのステップＳ１０４の処理に対応する処理である。
FIG. 9 shows a flowchart for explaining the processing procedure executed by the reduced whiteout detection
図９に示す処理フローにも、２つの枠が示され、
外枠に、Ｆｏｒ（ｙ＝０；ｙ＜ｈｅｉｇｈｔ；ｙ＝ｙ＋１）と示し、
内枠に、Ｆｏｒ（ｘ＝０；ｘ＜ｗｉｄｔｈ；ｘ＝ｘ＋１）として示してある。
これは、ステップＳ４０１〜Ｓ４０４の処理を、オリジナル画像と同一の大きさを持つ拡大画像（ｗｉｄｔｈ×ｈｅｉｇｈｔ）の全構成画素（ｘ＝０〜ｗｉｄｔｈ，ｙ＝０〜ｈｅｉｇｈｔ）について、順次実行することを意味している。
The processing flow shown in FIG. 9 also shows two frames.
In the outer frame, For (y = 0; y <height; y = y + 1) is indicated,
In the inner frame, For (x = 0; x <width; x = x + 1) is shown.
This is to sequentially execute the processing of steps S401 to S404 for all the constituent pixels (x = 0 to width, y = 0 to height) of the enlarged image (width × height) having the same size as the original image. Means.
各ステップの処理について説明する。ステップＳ４０１、Ｓ４０２の処理は、オリジナル画像と同一の大きさを持つ拡大処理画像の１つの画素（ｘ，ｙ）の、縮小画像の対応画素位置（ｊ，ｋ）を算出する処理である。次に、ステップＳ４０３において、拡大補間において必要な縮小画像の対応画素（ｊ，ｋ）の画素情報を取得する。なお、ここでは縮小画像は、輝度情報のみを有しており、対応画素の輝度情報Ｗｐ（ｊ，ｋ）を取得する。ステップＳ４０３では、取得した縮小画像の画素情報、すなわち対応画素（ｊ，ｋ）の輝度情報Ｗｐ（ｊ，ｋ）をＡとおく。 The process of each step will be described. The processing in steps S401 and S402 is processing for calculating the corresponding pixel position (j, k) of the reduced image of one pixel (x, y) of the enlarged processed image having the same size as the original image. Next, in step S403, pixel information of the corresponding pixel (j, k) of the reduced image necessary for the enlargement interpolation is acquired. Here, the reduced image has only luminance information, and acquires luminance information Wp (j, k) of the corresponding pixel. In step S403, the pixel information of the acquired reduced image, that is, the luminance information Wp (j, k) of the corresponding pixel (j, k) is set to A.
次に、ステップＳ４０４において、取得した輝度情報Ｗｐ（ｊ，ｋ）＝Ａに基づいて、縮小画像の対応画素位置（ｊ，ｋ）に対応するオリジナル画像と同一の大きさを持つ画像の対応領域に含まれる複数画素の輝度値を補間値Ｗｉ（ｘ，ｙ）として算出する。ステップＳ４０４では、補間値Ｗｉ＝Ｂｉｃｕｂｉｃ（Ａ）として示してあるが、これは、縮小画像における１つの対応画素の輝度情報Ｗｐ（ｊ，ｋ）＝Ａに基づいて、双三次補間処理を実行して、拡大処理画像における各画素の画素値としての補間値（輝度値）を設定する処理を行なうことを意味している。 Next, in step S404, based on the acquired luminance information Wp (j, k) = A, the corresponding region of the image having the same size as the original image corresponding to the corresponding pixel position (j, k) of the reduced image Are calculated as interpolation values Wi (x, y). In step S404, the interpolation value Wi = Bicubic (A) is shown. This is based on the luminance information Wp (j, k) = A of one corresponding pixel in the reduced image, and executes bicubic interpolation processing. This means that an interpolation value (luminance value) is set as the pixel value of each pixel in the enlarged processed image.
図１０を参照して、双三次補間処理について説明する。拡大補間に双三次補間を使用する場合、縮小画像で対応する画素位置の周囲１６点を拡大補間に必要とする。画像データ４５０は、縮小白とび検出マップ拡大部３０４において、メモリ３０３に格納された前フレームの縮小白とび検出マップ［Ｗｐ］であり、サイズ（ｓｗｉｄｔｈ×ｓｈｅｉｇｈｔ）を持つ。これを元に拡大画像データ、すなわちオリジナル画像データと同様のサイズ（ｗｉｄｔｈ×ｈｅｉｇｈｔ）を持つ画像データを生成する。
The bicubic interpolation process will be described with reference to FIG. When bicubic interpolation is used for enlargement interpolation, 16 points around the corresponding pixel position in the reduced image are required for enlargement interpolation. The
画像データ４５０の各矩形領域、例えば領域４５２が縮小画像における１画素である。この各画素には輝度値Ｙｐ（ｓ，ｔ）が設定されている。また、図に示す点ｑ４５１は、拡大した画像データにおける１画素を示す。この点ｑ４５１の画素値（輝度値）を補間処理により算出する。
Each rectangular area of the
点ｑ４５１の含まれる拡大画像の領域は、縮小画像における画素Ａ［１，１］に対応する。双三次補間処理では、例えば、点ｑ４５１の画素値（輝度値）を決定するのに、縮小画像における画素Ａ［１，１］を含む複数画素、すなわち、Ａ［０，０］〜Ａ［３，３］の１６画素の画素情報（輝度値）を適用する。拡大画像の画素値、すなわちここでは輝度値に対応する補間値は、以下の式（式１）によって算出する。
上記式において、Ａ［ｉ，ｊ］は、縮小画像における１６画素、すなわち、Ａ［０，０］〜Ａ［３，３］の画素値（輝度値）であり、ｋ［ｊ］，ｋ［ｉ］は、以下の算出式によって算出される値である。
ｓは、点ｑから画素［ｉ，ｊ］までのｘ方向の距離、
ｔは、点ｓから画素［ｉ，ｊ］までのｙ方向の距離、
である。
The area of the enlarged image including the point q451 corresponds to the pixel A [1,1] in the reduced image. In the bicubic interpolation processing, for example, in order to determine the pixel value (luminance value) of the point q451, a plurality of pixels including the pixel A [1,1] in the reduced image, that is, A [0,0] to A [3 , 3] of 16 pixel information (luminance value) is applied. The pixel value of the enlarged image, that is, the interpolation value corresponding to the luminance value here is calculated by the following equation (Equation 1).
In the above formula, A [i, j] is 16 pixels in the reduced image, that is, pixel values (luminance values) of A [0,0] to A [3,3], and k [j], k [ i] is a value calculated by the following calculation formula.
s is the distance in the x direction from point q to pixel [i, j],
t is the distance in the y direction from the point s to the pixel [i, j],
It is.
縮小白とび検出マップ拡大部３０４は、上記式（式１）によって算出される補間値Ｗｉ（ｘ，ｙ）を白とびまでの近さをあらわす値としての距離値［Ｗｉ］として、距離値［Ｗｉ］３５６を白とび度計算部３０５に出力する。なお、本実施例では、本実施例では双三次補間を使用しているが、滑らかに拡大を行うことができれば、他の補間方法であっても構わない。
The reduced overexposure detection
白とび度計算部３０５
次に、白とび度計算部３０５の処理の詳細について説明する。白とび度計算部３０５は、注目画素と注目画素に最も近接した最寄の白とび画素との距離情報として、縮小白とび検出マップ拡大部３０４から入力する距離値［Ｗｉ］３５６を入力として白とび度計算処理を行い、白とび度［Ｗｒ］３５７を算出して偽色度計算部３０７に出力する。
Next, details of the processing of the whiteout
白とび度計算部３０５は、注目画素（ｘ，ｙ）と白とび画素との距離に対応する距離値［Ｗｉ］３５６を入力し、入力距離値［Ｗｉ］に基づいてルックアップテーブル（ＬＵＴ）を適用したデータ変換を行い、白とび度［Ｗｒ］３５７を算出して偽色度計算部３０７に出力する。図５のフローチャートのステップＳ１０５の処理に対応する処理である。白とび度計算部３０５の適用するルックアップテーブル（ＬＵＴ）をグラフ化した例を図１１に示す。
The whiteout
図１１は、横軸が、縮小白とび検出マップ拡大部３０４から入力する最寄の白とび画素との距離［Ｗｉ］データであり、縦軸が、偽色度計算部３０７に出力する白とび度［Ｗｒ］を示す。距離［Ｗｉ］データと白とび度［Ｗｒ］は１対１に対応しており、白とび度計算部３０５は白とびからの距離・方向ベクトル計算部３０２から入力する最寄の白とび画素との距離［Ｗｉ］データに基づいて、対応する白とび度［Ｗｒ］の値を取得して偽色度計算部３０７に出力する。例えば、図１１に示すルックアップテーブル（ＬＵＴ）を適用した場合、
白とび画素との距離［Ｗｉ］＝０の場合、白とび度［Ｗｒ］＝０
白とび画素との距離［Ｗｉ］＝０２５の場合、白とび度［Ｗｒ］＝０．５
白とび画素との距離［Ｗｉ］＝０．５の場合、白とび度［Ｗｒ］＝０．６５
白とび画素との距離［Ｗｉ］＝１．０の場合、白とび度［Ｗｒ］＝１．０
の白とび度［Ｗｒ］の各値を取得して、偽色度計算部３０７に出力する。
In FIG. 11, the horizontal axis represents the distance [Wi] data from the nearest whiteout pixel input from the reduced whiteout detection
When the distance [Wi] = 0 from the whiteout pixel, the whiteout degree [Wr] = 0
When distance [Wi] = 025 from the whiteout pixel, whiteout degree [Wr] = 0.5
When the distance [Wi] = 0.5 from the whiteout pixel, the whiteout degree [Wr] = 0.65
When the distance [Wi] = 1.0 from the whiteout pixel, the whiteout degree [Wr] = 1.0
Each value of the white skip degree [Wr] is acquired and output to the false
この処理は、各画素毎に実行され、各画素対応の白とび度［Ｗｒ］が算出されて偽色度計算部３０７に出力される。なお、図１１に示すルックアップテーブル（ＬＵＴ）は一例であり、これは偽色（ＰＦ）の発生態様を考慮して設定されたもので、特にこの形に限定されるものではない。
This process is performed for each pixel, and the whiteness [Wr] corresponding to each pixel is calculated and output to the false
紫度計算部３０６
次に、図３に示す紫度計算部３０６の処理の詳細について説明する。紫度計算部３０６は、図３に示すように、入力画像３５１の色差成分［Ｃ］３５３を入力し、色差成分［Ｃ］３５３に基づく紫度［Ｐｒ］３５８を算出し、算出した紫度［Ｐｒ］３５８を偽色度計算部３０７に出力する処理を実行する。紫度計算部３０６の処理について説明する。
Next, details of the processing of the
紫度計算部３０６において処理を実行する注目画素（ｘ，ｙ）の色差成分［Ｃ］データを（Ｃｒ，Ｃｂ）とする。本実施例では、ＹＣｂＣｒ色空間に展開したデータに対して処理を実行する例であり、色情報としてはＣｂＣｒ色差平面において、各画素の色情報が定義される。紫度計算部３０６は、注目画素（ｘ，ｙ）の色差データ（Ｃｂ，Ｃｒ）を入力として、偽色（ＰＦ）の色相への近さ情報としての紫度［Ｐｒ（ｘ，ｙ）］を各注目画素毎に算出して偽色度計算部３０７に出力する。
The color difference component [C] data of the pixel of interest (x, y) to be processed in the
紫度［Ｐｒ（ｘ，ｙ）］は、０．０〜１．０の値で表され、Ｐｒ＝０．０は、偽色（ＰＦ）色相から遠い色であることを表し、Ｐｒ＝１．０は、最も偽色（ＰＦ）色相に近い色であることを表す。 Purple degree [Pr (x, y)] is represented by a value of 0.0 to 1.0, and Pr = 0.0 represents a color far from a false color (PF) hue, and Pr = 1. .0 indicates that the color is closest to the false color (PF) hue.
図１２を用いて、ＣｂＣｒ色差平面における偽色（ＰＦ）色相と、紫度［Ｐｒ］の設定例について説明する。図１２に示すグラフは、ＣｂＣｒ色差平面を示し、図中のライン６０１（Ｆθ）は、ＣｂＣｒ色差平面における偽色（ＰＦ）の色相に対応する偽色（ＰＦ）色相ライン６０１である。典型的なパープルフリンジは、この偽色（ＰＦ）色相ライン６０１上の色相を持つ。
An example of setting the false color (PF) hue and purpleness [Pr] on the CbCr color difference plane will be described with reference to FIG. The graph shown in FIG. 12 shows the CbCr color difference plane, and the line 601 (F θ ) in the figure is a false color (PF)
図中のライン６０２は、一例として示す注目画素（ｘ，ｙ）の色相に対応する注目画素色相ライン６０２である。注目画素色相ライン６０２が、偽色（ＰＦ）色相ライン６０１に近いほど、注目画素（ｘ，ｙ）の色相は偽色（ＰＦ）色相に近い色相であり、注目画素色相ライン６０２が、偽色（ＰＦ）色相ライン６０１から遠いほど、注目画素（ｘ，ｙ）の色相は偽色（ＰＦ）色相から遠い色相である。
A
図中のライン６１１，６１２は、偽色（ＰＦ）色相ライン６０１から角度：θｍａｘ回転させた色相ラインであり、紫度［Ｐｒ］０ライン６１１，６１２である。θｍａｘは予設定される角度であり、例えば３０°に設定される。紫度［Ｐｒ］０ライン６１１，６１２から、偽色（ＰＦ）色相ライン６０１に近づくほど、紫度［Ｐｒ］の値は大きくなり、偽色（ＰＦ）色相ライン６０１上で、紫度［Ｐｒ］は１となる。すなわち、注目画素色相ライン６０２が、紫度［Ｐｒ］０ライン６１１，６１２の間にある場合、注目画素（ｘ，ｙ）の紫度［Ｐｒ］は０〜１の間に設定される。注目画素色相ライン６０２が、紫度［Ｐｒ］０ライン６１１，６１２の間にない場合、注目画素（ｘ，ｙ）の紫度［Ｐｒ］は０に設定される。
注目画素（ｘ，ｙ）紫度［Ｐｒ（ｘ，ｙ）］は、以下の算出式によって求められる。
上記式において、
Ｆθ：ＣｂＣｒ平面において、軸Ｃｂと偽色（ＰＦ）色相ラインとのなす角
θ（ｘ，ｙ）：ＣｂＣｒ平面において、軸Ｃｂと注目画素色相ラインとのなす角
θｍａｘ：ＣｂＣｒ平面において、偽色（ＰＦ）色相ラインと紫度［Ｐｒ］０ラインのなす角、予設定される角度であり、例えば３０°に設定される
The pixel of interest (x, y) purpleness [Pr (x, y)] is obtained by the following calculation formula.
In the above formula,
F θ : Angle formed between the axis Cb and the false color (PF) hue line in the CbCr plane θ (x, y): Angle formed between the axis Cb and the target pixel hue line in the CbCr plane θ max : In the CbCr plane The angle formed by the false color (PF) hue line and the purple [Pr] 0 line is a preset angle, for example, set to 30 °.
このように、紫度計算部３０６は、入力画像３５１の色差成分［Ｃ］３５３を入力し、色差成分［Ｃ］３５３に基づく紫度［Ｐｒ］３５８を、上記算出式（式２）に従って算出し、算出した紫度［Ｐｒ］３５８を偽色度計算部３０７に出力する処理を実行する。
As described above, the purple
偽色度計算部３０７
次に、偽色度計算部３０７の処理の詳細について説明する。偽色度計算部３０７は、図３に示すように、紫度計算部３０６から入力する紫度［Ｐｒ］３５８と、白とび度計算部３０５から入力する白とび度［Ｗｒ］３５６とに基づいて、偽色度［Ｒ］３５８を算出し、算出した偽色度［Ｒ］３５８を補正処理部３１０の各処理部、すなわち、画素彩度削減処理部３１１、画素色差成分ぼかし処理部３１２に出力する。
False
Next, details of the processing of the false
偽色度計算部３０７は、以下の算出式に従って、注目画素（ｘ，ｙ）の偽色度［ＰＦｒ（ｘ，ｙ）］を、注目画素（ｘ，ｙ）の紫度［Ｐｒ（ｘ，ｙ）］と、注目画素（ｘ，ｙ）の白とび度［Ｗｒ（ｘ，ｙ）］とに基づいて算出する。
ＰＦｒ（ｘ，ｙ）＝Ｐｒ（ｘ，ｙ）×Ｗｒ（ｘ，ｙ） ・・・（式３）
The false
PFr (x, y) = Pr (x, y) × Wr (x, y) (Formula 3)
上記式（式３）は、注目画素（ｘ，ｙ）の偽色度［ＰＦｒ（ｘ，ｙ）］を、注目画素（ｘ，ｙ）の紫度［Ｐｒ（ｘ，ｙ）］と、注目画素（ｘ，ｙ）の白とび度［Ｗｒ（ｘ，ｙ）］との乗算によって算出することを示している。 The above formula (formula 3) is obtained by changing the false chromaticity [PFr (x, y)] of the target pixel (x, y) and the purple degree [Pr (x, y)] of the target pixel (x, y) The calculation is performed by multiplying the whiteness [Wr (x, y)] of the pixel (x, y).
上記式（式３）において、紫度［Ｐｒ（ｘ，ｙ）］は０〜１の値であり、白とび度［Ｗｒ（ｘ，ｙ）］も０〜１の値であるので、偽色度［ＰＦｒ（ｘ，ｙ）］も０〜１の範囲で設定されることになる。偽色度［Ｒ］＝１．０が偽色度が最も高い、すなわち注目画素が偽色（ＰＦ）である可能性が最も高いことを示し、偽色度［Ｒ］＝０．０が偽色度が最も低い、すなわち注目画素が偽色（ＰＦ）である可能性が最も低いことを示す。 In the above formula (formula 3), the purpleness [Pr (x, y)] is a value from 0 to 1, and the whiteness [Wr (x, y)] is also a value from 0 to 1. The degree [PFr (x, y)] is also set in the range of 0-1. False chromaticity [R] = 1.0 indicates the highest false chromaticity, that is, indicates that the pixel of interest is most likely a false color (PF), and false chromaticity [R] = 0.0 is false. It indicates that the chromaticity is the lowest, that is, the possibility that the target pixel is a false color (PF) is the lowest.
以上の処理が、図３に示す補正パラメータ（偽色度）算出部３００の処理の詳細であり、この処理によって、注目画素（ｘ，ｙ）に対応する偽色度Ｒ（ｘ，ｙ）が設定されて、補正処理部３１０の、画素彩度削減処理部３１１画素色差成分ぼかし処理部３１２において、偽色度Ｒ（ｘ，ｙ）を適用した画素値補正処理が実行される。
The above processing is the details of the processing of the correction parameter (false chromaticity)
以下、補正処理部３１０の画素彩度削減処理部３１１画素色差成分ぼかし処理部３１２において実行する処理の詳細について、順次説明する。
Hereinafter, details of processing executed in the pixel saturation
画素彩度削減処理部３１１
画素彩度削減処理部３１１は、図３に示すように、入力画像３５１の色差成分［Ｃ］３５３を入力し、補正パラメータ（偽色度）算出部３００から入力する偽色度［Ｒ］３５９に基づいて偽色（ＰＦ）画素部分の彩度削減処理を行い、偽色（ＰＦ）部分彩度削減結果画像［Ｃｓ］３６１を画素色差成分ぼかし処理部３１２に出力する。
Pixel saturation
As illustrated in FIG. 3, the pixel saturation
画素彩度削減処理部３１１の具体的な処理について説明する。画素彩度削減処理部３１１は、入力画像３５１の色差成分［Ｃ］３５３に基づいて取得される注目画素（ｘ，ｙ）のＣｒＣｂ各成分のオリジナル彩度Ｃ（ｘ，ｙ）ＣｒとＣ（ｘ，ｙ）Ｃｂと、補正パラメータ（偽色度）算出部３００から入力する注目画素（ｘ，ｙ）偽色度［Ｒ（ｘ，ｙ）］とに基づいて、下式（式４）に従って、彩度削減後の注目画素（ｘ，ｙ）のＣｒＣｂ各成分の削減彩度Ｃｓ（ｘ，ｙ）ＣｒとＣｓ（ｘ，ｙ）Ｃｂを算出する。
Ｃｓ（ｘ，ｙ）Ｃｒ＝Ｃ（ｘ，ｙ）Ｃｒ×｛１．０−Ｒ（ｘ，ｙ）｝
Ｃｓ（ｘ，ｙ）Ｃｂ＝Ｃ（ｘ，ｙ）Ｃｂ×｛１．０−Ｒ（ｘ，ｙ）｝
・・・（式４）
A specific process of the pixel saturation
Cs (x, y) Cr = C (x, y) Cr * {1.0-R (x, y)}
Cs (x, y) Cb = C (x, y) Cb × {1.0−R (x, y)}
... (Formula 4)
上記式（式４）において、注目画素（ｘ，ｙ）の偽色度［Ｒ（ｘ，ｙ）］は０〜１の範囲の値であり、注目画素（ｘ，ｙ）の偽色度が高いほど１に近い値をとる。上記式において、
｛１．０−Ｒ（ｘ，ｙ）｝
は、注目画素（ｘ，ｙ）の偽色度が高いほど値が小さく０に近くなり、上記式（式４）は、オリジナル彩度Ｃ（ｘ，ｙ）に対して、｛１．０−Ｒ（ｘ，ｙ）｝の値を乗算する処理であるので、注目画素（ｘ，ｙ）の偽色度が高いほど彩度の削減される度合いが高くなる。
In the above formula (formula 4), the false chromaticity [R (x, y)] of the target pixel (x, y) is a value in the range of 0 to 1, and the false chromaticity of the target pixel (x, y) is The higher the value, the closer to 1. In the above formula,
{1.0-R (x, y)}
Is smaller and close to 0 as the false chromaticity of the pixel of interest (x, y) is higher, and the above equation (Equation 4) becomes {1.0− for the original saturation C (x, y). Since it is a process of multiplying the value of R (x, y)}, the higher the false chromaticity of the target pixel (x, y), the higher the degree of reduction in saturation.
すなわち、上記式（式４）は、注目画素（ｘ，ｙ）の偽色度が高い（１に近い）ほど、彩度を落とし、注目画素（ｘ，ｙ）の偽色度が低い（０に近い）ほど、彩度の落としかたを弱める処理を実行することを意味している。画素彩度削減処理部３１１は、上記処理によって生成した彩度削減結果画像［Ｃｓ］３６１を画素色差成分ぼかし処理部３１２に出力する。
That is, in the above formula (formula 4), the higher the false chromaticity of the target pixel (x, y) (closer to 1), the lower the saturation and the lower the false chromaticity of the target pixel (x, y) (0). Means that the processing to weaken the saturation reduction is executed. The pixel saturation
画素色差成分ぼかし処理部３１２
次に、画素色差成分ぼかし処理部３１２の処理について説明する。画素色差成分ぼかし処理部３１２は、画素彩度削減処理部３１１から入力する彩度削減結果画像［Ｃｓ］３６１における色差成分に対してＢｌｕｒを掛ける処理、すなわち、ぼかし処理を実行する。画素色差成分ぼかし処理部３１２は、彩度削減処理を施した画素と周囲画素の色相の差分を減少させる処理を実行する。
Pixel color difference component
Next, processing of the pixel color difference component
なお、画素色差成分ぼかし処理部３１２において実行するぼかし処理は全ての画素について行なうのではなく、彩度削減処理の実行された画素を含む画素領域が処理対象として選択されぼかし処理が実行される。画素色差成分ぼかし処理部３１２は、この処理対象領域の選択のために偽色度［Ｒ］３５９を入力し、偽色度［Ｒ］３５９≠０の画素を選択し、ぼかし処理の処理対象領域を決定してぼかし処理を行なう。画素色差成分ぼかし処理部３１２の処理の詳細について、図１３に示す処理フローを参照して説明する。なお、図１３に示す処理フローは、図５のフローチャートのステップＳ１０９の偽色（ＰＦ）画素色差成分ぼかし処理の詳細処理に対応する。
Note that the blurring process executed in the pixel color difference component blurring
画素色差成分ぼかし処理部３１２における処理は、彩度補正を行った部分の彩度変化を平滑にすると共に、彩度を落とした部分と、そうでない通常画素部分の境界部をなじませるためにＢｌｕｒ（ぼかし）を掛ける処理である。このＢｌｕｒ処理に関しても、処理の軽量化および回路規模の削減の観点から、注目画素の左右に存在するスキャンラインに沿った画素の画素情報のみを用いて処理を行う。
The processing in the pixel color difference component blurring
なお、図１３に示す処理フローも、前述の他のフローと同様、２つの枠、すなわち、Ｆｏｒ（ｙ＝０；ｙ＜ｈｅｉｇｈｔ；ｙ＝ｙ＋１）と示す外枠と、Ｆｏｒ（ｘ＝０；ｘ＜ｗｉｄｔｈ；ｘ＝ｘ＋１）として示す内枠とを有し、処理対象画像フレームにおける（ｘ＝０〜ｗｉｄｔｈ，ｙ＝０〜ｈｅｉｇｈｔ）の構成画素について、順次各ステップの処理が実行される。ただし、画素色差成分ぼかし処理部３１２は、偽色度［Ｒ］≠０の画素を選択し、ぼかし処理の処理対象領域を決定してぼかし処理を行なう。従って、ステップＳ５０１の前段階として、入力画素が、偽色度［Ｒ］≠０の画素であるか否かを判定した後、偽色度［Ｒ］≠０の画素である場合にのみ、これを注目画素（ｘ，ｙ）として選択して、ステップＳ５０１以下の処理を実行することになる。
Note that the processing flow shown in FIG. 13 is also similar to the above-described other flows, that is, two frames, that is, an outer frame indicated as For (y = 0; y <height; y = y + 1), and For (x = 0; x <width; x = x + 1), and the processing of each step is sequentially performed on the constituent pixels of (x = 0 to width, y = 0 to height) in the processing target image frame. However, the pixel color difference component blurring
図１３に示すフローチャートの各ステップの処理について説明する。ステップＳ５０１は初期設定であり、注目画素（ｘ，ｙ）に対して、ぼかし処理を実行するか否かを示すフラグ［ｆｌａｇ］である［ｅｘｅｃＢｌｕｒ］＝ｆａｌｓｅとして、ぼかしをかけない設定のフラグに初期設定する。 The process of each step of the flowchart shown in FIG. 13 will be described. Step S501 is an initial setting, and the flag [flag] that indicates whether or not to perform the blurring process on the pixel of interest (x, y) is set as [execBlue] = false. Initial setting.
その後、ステップＳ５０２では、注目画素（ｘ，ｙ）周辺の取得可能な参照画素の画素情報として、周辺画素（ｓ，ｙ）の偽色度Ｒ（ｓ，ｙ）を取得し、周辺画素（ｓ，ｙ）の偽色度Ｒ（ｓ，ｙ）が０より大の画素が検出された場合（ステップＳ５０３：Ｙｅｓ）に、ステップＳ５０４において、ぼかし処理を実行するか否かを示すフラグ［ｆｌａｇ］である［ｅｘｅｃＢｌｕｒ］＝ｔｒｕｅとして、ぼかしを実行する設定のフラグに更新する。なお、注目画素の近傍領域から取得可能な参照画素情報は、スキャンラインに沿って注目画素に近接する画素の画素情報である。例えば、注目画素を中心として、左右ｊ（例えばｊ＝７）画素を探索範囲として画素情報［偽色度Ｒ（ｓ，ｙ）］を取得して、ステップＳ５０２（Ｓ５０３〜Ｓ５０４）の処理を実行する。 Thereafter, in step S502, the false chromaticity R (s, y) of the peripheral pixel (s, y) is acquired as the pixel information of the reference pixels that can be acquired around the target pixel (x, y), and the peripheral pixel (s , Y) When a pixel having a false chromaticity R (s, y) greater than 0 is detected (step S503: Yes), a flag [flag] indicating whether or not to perform blurring processing in step S504. [ExecBlur] = true, the flag is updated to a setting for performing blurring. Note that the reference pixel information that can be acquired from the region near the target pixel is pixel information of a pixel that is close to the target pixel along the scan line. For example, pixel information [false chromaticity R (s, y)] is acquired using the left and right j (for example, j = 7) pixels as a search range centering on the target pixel, and the processing of steps S502 (S503 to S504) is executed. To do.
次に、ステップＳ５０５において、フラグ［ｅｘｅｃＢｌｕｒ］が［ｔｒｕｅ］に設定されていると判定した場合は、ステップＳ５０７に進み、注目画素（ｘ，ｙ）を中心にぼかし（Ｂｌｕｒ）フィルタを掛ける処理を実行する。ぼかし（Ｂｌｕｒ）フィルタによる注目画素（ｘ，ｙ）のぼかし処理後の色成分［Ｂｌｕｒ（Ｃｓ（ｘ，ｙ））］は、以下の式（式５）で算出される。
上記式に従って、注目画素（ｘ，ｙ）のＣｒ，Ｃｂに対して行い、それぞれのぼかし処理後の色成分［Ｂｌｕｒ（Ｃｓ（ｘ，ｙ））］を算出する。なお、上記式において、
Ｃｓ（ｘ，ｙ）は、注目画素（ｘ，ｙ）の彩度削減後の色成分［Ｃｓ（ｘ，ｙ）］
Ｃｓ（ｘ＋ｉ，ｙ）、Ｃｓ（ｘ−ｉ，ｙ）は、注目画素（ｘ，ｙ）のスキャンライン上の±ｉ画素移動した画素における彩度削減後の色成分［Ｃｓ］
を示している。
According to the above formula, the process is performed on Cr and Cb of the target pixel (x, y), and the color component [Blur (Cs (x, y))] after each blurring process is calculated. In the above formula,
Cs (x, y) is a color component [Cs (x, y)] after saturation reduction of the pixel of interest (x, y).
Cs (x + i, y) and Cs (x−i, y) are color components [Cs] after saturation reduction in a pixel moved ± i pixels on the scan line of the pixel of interest (x, y).
Is shown.
上記式では、注目画素の±７画素の色成分を適用したぼかし処理を実行した例である。なお、ぼかし処理の態様は、上記式（式５）を適用したものに限定されるものではなく、彩度を落とした部分と、そうでない通常画素部分の境界部をなじませる効果のある処理であれば、その他の態様によるぼかし処理でもよい。 The above formula is an example in which the blurring process is performed by applying the color component of ± 7 pixels of the target pixel. Note that the mode of the blurring process is not limited to the one to which the above formula (Formula 5) is applied, but is a process having an effect of blending the boundary portion between the desaturated portion and the other normal pixel portion. If it exists, the blurring process according to another aspect may be performed.
画素色差成分ぼかし処理部３１２では、上述の処理を実行して、図３に示すように、補正結果としての補正色差成分画像［Ｃｔｅｍｐ］３６２を生成し出力する。補正色差成分画像［Ｃｔｅｍｐ］３６２は、輝度成分［Ｙ］３６５と合成されて、最終的なＹＣｂＣｒ出力画像３７１として出力される。この補正処理の結果としての出力ＹＣｂＣｒ出力画像３７１が画像処理装置内のメモリに格納され、またモニタ手段などの出力部に出力される。
The pixel color difference component blurring
なお、上述した実施例の処理はＹｃｂＣｒ色空間を適用した処理として説明したが、その他の色空間、例えばＣＩＥＬ*ａ*ｂ*空間など、輝度情報と色相情報とが分かれている情報であれば、上述した本発明に従った処理が適用可能である。 Note that the processing of the above-described embodiment has been described as processing using the YcbCr color space. However, in other color spaces, for example, a CIEL * a * b * space, any information in which luminance information and hue information are separated can be used. The processing according to the present invention described above can be applied.
上述した本発明の処理により、時間の要する白とび検出処理を縮小画像に基づいて実行することで処理時間を短縮することが可能となり、また、偽色度算出に適用する紫度を現フレームに基づいて取得し、白とび度を前フレームに基づいて取得する構成とすることで、処理時間の遅延を防止することが可能となり、所定のフレームレートで入力する動画像データをリアルタイムで補正することが可能であり、パープルフリンジ等の偽色の彩度削減処理およびぼかし処理により高品質な補正画像データを生成することができる。 With the above-described processing of the present invention, it is possible to shorten the processing time by executing the time-consuming whiteout detection processing based on the reduced image, and the purpleness applied to the false chromaticity calculation is set to the current frame. It is possible to prevent the processing time from being delayed, and to correct moving image data input at a predetermined frame rate in real time. Therefore, it is possible to generate high-quality corrected image data through a false color saturation reduction process such as purple fringe and a blurring process.
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。 The present invention has been described in detail above with reference to specific embodiments. However, it is obvious that those skilled in the art can make modifications and substitutions of the embodiments without departing from the gist of the present invention. In other words, the present invention has been disclosed in the form of exemplification, and should not be interpreted in a limited manner. In order to determine the gist of the present invention, the claims should be taken into consideration.
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。 The series of processes described in the specification can be executed by hardware, software, or a combined configuration of both. When executing processing by software, the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and executed.
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。 For example, the program can be recorded in advance on a hard disk or ROM (Read Only Memory) as a recording medium. Alternatively, the program is temporarily or permanently stored on a removable recording medium such as a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, or a semiconductor memory. It can be stored (recorded). Such a removable recording medium can be provided as so-called package software.
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。 The program is installed on the computer from the removable recording medium as described above, or is wirelessly transferred from the download site to the computer, or is wired to the computer via a network such as a LAN (Local Area Network) or the Internet. The computer can receive the program transferred in this manner and install it on a recording medium such as a built-in hard disk.
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。 The various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually as required by the processing capability of the apparatus that executes the processes. Further, in this specification, the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
以上、説明したように、本発明の構成によれば、処理画像の構成画素の補正パラメータとして、各画素に対応する偽色度を算出し、算出した偽色度に基づいて各画素の彩度削減処理を実行する構成とし、補正パラメータとしての偽色度の算出処理においては、縮小画像を生成し、時間の要する白とび検出処理を縮小画像に基づいて実行する構成としたので、計算量の削減により処理時間の短縮が可能となる。また、偽色度算出に適用する紫度を現フレーム（ｎ）に基づいて取得し、白とび度を前フレーム（ｎ−１）に基づいて取得する構成としたので、処理時間の遅延の防止が可能となり、所定のフレームレートで入力する動画像データのリアルタイムでの補正処理が可能となり、パープルフリンジ等の偽色の彩度削減処理およびぼかし処理を実行することで高品質な補正画像データの高速生成処理が実現される。 As described above, according to the configuration of the present invention, the false chromaticity corresponding to each pixel is calculated as the correction parameter of the constituent pixel of the processed image, and the saturation of each pixel is calculated based on the calculated false chromaticity. In the calculation process of the false chromaticity as the correction parameter, the reduced image is generated, and the time-consuming whiteout detection process is executed based on the reduced image. The processing time can be shortened by the reduction. Further, since the purple degree applied to the false chromaticity calculation is acquired based on the current frame (n) and the overexposure degree is acquired based on the previous frame (n−1), the processing time is prevented from being delayed. Real-time correction processing of moving image data input at a predetermined frame rate is possible, and high-quality corrected image data can be corrected by executing false color saturation reduction processing such as purple fringe and blurring processing. High-speed generation processing is realized.
さらに、本発明の構成によれば、補正パラメータとしての偽色度の算出において、注目画素の色相が偽色色相と類似し、白とび画素からの距離が近いほど、大きな値の偽色度を算出する構成とし、画素彩度削減処理においては、この偽色度に基づいて各画素の彩度削減処理を実行する構成としたので、偽色度のレベルに応じた最適な彩度削減処理が実現され、パープルフリンジ等の偽色画素の存在する画像データから偽色画素を効率的に抽出した補正手処理が可能となり、効率的な高品質補正画像データの生成が可能となる。 Furthermore, according to the configuration of the present invention, in the calculation of the false chromaticity as the correction parameter, the larger the false chromaticity is as the hue of the target pixel is similar to the false hue and the distance from the overexposed pixel is shorter. In the pixel saturation reduction process, the saturation reduction process for each pixel is executed based on this false chromaticity, so that the optimal saturation reduction process according to the false chromaticity level is performed. Realized, it is possible to perform manual correction processing that efficiently extracts false color pixels from image data in which false color pixels such as purple fringes exist, and it is possible to efficiently generate high-quality corrected image data.
１０１ レンズ
１０２ 絞り
１０３ 固体撮像素子
１０４ 相関２重サンプリング回路
１０５ Ａ／Ｄコンバータ
１０６ ＤＳＰブロック
１０７ タイミングジェネレータ
１０８ Ｄ／Ａコンバータ
１０９ ビデオエンコーダ
１１０ ビデオモニタ
１１１ コーデック（ＣＯＤＥＣ）
１１２ メモリ
１１３ ＣＰＵ
１１４ 入力デバイス
２０１ ホワイトバランス調整手段
２０２ ガンマ補正処理手段
２０３ デモザイク処理手段
２０４ ＹｃｂＣｒ変換手段
２０５ エッジ強調処理手段
２０６ 偽色（ＰＦ）補正処理手段
２５１ モザイク画像データ
２５２ ＹＣｂＣｒ画像
３００ 補正パラメータ（偽色度）算出部
３０１ 縮小処理部
３０２ 白とび検出部
３０３ メモリ
３０４ 縮小白とび検出マップ拡大部
３０５ 白とび度計算部
３０６ 紫度計算部
３０７ 偽色度計算部
３１０ 補正処理部
３１１ 画素彩度削減処理部
３１２ 画素色差成分ぼかし処理部
３５１ ＹＣｂＣｒ入力画像
３７１ ＹＣｂＣｒ出力画像
３８１ 撮影画像ｎ
３８２ 撮影画像ｎ＋１
４１０ オリジナル画像
４１１ 部分画像データ
４１２ 画素
４２０ 縮小画像
４２１ 画素
４５０ 画像データ
４５１ 点ｑ
４５２ 領域
６０１ 偽色（ＰＦ）色相ライン
６０２ 注目画素色相ライン
６１１，６１２ 紫度［Ｐｒ］０ライン
DESCRIPTION OF
112
114
382 Captured
410
452
Claims (15)
処理画像の構成画素の補正パラメータとして、画素の偽色に対する類似性情報である画素対応の偽色度を算出する補正パラメータ算出部と、
前記偽色度を適用して、処理画像の構成画素の彩度削減処理を含む画素値補正処理を実行する補正処理部とを有し、
前記補正パラメータ算出部は、
処理画像に基づく縮小画像データを生成する縮小画像生成部と、
前記縮小画像生成部の生成した縮小画像データに基づく高輝度画素としての白とび画素検出を実行する白とび検出部とを有し、
前記白とび検出部の縮小画像に基づく白とび検出情報を適用して各画素に対応する偽色度を算出する構成であることを特徴とする画像処理装置。 An image processing device,
A correction parameter calculation unit that calculates a false chromaticity corresponding to a pixel, which is similarity information with respect to a false color of a pixel, as a correction parameter of a constituent pixel of a processed image;
A correction processing unit that applies the false chromaticity and executes a pixel value correction process including a saturation reduction process of the constituent pixels of the processed image;
The correction parameter calculation unit
A reduced image generation unit that generates reduced image data based on the processed image;
A whiteout detection unit that performs whiteout pixel detection as high-intensity pixels based on the reduced image data generated by the reduced image generation unit;
An image processing apparatus having a configuration for calculating false chromaticity corresponding to each pixel by applying whiteout detection information based on a reduced image of the whiteout detection unit.
処理画像から選択された注目画素についての、
注目画素の色相と偽色の色相との類似性情報としての紫度を算出する紫度計算部と、
注目画素の白とび画素からの距離情報としての白とび度を算出する白とび度計算部と、
前記紫度および白とび度とに基づいて注目画素の偽色度を算出する偽色度算出部と、
を有する構成であることを特徴とする請求項１に記載の画像処理装置。 The correction parameter calculation unit
For the pixel of interest selected from the processed image
A purpleness calculator that calculates purpleness as similarity information between the hue of the target pixel and the false color;
A whiteness calculation unit that calculates a whiteness degree as distance information from a whiteout pixel of the target pixel;
A false chromaticity calculating unit that calculates the false chromaticity of the pixel of interest based on the purpleness and the whiteout degree;
The image processing apparatus according to claim 1, wherein the image processing apparatus includes:
前記縮小画像生成部の生成した縮小画像データに基づく高輝度画素としての白とび画素検出を実行し、縮小画像における構成画素が白とび画素であるか否かを示すフラグ情報を持つ縮小白とび検出マップを生成しメモリに格納する構成であり、
前記補正パラメータ算出部は、
前記メモリに格納された縮小白とび検出マップの拡大処理を実行する白とびマップ拡大部を有し、
前記白とび度計算部は、
前記白とびマップ拡大部の拡大したマップに基づいて前記白とび度を算出する構成であることを特徴とする請求項２に記載の画像処理装置。 The overexposure detector is
Reduced overexposure detection having flag information indicating whether or not a constituent pixel in the reduced image is an overexposed pixel by executing overexposed pixel detection as a high-intensity pixel based on the reduced image data generated by the reduced image generation unit A configuration that generates a map and stores it in memory.
The correction parameter calculation unit
A whiteout map enlargement unit that executes enlargement processing of the reduced whiteout detection map stored in the memory;
The white jump calculation unit is
The image processing apparatus according to claim 2, wherein the overexposure degree is calculated based on an enlarged map of the overexposure map enlargement unit.
前記紫度計算部の処理対象画像フレームの前フレームに対する白とび検出処理の結果データとしてメモリに格納された白とび検出マップに基づいて白とび度を算出する構成であり、
前記偽色度算出部は、
フレームｎの画像データに基づいて算出された紫度、およびフレームｎ−１の画像データに基づいて算出された白とび度とに基づいて注目画素の偽色度を算出する構成であることを特徴とする請求項２に記載の画像処理装置。 The white jump calculation unit is
The purpleness calculation unit is configured to calculate a whiteout degree based on a whiteout detection map stored in a memory as result data of a whiteout detection process with respect to a previous frame of a processing target image frame.
The false chromaticity calculation unit
The false chromaticity of the pixel of interest is calculated based on the purpleness calculated based on the image data of frame n and the whiteness calculated based on the image data of frame n-1. The image processing apparatus according to claim 2.
（ａ）入力画像データに基づく縮小画像の生成および白とび検出処理、
（ｂ）入力画像データに基づく紫度の計算処理、
（ｃ）メモリに格納された前フレームの画像に基づく縮小白とび検出マップの拡大処理および該拡大結果としてのマップに基づく白とび度計算処理、
上記（ａ），（ｂ），（ｃ）の各処理を並列に実行する構成であることを特徴とする請求項２に記載の画像処理装置。 The correction parameter calculation unit
(A) Generation of reduced image based on input image data and overexposure detection processing;
(B) Purpleness calculation processing based on input image data;
(C) enlargement processing of a reduced whiteout detection map based on the image of the previous frame stored in the memory, and whiteout degree calculation processing based on the map as a result of the enlargement,
The image processing apparatus according to claim 2, wherein the processes (a), (b), and (c) are executed in parallel.
前記補正パラメータ算出部の算出する偽色度に基づいて各画素の彩度削減処理を実行する画素彩度削減処理部と、
画素彩度削減処理部の出力データに対して、彩度削減処理を施した画素と周囲画素の色相の差分を減少させるぼかし処理を実行するぼかし処理部を有する構成であることを特徴とする請求項１に記載の画像処理装置。 The correction processing unit
A pixel saturation reduction processing unit that executes saturation reduction processing of each pixel based on the false chromaticity calculated by the correction parameter calculation unit;
It is a configuration having a blurring processing unit that executes a blurring process for reducing a difference in hue between a pixel subjected to the saturation reduction process and a surrounding pixel with respect to output data of the pixel saturation reduction processing unit. Item 8. The image processing apparatus according to Item 1.
前記補正パラメータ算出部は、
処理画像の構成画素の補正パラメータとして、画素のパープルフリンジに対する類似性情報である画素対応の偽色度を算出する構成であることを特徴とする請求項１乃至６いずれかに記載の画像処理装置。 The false color is purple fringe,
The correction parameter calculation unit
The image processing apparatus according to claim 1, wherein a false chromaticity corresponding to a pixel, which is similarity information with respect to a purple fringe of a pixel, is calculated as a correction parameter of a constituent pixel of the processed image. .
処理画像の構成画素の補正パラメータとして、画素の偽色に対する類似性情報である画素対応の偽色度を算出する補正パラメータ算出ステップと、
前記偽色度を適用して、処理画像の構成画素の彩度削減処理を含む画素値補正処理を実行する補正処理ステップとを有し、
前記補正パラメータ算出ステップは、
処理画像に基づく縮小画像データを生成する縮小画像生成ステップと、
前記縮小画像生成ステップにおいて生成した縮小画像データに基づく高輝度画素としての白とび画素検出を実行する白とび検出ステップと、
前記白とび検出ステップにおいて生成した縮小画像に基づく白とび検出情報を適用して各画素に対応する偽色度を算出する偽色度算出ステップと、
を有することを特徴とする画像処理方法。 An image processing method,
A correction parameter calculating step for calculating a false chromaticity corresponding to a pixel, which is similarity information with respect to a false color of a pixel, as a correction parameter of a constituent pixel of a processed image;
A correction process step of applying a false chromaticity and executing a pixel value correction process including a saturation reduction process of the constituent pixels of the processed image,
The correction parameter calculation step includes:
A reduced image generation step for generating reduced image data based on the processed image;
An overexposure detecting step for detecting overexposed pixels as high luminance pixels based on the reduced image data generated in the reduced image generation step;
A false chromaticity calculating step of calculating false chromaticity corresponding to each pixel by applying whiteout detection information based on the reduced image generated in the whiteout detection step;
An image processing method comprising:
処理画像から選択された注目画素の色相と偽色の色相との類似性情報としての紫度を算出する紫度計算ステップと、
注目画素の白とび画素からの距離情報としての白とび度を算出する白とび度計算ステップと、
前記紫度および白とび度とに基づいて注目画素の偽色度を算出する偽色度算出ステップと、
を有することを特徴とする請求項８に記載の画像処理方法。 The correction parameter calculation step includes:
A purpleness calculating step for calculating purpleness as similarity information between the hue of the target pixel selected from the processed image and the hue of the false color;
A whiteness calculation step for calculating a whiteness degree as distance information from a whiteout pixel of the target pixel;
A false chromaticity calculating step of calculating a false chromaticity of the pixel of interest based on the purpleness and the whiteout degree;
The image processing method according to claim 8, further comprising:
前記縮小画像生成ステップにおいて生成した縮小画像データに基づく高輝度画素としての白とび画素検出を実行し、縮小画像における構成画素が白とび画素であるか否かを示すフラグ情報を持つ縮小白とび検出マップを生成しメモリに格納する処理を実行するステップであり、
前記補正パラメータ算出ステップは、さらに、
前記メモリに格納された縮小白とび検出マップの拡大処理を実行する白とびマップ拡大ステップを有し、
前記白とび度計算ステップは、
前記白とびマップ拡大ステップの拡大したマップに基づいて前記白とび度を算出するステップであることを特徴とする請求項９に記載の画像処理方法。 The overexposure detecting step includes
Reduced whiteout detection having flag information indicating whether or not a constituent pixel in the reduced image is a whiteout pixel by executing whiteout pixel detection as a high luminance pixel based on the reduced image data generated in the reduced image generation step A step of executing a process of generating a map and storing it in a memory.
The correction parameter calculation step further includes:
A whiteout map enlargement step for executing enlargement processing of the reduced whiteout detection map stored in the memory;
The whiteout degree calculation step includes:
The image processing method according to claim 9, wherein the whiteout degree is calculated based on the enlarged map in the whiteout map enlargement step.
前記紫度計算ステップにおける処理対象画像フレームの前フレームに対する白とび検出処理の結果データとしてメモリに格納された白とび検出マップに基づいて白とび度を算出するステップであり、
前記偽色度算出ステップは、
フレームｎの画像データに基づいて算出された紫度、およびフレームｎ−１の画像データに基づいて算出された白とび度とに基づいて注目画素の偽色度を算出するステップであることを特徴とする請求項９に記載の画像処理方法。 The whiteout degree calculation step includes:
A step of calculating a whiteout degree based on a whiteout detection map stored in a memory as result data of a whiteout detection process with respect to a previous frame of a processing target image frame in the purple degree calculating step;
The false chromaticity calculating step includes
It is a step of calculating the false chromaticity of the pixel of interest based on the purpleness calculated based on the image data of frame n and the whiteness calculated based on the image data of frame n-1. The image processing method according to claim 9.
（ａ）入力画像データに基づく縮小画像の生成および白とび検出処理、
（ｂ）入力画像データに基づく紫度の計算処理、
（ｃ）メモリに格納された前フレームの画像に基づく縮小白とび検出マップの拡大処理および該拡大結果としてのマップに基づく白とび度計算処理、
上記（ａ），（ｂ），（ｃ）の各処理を並列に実行することを特徴とする請求項９に記載の画像処理方法。 The correction parameter calculation step includes:
(A) Generation of reduced image based on input image data and overexposure detection processing;
(B) Purpleness calculation processing based on input image data;
(C) enlargement processing of a reduced whiteout detection map based on the image of the previous frame stored in the memory, and whiteout degree calculation processing based on the map as a result of the enlargement,
The image processing method according to claim 9, wherein the processes (a), (b), and (c) are executed in parallel.
前記補正パラメータ算出ステップにおいて算出する偽色度に基づいて各画素の彩度削減処理を実行する画素彩度削減処理ステップと、
画素彩度削減処理ステップにおける処理結果としての出力データに対して、彩度削減処理を施した画素と周囲画素の色相の差分を減少させるぼかし処理を実行するぼかし処理ステップと、
を有することを特徴とする請求項８に記載の画像処理方法。 The correction processing step includes
A pixel saturation reduction processing step for performing saturation reduction processing of each pixel based on the false chromaticity calculated in the correction parameter calculation step;
A blurring process step for performing a blurring process for reducing a difference in hue between a pixel subjected to the saturation reduction process and a surrounding pixel with respect to output data as a processing result in the pixel saturation reduction process step;
The image processing method according to claim 8, further comprising:
前記補正パラメータ算出ステップは、
処理画像の構成画素の補正パラメータとして、画素のパープルフリンジに対する類似性情報である画素対応の偽色度を算出するステップであることを特徴とする請求項８に記載の画像処理方法。 The false color is purple fringe,
The correction parameter calculation step includes:
9. The image processing method according to claim 8, which is a step of calculating a false chromaticity corresponding to a pixel, which is similarity information with respect to a purple fringe of a pixel, as a correction parameter of a constituent pixel of the processed image.
処理画像の構成画素の補正パラメータとして、画素の偽色に対する類似性情報である画素対応の偽色度を算出する補正パラメータ算出ステップと、
前記偽色度を適用して、処理画像の構成画素の彩度削減処理を含む画素値補正処理を実行する補正処理ステップとを有し、
前記補正パラメータ算出ステップは、
処理画像に基づく縮小画像データを生成する縮小画像生成ステップと、
前記縮小画像生成ステップにおいて生成した縮小画像データに基づく高輝度画素としての白とび画素検出を実行する白とび検出ステップと、
前記白とび検出ステップにおいて生成した縮小画像に基づく白とび検出情報を適用して各画素に対応する偽色度を算出する偽色度算出ステップと、
を有することを特徴とするコンピュータ・プログラム。 A computer program for executing image processing on a computer;
A correction parameter calculating step for calculating a false chromaticity corresponding to a pixel, which is similarity information with respect to a false color of a pixel, as a correction parameter of a constituent pixel of a processed image;
A correction process step of applying a false chromaticity and executing a pixel value correction process including a saturation reduction process of the constituent pixels of the processed image,
The correction parameter calculation step includes:
A reduced image generation step for generating reduced image data based on the processed image;
An overexposure detecting step for detecting overexposed pixels as high luminance pixels based on the reduced image data generated in the reduced image generation step;
A false chromaticity calculating step of calculating false chromaticity corresponding to each pixel by applying whiteout detection information based on the reduced image generated in the whiteout detection step;
A computer program characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004323591A JP4539299B2 (en) | 2004-11-08 | 2004-11-08 | Image processing apparatus, image processing method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004323591A JP4539299B2 (en) | 2004-11-08 | 2004-11-08 | Image processing apparatus, image processing method, and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006135744A true JP2006135744A (en) | 2006-05-25 |
| JP4539299B2 JP4539299B2 (en) | 2010-09-08 |
Family
ID=36728855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004323591A Expired - Fee Related JP4539299B2 (en) | 2004-11-08 | 2004-11-08 | Image processing apparatus, image processing method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4539299B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006135745A (en) * | 2004-11-08 | 2006-05-25 | Sony Corp | Image processing apparatus and image processing method, and computer program |
| JP2011086275A (en) * | 2009-09-18 | 2011-04-28 | Sony Corp | Image processing device, imaging apparatus and imaging processing method, and program |
| US8115820B2 (en) | 2007-11-16 | 2012-02-14 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| KR101257946B1 (en) | 2011-08-08 | 2013-04-23 | 연세대학교 산학협력단 | Device for removing chromatic aberration in image and method thereof |
| JP2014209689A (en) * | 2013-04-16 | 2014-11-06 | リコーイメージング株式会社 | Imaging device and method |
| WO2016169205A1 (en) * | 2015-04-20 | 2016-10-27 | 京东方科技集团股份有限公司 | Display method and display device |
| CN111199524A (en) * | 2019-12-26 | 2020-05-26 | 浙江大学 | Purple edge correction method for image of adjustable aperture optical system |
| CN112887693A (en) * | 2021-01-12 | 2021-06-01 | 浙江大华技术股份有限公司 | Image purple border elimination method, equipment and storage medium |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000032482A (en) * | 1998-07-14 | 2000-01-28 | Canon Inc | Signal processing unit, signal processing method and storage medium thereof |
| JP2000244939A (en) * | 1999-02-19 | 2000-09-08 | Canon Inc | Image processing unit, its method and computer-readable storage medium |
| JP2000261816A (en) * | 1999-03-05 | 2000-09-22 | Sharp Corp | Solid-state image pickup device |
| JP2000354250A (en) * | 1999-06-11 | 2000-12-19 | Ricoh Co Ltd | Image pickup device |
| JP2002095009A (en) * | 2000-09-14 | 2002-03-29 | Olympus Optical Co Ltd | Electronic camera and printer |
| JP2002262299A (en) * | 2001-02-28 | 2002-09-13 | Seiko Epson Corp | False color elimination device, false color elimination program, false color elimination method and digital camera |
| JP2004226272A (en) * | 2003-01-23 | 2004-08-12 | Seiko Epson Corp | Method and apparatus for detecting stain defect |
| JP2004272578A (en) * | 2003-03-07 | 2004-09-30 | Minolta Co Ltd | Image pickup unit and distortion correction method |
| JP2006115039A (en) * | 2004-10-13 | 2006-04-27 | Sony Corp | Image processor, image processing method and computer program |
| JP2006121138A (en) * | 2004-10-19 | 2006-05-11 | Sony Corp | Image processor, image processing method and computer program |
-
2004
- 2004-11-08 JP JP2004323591A patent/JP4539299B2/en not_active Expired - Fee Related
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000032482A (en) * | 1998-07-14 | 2000-01-28 | Canon Inc | Signal processing unit, signal processing method and storage medium thereof |
| JP2000244939A (en) * | 1999-02-19 | 2000-09-08 | Canon Inc | Image processing unit, its method and computer-readable storage medium |
| JP2000261816A (en) * | 1999-03-05 | 2000-09-22 | Sharp Corp | Solid-state image pickup device |
| JP2000354250A (en) * | 1999-06-11 | 2000-12-19 | Ricoh Co Ltd | Image pickup device |
| JP2002095009A (en) * | 2000-09-14 | 2002-03-29 | Olympus Optical Co Ltd | Electronic camera and printer |
| JP2002262299A (en) * | 2001-02-28 | 2002-09-13 | Seiko Epson Corp | False color elimination device, false color elimination program, false color elimination method and digital camera |
| JP2004226272A (en) * | 2003-01-23 | 2004-08-12 | Seiko Epson Corp | Method and apparatus for detecting stain defect |
| JP2004272578A (en) * | 2003-03-07 | 2004-09-30 | Minolta Co Ltd | Image pickup unit and distortion correction method |
| JP2006115039A (en) * | 2004-10-13 | 2006-04-27 | Sony Corp | Image processor, image processing method and computer program |
| JP2006121138A (en) * | 2004-10-19 | 2006-05-11 | Sony Corp | Image processor, image processing method and computer program |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006135745A (en) * | 2004-11-08 | 2006-05-25 | Sony Corp | Image processing apparatus and image processing method, and computer program |
| US8115820B2 (en) | 2007-11-16 | 2012-02-14 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| JP2011086275A (en) * | 2009-09-18 | 2011-04-28 | Sony Corp | Image processing device, imaging apparatus and imaging processing method, and program |
| KR101257946B1 (en) | 2011-08-08 | 2013-04-23 | 연세대학교 산학협력단 | Device for removing chromatic aberration in image and method thereof |
| JP2014209689A (en) * | 2013-04-16 | 2014-11-06 | リコーイメージング株式会社 | Imaging device and method |
| WO2016169205A1 (en) * | 2015-04-20 | 2016-10-27 | 京东方科技集团股份有限公司 | Display method and display device |
| US10192518B2 (en) | 2015-04-20 | 2019-01-29 | Boe Technology Group Co., Ltd. | Display method and display device |
| CN111199524A (en) * | 2019-12-26 | 2020-05-26 | 浙江大学 | Purple edge correction method for image of adjustable aperture optical system |
| CN111199524B (en) * | 2019-12-26 | 2023-03-17 | 浙江大学 | Purple edge correction method for image of adjustable aperture optical system |
| CN112887693A (en) * | 2021-01-12 | 2021-06-01 | 浙江大华技术股份有限公司 | Image purple border elimination method, equipment and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4539299B2 (en) | 2010-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4770154B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP4479457B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP2004088149A (en) | Imaging system and image processing program | |
| JP2009124598A (en) | Image processor, and image processing method | |
| JP2014123809A (en) | Imaging apparatus, imaging system, and imaging apparatus control method | |
| JP2009268033A (en) | Image processing device, imaging device, control method, program, and memory medium | |
| KR20120025414A (en) | Image processing apparatus, image processing method, and recording medium | |
| JP5541205B2 (en) | Image processing apparatus, imaging apparatus, image processing program, and image processing method | |
| JP2015186247A (en) | Image processing system, control method, and program | |
| JP2013038770A (en) | Image processing device and control method for image processing device | |
| JP4539278B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP5430379B2 (en) | Imaging apparatus, control method thereof, and program | |
| JP4539299B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP2009284009A (en) | Image processor, imaging device, and image processing method | |
| JP5291788B2 (en) | Imaging device | |
| EP3474532B1 (en) | Image processing apparatus, image processing method, and program | |
| JP2010178226A (en) | Imaging apparatus, chromatic aberration suppressing method, and chromatic aberration suppressing circuit, and program | |
| JP2009055415A (en) | Camera | |
| JP4960597B2 (en) | White balance correction apparatus and method, and imaging apparatus | |
| JP2009022044A (en) | Image processing apparatus and image processing program | |
| JP2009065691A (en) | Image processing apparatus, recording medium and image processing program | |
| JP4021306B2 (en) | False color reduction device | |
| JP2017183813A (en) | Image processing device, image processing method, and program | |
| JP2008079301A (en) | Image capture device | |
| JP2015076685A (en) | Image processing device, photographing device, photographing system, image processing method, image processing program and memorizing medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071029 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100216 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100414 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100601 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100614 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130702 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |