JP2013179400A - Image processing apparatus and image processing program - Google Patents
Image processing apparatus and image processing program Download PDFInfo
- Publication number
- JP2013179400A JP2013179400A JP2012041153A JP2012041153A JP2013179400A JP 2013179400 A JP2013179400 A JP 2013179400A JP 2012041153 A JP2012041153 A JP 2012041153A JP 2012041153 A JP2012041153 A JP 2012041153A JP 2013179400 A JP2013179400 A JP 2013179400A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- color
- unit
- image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
Description
本発明は、画像処理装置および画像処理プログラムに関する。 The present invention relates to an image processing apparatus and an image processing program.
デジタルカメラなどに備えられた撮像素子は、入射した光を電気信号に変換することにより、被写体の像を電気信号によって表した画像データを生成する。画像データでは、撮像素子の各画素の色は、例えば光の三原色に対応するRGB成分の階調値で表される。撮像素子は、適正露光で被写体を撮影したときに、被写体の色を忠実に再現するような画像データを出力するように調整されている。 An image sensor provided in a digital camera or the like generates image data representing an image of a subject by an electrical signal by converting incident light into an electrical signal. In the image data, the color of each pixel of the image sensor is represented by, for example, gradation values of RGB components corresponding to the three primary colors of light. The image sensor is adjusted to output image data that faithfully reproduces the color of the subject when the subject is photographed with appropriate exposure.
このような撮像素子に強い光が入射した場合には、RGB成分のいずれかが飽和してしまい、画像データによって表される色が、被写体の色からずれる現象が起きる場合がある。デジタルカメラを用いて、明るく照明された人物を撮影した場合に、人物の肌色が本来の色からずれた色になってしまう現象が、その一例である。以下、このような現象を色回りあるいは色相回りと称する。 When strong light is incident on such an image sensor, one of the RGB components is saturated, and the color represented by the image data may deviate from the color of the subject. One example is a phenomenon in which a person's skin color is shifted from the original color when a brightly illuminated person is photographed using a digital camera. Hereinafter, such a phenomenon is referred to as color rotation or hue rotation.
撮影された画像に含まれる人物の肌色について、色回りを修正する技術が提案されている(特許文献1参照)。提案技術では、肌色の部分の画像信号データをYCbCr空間の座標に変換する際の係数を調整する。これにより、明るく照明された被写体の肌の色が肌色から逸脱することを防いでいる。 There has been proposed a technique for correcting the color circumference of a human skin color included in a photographed image (see Patent Document 1). In the proposed technique, the coefficient for converting the image signal data of the skin color portion into the coordinates of the YCbCr space is adjusted. This prevents the skin color of the brightly illuminated subject from deviating from the skin color.
ところで、色回りは、人物の肌色に限らず、様々な色の被写体像において現れる。例えば、夕陽を撮影した場合に、撮像素子から得られる画像信号のR成分が飽和してしまって、G成分やB成分とのバランスが崩れる場合がある。この場合の色回りは、夕陽の部分に橙色を帯びさせたり、逆に、ピンク色がからせたりする。 By the way, the color circumference appears not only in the skin color of a person but also in subject images of various colors. For example, when the sunset is photographed, the R component of the image signal obtained from the image sensor may be saturated and the balance with the G component and the B component may be lost. In this case, the color around the orange part of the sunset, or conversely pink.
請求項1に記載の画像処理装置は、画像に含まれる各画素の色を複数の色成分の強さを示す階調値を用いて表した画素データを含む画像データの入力を受け、画像データの中から色成分を表す階調値のいずれかが飽和レベルとなっている画素を検出する飽和検出部と、検出された画素に対応する各色成分の階調値を、飽和レベルとなっている色成分の種類に応じて補正する補正部とを備える。
The image processing apparatus according to
請求項5に記載の画像処理プログラムは、画像に含まれる各画素の色を複数の色成分の強さを示す階調値を用いて表した画素データを含む画像データの入力を受け、画像データの中から色成分を表す階調値のいずれかが飽和レベルとなっている画素を検出する飽和検出手順と、検出された画素に対応する各色成分の階調値を、飽和レベルとなっている色成分の種類に応じて補正する補正手順とをコンピュータに実行させる。 The image processing program according to claim 5 receives input of image data including pixel data representing the color of each pixel included in the image using gradation values indicating the strength of a plurality of color components, and receives image data A saturation detection procedure for detecting a pixel in which one of the gradation values representing a color component is at a saturation level, and the gradation value of each color component corresponding to the detected pixel is at a saturation level The computer executes a correction procedure for correcting according to the type of color component.
本発明によれば、色回りを抑制した画像を得ることができる。 According to the present invention, an image in which color rotation is suppressed can be obtained.
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
(実施形態1)
図1に、画像処理装置の一実施形態を示す。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(Embodiment 1)
FIG. 1 shows an embodiment of an image processing apparatus.
本実施形態では、画像処理装置20としてデジタルカメラを例に挙げて説明する。図1に示した例では、画像処理装置20は、ホワイトバランス(WB)補正部16と圧縮処理部17との間に配置されている。
In the present embodiment, a digital camera will be described as an example of the image processing apparatus 20. In the example illustrated in FIG. 1, the image processing apparatus 20 is disposed between the white balance (WB)
デジタルカメラの撮影光学系11によって、被写体像が撮像素子12の光電変換面上に結像される。撮像素子12の出力信号は、信号処理部13によって撮影感度に対応するゲイン調整などを施された上でデジタルデータに変換される。撮像素子12の各画素には、例えば、Bayer配列に従ってカラーフィルタが配置されている。この場合に、信号処理部13によって、撮像素子12の各画素に対応する出力信号から、各画素に配置されたカラーフィルタに対応する色成分の強度を示すデジタルデータが得られる。
A subject image is formed on the photoelectric conversion surface of the image sensor 12 by the photographing
補間処理部14は、信号処理部13から出力される画像データに基づいて、各画素について例えば光の三原色に相当するRGB成分の階調値が揃った画素データを生成する。このような画素データを含む画像データが、ホワイトバランス補正部16を介して画像処理装置20に入力される。ホワイトバランス補正部16は、撮影制御部15からの指示で指定されたパラメータを用いて、ホワイトバランス補正処理を行う。撮影制御部15は、利用者が操作パネル(図示せず)を介して入力した操作入力を受け取り、この操作入力で指定された設定情報に基づいて、各部にそれぞれの動作を制御するための指示を送る。
Based on the image data output from the
画像処理装置20による画像処理が施された画像データは、圧縮処理部17による圧縮処理を経て、記録インタフェース(I/F)部18に送られ、メモリカード19などの記憶媒体に記録される。圧縮処理部17では、上述したようなRGB空間で色を表す画像データを、輝度と色度とを用いてYCbCr空間で色を表す画像データに変換する処理や、この変換後の画像データをJPEGなどに基づいて圧縮する処理などが行われる。
The image data that has been subjected to image processing by the image processing device 20 undergoes compression processing by the
図1に示した画像処理装置20は、画素検出部21と補正部22とを備えている。画素検出部21は、ホワイトバランス補正後の画像データから、RGB成分の少なくとの一つの値が飽和している画素を検出する。補正部22は、画素検出部21で検出された画素の画素データを対象として補正処理を行う。補正部22は、補正対象の画素データに含まれるRGB成分の階調値を、飽和している色成分の種類に対応する方針に従って補正する。
The image processing apparatus 20 illustrated in FIG. 1 includes a
図2に、画像処理装置の動作を表す流れ図を示す。 FIG. 2 is a flowchart showing the operation of the image processing apparatus.
画素検出部21は、例えば、WB補正部16からホワイトバランス補正済みの各画素の画素データを順次に読み込む(ステップS1)。次いで、画素検出部21は、読み込んだ画素データに含まれるRGB各成分の中に、階調値が飽和レベルである飽和成分があるか否かを判定する(ステップS2)。このとき、画素検出部21は、例えば、RGB各成分の階調値の少なくともひとつが飽和レベルを示す値に等しい場合に、ステップS2の肯定判定とする。この場合に、ステップS1で読み込んだ画素が、補正対象の画素として検出され、補正部22による補正処理に供される。なお、画素検出部21は、全ての色成分の階調値が飽和レベルに等しい画素を検出した場合に、この画素を補正対象からはずすこともできる。
For example, the
補正部22は、画素検出部21から受け取った画素データに含まれている飽和していない色成分の階調値に、飽和している色成分に対応して予め決定しておいたゲインを乗じることにより、飽和していない色成分の階調値を補正する(ステップS3)。例えば、画素検出部21により、R成分が飽和した画素が検出された場合に、補正部22は、G成分およびB成分の階調値に、R成分が飽和した場合用に予め決定しておいたゲインをそれぞれ乗じて、G成分およびB成分の階調値の補正値を算出することができる。
The
このようにして補正された画素データおよびステップS2の否定判定となって補正対象からはずされた画素の画素データは、圧縮処理部17に渡される(ステップS4)。その後、画素検出部21は、1フレームの画像データに含まれる全ての画素データを読み込んだか否かを判定する(ステップS5)。このステップS5の否定判定の場合に、画素検出部21は、ステップS1に戻って次の画素データを読み込む。一方、全ての画素データの読み込みが完了したと判断された場合に(ステップS5の肯定判定)、画像処理装置20の処理は終了する。
The pixel data corrected in this way and the pixel data of the pixel that has been excluded from the correction target in the negative determination in step S2 are passed to the compression processing unit 17 (step S4). Thereafter, the
上述した画像処理装置20では、例えば、R成分が飽和した画素データについて、G成分に数値「1」より小さいゲインを適用し、逆に、B成分に数値「1」より大きいゲインを適用して、画素データを補正する。この補正処理により、R成分が飽和した画素データにおいて、G成分が抑制される一方B成分は増強される。 In the image processing device 20 described above, for example, for pixel data in which the R component is saturated, a gain smaller than the numerical value “1” is applied to the G component, and conversely, a gain larger than the numerical value “1” is applied to the B component. The pixel data is corrected. By this correction processing, in the pixel data in which the R component is saturated, the G component is suppressed while the B component is enhanced.
例えば、夕陽を撮影した場合に、夕陽の赤色がR成分の飽和によって黄色味を帯びてしまっている画素について、上述したような補正を適用することにより、補正後の画素データによって表される色を赤色に近づけることができる。 For example, when the sunset is photographed, the color represented by the corrected pixel data is applied to the pixel in which the red color of the sunset is yellowish due to the saturation of the R component. Can be close to red.
また、上述した例とは逆に、R成分が飽和した画素データについて、G成分に数値「1」より大きいゲインを適用し、逆に、B成分に数値「1」より小さいゲインを適用して、G成分を増強する一方B成分を抑制する補正を行うこともできる。このような補正は、夕陽の赤色がR成分の飽和によって、赤色がマゼンダに向かう方向に色回りが発生している場合について、この色回りを抑制する効果がある。 Contrary to the above-described example, for pixel data in which the R component is saturated, a gain larger than the numerical value “1” is applied to the G component, and conversely, a gain smaller than the numerical value “1” is applied to the B component. Further, it is possible to perform correction for enhancing the G component while suppressing the B component. Such correction has an effect of suppressing the color rotation in the case where the red color of the sunset is saturated with the R component and the color rotation occurs in the direction of the red color toward magenta.
画素データに含まれるR成分の階調値が飽和している場合に、画像処理装置20に備えた補正部22により、上述した方針のどちらに従ってG,B成分の階調値を調整するかは、予め決定しておくことができる。例えば、撮像素子12の分光特性や補間処理部14およびWB補正部16による処理の特性などを考慮して、適用すべき方針を決定しておくことができる。また、カラーチャートなどを撮影した際に得られる画像データを分析して、発生する可能性のある色回りの傾向を判断し、これを抑制するような方針を決定することもできる。同様にして、G成分やB成分が飽和した場合や二つの色成分が同時に飽和している場合についても、それぞれ適切な補正方針を決定しておくことができる。
When the gradation value of the R component included in the pixel data is saturated, which of the above-mentioned policies is used to adjust the gradation value of the G and B components by the
なお、画素検出部21および補正部22の機能は、それぞれの処理を実現するための手順を記述したプログラムを、デジタルカメラやパーソナルコンピュータ等に備えられたCPUに実行させることによって実現することもできる。
The functions of the
また、補正部22において階調値の補正に用いるゲインを、補正される階調値の値や、補正対象の画素の色に応じて、さらに細かく調整することもできる。
(実施形態2)
図3に、画像処理装置の別実施形態を示す。なお、図3に示した構成要素のうち、図1に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
Further, the gain used for correcting the gradation value in the
(Embodiment 2)
FIG. 3 shows another embodiment of the image processing apparatus. 3 that are equivalent to the components shown in FIG. 1 are denoted by the same reference numerals and description thereof is omitted.
画像メモリ23は、WB補正部16から出力されるホワイトバランス補正済みの画像データを保持する。画素検出部21は、画像メモリ23から各画素データを順次に読み込んで、飽和した色成分を含む画素データを検出する。この検出結果は、補正部22に備えられる色相推定部24と階調増幅部25に渡される。
The
色相推定部24は、例えば、画素検出部21で検出された補正対象の画素の近傍の画素に対応して画像メモリ23に保持された画素データに基づいて、補正対象の画素の色相を推定する。色相推定部24は、例えば、画像メモリ23において、補正対象の画素の近傍にあって、かつ、全ての色成分の階調値が飽和していない画素を探索し、見つけた画素の画素データに対応する色相値を、補正対象の画素の色相値とすることができる。また、補正対象の画素の画素データから算出した色相値と、上述したような近傍の画素の画素データから求めた色相値の両方を考慮して、補正対象の画素の色相を推定することもできる。
For example, the
階調増幅部25は、色相推定部24によって推定された色相に応じて、飽和していない色成分の階調値に適用するゲインを取得するために参照するルックアップテーブル(LUT)26を切り替える。ルックアップテーブル26には、例えば、所定の範囲の色相値ごとに、階調増幅部25によって増幅される各成分の階調値に対応するゲインを格納しておくことができる。
The
図4に、増幅対象の階調値とゲインとの関係を説明する図を示す。図4(a),(b)は、R成分が飽和している場合に、G成分およびB成分の階調値の増幅に適用するゲインの値の一例を各成分の階調値に対応して示している。このようなゲインは、R成分の強度が大きい色相の範囲に含まれるいずれかの色相に対応するLUT26に格納される。図4(c),(d)は、G成分が飽和している場合に、R成分およびB成分の階調値の増幅に適用するゲインの値の一例を各成分の階調値に対応して示している。このようなゲインは、G成分の強度が大きい色相の範囲に含まれるいずれかの色相に対応するLUT26に格納される。図4(e),(f)は、B成分が飽和している場合に、R成分およびG成分の階調値の増幅に適用するゲインの値の一例を各成分の階調値に対応して示している。このようなゲインは、B成分の強度が大きい色相の範囲に含まれるいずれかの色相に対応するLUT26に格納される。
FIG. 4 is a diagram for explaining the relationship between the gradation value to be amplified and the gain. 4A and 4B show examples of gain values applied to the amplification of the gradation values of the G component and the B component when the R component is saturated, corresponding to the gradation values of the respective components. It shows. Such a gain is stored in the
いずれのLUT26でも、各色成分の階調値が飽和レベルに近づくにつれて、数値「1」に近づくようなゲインが格納されている。なお、各色相に対応するLUT26に格納するゲインの値は、例えば、カラーチャートなどを撮影した際に得られる画像データに基づいて、色相値ごとに発生する色回りの傾向を分析し、それぞれの色回りを抑制するように決定しておくことができる。また、各色相値に対応するLUT26は、その色相を呈する画像データでは飽和しない二つの色成分に対応するゲインを、例えば、アドレスの最上位によって切り替えて読み出すように格納することができる。つまり、R成分が飽和する傾向がある赤系の色相値に対応するLUT26には、G成分とB成分とに対応するゲインが、アドレスの最上位によって分けられた二つの格納領域にそれぞれ格納される。
In any of the
図3に示した階調増幅部25は、補正対象の画素の色相に対応するLUT26から読み出したゲインを適用して、補正対象の画素データに含まれる飽和していない色成分の階調値を増幅する。このように、階調増幅部25が参照するLUT26を切り替えることにより、階調増幅部25が飽和していない色成分の階調値の増幅に用いるゲインを補正対象の画素の色相に対応して調整することができる。つまり、階調増幅部25が、色相推定部24による推定結果に応じて参照するLUT26を切り替える仕組みは、補正対象の画素の色相に応じてゲインを調整するゲイン調整部に相当する。
The
なお、色相ごとにLUT26を設ける代わりに、各色成分について、その色成分が飽和する代表的な色相値に対応するLUTと、この代表的な色相値と補正対象の画素の色相値との違いを反映するための係数とによってゲインの調整を行うこともできる。
Instead of providing the
このようにして調整されたゲインが、階調増幅部25による増幅処理に適用される。そして、この増幅処理によって補正された階調値によって、画像メモリ23の補正対象の画素データの対応する色成分の階調値を書き換えられる。このようにして、画像メモリ23に保持された画像データに補正部22による補正処理結果が反映される。そして、この補正部22による補正処理の完了後に、画像メモリ23に格納された画像データは、圧縮処理部17による圧縮処理に供される。
The gain adjusted in this way is applied to the amplification processing by the
図5に、画像処理装置の動作を表す流れ図を示す。なお、図5に示したステップのうち、図2に示したステップと同等のものについては、同一の符号を付して示し、その説明は省略する。 FIG. 5 is a flowchart showing the operation of the image processing apparatus. Of the steps shown in FIG. 5, the same steps as those shown in FIG. 2 are denoted by the same reference numerals and description thereof is omitted.
図5に示したステップS11では、画素検出部21によって検出された補正対象の画素について、色相推定部24が、色相を推定する処理を行う。色相推定部24は、補正対象の画素の色を推定するために、例えば、以下のような処理を行う。色相推定部24は、まず、画像メモリ23を参照して、補正対象の画素の近傍にあって、かつ、いずれの色成分も飽和していない画素を見つける。次に、色相推定部24は、この画素の画素データのRGB成分をYCbCr成分に変換する。色相推定部24は、この変換によって得られた色度成分Cb,Crに対応する色相値を求め、この色相値を補正対象の画素の本来の色を示す色相値として階調増幅部25に渡す。
In step S <b> 11 illustrated in FIG. 5, the
階調増幅部25は、色相推定部24から受け取った色相値に対応するLUT26を参照して、画素検出部21から受け取った補正対象の画素データの飽和していない色成分の階調値に対応するゲインを読み出す(ステップS12)。階調増幅部25は、例えば、LUT26の各色成分に対応する領域に格納されたゲインを、それぞれの色成分の階調値をアドレス入力として読み出すことができる。
The
次に、階調増幅部25は、補正対象の画素データの飽和していない色成分の階調値にLUT26から読み出したゲインを乗算して、補正対象の画素データを補正する(ステップS13)。このようにして補正された画素データは、階調増幅部25により、補正対象の画素に対応して画像メモリ23に格納され、これにより、補正部22による補正処理が画像メモリ23に反映される(ステップS14)。
Next, the
ステップS1,S2およびステップS11〜S14の処理は、ステップS5において全ての画素の読み込みが完了したと判定されるまで繰り返される。そして、画像メモリ23に格納された画像データの全ての画素についての処理が完了したときに(ステップS5の肯定判定)、画像メモリ23に格納された補正済みの画像データが、圧縮処理部17の処理に供され(ステップS15)、画像処理装置20の処理が終了する。
Steps S1 and S2 and steps S11 to S14 are repeated until it is determined in step S5 that all pixels have been read. When the processing for all the pixels of the image data stored in the
上述したように構成された画像処理装置20では、補正対象画素の色相や補正される色成分の階調値の大きさに応じて補正処理に用いるゲインを調整することが可能である。これにより、例えば、明るい赤色の部分の色回りと明るい橙色の部分の色回りとに、それぞれ異なるゲインを使ってG成分およびB成分の階調値を補正することができる。したがって、撮影された画像の様々な色の部分について、色回りをより高い精度で抑制することができる。 In the image processing apparatus 20 configured as described above, it is possible to adjust the gain used for the correction processing in accordance with the hue of the correction target pixel and the gradation value of the color component to be corrected. Thus, for example, the gradation values of the G component and the B component can be corrected using different gains for the bright red portion and the bright orange portion, respectively. Therefore, it is possible to suppress the color rotation with higher accuracy in various color portions of the photographed image.
このように、デジタルカメラに色回りを補正する画像処理装置を搭載すれば、色回りが抑制された画像をメモリカードに圧縮記録することができる。 As described above, if an image processing device that corrects color rotation is mounted on a digital camera, an image in which color rotation is suppressed can be compressed and recorded on a memory card.
一方、既にメモリカードなどの記憶媒体に圧縮記録されている画像データについて、色回りを補正する画像処理を適用することもできる。次に、メモリカードに記録されたJPEG形式の画像データをパーソナルコンピュータに読み込んで、色回り補正処理を行う画像処理装置について説明する。
(実施形態3)
図6に、画像処理装置の別実施形態を示す。なお、図6に示した構成要素のうち、図1、図3に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
On the other hand, it is also possible to apply image processing that corrects the color rotation for image data that has already been compressed and recorded in a storage medium such as a memory card. Next, an image processing apparatus that reads JPEG format image data recorded on a memory card into a personal computer and performs color rotation correction processing will be described.
(Embodiment 3)
FIG. 6 shows another embodiment of the image processing apparatus. 6 that are the same as those shown in FIGS. 1 and 3 are denoted by the same reference numerals, and description thereof is omitted.
パーソナルコンピュータ30に備えられたカードリーダ31は、メモリカード19からJPEG形式などに従って圧縮された圧縮画像データを読み出す。読み出された圧縮画像データから、伸長処理部32による伸長処理によって1フレームの画像データが生成される。この画像データでは、各画素の色が輝度成分Yと色度成分Cb,Crとによって表されている。
A
画像処理装置20に備えられたRGB変換部33は、伸長処理部32から受け取った画像データに含まれる各画素の画素データに含まれるYCbCr成分を、対応するRGB成分に変換する。RGB変換部33によって得られたRGB成分は、画像データの各画素に対応して画像メモリ23を介して、画素検出部21および補正部22の処理に供される。一方、伸長処理部32から渡された画像データは、画像メモリ23とは別の画像メモリ34に保持される。
The
図6に示した画像処理装置20では、補正部22によって補正された色成分を含む画素データは、YCbCr変換部35によって、輝度成分Yと色度成分Cb,Crとに変換される。また、書換処理部36は、この変換処理で得られたYCbCr成分を用いて、画像メモリ34に格納された画像データに含まれる補正対象の画素の色度成分を書き換える処理を行う。
In the image processing apparatus 20 shown in FIG. 6, pixel data including color components corrected by the
図7に、画像処理装置の動作を表す流れ図を示す。なお、図7に示したステップのうち、図2あるいは図5に示したステップと同等のものについては、同一の符号を付して示し、その説明は省略する。 FIG. 7 is a flowchart showing the operation of the image processing apparatus. Of the steps shown in FIG. 7, the same steps as those shown in FIG. 2 or FIG. 5 are denoted by the same reference numerals, and the description thereof is omitted.
画像処理装置20に入力された画像データは、RGB変換部33によって各画素の色をRGB成分の階調値で表すRGB画像に変換され、変換後のRGB画像が画像メモリ23に格納される(ステップS21)。次に、画素検出部21は、画像メモリ23に格納されたRGB画像の画素に対応する画素データを順次に読み込み(ステップS22)、ステップS2と同様にして、飽和成分を含んでいるか否かを判定する。
The image data input to the image processing device 20 is converted into an RGB image in which the color of each pixel is expressed by the RGB component gradation values by the
画素検出部21によって検出された補正対象の画素について、補正部22により、ステップS11〜ステップS13と同様にして補正処理が行われる。そして、補正部22によって得られた補正結果のRGB成分は、YCbCr変換部35により、輝度成分Yと色度成分Cb,Crに変換される(ステップS23)。
Correction processing is performed on the correction target pixel detected by the
書換処理部36は、画像メモリ34に格納された画像データに含まれる補正対象の画素の色度成分を、ステップS23で得られた色度成分Cb,Crを用いて更新する(ステップS24)。書換処理部36は、例えば、画素検出部21から補正対象の画素のアドレスを受け取り、このアドレスに格納されている補正前の色度成分を、YCbCr変換部35から受け取った色度成分Cb,Crを用いて書き換える。
The
上述した処理が、画像メモリ23に格納された全ての画素について完了したときに(ステップS5の肯定判定)、画像処理装置20の処理は終了し、画像メモリ34に格納されたYCbCr画像が後段の画像処理に供される。
When the above-described processing is completed for all the pixels stored in the image memory 23 (Yes determination in step S5), the processing of the image processing device 20 ends, and the YCbCr image stored in the
この場合は、補正部22によって色成分の補正が行われた画素についても、補正前の画像データにおける輝度成分の値が保存される。したがって、補正前の画像における明るさのグラデーションを維持しつつ、画像処理装置20による色回り補正処理を適用することができる。上述した構成では、色回り補正前のYCbCr成分で表された画像データを保持しておき、補正対象の画素について、補正後の画素データに対応する色度成分Cb,Crを用いて補正前の画像データの更新を行っている。このような処理は、補正後の画素データに対応する輝度成分のみを補正前の輝度成分によって置き換える輝度置換部の処理に相当する。
In this case, the value of the luminance component in the image data before correction is also stored for the pixel whose color component has been corrected by the
なお、画像処理装置20に備えられる各部の機能を実現するための手順を記述したプログラムをCDなどの記憶媒体に記録し、このようの記憶媒体をパーソナルコンピュータに読み込んで実行させることによって実現することもできる。 It is realized by recording a program describing a procedure for realizing the function of each unit provided in the image processing apparatus 20 on a storage medium such as a CD, and reading and executing such a storage medium on a personal computer. You can also.
また、更に、パーソナルコンピュータ30に備えられたネットワークインタフェース(I/F)37を利用して、補正部22にも受けられるLUT26に補正対象の画像の撮影に用いられたデジタルカメラに適合するゲインデータを格納することもできる。
In addition, gain data suitable for the digital camera used to capture the image to be corrected in the
例えば、画像処理装置20に備えたダウンロード(DL)処理部38により、ネットワークI/F37を介してデジタルカメラのメーカーのWebサイトなどから所望の機種に適合するゲインデータをLUT26にダウンロードすることができる。同様にして、色回り補正を行う画像処理装置を実現するプログラムを、ネットワークを介して提供することも可能である。
For example, the download (DL) processing unit 38 provided in the image processing apparatus 20 can download gain data suitable for a desired model to the
ところで、近年では、メモリカードの大容量化に伴って、補間処理や圧縮処理が為されていないRAW画像をメモリカードに記録する場合もある。RAW画像データに含まれる各画素の画素データは、撮影に用いられた撮像素子の各画素に配置されたカラーフィルタに対応する色成分の階調値を示している。以下では、メモリカードに記録されたRAW画像について色回り補正を行う画像処理装置について説明する。
(実施形態4)
図8に、画像処理装置の別実施形態を示す。なお、図8に示した構成要素のうち、図1、図3、図6に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
Incidentally, in recent years, as the capacity of a memory card is increased, a RAW image that has not been subjected to interpolation processing or compression processing may be recorded on the memory card. The pixel data of each pixel included in the RAW image data indicates the gradation value of the color component corresponding to the color filter arranged in each pixel of the image sensor used for shooting. Hereinafter, an image processing apparatus that performs color rotation correction on a RAW image recorded on a memory card will be described.
(Embodiment 4)
FIG. 8 shows another embodiment of the image processing apparatus. 8 that are the same as those shown in FIGS. 1, 3, and 6 are denoted by the same reference numerals and description thereof is omitted.
パーソナルコンピュータ30に備えられたカードリーダ31は、メモリカード19からRAW画像データを読み出す。読み出されたRAW画像データは、画像処理装置20に備えられた補間処理部14による補間処理とホワイトバランス(WB)補正部16によるホワイトバランス補正処理を受ける。これらの処理が完了した画像データでは、各画素の色がRGB成分によって表されている。この画像データが、画像メモリ23を介して画素検出部21および補正部22の処理に供される。
A
図8に示した画像処理装置20では、画素検出部21によって補正対象の画素として検出されなかった各画素の画素データは、YCbCr変換部35によって対応する輝度成分Yと色度成分Cb、Crに変換され、後段の画像処理に供される。
In the image processing apparatus 20 illustrated in FIG. 8, pixel data of each pixel that has not been detected as a pixel to be corrected by the
一方、補正対象の画素として検出された各画素の画素データは、補正部22によって補正された後に、YCbCr変換部35によって対応する輝度成分Yと色度成分Cb、Crに変換される。この処理に先立って、YCbCr変換部35は、補正前の画素データに対応する輝度成分を求めておき、輝度成分保持部41に保持する。そして、YCbCr変換部35は、補正部22によって補正された画素データに対応してYCbCr成分を求めたときに、得られた輝度成分を輝度成分保持部41に保持された輝度成分によって置き換える処理を行う。そして、置き換えられた輝度成分を含むYCbCr成分が、補正対象の画素に対応する画素データとして、後段の画像処理に供される。
On the other hand, the pixel data of each pixel detected as a pixel to be corrected is corrected by the
図9に、画像処理装置の動作を表す流れ図を示す。なお、図9に示したステップのうち、図2、図5、図7のいずれかに示したステップと同等のものについては、同一の符号を付して示し、その説明は省略する。 FIG. 9 is a flowchart showing the operation of the image processing apparatus. Note that among the steps shown in FIG. 9, steps equivalent to those shown in any of FIGS. 2, 5, and 7 are denoted by the same reference numerals and description thereof is omitted.
画像処理装置20に入力されたRAW画像データは、補間処理部14およびWB補正部16により、それぞれ補間処理およびホワイトバランス補正処理が行われる(ステップS31)。そして、ホワイトバランス補正処理後のRGB画像が画像メモリ23に格納される。次に、画素検出部21は、画像メモリ23に格納されたRGB画像の画素に対応する画素データを順次に読み込み(ステップS1)、ステップS2と同様にして、飽和成分を含んでいるか否かを判定する。
The raw image data input to the image processing device 20 is subjected to an interpolation process and a white balance correction process by the
画素検出部21によって検出された補正対象の画素について、YCbCr変換部35は、補正部22による補正処理に先立って、この画素に対応する画素データに基づいて、輝度成分を算出して輝度成分保持部41に保持する(ステップS32)。また、画素検出部21で検出された補正対象の画素の画素データは、補正部22に渡され、補正部22により、ステップS11〜ステップS13と同様の補正処理が行われる。
For the correction target pixel detected by the
そして、補正部22によって得られた補正結果のRGB成分は、YCbCr変換部35により、輝度成分Yと色度成分Cb,Crに変換される(ステップS23)。このとき、YCbCr変換部35は、輝度成分保持部41に保持しておいた輝度成分を用いてステップS23で得られた輝度成分Yを置き換える(ステップS33)。このようにして、置き換え後の輝度成分を含むYCbCr形式の画素データは、補正対象の画素に対応する画像処理装置20の出力として後段の画像処理に供される。
The RGB component of the correction result obtained by the
一方、ステップS1で読み込まれた画素データが画素検出部21によって補正対象として検出されなかった場合に(ステップS2の否定判定)、YCbCr変換部35は、その画素データを画素検出部21から受け取ってYCbCr形式の画素データに変換する。このYCbCr形式の画素データは、補正対象でない画素に対応する画像処理装置20の出力として後段の画像処理に供される。
On the other hand, when the pixel data read in step S1 is not detected as a correction target by the pixel detection unit 21 (negative determination in step S2), the
このようにして、メモリカードに記録されたRAW画像について、色回り抑制処理を適用する画像処理装置を実現することができる。 In this way, it is possible to realize an image processing apparatus that applies color rotation suppression processing to a RAW image recorded on a memory card.
10…デジタルカメラ、11…撮影光学系、12…撮像素子、13…信号処理部、14…補間処理部、15…撮影制御部、16…ホワイトバランス(WB)補正部、17…圧縮処理部、18…記録インタフェース(I/F)、19…メモリカード、20…画像処理装置、21…画素検出部、22…補正部、23,34…画像メモリ、24…色相推定部、25…階調増幅部、26…ルックアップテーブル(LUT)、30…パーソナルコンピュータ、31…カードリーダ、32…伸長処理部、33…RGB変換部、35…YCbCr変換部、36…書換処理部、37…ネットワークインタフェース(I/F)、38…ダウンロード(DL)処理部、41…輝度成分保持部。
DESCRIPTION OF SYMBOLS 10 ... Digital camera, 11 ... Imaging optical system, 12 ... Image sensor, 13 ... Signal processing part, 14 ... Interpolation processing part, 15 ... Shooting control part, 16 ... White balance (WB) correction part, 17 ... Compression processing part, DESCRIPTION OF
Claims (5)
前記検出された画素に対応する各色成分の階調値を、飽和レベルとなっている色成分の種類に応じて補正する補正部と
を備えたことを特徴とする画像処理装置。 A tone value representing a color component from the image data when an input of image data including pixel data representing the color of each pixel included in the image using a tone value indicating the strength of a plurality of color components is received A saturation detection unit that detects pixels in which any of the saturation levels is,
An image processing apparatus comprising: a correction unit that corrects a gradation value of each color component corresponding to the detected pixel in accordance with a type of a color component having a saturation level.
前記補正部は、
補正対象の画素に対応する各色成分の階調値のうち飽和レベル以下であるものを、前記階調値および前記階調値に対応する色成分の種類に対応するゲインを適用して増幅する階調増幅部と、
前記補正対象の画素の色相を推定する色相推定部と、
推定された色相に基づいて、前記階調増幅部において適用するゲインを調整するゲイン調整部とを備えた
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The correction unit is
A level that amplifies the gradation value of each color component corresponding to the correction target pixel that is equal to or lower than the saturation level by applying the gradation value and a gain corresponding to the type of the color component corresponding to the gradation value. A modulation amplifier;
A hue estimation unit that estimates the hue of the pixel to be corrected;
An image processing apparatus comprising: a gain adjustment unit that adjusts a gain applied in the gradation amplification unit based on the estimated hue.
前記色相推定部は、前記補正対象の画素の近傍に位置する画素に対応する各色成分の階調値に基づいて、前記補正対象の画素の色相を推定する
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 2,
The image processing apparatus, wherein the hue estimation unit estimates the hue of the pixel to be corrected based on a gradation value of each color component corresponding to a pixel located in the vicinity of the pixel to be corrected.
前記補正部による補正処理が反映された画像データを、前記画素の色を輝度値と色度値とを用いて表す別の色空間に変換する色空間変換部と、
前記補正前の画素データによって表される前記補正対象の画素の輝度値を用いて、前記色空間変換部によって対応する画素について得られた輝度値を置き換える輝度置換部と
を備えたことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
A color space conversion unit that converts the image data in which the correction processing by the correction unit is reflected into another color space that expresses the color of the pixel using a luminance value and a chromaticity value;
A luminance replacement unit that replaces the luminance value obtained for the corresponding pixel by the color space conversion unit using the luminance value of the pixel to be corrected represented by the pixel data before correction; An image processing apparatus.
前記検出された画素に対応する各色成分の階調値を、飽和レベルとなっている色成分の種類に応じて補正する補正手順と
をコンピュータに実行させることを特徴とする画像処理プログラム。
A tone value representing a color component from the image data when an input of image data including pixel data representing the color of each pixel included in the image using a tone value indicating the strength of a plurality of color components is received A saturation detection procedure for detecting pixels in which any of the above is at a saturation level;
An image processing program that causes a computer to execute a correction procedure for correcting the gradation value of each color component corresponding to the detected pixel in accordance with the type of color component that is at a saturation level.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012041153A JP2013179400A (en) | 2012-02-28 | 2012-02-28 | Image processing apparatus and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012041153A JP2013179400A (en) | 2012-02-28 | 2012-02-28 | Image processing apparatus and image processing program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013179400A true JP2013179400A (en) | 2013-09-09 |
Family
ID=49270685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012041153A Pending JP2013179400A (en) | 2012-02-28 | 2012-02-28 | Image processing apparatus and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013179400A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11375167B2 (en) | 2019-01-07 | 2022-06-28 | Sony Olympus Medical Solutions Inc. | Image processing apparatus and observation system |
-
2012
- 2012-02-28 JP JP2012041153A patent/JP2013179400A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11375167B2 (en) | 2019-01-07 | 2022-06-28 | Sony Olympus Medical Solutions Inc. | Image processing apparatus and observation system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101099401B1 (en) | Image processing apparatus and computer-readable medium | |
RU2491760C2 (en) | Image processing device, image processing method and programme | |
JP6415062B2 (en) | Image processing apparatus, image processing method, control program, and recording medium | |
JP4894907B2 (en) | Imaging apparatus, imaging processing method, and program | |
KR101594258B1 (en) | APPARATUS AND METHOD FOR CORRECTING AND CONTROLLING IMAGE of camera using color/light sensor | |
US8564862B2 (en) | Apparatus, method and program for reducing deterioration of processing performance when graduation correction processing and noise reduction processing are performed | |
US7620259B2 (en) | History adding device for generating history-added image file, electronic camera, and image processing program for processing history-added image file | |
JP2013093914A (en) | Image input device | |
JP5112238B2 (en) | Imaging apparatus, setting value changing method, and program | |
WO2006134923A1 (en) | Image processing device, computer program product, and image processing method | |
WO2015119271A1 (en) | Image processing device, imaging device, image processing method, computer-processable non-temporary storage medium | |
JP2007266955A (en) | Imaging apparatus, video signal processing circuit, video signal processing method and computer program | |
US20110181760A1 (en) | Image processing device | |
JP5701640B2 (en) | Image processing device | |
WO2016111020A1 (en) | Image processing device, image capturing device, image processing method, and image processing program | |
JP2014033273A (en) | Color gamut conversion device, digital camera, color gamut conversion program, and color gamut conversion method | |
WO2016171091A1 (en) | Image processing device, imaging device, image processing method, and program | |
JP4797949B2 (en) | Imaging apparatus, image processing apparatus, method, and program | |
JP7311994B2 (en) | IMAGE PROCESSING DEVICE, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM | |
JP2009100302A (en) | Image processing device, image processing method, program, imaging apparatus, and imaging method | |
JP5142833B2 (en) | Image processing apparatus and image processing method | |
JP2006333113A (en) | Imaging device | |
JP2013179400A (en) | Image processing apparatus and image processing program | |
JP4767525B2 (en) | Imaging system and imaging processing program | |
JP2010147800A (en) | Image processing apparatus |