JP2013179400A - Image processing apparatus and image processing program - Google Patents
Image processing apparatus and image processing program Download PDFInfo
- Publication number
- JP2013179400A JP2013179400A JP2012041153A JP2012041153A JP2013179400A JP 2013179400 A JP2013179400 A JP 2013179400A JP 2012041153 A JP2012041153 A JP 2012041153A JP 2012041153 A JP2012041153 A JP 2012041153A JP 2013179400 A JP2013179400 A JP 2013179400A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- color
- unit
- image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
Description
本発明は、画像処理装置および画像処理プログラムに関する。 The present invention relates to an image processing apparatus and an image processing program.
デジタルカメラなどに備えられた撮像素子は、入射した光を電気信号に変換することにより、被写体の像を電気信号によって表した画像データを生成する。画像データでは、撮像素子の各画素の色は、例えば光の三原色に対応するＲＧＢ成分の階調値で表される。撮像素子は、適正露光で被写体を撮影したときに、被写体の色を忠実に再現するような画像データを出力するように調整されている。 An image sensor provided in a digital camera or the like generates image data representing an image of a subject by an electrical signal by converting incident light into an electrical signal. In the image data, the color of each pixel of the image sensor is represented by, for example, gradation values of RGB components corresponding to the three primary colors of light. The image sensor is adjusted to output image data that faithfully reproduces the color of the subject when the subject is photographed with appropriate exposure.
このような撮像素子に強い光が入射した場合には、ＲＧＢ成分のいずれかが飽和してしまい、画像データによって表される色が、被写体の色からずれる現象が起きる場合がある。デジタルカメラを用いて、明るく照明された人物を撮影した場合に、人物の肌色が本来の色からずれた色になってしまう現象が、その一例である。以下、このような現象を色回りあるいは色相回りと称する。 When strong light is incident on such an image sensor, one of the RGB components is saturated, and the color represented by the image data may deviate from the color of the subject. One example is a phenomenon in which a person's skin color is shifted from the original color when a brightly illuminated person is photographed using a digital camera. Hereinafter, such a phenomenon is referred to as color rotation or hue rotation.
撮影された画像に含まれる人物の肌色について、色回りを修正する技術が提案されている(特許文献１参照)。提案技術では、肌色の部分の画像信号データをＹＣｂＣｒ空間の座標に変換する際の係数を調整する。これにより、明るく照明された被写体の肌の色が肌色から逸脱することを防いでいる。 There has been proposed a technique for correcting the color circumference of a human skin color included in a photographed image (see Patent Document 1). In the proposed technique, the coefficient for converting the image signal data of the skin color portion into the coordinates of the YCbCr space is adjusted. This prevents the skin color of the brightly illuminated subject from deviating from the skin color.
ところで、色回りは、人物の肌色に限らず、様々な色の被写体像において現れる。例えば、夕陽を撮影した場合に、撮像素子から得られる画像信号のＲ成分が飽和してしまって、Ｇ成分やＢ成分とのバランスが崩れる場合がある。この場合の色回りは、夕陽の部分に橙色を帯びさせたり、逆に、ピンク色がからせたりする。 By the way, the color circumference appears not only in the skin color of a person but also in subject images of various colors. For example, when the sunset is photographed, the R component of the image signal obtained from the image sensor may be saturated and the balance with the G component and the B component may be lost. In this case, the color around the orange part of the sunset, or conversely pink.
請求項１に記載の画像処理装置は、画像に含まれる各画素の色を複数の色成分の強さを示す階調値を用いて表した画素データを含む画像データの入力を受け、画像データの中から色成分を表す階調値のいずれかが飽和レベルとなっている画素を検出する飽和検出部と、検出された画素に対応する各色成分の階調値を、飽和レベルとなっている色成分の種類に応じて補正する補正部とを備える。
The image processing apparatus according to
請求項５に記載の画像処理プログラムは、画像に含まれる各画素の色を複数の色成分の強さを示す階調値を用いて表した画素データを含む画像データの入力を受け、画像データの中から色成分を表す階調値のいずれかが飽和レベルとなっている画素を検出する飽和検出手順と、検出された画素に対応する各色成分の階調値を、飽和レベルとなっている色成分の種類に応じて補正する補正手順とをコンピュータに実行させる。 The image processing program according to claim 5 receives input of image data including pixel data representing the color of each pixel included in the image using gradation values indicating the strength of a plurality of color components, and receives image data A saturation detection procedure for detecting a pixel in which one of the gradation values representing a color component is at a saturation level, and the gradation value of each color component corresponding to the detected pixel is at a saturation level The computer executes a correction procedure for correcting according to the type of color component.
本発明によれば、色回りを抑制した画像を得ることができる。 According to the present invention, an image in which color rotation is suppressed can be obtained.
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
(実施形態１)
図１に、画像処理装置の一実施形態を示す。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(Embodiment 1)
FIG. 1 shows an embodiment of an image processing apparatus.
本実施形態では、画像処理装置２０としてデジタルカメラを例に挙げて説明する。図１に示した例では、画像処理装置２０は、ホワイトバランス(ＷＢ)補正部１６と圧縮処理部１７との間に配置されている。
In the present embodiment, a digital camera will be described as an example of the image processing apparatus 20. In the example illustrated in FIG. 1, the image processing apparatus 20 is disposed between the white balance (WB)
デジタルカメラの撮影光学系１１によって、被写体像が撮像素子１２の光電変換面上に結像される。撮像素子１２の出力信号は、信号処理部１３によって撮影感度に対応するゲイン調整などを施された上でデジタルデータに変換される。撮像素子１２の各画素には、例えば、Ｂａｙｅｒ配列に従ってカラーフィルタが配置されている。この場合に、信号処理部１３によって、撮像素子１２の各画素に対応する出力信号から、各画素に配置されたカラーフィルタに対応する色成分の強度を示すデジタルデータが得られる。
A subject image is formed on the photoelectric conversion surface of the image sensor 12 by the photographing
補間処理部１４は、信号処理部１３から出力される画像データに基づいて、各画素について例えば光の三原色に相当するＲＧＢ成分の階調値が揃った画素データを生成する。このような画素データを含む画像データが、ホワイトバランス補正部１６を介して画像処理装置２０に入力される。ホワイトバランス補正部１６は、撮影制御部１５からの指示で指定されたパラメータを用いて、ホワイトバランス補正処理を行う。撮影制御部１５は、利用者が操作パネル(図示せず)を介して入力した操作入力を受け取り、この操作入力で指定された設定情報に基づいて、各部にそれぞれの動作を制御するための指示を送る。
Based on the image data output from the
画像処理装置２０による画像処理が施された画像データは、圧縮処理部１７による圧縮処理を経て、記録インタフェース(Ｉ／Ｆ)部１８に送られ、メモリカード１９などの記憶媒体に記録される。圧縮処理部１７では、上述したようなＲＧＢ空間で色を表す画像データを、輝度と色度とを用いてＹＣｂＣｒ空間で色を表す画像データに変換する処理や、この変換後の画像データをＪＰＥＧなどに基づいて圧縮する処理などが行われる。
The image data that has been subjected to image processing by the image processing device 20 undergoes compression processing by the
図１に示した画像処理装置２０は、画素検出部２１と補正部２２とを備えている。画素検出部２１は、ホワイトバランス補正後の画像データから、ＲＧＢ成分の少なくとの一つの値が飽和している画素を検出する。補正部２２は、画素検出部２１で検出された画素の画素データを対象として補正処理を行う。補正部２２は、補正対象の画素データに含まれるＲＧＢ成分の階調値を、飽和している色成分の種類に対応する方針に従って補正する。
The image processing apparatus 20 illustrated in FIG. 1 includes a
図２に、画像処理装置の動作を表す流れ図を示す。 FIG. 2 is a flowchart showing the operation of the image processing apparatus.
画素検出部２１は、例えば、ＷＢ補正部１６からホワイトバランス補正済みの各画素の画素データを順次に読み込む(ステップＳ１)。次いで、画素検出部２１は、読み込んだ画素データに含まれるＲＧＢ各成分の中に、階調値が飽和レベルである飽和成分があるか否かを判定する(ステップＳ２)。このとき、画素検出部２１は、例えば、ＲＧＢ各成分の階調値の少なくともひとつが飽和レベルを示す値に等しい場合に、ステップＳ２の肯定判定とする。この場合に、ステップＳ１で読み込んだ画素が、補正対象の画素として検出され、補正部２２による補正処理に供される。なお、画素検出部２１は、全ての色成分の階調値が飽和レベルに等しい画素を検出した場合に、この画素を補正対象からはずすこともできる。
For example, the
補正部２２は、画素検出部２１から受け取った画素データに含まれている飽和していない色成分の階調値に、飽和している色成分に対応して予め決定しておいたゲインを乗じることにより、飽和していない色成分の階調値を補正する(ステップＳ３)。例えば、画素検出部２１により、Ｒ成分が飽和した画素が検出された場合に、補正部２２は、Ｇ成分およびＢ成分の階調値に、Ｒ成分が飽和した場合用に予め決定しておいたゲインをそれぞれ乗じて、Ｇ成分およびＢ成分の階調値の補正値を算出することができる。
The
このようにして補正された画素データおよびステップＳ２の否定判定となって補正対象からはずされた画素の画素データは、圧縮処理部１７に渡される(ステップＳ４)。その後、画素検出部２１は、１フレームの画像データに含まれる全ての画素データを読み込んだか否かを判定する(ステップＳ５)。このステップＳ５の否定判定の場合に、画素検出部２１は、ステップＳ１に戻って次の画素データを読み込む。一方、全ての画素データの読み込みが完了したと判断された場合に(ステップＳ５の肯定判定)、画像処理装置２０の処理は終了する。
The pixel data corrected in this way and the pixel data of the pixel that has been excluded from the correction target in the negative determination in step S2 are passed to the compression processing unit 17 (step S4). Thereafter, the
上述した画像処理装置２０では、例えば、Ｒ成分が飽和した画素データについて、Ｇ成分に数値「１」より小さいゲインを適用し、逆に、Ｂ成分に数値「１」より大きいゲインを適用して、画素データを補正する。この補正処理により、Ｒ成分が飽和した画素データにおいて、Ｇ成分が抑制される一方Ｂ成分は増強される。 In the image processing device 20 described above, for example, for pixel data in which the R component is saturated, a gain smaller than the numerical value “1” is applied to the G component, and conversely, a gain larger than the numerical value “1” is applied to the B component. The pixel data is corrected. By this correction processing, in the pixel data in which the R component is saturated, the G component is suppressed while the B component is enhanced.
例えば、夕陽を撮影した場合に、夕陽の赤色がＲ成分の飽和によって黄色味を帯びてしまっている画素について、上述したような補正を適用することにより、補正後の画素データによって表される色を赤色に近づけることができる。 For example, when the sunset is photographed, the color represented by the corrected pixel data is applied to the pixel in which the red color of the sunset is yellowish due to the saturation of the R component. Can be close to red.
また、上述した例とは逆に、Ｒ成分が飽和した画素データについて、Ｇ成分に数値「１」より大きいゲインを適用し、逆に、Ｂ成分に数値「１」より小さいゲインを適用して、Ｇ成分を増強する一方Ｂ成分を抑制する補正を行うこともできる。このような補正は、夕陽の赤色がＲ成分の飽和によって、赤色がマゼンダに向かう方向に色回りが発生している場合について、この色回りを抑制する効果がある。 Contrary to the above-described example, for pixel data in which the R component is saturated, a gain larger than the numerical value “1” is applied to the G component, and conversely, a gain smaller than the numerical value “1” is applied to the B component. Further, it is possible to perform correction for enhancing the G component while suppressing the B component. Such correction has an effect of suppressing the color rotation in the case where the red color of the sunset is saturated with the R component and the color rotation occurs in the direction of the red color toward magenta.
画素データに含まれるＲ成分の階調値が飽和している場合に、画像処理装置２０に備えた補正部２２により、上述した方針のどちらに従ってＧ，Ｂ成分の階調値を調整するかは、予め決定しておくことができる。例えば、撮像素子１２の分光特性や補間処理部１４およびＷＢ補正部１６による処理の特性などを考慮して、適用すべき方針を決定しておくことができる。また、カラーチャートなどを撮影した際に得られる画像データを分析して、発生する可能性のある色回りの傾向を判断し、これを抑制するような方針を決定することもできる。同様にして、Ｇ成分やＢ成分が飽和した場合や二つの色成分が同時に飽和している場合についても、それぞれ適切な補正方針を決定しておくことができる。
When the gradation value of the R component included in the pixel data is saturated, which of the above-mentioned policies is used to adjust the gradation value of the G and B components by the
なお、画素検出部２１および補正部２２の機能は、それぞれの処理を実現するための手順を記述したプログラムを、デジタルカメラやパーソナルコンピュータ等に備えられたＣＰＵに実行させることによって実現することもできる。
The functions of the
また、補正部２２において階調値の補正に用いるゲインを、補正される階調値の値や、補正対象の画素の色に応じて、さらに細かく調整することもできる。
(実施形態２)
図３に、画像処理装置の別実施形態を示す。なお、図３に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
Further, the gain used for correcting the gradation value in the
(Embodiment 2)
FIG. 3 shows another embodiment of the image processing apparatus. 3 that are equivalent to the components shown in FIG. 1 are denoted by the same reference numerals and description thereof is omitted.
画像メモリ２３は、ＷＢ補正部１６から出力されるホワイトバランス補正済みの画像データを保持する。画素検出部２１は、画像メモリ２３から各画素データを順次に読み込んで、飽和した色成分を含む画素データを検出する。この検出結果は、補正部２２に備えられる色相推定部２４と階調増幅部２５に渡される。
The
色相推定部２４は、例えば、画素検出部２１で検出された補正対象の画素の近傍の画素に対応して画像メモリ２３に保持された画素データに基づいて、補正対象の画素の色相を推定する。色相推定部２４は、例えば、画像メモリ２３において、補正対象の画素の近傍にあって、かつ、全ての色成分の階調値が飽和していない画素を探索し、見つけた画素の画素データに対応する色相値を、補正対象の画素の色相値とすることができる。また、補正対象の画素の画素データから算出した色相値と、上述したような近傍の画素の画素データから求めた色相値の両方を考慮して、補正対象の画素の色相を推定することもできる。
For example, the
階調増幅部２５は、色相推定部２４によって推定された色相に応じて、飽和していない色成分の階調値に適用するゲインを取得するために参照するルックアップテーブル(ＬＵＴ)２６を切り替える。ルックアップテーブル２６には、例えば、所定の範囲の色相値ごとに、階調増幅部２５によって増幅される各成分の階調値に対応するゲインを格納しておくことができる。
The
図４に、増幅対象の階調値とゲインとの関係を説明する図を示す。図４(ａ)，(ｂ)は、Ｒ成分が飽和している場合に、Ｇ成分およびＢ成分の階調値の増幅に適用するゲインの値の一例を各成分の階調値に対応して示している。このようなゲインは、Ｒ成分の強度が大きい色相の範囲に含まれるいずれかの色相に対応するＬＵＴ２６に格納される。図４(ｃ)，(ｄ)は、Ｇ成分が飽和している場合に、Ｒ成分およびＢ成分の階調値の増幅に適用するゲインの値の一例を各成分の階調値に対応して示している。このようなゲインは、Ｇ成分の強度が大きい色相の範囲に含まれるいずれかの色相に対応するＬＵＴ２６に格納される。図４(ｅ)，(ｆ)は、Ｂ成分が飽和している場合に、Ｒ成分およびＧ成分の階調値の増幅に適用するゲインの値の一例を各成分の階調値に対応して示している。このようなゲインは、Ｂ成分の強度が大きい色相の範囲に含まれるいずれかの色相に対応するＬＵＴ２６に格納される。
FIG. 4 is a diagram for explaining the relationship between the gradation value to be amplified and the gain. 4A and 4B show examples of gain values applied to the amplification of the gradation values of the G component and the B component when the R component is saturated, corresponding to the gradation values of the respective components. It shows. Such a gain is stored in the
いずれのＬＵＴ２６でも、各色成分の階調値が飽和レベルに近づくにつれて、数値「１」に近づくようなゲインが格納されている。なお、各色相に対応するＬＵＴ２６に格納するゲインの値は、例えば、カラーチャートなどを撮影した際に得られる画像データに基づいて、色相値ごとに発生する色回りの傾向を分析し、それぞれの色回りを抑制するように決定しておくことができる。また、各色相値に対応するＬＵＴ２６は、その色相を呈する画像データでは飽和しない二つの色成分に対応するゲインを、例えば、アドレスの最上位によって切り替えて読み出すように格納することができる。つまり、Ｒ成分が飽和する傾向がある赤系の色相値に対応するＬＵＴ２６には、Ｇ成分とＢ成分とに対応するゲインが、アドレスの最上位によって分けられた二つの格納領域にそれぞれ格納される。
In any of the
図３に示した階調増幅部２５は、補正対象の画素の色相に対応するＬＵＴ２６から読み出したゲインを適用して、補正対象の画素データに含まれる飽和していない色成分の階調値を増幅する。このように、階調増幅部２５が参照するＬＵＴ２６を切り替えることにより、階調増幅部２５が飽和していない色成分の階調値の増幅に用いるゲインを補正対象の画素の色相に対応して調整することができる。つまり、階調増幅部２５が、色相推定部２４による推定結果に応じて参照するＬＵＴ２６を切り替える仕組みは、補正対象の画素の色相に応じてゲインを調整するゲイン調整部に相当する。
The
なお、色相ごとにＬＵＴ２６を設ける代わりに、各色成分について、その色成分が飽和する代表的な色相値に対応するＬＵＴと、この代表的な色相値と補正対象の画素の色相値との違いを反映するための係数とによってゲインの調整を行うこともできる。
Instead of providing the
このようにして調整されたゲインが、階調増幅部２５による増幅処理に適用される。そして、この増幅処理によって補正された階調値によって、画像メモリ２３の補正対象の画素データの対応する色成分の階調値を書き換えられる。このようにして、画像メモリ２３に保持された画像データに補正部２２による補正処理結果が反映される。そして、この補正部２２による補正処理の完了後に、画像メモリ２３に格納された画像データは、圧縮処理部１７による圧縮処理に供される。
The gain adjusted in this way is applied to the amplification processing by the
図５に、画像処理装置の動作を表す流れ図を示す。なお、図５に示したステップのうち、図２に示したステップと同等のものについては、同一の符号を付して示し、その説明は省略する。 FIG. 5 is a flowchart showing the operation of the image processing apparatus. Of the steps shown in FIG. 5, the same steps as those shown in FIG. 2 are denoted by the same reference numerals and description thereof is omitted.
図５に示したステップＳ１１では、画素検出部２１によって検出された補正対象の画素について、色相推定部２４が、色相を推定する処理を行う。色相推定部２４は、補正対象の画素の色を推定するために、例えば、以下のような処理を行う。色相推定部２４は、まず、画像メモリ２３を参照して、補正対象の画素の近傍にあって、かつ、いずれの色成分も飽和していない画素を見つける。次に、色相推定部２４は、この画素の画素データのＲＧＢ成分をＹＣｂＣｒ成分に変換する。色相推定部２４は、この変換によって得られた色度成分Ｃｂ，Ｃｒに対応する色相値を求め、この色相値を補正対象の画素の本来の色を示す色相値として階調増幅部２５に渡す。
In step S <b> 11 illustrated in FIG. 5, the
階調増幅部２５は、色相推定部２４から受け取った色相値に対応するＬＵＴ２６を参照して、画素検出部２１から受け取った補正対象の画素データの飽和していない色成分の階調値に対応するゲインを読み出す(ステップＳ１２)。階調増幅部２５は、例えば、ＬＵＴ２６の各色成分に対応する領域に格納されたゲインを、それぞれの色成分の階調値をアドレス入力として読み出すことができる。
The
次に、階調増幅部２５は、補正対象の画素データの飽和していない色成分の階調値にＬＵＴ２６から読み出したゲインを乗算して、補正対象の画素データを補正する(ステップＳ１３)。このようにして補正された画素データは、階調増幅部２５により、補正対象の画素に対応して画像メモリ２３に格納され、これにより、補正部２２による補正処理が画像メモリ２３に反映される(ステップＳ１４)。
Next, the
ステップＳ１，Ｓ２およびステップＳ１１〜Ｓ１４の処理は、ステップＳ５において全ての画素の読み込みが完了したと判定されるまで繰り返される。そして、画像メモリ２３に格納された画像データの全ての画素についての処理が完了したときに(ステップＳ５の肯定判定)、画像メモリ２３に格納された補正済みの画像データが、圧縮処理部１７の処理に供され(ステップＳ１５)、画像処理装置２０の処理が終了する。
Steps S1 and S2 and steps S11 to S14 are repeated until it is determined in step S5 that all pixels have been read. When the processing for all the pixels of the image data stored in the
上述したように構成された画像処理装置２０では、補正対象画素の色相や補正される色成分の階調値の大きさに応じて補正処理に用いるゲインを調整することが可能である。これにより、例えば、明るい赤色の部分の色回りと明るい橙色の部分の色回りとに、それぞれ異なるゲインを使ってＧ成分およびＢ成分の階調値を補正することができる。したがって、撮影された画像の様々な色の部分について、色回りをより高い精度で抑制することができる。 In the image processing apparatus 20 configured as described above, it is possible to adjust the gain used for the correction processing in accordance with the hue of the correction target pixel and the gradation value of the color component to be corrected. Thus, for example, the gradation values of the G component and the B component can be corrected using different gains for the bright red portion and the bright orange portion, respectively. Therefore, it is possible to suppress the color rotation with higher accuracy in various color portions of the photographed image.
このように、デジタルカメラに色回りを補正する画像処理装置を搭載すれば、色回りが抑制された画像をメモリカードに圧縮記録することができる。 As described above, if an image processing device that corrects color rotation is mounted on a digital camera, an image in which color rotation is suppressed can be compressed and recorded on a memory card.
一方、既にメモリカードなどの記憶媒体に圧縮記録されている画像データについて、色回りを補正する画像処理を適用することもできる。次に、メモリカードに記録されたＪＰＥＧ形式の画像データをパーソナルコンピュータに読み込んで、色回り補正処理を行う画像処理装置について説明する。
(実施形態３)
図６に、画像処理装置の別実施形態を示す。なお、図６に示した構成要素のうち、図１、図３に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
On the other hand, it is also possible to apply image processing that corrects the color rotation for image data that has already been compressed and recorded in a storage medium such as a memory card. Next, an image processing apparatus that reads JPEG format image data recorded on a memory card into a personal computer and performs color rotation correction processing will be described.
(Embodiment 3)
FIG. 6 shows another embodiment of the image processing apparatus. 6 that are the same as those shown in FIGS. 1 and 3 are denoted by the same reference numerals, and description thereof is omitted.
パーソナルコンピュータ３０に備えられたカードリーダ３１は、メモリカード１９からＪＰＥＧ形式などに従って圧縮された圧縮画像データを読み出す。読み出された圧縮画像データから、伸長処理部３２による伸長処理によって１フレームの画像データが生成される。この画像データでは、各画素の色が輝度成分Ｙと色度成分Ｃｂ，Ｃｒとによって表されている。
A
画像処理装置２０に備えられたＲＧＢ変換部３３は、伸長処理部３２から受け取った画像データに含まれる各画素の画素データに含まれるＹＣｂＣｒ成分を、対応するＲＧＢ成分に変換する。ＲＧＢ変換部３３によって得られたＲＧＢ成分は、画像データの各画素に対応して画像メモリ２３を介して、画素検出部２１および補正部２２の処理に供される。一方、伸長処理部３２から渡された画像データは、画像メモリ２３とは別の画像メモリ３４に保持される。
The
図６に示した画像処理装置２０では、補正部２２によって補正された色成分を含む画素データは、ＹＣｂＣｒ変換部３５によって、輝度成分Ｙと色度成分Ｃｂ，Ｃｒとに変換される。また、書換処理部３６は、この変換処理で得られたＹＣｂＣｒ成分を用いて、画像メモリ３４に格納された画像データに含まれる補正対象の画素の色度成分を書き換える処理を行う。
In the image processing apparatus 20 shown in FIG. 6, pixel data including color components corrected by the
図７に、画像処理装置の動作を表す流れ図を示す。なお、図７に示したステップのうち、図２あるいは図５に示したステップと同等のものについては、同一の符号を付して示し、その説明は省略する。 FIG. 7 is a flowchart showing the operation of the image processing apparatus. Of the steps shown in FIG. 7, the same steps as those shown in FIG. 2 or FIG. 5 are denoted by the same reference numerals, and the description thereof is omitted.
画像処理装置２０に入力された画像データは、ＲＧＢ変換部３３によって各画素の色をＲＧＢ成分の階調値で表すＲＧＢ画像に変換され、変換後のＲＧＢ画像が画像メモリ２３に格納される(ステップＳ２１)。次に、画素検出部２１は、画像メモリ２３に格納されたＲＧＢ画像の画素に対応する画素データを順次に読み込み(ステップＳ２２)、ステップＳ２と同様にして、飽和成分を含んでいるか否かを判定する。
The image data input to the image processing device 20 is converted into an RGB image in which the color of each pixel is expressed by the RGB component gradation values by the
画素検出部２１によって検出された補正対象の画素について、補正部２２により、ステップＳ１１〜ステップＳ１３と同様にして補正処理が行われる。そして、補正部２２によって得られた補正結果のＲＧＢ成分は、ＹＣｂＣｒ変換部３５により、輝度成分Ｙと色度成分Ｃｂ，Ｃｒに変換される(ステップＳ２３)。
Correction processing is performed on the correction target pixel detected by the
書換処理部３６は、画像メモリ３４に格納された画像データに含まれる補正対象の画素の色度成分を、ステップＳ２３で得られた色度成分Ｃｂ，Ｃｒを用いて更新する(ステップＳ２４)。書換処理部３６は、例えば、画素検出部２１から補正対象の画素のアドレスを受け取り、このアドレスに格納されている補正前の色度成分を、ＹＣｂＣｒ変換部３５から受け取った色度成分Ｃｂ，Ｃｒを用いて書き換える。
The
上述した処理が、画像メモリ２３に格納された全ての画素について完了したときに(ステップＳ５の肯定判定)、画像処理装置２０の処理は終了し、画像メモリ３４に格納されたＹＣｂＣｒ画像が後段の画像処理に供される。
When the above-described processing is completed for all the pixels stored in the image memory 23 (Yes determination in step S5), the processing of the image processing device 20 ends, and the YCbCr image stored in the
この場合は、補正部２２によって色成分の補正が行われた画素についても、補正前の画像データにおける輝度成分の値が保存される。したがって、補正前の画像における明るさのグラデーションを維持しつつ、画像処理装置２０による色回り補正処理を適用することができる。上述した構成では、色回り補正前のＹＣｂＣｒ成分で表された画像データを保持しておき、補正対象の画素について、補正後の画素データに対応する色度成分Ｃｂ，Ｃｒを用いて補正前の画像データの更新を行っている。このような処理は、補正後の画素データに対応する輝度成分のみを補正前の輝度成分によって置き換える輝度置換部の処理に相当する。
In this case, the value of the luminance component in the image data before correction is also stored for the pixel whose color component has been corrected by the
なお、画像処理装置２０に備えられる各部の機能を実現するための手順を記述したプログラムをＣＤなどの記憶媒体に記録し、このようの記憶媒体をパーソナルコンピュータに読み込んで実行させることによって実現することもできる。 It is realized by recording a program describing a procedure for realizing the function of each unit provided in the image processing apparatus 20 on a storage medium such as a CD, and reading and executing such a storage medium on a personal computer. You can also.
また、更に、パーソナルコンピュータ３０に備えられたネットワークインタフェース(Ｉ／Ｆ)３７を利用して、補正部２２にも受けられるＬＵＴ２６に補正対象の画像の撮影に用いられたデジタルカメラに適合するゲインデータを格納することもできる。
In addition, gain data suitable for the digital camera used to capture the image to be corrected in the
例えば、画像処理装置２０に備えたダウンロード(ＤＬ)処理部３８により、ネットワークＩ／Ｆ３７を介してデジタルカメラのメーカーのＷｅｂサイトなどから所望の機種に適合するゲインデータをＬＵＴ２６にダウンロードすることができる。同様にして、色回り補正を行う画像処理装置を実現するプログラムを、ネットワークを介して提供することも可能である。
For example, the download (DL) processing unit 38 provided in the image processing apparatus 20 can download gain data suitable for a desired model to the
ところで、近年では、メモリカードの大容量化に伴って、補間処理や圧縮処理が為されていないＲＡＷ画像をメモリカードに記録する場合もある。ＲＡＷ画像データに含まれる各画素の画素データは、撮影に用いられた撮像素子の各画素に配置されたカラーフィルタに対応する色成分の階調値を示している。以下では、メモリカードに記録されたＲＡＷ画像について色回り補正を行う画像処理装置について説明する。
(実施形態４)
図８に、画像処理装置の別実施形態を示す。なお、図８に示した構成要素のうち、図１、図３、図６に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
Incidentally, in recent years, as the capacity of a memory card is increased, a RAW image that has not been subjected to interpolation processing or compression processing may be recorded on the memory card. The pixel data of each pixel included in the RAW image data indicates the gradation value of the color component corresponding to the color filter arranged in each pixel of the image sensor used for shooting. Hereinafter, an image processing apparatus that performs color rotation correction on a RAW image recorded on a memory card will be described.
(Embodiment 4)
FIG. 8 shows another embodiment of the image processing apparatus. 8 that are the same as those shown in FIGS. 1, 3, and 6 are denoted by the same reference numerals and description thereof is omitted.
パーソナルコンピュータ３０に備えられたカードリーダ３１は、メモリカード１９からＲＡＷ画像データを読み出す。読み出されたＲＡＷ画像データは、画像処理装置２０に備えられた補間処理部１４による補間処理とホワイトバランス(ＷＢ)補正部１６によるホワイトバランス補正処理を受ける。これらの処理が完了した画像データでは、各画素の色がＲＧＢ成分によって表されている。この画像データが、画像メモリ２３を介して画素検出部２１および補正部２２の処理に供される。
A
図８に示した画像処理装置２０では、画素検出部２１によって補正対象の画素として検出されなかった各画素の画素データは、ＹＣｂＣｒ変換部３５によって対応する輝度成分Ｙと色度成分Ｃｂ、Ｃｒに変換され、後段の画像処理に供される。
In the image processing apparatus 20 illustrated in FIG. 8, pixel data of each pixel that has not been detected as a pixel to be corrected by the
一方、補正対象の画素として検出された各画素の画素データは、補正部２２によって補正された後に、ＹＣｂＣｒ変換部３５によって対応する輝度成分Ｙと色度成分Ｃｂ、Ｃｒに変換される。この処理に先立って、ＹＣｂＣｒ変換部３５は、補正前の画素データに対応する輝度成分を求めておき、輝度成分保持部４１に保持する。そして、ＹＣｂＣｒ変換部３５は、補正部２２によって補正された画素データに対応してＹＣｂＣｒ成分を求めたときに、得られた輝度成分を輝度成分保持部４１に保持された輝度成分によって置き換える処理を行う。そして、置き換えられた輝度成分を含むＹＣｂＣｒ成分が、補正対象の画素に対応する画素データとして、後段の画像処理に供される。
On the other hand, the pixel data of each pixel detected as a pixel to be corrected is corrected by the
図９に、画像処理装置の動作を表す流れ図を示す。なお、図９に示したステップのうち、図２、図５、図７のいずれかに示したステップと同等のものについては、同一の符号を付して示し、その説明は省略する。 FIG. 9 is a flowchart showing the operation of the image processing apparatus. Note that among the steps shown in FIG. 9, steps equivalent to those shown in any of FIGS. 2, 5, and 7 are denoted by the same reference numerals and description thereof is omitted.
画像処理装置２０に入力されたＲＡＷ画像データは、補間処理部１４およびＷＢ補正部１６により、それぞれ補間処理およびホワイトバランス補正処理が行われる(ステップＳ３１)。そして、ホワイトバランス補正処理後のＲＧＢ画像が画像メモリ２３に格納される。次に、画素検出部２１は、画像メモリ２３に格納されたＲＧＢ画像の画素に対応する画素データを順次に読み込み(ステップＳ１)、ステップＳ２と同様にして、飽和成分を含んでいるか否かを判定する。
The raw image data input to the image processing device 20 is subjected to an interpolation process and a white balance correction process by the
画素検出部２１によって検出された補正対象の画素について、ＹＣｂＣｒ変換部３５は、補正部２２による補正処理に先立って、この画素に対応する画素データに基づいて、輝度成分を算出して輝度成分保持部４１に保持する(ステップＳ３２)。また、画素検出部２１で検出された補正対象の画素の画素データは、補正部２２に渡され、補正部２２により、ステップＳ１１〜ステップＳ１３と同様の補正処理が行われる。
For the correction target pixel detected by the
そして、補正部２２によって得られた補正結果のＲＧＢ成分は、ＹＣｂＣｒ変換部３５により、輝度成分Ｙと色度成分Ｃｂ，Ｃｒに変換される(ステップＳ２３)。このとき、ＹＣｂＣｒ変換部３５は、輝度成分保持部４１に保持しておいた輝度成分を用いてステップＳ２３で得られた輝度成分Ｙを置き換える(ステップＳ３３)。このようにして、置き換え後の輝度成分を含むＹＣｂＣｒ形式の画素データは、補正対象の画素に対応する画像処理装置２０の出力として後段の画像処理に供される。
The RGB component of the correction result obtained by the
一方、ステップＳ１で読み込まれた画素データが画素検出部２１によって補正対象として検出されなかった場合に(ステップＳ２の否定判定)、ＹＣｂＣｒ変換部３５は、その画素データを画素検出部２１から受け取ってＹＣｂＣｒ形式の画素データに変換する。このＹＣｂＣｒ形式の画素データは、補正対象でない画素に対応する画像処理装置２０の出力として後段の画像処理に供される。
On the other hand, when the pixel data read in step S1 is not detected as a correction target by the pixel detection unit 21 (negative determination in step S2), the
このようにして、メモリカードに記録されたＲＡＷ画像について、色回り抑制処理を適用する画像処理装置を実現することができる。 In this way, it is possible to realize an image processing apparatus that applies color rotation suppression processing to a RAW image recorded on a memory card.
１０…デジタルカメラ、１１…撮影光学系、１２…撮像素子、１３…信号処理部、１４…補間処理部、１５…撮影制御部、１６…ホワイトバランス(ＷＢ)補正部、１７…圧縮処理部、１８…記録インタフェース(Ｉ／Ｆ)、１９…メモリカード、２０…画像処理装置、２１…画素検出部、２２…補正部、２３，３４…画像メモリ、２４…色相推定部、２５…階調増幅部、２６…ルックアップテーブル(ＬＵＴ)、３０…パーソナルコンピュータ、３１…カードリーダ、３２…伸長処理部、３３…ＲＧＢ変換部、３５…ＹＣｂＣｒ変換部、３６…書換処理部、３７…ネットワークインタフェース(Ｉ／Ｆ)、３８…ダウンロード(ＤＬ)処理部、４１…輝度成分保持部。
DESCRIPTION OF SYMBOLS 10 ... Digital camera, 11 ... Imaging optical system, 12 ... Image sensor, 13 ... Signal processing part, 14 ... Interpolation processing part, 15 ... Shooting control part, 16 ... White balance (WB) correction part, 17 ... Compression processing part, DESCRIPTION OF
Claims (5)
前記検出された画素に対応する各色成分の階調値を、飽和レベルとなっている色成分の種類に応じて補正する補正部と
を備えたことを特徴とする画像処理装置。 A tone value representing a color component from the image data when an input of image data including pixel data representing the color of each pixel included in the image using a tone value indicating the strength of a plurality of color components is received A saturation detection unit that detects pixels in which any of the saturation levels is,
An image processing apparatus comprising: a correction unit that corrects a gradation value of each color component corresponding to the detected pixel in accordance with a type of a color component having a saturation level.
前記補正部は、
補正対象の画素に対応する各色成分の階調値のうち飽和レベル以下であるものを、前記階調値および前記階調値に対応する色成分の種類に対応するゲインを適用して増幅する階調増幅部と、
前記補正対象の画素の色相を推定する色相推定部と、
推定された色相に基づいて、前記階調増幅部において適用するゲインを調整するゲイン調整部とを備えた
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The correction unit is
A level that amplifies the gradation value of each color component corresponding to the correction target pixel that is equal to or lower than the saturation level by applying the gradation value and a gain corresponding to the type of the color component corresponding to the gradation value. A modulation amplifier;
A hue estimation unit that estimates the hue of the pixel to be corrected;
An image processing apparatus comprising: a gain adjustment unit that adjusts a gain applied in the gradation amplification unit based on the estimated hue.
前記色相推定部は、前記補正対象の画素の近傍に位置する画素に対応する各色成分の階調値に基づいて、前記補正対象の画素の色相を推定する
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 2,
The image processing apparatus, wherein the hue estimation unit estimates the hue of the pixel to be corrected based on a gradation value of each color component corresponding to a pixel located in the vicinity of the pixel to be corrected.
前記補正部による補正処理が反映された画像データを、前記画素の色を輝度値と色度値とを用いて表す別の色空間に変換する色空間変換部と、
前記補正前の画素データによって表される前記補正対象の画素の輝度値を用いて、前記色空間変換部によって対応する画素について得られた輝度値を置き換える輝度置換部と
を備えたことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
A color space conversion unit that converts the image data in which the correction processing by the correction unit is reflected into another color space that expresses the color of the pixel using a luminance value and a chromaticity value;
A luminance replacement unit that replaces the luminance value obtained for the corresponding pixel by the color space conversion unit using the luminance value of the pixel to be corrected represented by the pixel data before correction; An image processing apparatus.
前記検出された画素に対応する各色成分の階調値を、飽和レベルとなっている色成分の種類に応じて補正する補正手順と
をコンピュータに実行させることを特徴とする画像処理プログラム。
A tone value representing a color component from the image data when an input of image data including pixel data representing the color of each pixel included in the image using a tone value indicating the strength of a plurality of color components is received A saturation detection procedure for detecting pixels in which any of the above is at a saturation level;
An image processing program that causes a computer to execute a correction procedure for correcting the gradation value of each color component corresponding to the detected pixel in accordance with the type of color component that is at a saturation level.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012041153A JP2013179400A (en) | 2012-02-28 | 2012-02-28 | Image processing apparatus and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012041153A JP2013179400A (en) | 2012-02-28 | 2012-02-28 | Image processing apparatus and image processing program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013179400A true JP2013179400A (en) | 2013-09-09 |
Family
ID=49270685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012041153A Pending JP2013179400A (en) | 2012-02-28 | 2012-02-28 | Image processing apparatus and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013179400A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11375167B2 (en) | 2019-01-07 | 2022-06-28 | Sony Olympus Medical Solutions Inc. | Image processing apparatus and observation system |
-
2012
- 2012-02-28 JP JP2012041153A patent/JP2013179400A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11375167B2 (en) | 2019-01-07 | 2022-06-28 | Sony Olympus Medical Solutions Inc. | Image processing apparatus and observation system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101099401B1 (en) | Image processing apparatus and computer-readable medium | |
| RU2491760C2 (en) | Image processing device, image processing method and programme | |
| JP6415062B2 (en) | Image processing apparatus, image processing method, control program, and recording medium | |
| JP4894907B2 (en) | Imaging apparatus, imaging processing method, and program | |
| KR101594258B1 (en) | APPARATUS AND METHOD FOR CORRECTING AND CONTROLLING IMAGE of camera using color/light sensor | |
| US8564862B2 (en) | Apparatus, method and program for reducing deterioration of processing performance when graduation correction processing and noise reduction processing are performed | |
| US7620259B2 (en) | History adding device for generating history-added image file, electronic camera, and image processing program for processing history-added image file | |
| JP2013093914A (en) | Image input device | |
| JP5112238B2 (en) | Imaging apparatus, setting value changing method, and program | |
| WO2006134923A1 (en) | Image processing device, computer program product, and image processing method | |
| WO2015119271A1 (en) | Image processing device, imaging device, image processing method, computer-processable non-temporary storage medium | |
| JP2007266955A (en) | Imaging apparatus, video signal processing circuit, video signal processing method and computer program | |
| US20110181760A1 (en) | Image processing device | |
| JP5701640B2 (en) | Image processing device | |
| WO2016111020A1 (en) | Image processing device, image capturing device, image processing method, and image processing program | |
| JP2014033273A (en) | Color gamut conversion device, digital camera, color gamut conversion program, and color gamut conversion method | |
| WO2016171091A1 (en) | Image processing device, imaging device, image processing method, and program | |
| JP4797949B2 (en) | Imaging apparatus, image processing apparatus, method, and program | |
| JP7311994B2 (en) | IMAGE PROCESSING DEVICE, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM | |
| JP2009100302A (en) | Image processing device, image processing method, program, imaging apparatus, and imaging method | |
| JP5142833B2 (en) | Image processing apparatus and image processing method | |
| JP2006333113A (en) | Imaging device | |
| JP2013179400A (en) | Image processing apparatus and image processing program | |
| JP4767525B2 (en) | Imaging system and imaging processing program | |
| JP2010147800A (en) | Image processing apparatus |