JP2014171186A - Image processing system and image processing method for imaging apparatus - Google Patents
Image processing system and image processing method for imaging apparatus Download PDFInfo
- Publication number
- JP2014171186A JP2014171186A JP2013043120A JP2013043120A JP2014171186A JP 2014171186 A JP2014171186 A JP 2014171186A JP 2013043120 A JP2013043120 A JP 2013043120A JP 2013043120 A JP2013043120 A JP 2013043120A JP 2014171186 A JP2014171186 A JP 2014171186A
- Authority
- JP
- Japan
- Prior art keywords
- digital gain
- gain value
- image
- processing
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Exposure Control For Cameras (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置に関し、より詳しくは撮像装置のデジタルゲイン演算処理に関する。 The present invention relates to an imaging apparatus, and more particularly to a digital gain calculation process of the imaging apparatus.
レンズや撮像素子には画像中心から周辺に向かって徐々に光量が低下する周辺光量特性（シェーディング特性）が存在する。通常、この周辺光量特性により画像周辺部に発生するケラレは不自然な写真とされるが、デジタルカメラにおいては画像処理で容易にこの特性を補正できるようになり、周辺光量低下が大きな光学系を用いてもケラレが少ない写真が撮影できるようになった。 The lens and the image sensor have a peripheral light amount characteristic (shading characteristic) in which the light amount gradually decreases from the center of the image toward the periphery. Normally, vignetting that occurs at the periphery of an image due to this peripheral light quantity characteristic is considered to be an unnatural photo, but in a digital camera, this characteristic can be easily corrected by image processing, and an optical system with a large decrease in peripheral light quantity is used. You can now take pictures with little vignetting.
一方で、演出効果として周辺光量低下を敢えて誇張することでトンネル効果を狙った写真を撮影したいというニーズもある。この場合、撮影で用いられる光学系の特性によっては暗くする方向に周辺光量を補正する必要が出てくる場合があるが、アナログカメラとは異なり特殊なフィルタや撮影手法を使用せずとも画像処理で気軽にそのような写真が撮影できるようになった。 On the other hand, there is also a need to take a picture aiming at the tunnel effect by deliberately exaggerating the decrease in peripheral light amount as a production effect. In this case, depending on the characteristics of the optical system used for shooting, it may be necessary to correct the amount of peripheral light in the darkening direction, but unlike analog cameras, image processing can be performed without using special filters or shooting methods. I was able to take such pictures casually.
しかし、従来の構成では、周辺光量補正や周辺減光処理によるデジタルゲイン値が、画像信号の持つビット深度と信号量の関係に対してあまりに大きく設定されるような場合、デジタルゲインの演算誤差が後段の別のデジタルゲイン処理により更に大きな誤差となり、最終的にトーンジャンプ（階調飛び）の原因に繋がってしまう問題がある。更に、飽和している画素に対して１倍未満のデジタルゲインを掛けると、その後段にホワイトバランスなどの色補正処理がある場合は不自然に着色してしまうという問題がある。 However, in the conventional configuration, when the digital gain value by the peripheral light amount correction or the peripheral dimming process is set too large with respect to the relationship between the bit depth of the image signal and the signal amount, the calculation error of the digital gain is increased. There is a problem that an error becomes larger due to another digital gain processing in the subsequent stage, which eventually leads to a cause of tone jump (tone jump). Furthermore, when a digital gain of less than 1 is applied to a saturated pixel, there is a problem that if there is a color correction process such as white balance in the subsequent stage, the pixel is unnaturally colored.
そこで、本発明は、画像信号データに対する各種デジタルゲインによって生じる演算誤差を最小にすることで高い画質（高階調性）を保つと同時に、１倍未満のデジタルゲインを演算した場合に生じる着色現象を抑える画像処理方法を示すことを目的とする。 Therefore, the present invention maintains a high image quality (high gradation) by minimizing calculation errors caused by various digital gains for image signal data, and at the same time, a coloring phenomenon that occurs when a digital gain of less than 1 is calculated. An object is to show an image processing method to be suppressed.
本発明の撮像装置の画像処理装置は、被写体像を光電変換して撮像データを生成する撮像手段と、デジタルゲイン値に基づいて撮像データの領域あるいは画素を補正する画像処理手段と、個別のデジタルゲイン値を有する、リニアリティ補正処理・ＯＢクランプ処理・周辺光量補正処理・ホワイトバランス処理・周辺減光処理の中から２つ以上の処理を実行するために、個別のデジタルゲイン値から複数の色毎に一つの合成デジタルゲイン値を算出するデジタルゲイン算出手段と、各色の合成デジタルゲイン値に基づいて、画像処理手段に用いる各色のデジタルゲイン値を決定するデジタルゲイン決定手段とを有することを特徴とする。 The image processing apparatus of the imaging apparatus according to the present invention includes an imaging unit that photoelectrically converts a subject image to generate imaging data, an image processing unit that corrects an area or pixel of imaging data based on a digital gain value, and an individual digital In order to execute two or more of linearity correction processing, OB clamping processing, peripheral light amount correction processing, white balance processing, and peripheral dimming processing having gain values, individual digital gain values are used for each of a plurality of colors. And a digital gain calculating means for calculating one combined digital gain value, and a digital gain determining means for determining a digital gain value for each color used in the image processing means based on the combined digital gain value for each color. To do.
また、デジタルゲイン決定手段は、補正する領域あるいは画素において、各色の合成デジタルゲイン値が所定のゲイン値よりも小さい時に、各色の合成デジタルゲイン値をクリップゲイン値とするように、各色のデジタルゲイン値として決定することが好ましい。 Further, the digital gain determining means is configured so that when the combined digital gain value of each color is smaller than a predetermined gain value in the region or pixel to be corrected, the digital gain of each color is set as the clip gain value. It is preferable to determine the value.
さらに、クリップゲイン値は、各色の合成デジタルゲイン値のうちで最小のゲイン値を選択して、各色のデジタルゲイン値として決定されても良い。 Further, the clip gain value may be determined as the digital gain value of each color by selecting the minimum gain value from the combined digital gain values of each color.
また、所定のゲイン値が１倍よりも小さい時に、各色の合成デジタルゲイン値をクリップゲイン値となるように、各色のデジタルゲイン値を決定しても良い。 Alternatively, the digital gain value of each color may be determined so that the combined digital gain value of each color becomes the clip gain value when the predetermined gain value is smaller than 1.
また、画像処理手段はデジタルゲイン決定手段が決定した各色のデジタルゲイン値に基づいて、撮像データの領域あるいは画素を補正すると共に、全面白の画像に対してデジタルゲイン値で演算して得られる白画像データと比較して補正された、画像データが白画像データを超えないように合成デジタルゲイン値を決定するクリップ処理を行うことが好ましい。 Further, the image processing means corrects the area or pixels of the imaging data based on the digital gain value of each color determined by the digital gain determination means, and calculates a white image obtained by calculating the entire white image with the digital gain value. It is preferable to perform clip processing for determining a composite digital gain value so that the image data corrected in comparison with the image data does not exceed the white image data.
また、複数色はＲ／Ｇ／Ｂの３色、または、Ｒ／Ｇｒ／Ｇｂ／Ｂの４色であっても良い。 The plurality of colors may be three colors of R / G / B or four colors of R / Gr / Gb / B.
さらに、画像処理手段は所定のＩＳＯ感度よりも高感度のときは、各画素領域の画像処理に個別のデジタルゲインが用いられることが好ましい。 Further, when the image processing means has a higher sensitivity than a predetermined ISO sensitivity, it is preferable that an individual digital gain is used for image processing of each pixel region.
また、所定のＩＳＯ感度を操作者が設定可能なＩＳＯ感度設定手段を有することが好ましい。 Moreover, it is preferable to have an ISO sensitivity setting means that allows the operator to set a predetermined ISO sensitivity.
本発明に係る画像処理方法は、被写体像を光電変換して撮像データを生成する撮像ステップと、デジタルゲイン値に基づいて撮像データの領域あるいは画素を補正する画像処理ステップと、個別のデジタルゲイン値を有する、リニアリティ補正処理・ＯＢクランプ処理・周辺光量補正処理・ホワイトバランス処理・周辺減光処理の中から２つ以上の処理を実行するために、個別のデジタルゲイン値から複数の色毎に一つの合成デジタルゲイン値を算出するデジタルゲイン算出ステップと、各色の合成デジタルゲイン値に基づいて、画像処理手段に用いる各色のデジタルゲイン値を決定するデジタルゲイン決定ステップとを有することを特徴とする。 An image processing method according to the present invention includes: an imaging step for photoelectrically converting a subject image to generate imaging data; an image processing step for correcting an area or pixel of imaging data based on a digital gain value; and an individual digital gain value In order to execute two or more of the linearity correction processing, OB clamping processing, peripheral light amount correction processing, white balance processing, and peripheral dimming processing, each of the individual digital gain values is used for each of a plurality of colors. A digital gain calculating step for calculating two combined digital gain values; and a digital gain determining step for determining a digital gain value for each color used in the image processing means based on the combined digital gain value for each color.
本発明によれば、従来に比べて、各種デジタルゲイン演算による演算誤差を最小化して高階調性を保つことができる。同時に、１倍未満のデジタルゲイン演算を行っても高輝度部の着色を抑えることが可能になる。 According to the present invention, it is possible to minimize the calculation error due to various digital gain calculations and maintain high gradation as compared with the prior art. At the same time, even when a digital gain calculation of less than 1 is performed, it is possible to suppress coloring of the high luminance part.
一例としては、周辺光量低下の大きな光学系に対して周辺光量補正を行う場合や、逆にトンネル効果を狙った周辺減光処理を行う場合において、デジタルゲイン処理の演算誤差によるトーンジャンプ（階調飛び）を最小限に抑えることが可能であり、更に、極端な周辺減光処理においても高輝度部の着色を抑えることを可能とする。 As an example, when performing peripheral light amount correction for an optical system with a large decrease in peripheral light amount or when performing peripheral light reduction processing aiming at the tunnel effect, tone jump (gradation) due to calculation error of digital gain processing (Flying) can be suppressed to a minimum, and coloring of a high-luminance portion can be suppressed even in extreme peripheral light reduction processing.
図１は、本発明の実施例である撮像装置（デジタルカメラ）の構成図を示している。撮像装置の光学系６はレンズ群５、絞り・内蔵ＮＤフィルタ２６、２７、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子２０から構成される。 FIG. 1 shows a configuration diagram of an imaging apparatus (digital camera) that is an embodiment of the present invention. The optical system 6 of the image pickup apparatus includes a lens group 5, diaphragm / internal ND filters 26 and 27, and an image pickup device 20 such as a CCD sensor or a CMOS sensor.
撮像素子がＣＣＤセンサである場合は、アナログ画像信号を処理する為のアナログフロントエンド部（撮像手段）２１が必要である。アナログフロントエンド部は、ＣＤＳ回路３１、ＡＧＣ回路３２、Ａ／Ｄ変換回路３３・ＴＧ回路３０から構成される。ＣＤＳ回路はアナログ画像信号のノイズ除去、ＡＧＣ回路は信号増幅、Ａ／Ｄ変換回路は文字通りアナログ／デジタル信号変換、ＴＧ回路はＣＣＤの駆動信号を生成する役割をそれぞれ担っている。信号処理部（画像処理手段）２２は、ＣＣＤ Ｉ／Ｆ３４、制御部ＣＰＵ（デジタルゲイン算出手段、デジタルゲイン決定手段）２８、ＹＵＶ変換部３６、メモリコントローラ３５等から構成され、ＳＤＲＡＭ２３やＬＣＤ９、メモリカード１４等と接続されている。 In the case where the image sensor is a CCD sensor, an analog front end (imaging means) 21 for processing an analog image signal is necessary. The analog front end unit includes a CDS circuit 31, an AGC circuit 32, an A / D conversion circuit 33, and a TG circuit 30. The CDS circuit serves to remove noise from the analog image signal, the AGC circuit performs signal amplification, the A / D conversion circuit literally performs analog / digital signal conversion, and the TG circuit serves to generate a drive signal for the CCD. The signal processing unit (image processing unit) 22 includes a CCD I / F 34, a control unit CPU (digital gain calculation unit, digital gain determination unit) 28, a YUV conversion unit 36, a memory controller 35, and the like. It is connected to the card 14 and the like.
本発明の特徴は、ＲＡＷ画像に対して演算される各種デジタルゲイン処理のデジタルゲイン値を予め合成して、一律演算をすることで演算誤差と階調損失を最小限に抑えつつ、１．０倍未満のデジタルゲインが演算される場合に問題となる高輝度部の着色を同時に防ぐ為、画像領域毎（あるいは画素毎）にデジタルゲイン値に基づいたクリップ処理を施すことである。 A feature of the present invention is that a digital gain value of various digital gain processes calculated for a RAW image is synthesized in advance and uniformly calculated, thereby minimizing calculation error and gradation loss, and 1.0. In order to simultaneously prevent coloring of the high-luminance portion, which is a problem when a digital gain less than double is calculated, clip processing based on the digital gain value is performed for each image area (or for each pixel).
（１）演算誤差によるトーンジャンプ（階調飛び）
図２において、得られたＲＡＷ画像に対する一般的な画像処理の流れ（一部抜粋）を示す。ステップＳ１０１〜ステップＳ１０７の各ブロックは、厳密には撮影条件にも依るが、大半の撮影シーンで必要となる画像処理であるが、このうち、ステップＳ１０１、ステップＳ１０２、ステップＳ１０５、ステップＳ１０６、ステップＳ１０７がデジタルゲイン処理にあたる。各ブロックで小数を含んだデジタルゲイン処理が行われるが、出力値は予め決められたビット深度に収まるよう四捨五入や切り捨てが行われる為、多かれ少なかれ演算誤差が徐々に蓄積していく傾向がある。
(1) Tone jump (tone jump) due to calculation error
FIG. 2 shows a general image processing flow (partially extracted) for the obtained RAW image. Each block of step S101 to step S107 is image processing that is necessary for most shooting scenes, although strictly depending on shooting conditions, among these, step S101, step S102, step S105, step S106, step S107 corresponds to digital gain processing. Although digital gain processing including decimal numbers is performed in each block, since the output value is rounded or rounded down so as to be within a predetermined bit depth, there is a tendency that more or less calculation errors gradually accumulate.
この影響が見た目として特に大きいのが周辺光量補正である。前述した演算誤差の影響を受けて、ＲＡＷ画像の周辺光量低下は完璧に滑らかに補正することは不可能である為、実際には四捨五入や切り捨てにより、理想的には滑らかであるべき階調変化に僅かな段差が生じてしまう。 This effect is particularly significant in the peripheral light amount correction. Under the influence of the above-mentioned calculation error, it is impossible to correct the RAW image peripheral light amount reduction completely and smoothly. There will be a slight step.
この段差は後段のホワイトバランス処理などのデジタルゲイン処理により拡大される方向に作用する為、被写体によってはトーンジャンプ（階調飛び）や擬似輪郭を発生してしまうことがある。ちなみに、トーンジャンプ（階調飛び）については周辺減光処理の場合も同様に発生する問題である。 Since this step acts in a direction that is enlarged by digital gain processing such as white balance processing at the subsequent stage, tone jump (tone jump) or pseudo contour may occur depending on the subject. Incidentally, the tone jump (gradation jump) is a problem that occurs in the case of the peripheral dimming process as well.
図３において、デジタルゲインの演算方法とトーンジャンプ（階調飛び）の関係を示す。被写体としてＢ光源の輝度箱を適正露出から４ＥＶアンダーで撮影したＲＡＷ画像に対して、各種デジタルゲイン演算を別々に行ったものを左列、各種デジタルゲイン演算を一括で行ったものを右列に示している。 FIG. 3 shows the relationship between the digital gain calculation method and tone jump (gradation jump). For a RAW image obtained by shooting the luminance box of the B light source as a subject at 4 EV under from proper exposure, the left column is the one that has been subjected to various digital gain calculations separately, and the right column is the one that has been subjected to various digital gain calculations at once. Show.
但し、そのままでは階調飛びはほとんど視認できないレベルである為、出力画像に対して極端な階調補正処理を行い、更にＹ／Ｃｂ／Ｃｒの各成分に分解して表示している。画像から判るように、各種デジタルゲイン処理を別々に行うと演算誤差が蓄積してトーンジャンプ（階調飛び）がところどころで大きく発生しているが、一律で行うと演算誤差は１回分で済む為、ほとんど問題にならないレベルに抑えられている。 However, since the gradation skip is a level that is hardly visible as it is, the output image is subjected to an extreme gradation correction process and further displayed in the Y / Cb / Cr components. As can be seen from the image, if various digital gain processes are performed separately, calculation errors accumulate and tone jumps (tone jumps) occur greatly in various places. , It is suppressed to a level that hardly becomes a problem.
具体的には、デジタルゲイン処理を別々に行った左列は、画素の色毎に同心円状のグラデーションが発生してしまう。一方、デジタルゲイン処理を一括で行った場合、右列に示されるように、同心円状のグラデーションは発生しない。このように、デジタルゲイン処理を一括で行う場合には、滑らかな画像が得られる。なお、図４は、図３の同心円を明記したものであり、破線はグラデーションの輪郭である。 Specifically, in the left column where the digital gain processing is performed separately, a concentric gradation is generated for each pixel color. On the other hand, when digital gain processing is performed collectively, as shown in the right column, concentric gradation does not occur. As described above, when digital gain processing is performed in a lump, a smooth image can be obtained. 4 clearly shows the concentric circles of FIG. 3, and the broken lines are gradation outlines.
ちなみに、一般的にＹＵＶ画像は８ビットに対してＲＡＷ画像は１２〜１６ビットの情報量を持っているが、この問題はＲＡＷ画像のビット深度が多くても発生する可能性がある。つまり１２ビットや１４ビットでも発生する。理由としてはＲＡＷ画像のビット深度以外にも図２に示される各画像処理の演算精度に寄与する部分が大きい為である。 Incidentally, although the YUV image generally has an information amount of 8 to 8 bits and the RAW image has an information amount of 12 to 16 bits, this problem may occur even if the bit depth of the RAW image is large. That is, it occurs even with 12 bits or 14 bits. This is because, besides the bit depth of the RAW image, there is a large part that contributes to the calculation accuracy of each image processing shown in FIG.
演算誤差の部分についてもう少し詳細に述べる。仮定として、１２ビット深度のＲＡＷ画像に対して周辺光量補正・ホワイトバランス処理・デジタルゲイン処理を施すことを考える。各画像処理の出力結果はＲＡＷ画像と同じ整数１２ビット精度として、小数以下は四捨五入されるものとする。 The calculation error part will be described in more detail. Assuming that a RAW image having a 12-bit depth is subjected to peripheral light amount correction, white balance processing, and digital gain processing. The output result of each image processing is assumed to have the same integer 12-bit precision as that of the RAW image, and the fractional part is rounded off.
更に仮定条件について詳細に述べると、光学系のシェーディング特性としては、図５に示すようにコサイン４乗則に従ったものを仮定する。像高比１．０Ｙでのシェーディングは画像中央に対して３９．２％とし、これを８０％に補正することを考える。周辺光量補正の後段処理として、ホワイトバランスに２倍、デジタルゲインとして８倍の乗算を行うことを考える。 Further, the assumption conditions will be described in detail. As the shading characteristics of the optical system, those according to the cosine fourth law are assumed as shown in FIG. It is considered that shading at an image height ratio of 1.0Y is 39.2% with respect to the center of the image and this is corrected to 80%. As post-processing of the peripheral light amount correction, it is assumed that the white balance is multiplied by 2 and the digital gain is multiplied by 8 times.
そして、図６において、周辺光量補正・ホワイトバランス・デジタルゲインの各種演算を一括演算した場合と、各々演算したものを比較した。（実機での測定結果ではなく、机上の計算結果である。）ちなみに、比較しやすいよう、各々演算のグラフには５０ＬＳＢ分のオフセットを付けて表示している。 Then, in FIG. 6, the case where various calculations of peripheral light amount correction, white balance, and digital gain are collectively calculated is compared with the respective calculations. (It is not a measurement result in an actual machine but a calculation result on a desk.) Incidentally, each calculation graph is displayed with an offset of 50 LSB for easy comparison.
これを見て明らかなように、一括演算を施した場合の方が滑らかに補正ができているのに対して、各々演算を施した場合は途中で明確なトーンジャンプが発生している。今回はある一色についてのみ比較を行ったが、ＲＧＢでトーンジャンプの発生箇所が異なる為、結果として同心円状の着色となって現れる場合がある。これは、小数以下を四捨五入してしまう為に演算誤差が蓄積・拡大されてしまうが為に起きる現象である。 As is apparent from this, the correction is smoother when the batch calculation is performed, whereas a clear tone jump occurs in the middle when each calculation is performed. This time, only a certain color was compared. However, since tone jumps are different in RGB, there may be concentric coloring as a result. This is a phenomenon that occurs because calculation errors are accumulated and expanded because the decimal fractions are rounded off.
図７において、ＲＡＷ画像に対する本実施形態の画像処理の流れ（一部抜粋）を示す。図の左側（ステップＳ５０１〜ステップＳ５０８）は従来の画像処理と同様の流れである。前述した通り、各種デジタルゲイン処理を別々に行うと、演算誤差が蓄積・増幅されてトーンジャンプ（階調飛び）が発生するリスクが高くなる。従って、各種デジタルゲイン処理で適用されるデジタルゲイン値をひとつの値に合成して（ステップＳ５１３）、図の右側（ステップＳ５０９〜ステップＳ１１２）に示すように一律演算を行うことができれば、演算誤差を最小にすることが可能となる。 FIG. 7 shows a flow (partial excerpt) of image processing of the present embodiment for a RAW image. The left side of the figure (step S501 to step S508) is the same flow as the conventional image processing. As described above, when various digital gain processes are performed separately, calculation errors are accumulated and amplified, and there is a high risk of tone jump (gradation jump). Therefore, if the digital gain values applied in various digital gain processes are combined into one value (step S513) and uniform calculation can be performed as shown on the right side of the figure (steps S509 to S112), an operation error will occur. Can be minimized.
但し、ひとつに合成されたデジタルゲイン値がある画像領域（あるいは画素）において１．０倍未満となる場合は高輝度部に着色が発生する懸念がある為、ひとつに合成されたデジタルゲイン値に基づいてクリップ処理（ステップＳ５１２）を行う必要がある。このクリップ処理は画面一律ではなく画像領域（あるいは画素）ごとに異なるものである。 However, if the combined digital gain value is less than 1.0 in an image area (or pixel), there is a concern that coloring may occur in the high luminance part. Based on this, it is necessary to perform clip processing (step S512). This clipping process is not uniform on the screen, but differs for each image area (or pixel).
クリップ処理（ステップＳ５１２）について補足すると、本来は、デジタルゲイン演算を行うハードウェアに、本発明の特徴である各画像領域（各画素）毎にクリップ処理を行う機能があることが望ましいが、汎用画像処理でも以下の手順により同様のことが可能である。 Supplementing the clip processing (step S512), it is originally desirable that the hardware for performing digital gain calculation has a function for performing clip processing for each image region (each pixel), which is a feature of the present invention. The same can be done for image processing by the following procedure.
（２）１倍未満のデジタルゲイン演算による着色
図８を参照し、汎用画像処理を用いてクリップ処理を実現する方法を示す。汎用画像処理を用いてクリップ処理を施すには、各画素又は各画像領域のそれぞれにおいて、１倍未満のデジタルゲインが掛かるかどうかを検出する必要がある。
(2) Coloring by Digital Gain Calculation Less than 1 Time A method for realizing clip processing using general-purpose image processing will be described with reference to FIG. In order to perform clip processing using general-purpose image processing, it is necessary to detect whether or not a digital gain of less than 1 is applied to each pixel or each image region.
つまり、各画素又は各画像領域のそれぞれにおいて、Ｒ／Ｇｒ／Ｇｂ／Ｂの色毎のデジタルゲインの最小値を求めることができれば、その最小値に従ってクリップするべき値（クリップゲイン値）を算出することが可能となる。 That is, if the minimum value of the digital gain for each color of R / Gr / Gb / B can be obtained for each pixel or each image region, the value (clip gain value) to be clipped is calculated according to the minimum value. It becomes possible.
また、色毎のデジタルゲインの最小値を求めるには、複数画像を比較して、低い方の値を返す“比較暗処理”によって可能となる。まず、各種デジタルゲイン処理を合成したゲインマップＧＡＩＮＭＡＰ＿０（ステップＳ２０１）を得る。ＧＡＩＮＭＡＰ＿０は画素毎に異なるデジタルゲイン値を格納するゲインマップであると仮定する。解像度は撮影画像と同じである。 In addition, the minimum value of the digital gain for each color can be obtained by “comparison dark processing” that compares a plurality of images and returns the lower value. First, a gain map GAINMAP_0 (step S201) obtained by combining various digital gain processes is obtained. GAINMAP — 0 is assumed to be a gain map that stores different digital gain values for each pixel. The resolution is the same as the captured image.
ＧＡＩＮＭＡＰ＿０はＲ・Ｇｒ・Ｇｂ・Ｂの４色が一緒くたになっている為、これを分離（ステップＰ２０１）して４色それぞれのゲインマップＧＡＩＮＭＡＰ＿０[Ｒ]（ステップＳ２０２）、ＧＡＩＮＭＡＰ＿０[Ｇｒ]（ステップＳ２０３）、ＧＡＩＮＭＡＰ＿０[Ｇｂ]（ステップＳ２０４）、ＧＡＩＮＭＡＰ＿０[Ｂ]（ステップＳ２０５）を得る。解像度は撮影画像の縦横それぞれ半分である。 Since GAINMAP_0 is a combination of four colors of R, Gr, Gb, and B, these are separated (step P201) and gain maps GAINMAP_0 [R] (step S202) and GAINMAP_0 [Gr] (step S202) for each of the four colors S203), GAINMAP_0 [Gb] (step S204), and GAINMAP_0 [B] (step S205) are obtained. The resolution is half of the captured image, both vertically and horizontally.
クリップ値を求める為には、これら４色のゲインマップから同じ位置における最小のデジタルゲイン値を算出する必要がある。従って、これら４色のゲインマップを対象に比較暗処理（ステップＰ２０２）を行うことで同じ位置における４色のデジタルゲイン値の最小値を示すゲインマップＧＡＩＮＭＡＰ＿１（ステップＳ２０６）を出力することができる。解像度は撮影画像の縦横それぞれ半分である。 In order to obtain the clip value, it is necessary to calculate the minimum digital gain value at the same position from the gain map of these four colors. Therefore, a gain map GAINMAP_1 (step S206) indicating the minimum value of the digital gain values of the four colors at the same position can be output by performing comparative dark processing (step P202) on the gain maps of these four colors. The resolution is half of the captured image, both vertically and horizontally.
次に、解像度を揃える為、ＧＡＩＮＭＡＰ＿１に対してリサイズ処理と必要に応じてフィルタリング（ステップＰ２０３）を行い、ＧＡＩＮＭＡＰ＿２（ステップＳ２０７）を得る。解像度は撮影画像と同じである。最後に、全面白の仮想的なＲＡＷ画像であるＲＡＷ＿ＷＨＩＴＥ（ステップＳ２０８）とＧＡＩＮＭＡＰ＿２を乗算（ステップＰ２０４）してクリップ画像ＣＬＩＰＭＡＰ（ステップＳ２０９）を得る。解像度は撮影画像と同じである。 Next, in order to make the resolution uniform, GAINMAP_1 is subjected to resizing processing and filtering as necessary (step P203) to obtain GAINMAP_2 (step S207). The resolution is the same as the captured image. Finally, RAW_WHITE (step S208), which is a virtual white RAW image, is multiplied by GAINMAP_2 (step P204) to obtain a clip image CLIPMAP (step S209). The resolution is the same as the captured image.
ＣＬＩＰＭＡＰは各画素におけるクリップ値が格納された画像となっている。従って、図７の（ステップＳ５１２）にてデジタルゲイン演算（一律）を行った出力画像と、クリップ値が格納された画像を比較暗処理することにより、画素毎のクリップ処理が実現可能となる。 CLIPMAP is an image in which clip values at each pixel are stored. Therefore, the pixel-by-pixel clipping process can be realized by performing comparative dark processing on the output image on which the digital gain calculation (uniform) is performed in (step S512) in FIG. 7 and the image in which the clip value is stored.
ステップＳ２０７とステップＳ２０８を乗算することの意味について説明する。ＧＡＩＮＭＡＰ＿２（ステップＳ２０７）は、各画素又は各画像領域における、Ｒ／Ｇｒ／Ｇｂ／Ｂの色毎のデジタルゲインの最小値が格納されたゲインマップである。１倍未満のデジタルゲインが存在する場合、飽和部分に着色するという問題が発生する為、１倍未満のデジタルゲインに相当する値にＲＧＢの値をクリップする必要がある。 The meaning of multiplying step S207 and step S208 will be described. GAINMAP_2 (step S207) is a gain map in which the minimum value of the digital gain for each color of R / Gr / Gb / B in each pixel or each image region is stored. When a digital gain of less than 1 exists, there is a problem that the saturated portion is colored. Therefore, it is necessary to clip the RGB value to a value corresponding to the digital gain of less than 1 time.
この処理は、デジタルゲイン演算を行うハードウェアに該当する機能がなくとも、汎用的な画像処理によっても実装可能である。例えば、ある画素におけるデジタルゲインの最小値が１．２倍である場合、飽和部分に着色することは原理上起きないのでクリップ処理する必要はない。これはステップＳ２０７とステップＳ２０８を乗算することにおいては４０９５（１２ビットで白）×１．２＝４９１４となることに相当する。一方、画素におけるデジタルゲインの最小値が０．８倍である場合、飽和部分に着色する可能性があるのでクリップ処理する必要がある。 This processing can be implemented by general-purpose image processing even if there is no function corresponding to hardware for performing digital gain calculation. For example, when the minimum value of the digital gain in a certain pixel is 1.2 times, coloring in a saturated portion does not occur in principle, so that it is not necessary to perform clipping processing. This is equivalent to multiplying step S207 and step S208 to 4095 (white with 12 bits) × 1.2 = 4914. On the other hand, when the minimum value of the digital gain in the pixel is 0.8 times, there is a possibility that the saturated portion is colored, so it is necessary to perform clipping processing.
これはステップＳ２０７とステップＳ２０８を乗算することにおいては４０９５（１２ビットで白）×０．８＝３２７６となることに相当する。デジタルゲイン処理後のＲＧＢ値が３２７６ＬＳＢを超える場合は全て３２７６ＬＳＢにクリップすることで着色せずに１倍未満のデジタルゲイン処理を行うことができる。 This is equivalent to multiplying step S207 and step S208 to 4095 (white with 12 bits) × 0.8 = 3276. When the RGB value after the digital gain processing exceeds 3276LSB, the digital gain processing of less than 1 can be performed without coloring by clipping to 3276LSB.
すなわち、補正する領域あるいは画素において、各色の合成デジタルゲイン値が所定のゲイン値よりも小さい時に、各色の合成デジタルゲイン値をクリップゲイン値に決定する。 That is, when the combined digital gain value of each color is smaller than a predetermined gain value in the region or pixel to be corrected, the combined digital gain value of each color is determined as the clip gain value.
１倍未満のデジタルゲイン演算となる処理はいくつかあるが、ここでは周辺減光処理を例として挙げる。図２に示された流れに従って周辺減光処理を行うことを考えると、ステップＳ１０５で１倍未満のデジタルゲイン処理を行うことにより、飽和している画像領域（画素）はＲＧＢ出力値が揃った状態のまま飽和していない状態になる為、後段にあるホワイトバランス処理によってＲ信号とＢ信号が増幅されてマゼンタに着色する現象が発生する。 There are several processes that are digital gain calculations of less than 1. However, here, peripheral light reduction processing is taken as an example. Considering that the peripheral dimming process is performed according to the flow shown in FIG. 2, the RGB output values are aligned in the saturated image region (pixel) by performing the digital gain process of less than 1 in step S105. Since the state remains unsaturated, a phenomenon occurs in which the R signal and the B signal are amplified and magenta is colored by the white balance processing in the subsequent stage.
従って、周辺減光処理において高輝度部に不自然な着色を発生させない為には、通常、ステップＳ１０６（ホワイトバランス処理）が先でステップＳ１０５（周辺光量補正処理）が後にくる順番である必要があることになる。 Therefore, in order not to cause unnatural coloring in the high luminance portion in the peripheral light reduction processing, it is usually necessary that step S106 (white balance processing) is first and step S105 (peripheral light amount correction processing) follows. There will be.
トンネル効果を実現するにはＹＵＶに対して周辺減光処理を行うという手段も考えられるが、ＹＵＶのビット深度は基本的に８ビットしかない為、高階調性という面では不利となる。図９（ａ）の太枠で示した太陽付近の画像領域に対して、周辺減光処理の影響がどのように発生するかを図１０及び図１１に示す。なお、図９（ａ）は、晴天の街頭写真であり、図９（ｂ）は簡単のために図９（ａ）を模式化した図である。また、図１１は図１０の模式図である。 In order to realize the tunnel effect, a means of performing a peripheral dimming process on YUV may be considered, but since the YUV bit depth is basically only 8 bits, it is disadvantageous in terms of high gradation. FIG. 10 and FIG. 11 show how the influence of the peripheral dimming process occurs on the image area near the sun indicated by the thick frame in FIG. 9A. FIG. 9A is a sunny street photo, and FIG. 9B is a schematic diagram of FIG. 9A for simplicity. FIG. 11 is a schematic diagram of FIG.
図１０に示されるように、左列の周辺減光処理→ホワイトバランス処理の順序の場合、元々飽和していた太陽がマゼンタに強く着色しており、Ｃｂ／Ｃｒ値が高く出力していることが読み取れる。一方、右列のホワイトバランス処理→周辺減光処理の順序の場合、太陽は無彩色のままＹ値だけが高くなっており、こちらの方が画像としては好ましいと言える。なお、図１１の破線は、太陽の輪郭を表し、斜線部はマゼンタ色を表す。 As shown in FIG. 10, in the case of the peripheral dimming process → white balance process in the left column, the originally saturated sun is strongly colored magenta, and the Cb / Cr value is high. Can be read. On the other hand, in the order of white balance processing → peripheral dimming processing in the right column, the sun remains achromatic and only the Y value is high, which is preferable for an image. In addition, the broken line of FIG. 11 represents the outline of the sun, and the shaded area represents magenta.
以上のことから、周辺減光処理などデジタルゲイン値が１倍未満となる演算を行う処理については、ＲＡＷ画像に対する画像処理の流れ（一部抜粋）は、図１２に示すようにホワイトバランス処理のあとにくることが望ましい。 From the above, with regard to processing for performing digital gain value less than 1 times, such as peripheral light reduction processing, the flow of image processing (partial excerpt) for a RAW image is as shown in FIG. It is desirable to come later.
前述した通り、高階調性の面から言えば各種デジタルゲイン処理は一律演算した方が有利であるが、１倍未満のデジタルゲイン値となる処理を含む場合はホワイトバランス処理との処理順序が高輝度部の着色に対して重要な要素となっており基本的に一律演算とはできず、互いに相反している状況である。 As described above, from the viewpoint of high gradation, it is more advantageous to perform various digital gain processing uniformly. However, if processing including a digital gain value of less than 1 is included, the processing order of white balance processing is high. This is an important factor for the coloring of the luminance part, and basically it is not possible to perform a uniform operation, and is in a state of conflicting with each other.
更に言えば、図１２に示すようにステップＳ９０５（周辺光量補正）→ステップＳ９０６（ホワイトバランス処理）→ステップＳ９０７（周辺減光処理）のような順序となると、減感処理より先に（１倍以上の）デジタルゲイン演算を行う分だけ画像が持つダイナミックレンジが低下してしまう為、周辺減光処理のような減感処理もデジタルゲインの一律演算に含めてしまうことが本来としては望ましい。 Further, as shown in FIG. 12, when the order of step S905 (peripheral light amount correction) → step S906 (white balance processing) → step S907 (peripheral dimming processing) is performed, the desensitization processing is performed (1 ×). Since the dynamic range of the image is reduced by the amount of digital gain calculation described above, it is originally desirable to include desensitization processing such as peripheral light reduction processing in the uniform calculation of digital gain.
そこで、周辺減光処理のような減感処理をデジタルゲイン処理の一律演算に含めつつ、かつ高輝度部の着色を抑える方法として、画像領域（あるいは画素）毎に算出されるデジタルゲイン値に基いて、該当する画像領域（あるいは画素）毎のデジタルゲイン値が１倍未満となる場合には、それ相応の値にクリップ処理を行うことにより着色を防ぐことが可能となる。 Therefore, as a method for suppressing the coloring of the high-luminance portion while including desensitization processing such as peripheral light reduction processing in the uniform calculation of digital gain processing, it is based on the digital gain value calculated for each image region (or pixel). When the digital gain value for each corresponding image area (or pixel) is less than 1 time, it is possible to prevent coloring by performing clip processing on the corresponding value.
なお、所定のＩＳＯ感度を操作者が設定することが可能な、ＩＳＯ感度設定手段が設けられても良い。これにより、画像処理手段は所定のＩＳＯ感度よりも高感度のときは、各画素領域の画像処理には個別のデジタルゲインが用いられても良い。 An ISO sensitivity setting unit that allows the operator to set a predetermined ISO sensitivity may be provided. Thereby, when the image processing means has a higher sensitivity than the predetermined ISO sensitivity, individual digital gain may be used for the image processing of each pixel region.
すなわち、トーンジャンプ（階調飛び）はある程度画像のＳ／Ｎ比が低下してくると、ランダムノイズに埋もれて視認できなくなる。そのため、ＩＳＯ感度やデジタルゲインの条件に応じて本発明の処理を実施するかどうかを選択することで、必要のない場合は処理時間を優先することが可能である。 That is, when the S / N ratio of the image is lowered to some extent, the tone jump (gradation jump) is buried in random noise and cannot be visually recognized. Therefore, it is possible to give priority to the processing time when it is not necessary by selecting whether to execute the processing of the present invention according to the conditions of ISO sensitivity and digital gain.
また、ここでの各画素領域とは、例えば、１画素単位、または、元画像の縦横がそれぞれ１／８の大きさの領域を指す。すなわち、クリップ処理は画素単位で行うことが可能であるが、この方式では処理時間やメモリ消費量が大きい。このため、元画像の縦横がそれぞれ１／８の大きさに分割してゲイン値を求めることが可能である。なお、画素はＲ／Ｇ／Ｂの３色であっても良い。 In addition, each pixel area here refers to, for example, an area in units of one pixel or 1/8 in length and width of the original image. That is, the clipping process can be performed on a pixel-by-pixel basis, but with this method, the processing time and memory consumption are large. For this reason, it is possible to obtain the gain value by dividing the original image vertically and horizontally into 1/8 size. Note that the pixels may have three colors of R / G / B.
２１ アナログフロントエンド部（撮像手段）
２２ 信号処理部（画像処理手段）
２８ 制御部ＣＰＵ（デジタルゲイン算出手段、デジタルゲイン決定手段）
21 Analog front end (imaging means)
22 Signal processor (image processing means)
28 control unit CPU (digital gain calculating means, digital gain determining means)
Claims (9)
デジタルゲイン値に基づいて前記撮像データの領域あるいは画素を補正する画像処理手段と、
個別のデジタルゲイン値を有する、リニアリティ補正処理・ＯＢクランプ処理・周辺光量補正処理・ホワイトバランス処理・周辺減光処理の中から２つ以上の処理を実行するために、個別のデジタルゲイン値から複数の色毎に一つの合成デジタルゲイン値を算出するデジタルゲイン算出手段と、
各色の前記合成デジタルゲイン値に基づいて、前記画像処理手段に用いる各色の前記デジタルゲイン値を決定するデジタルゲイン決定手段と
を有することを特徴とする撮像装置の画像処理装置。 Imaging means for photoelectrically converting a subject image to generate imaging data;
Image processing means for correcting an area or pixels of the imaging data based on a digital gain value;
In order to execute two or more processes among linearity correction processing, OB clamp processing, peripheral light amount correction processing, white balance processing, and peripheral dimming processing with individual digital gain values, Digital gain calculating means for calculating one composite digital gain value for each color of
An image processing apparatus of an imaging apparatus, comprising: a digital gain determining unit that determines the digital gain value of each color used in the image processing unit based on the combined digital gain value of each color.
デジタルゲイン値に基づいて前記撮像データの領域あるいは画素を補正する画像処理ステップと、
個別のデジタルゲイン値を有する、リニアリティ補正処理・ＯＢクランプ処理・周辺光量補正処理・ホワイトバランス処理・周辺減光処理の中から２つ以上の処理を実行するために、個別のデジタルゲイン値から複数の色毎に一つの合成デジタルゲイン値を算出するデジタルゲイン算出ステップと、
各色の前記合成デジタルゲイン値に基づいて、前記画像処理手段に用いる各色の前記デジタルゲイン値を決定するデジタルゲイン決定ステップと
を有することを特徴とする画像処理方法。 An imaging step of photoelectrically converting a subject image to generate imaging data;
An image processing step of correcting an area or pixels of the imaging data based on a digital gain value;
In order to execute two or more processes among linearity correction processing, OB clamp processing, peripheral light amount correction processing, white balance processing, and peripheral dimming processing with individual digital gain values, A digital gain calculating step for calculating one composite digital gain value for each color of
And a digital gain determining step of determining the digital gain value of each color used in the image processing means based on the combined digital gain value of each color.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013043120A JP2014171186A (en) | 2013-03-05 | 2013-03-05 | Image processing system and image processing method for imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013043120A JP2014171186A (en) | 2013-03-05 | 2013-03-05 | Image processing system and image processing method for imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014171186A true JP2014171186A (en) | 2014-09-18 |
Family
ID=51693251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013043120A Pending JP2014171186A (en) | 2013-03-05 | 2013-03-05 | Image processing system and image processing method for imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014171186A (en) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004080168A (en) * | 2002-08-12 | 2004-03-11 | Ricoh Co Ltd | Digital still camera |
| JP2004320292A (en) * | 2003-04-15 | 2004-11-11 | Ikegami Tsushinki Co Ltd | White balance circuit |
| JP2005257743A (en) * | 2004-03-09 | 2005-09-22 | Canon Inc | Electronic camera having auto bracketing function |
| JP2006054527A (en) * | 2004-08-10 | 2006-02-23 | Sony Corp | Imaging signal processing method, imaging signal processing circuit, and imaging apparatus |
| JP2008053812A (en) * | 2006-08-22 | 2008-03-06 | Fujifilm Corp | Imaging apparatus |
| US7349574B1 (en) * | 2002-10-11 | 2008-03-25 | Sensata Technologies, Inc. | System and method for processing non-linear image data from a digital imager |
| JP2008177872A (en) * | 2007-01-18 | 2008-07-31 | Fujifilm Corp | Image processing method, device, and program, and imaging device |
| JP2009094697A (en) * | 2007-10-05 | 2009-04-30 | Nikon Corp | Image processor, electronic camera, and image processing program |
| JP2012253725A (en) * | 2011-06-07 | 2012-12-20 | Toshiba Corp | Image processor |
-
2013
- 2013-03-05 JP JP2013043120A patent/JP2014171186A/en active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004080168A (en) * | 2002-08-12 | 2004-03-11 | Ricoh Co Ltd | Digital still camera |
| US7349574B1 (en) * | 2002-10-11 | 2008-03-25 | Sensata Technologies, Inc. | System and method for processing non-linear image data from a digital imager |
| JP2004320292A (en) * | 2003-04-15 | 2004-11-11 | Ikegami Tsushinki Co Ltd | White balance circuit |
| JP2005257743A (en) * | 2004-03-09 | 2005-09-22 | Canon Inc | Electronic camera having auto bracketing function |
| JP2006054527A (en) * | 2004-08-10 | 2006-02-23 | Sony Corp | Imaging signal processing method, imaging signal processing circuit, and imaging apparatus |
| JP2008053812A (en) * | 2006-08-22 | 2008-03-06 | Fujifilm Corp | Imaging apparatus |
| JP2008177872A (en) * | 2007-01-18 | 2008-07-31 | Fujifilm Corp | Image processing method, device, and program, and imaging device |
| JP2009094697A (en) * | 2007-10-05 | 2009-04-30 | Nikon Corp | Image processor, electronic camera, and image processing program |
| JP2012253725A (en) * | 2011-06-07 | 2012-12-20 | Toshiba Corp | Image processor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20160105656A1 (en) | White balance method in multi-exposure imaging system | |
| US9426437B2 (en) | Image processor performing noise reduction processing, imaging apparatus equipped with the same, and image processing method for performing noise reduction processing | |
| US8970745B2 (en) | Image processing device, image processing method and storage medium to suppress shading of images in which pixel addition processing is performed | |
| US8154629B2 (en) | Noise canceling circuit, noise canceling method, and solid-state imaging device | |
| JP6312487B2 (en) | Image processing apparatus, control method therefor, and program | |
| US20130093909A1 (en) | Image capturing apparatus and method for controlling image capturing apparatus | |
| US9936172B2 (en) | Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image | |
| JP2015156615A (en) | Image processing system, image processing method, control program, and recording medium | |
| KR20140013891A (en) | Image processing apparatus, image processing method, and solid-state imaging apparatus | |
| US8692911B2 (en) | Image processing device, image processing method, and camera module | |
| US11200647B2 (en) | Image processing | |
| JP2013162248A (en) | Imaging device and method for controlling the same | |
| JP2013223061A (en) | Image processing device | |
| JP5631769B2 (en) | Image processing device | |
| US11032463B2 (en) | Image capture apparatus and control method thereof | |
| JP6315239B2 (en) | Imaging apparatus, imaging method, image processing apparatus, imaging program | |
| JP5330291B2 (en) | Signal processing apparatus and imaging apparatus | |
| JP2010068465A (en) | Image processing apparatus, image capturing apparatus, and image processing method | |
| US11431924B2 (en) | Image capturing apparatus and control method thereof | |
| JP2014171186A (en) | Image processing system and image processing method for imaging apparatus | |
| JP2010056817A (en) | Imaging apparatus | |
| JP2010147800A (en) | Image processing apparatus | |
| JP2006332732A (en) | Apparatus for suppressing color shift noise | |
| JP2015041869A (en) | Imaging apparatus, information processing method, and program | |
| JP2014150471A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20150327 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160115 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161014 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170314 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170912 |