JP7101539B2 - Image processing equipment, image processing methods, and programs - Google Patents

Image processing equipment, image processing methods, and programs Download PDF

Info

Publication number
JP7101539B2
JP7101539B2 JP2018098058A JP2018098058A JP7101539B2 JP 7101539 B2 JP7101539 B2 JP 7101539B2 JP 2018098058 A JP2018098058 A JP 2018098058A JP 2018098058 A JP2018098058 A JP 2018098058A JP 7101539 B2 JP7101539 B2 JP 7101539B2
Authority
JP
Japan
Prior art keywords
image
component
correction
filter
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018098058A
Other languages
Japanese (ja)
Other versions
JP2019204225A (en
JP2019204225A5 (en
Inventor
明 加納
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018098058A priority Critical patent/JP7101539B2/en
Publication of JP2019204225A publication Critical patent/JP2019204225A/en
Publication of JP2019204225A5 publication Critical patent/JP2019204225A5/ja
Application granted granted Critical
Publication of JP7101539B2 publication Critical patent/JP7101539B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program.

情報のデジタル化により画像を信号値として扱うことが可能になった。これに伴い、撮影画像に対する様々な補正処理方法が提案されている。デジタルカメラで被写体を撮像した場合、得られた画像は、特に撮像光学系の収差によって画質劣化（画像のぼけ）を伴う。画像のぼけは、光学系の球面収差、コマ収差、像面湾曲、非点収差等が原因である。これらの収差による画像のぼけは、無収差で回折の影響もないと仮定した場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが広がりをもって像を結んでいる状態に相当する。画像のぼけ成分は、光学的には点像強度分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）により生じる成分である。 The digitization of information has made it possible to treat images as signal values. Along with this, various correction processing methods for captured images have been proposed. When a subject is imaged with a digital camera, the obtained image is accompanied by image quality deterioration (image blurring) due to aberrations of the imaging optical system in particular. Image blur is caused by spherical aberration, coma, curvature of field, astigmatism, etc. of the optical system. The blurring of the image due to these aberrations is such that the luminous flux emitted from one point of the subject is spread out and formed on the imaging surface, assuming that there is no aberration and there is no influence of diffraction. Equivalent to. The blur component of the image is a component optically generated by a point image intensity distribution function (PSF: Point Spread Function).

従来、入力画像をぼかした画像と入力画像との差分を入力画像に加算又は減算することにより入力画像を鮮鋭化するアンシャープマスク処理が知られている。特許文献１では、像高方向の画素信号列に対して非対称な１次元のフィルタを適用することにより光学系の点像強度分布関数の影響を低減する方法が提案されている。 Conventionally, an unsharp mask process for sharpening an input image by adding or subtracting a difference between an image in which the input image is blurred and the input image is known. Patent Document 1 proposes a method of reducing the influence of the point image intensity distribution function of an optical system by applying an asymmetric one-dimensional filter to a pixel signal sequence in the image height direction.

特許第４６１８３５５号公報Japanese Patent No. 4618355

アンシャープマスクとして回転対称なフィルタを利用する従来のアンシャープマスク処理では、非対称収差やサジタルハロのような複雑な形状のＰＳＦの影響を受けて劣化した画像を鮮鋭化により補正することは困難である。即ち、収差が大きく発生しているアジムス方向の収差を補正する場合、収差の小さなアジムス方向ではアンダーシュートが発生し、逆にアンダーシュートを抑制すると収差を十分に補正できない。 In the conventional unsharp mask processing using a rotationally symmetric filter as an unsharp mask, it is difficult to correct an image deteriorated by the influence of PSF having a complicated shape such as asymmetric aberration and sagittal halo by sharpening. .. That is, when correcting the aberration in the azimuth direction in which a large aberration is generated, an undershoot occurs in the azimuth direction in which the aberration is small, and conversely, if the undershoot is suppressed, the aberration cannot be sufficiently corrected.

特許文献１の方法では、メリジオナル面のアジムス方向である像高方向への非対称性しか考慮しておらず、フィルタは１次元であるため、像高方向以外の方向への非対称性を改善することができない。また、フィルタは、マイナスタップ係数の個数で非対称性が調整され、光学系のＰＳＦのぼけ方とは異なるため、十分に画像を鮮鋭化することができない。 In the method of Patent Document 1, only the asymmetry in the image height direction, which is the azimuth direction of the meridional plane, is considered, and since the filter is one-dimensional, the asymmetry in the direction other than the image height direction should be improved. Can't. Further, the asymmetry of the filter is adjusted by the number of minus tap coefficients, which is different from the blurring of the PSF of the optical system, so that the image cannot be sufficiently sharpened.

また、回転対称なフィルタを利用する従来のアンシャープマスク処理では、補正の強さを制御することは行われているが、各周波数に対するバランスの制御は考慮されていない。そのため、鮮鋭化の効果を上げるために補正を強めると、特に高周波側でノイズが増幅される。反対に、補正を弱めると、ノイズの問題は緩和されるものの鮮鋭化の効果が低減する。 Further, in the conventional unsharp mask processing using a rotationally symmetric filter, the strength of correction is controlled, but the control of the balance for each frequency is not taken into consideration. Therefore, if the correction is strengthened in order to enhance the sharpening effect, noise is amplified especially on the high frequency side. Conversely, weakening the correction alleviates the noise problem but reduces the sharpening effect.

本発明はこのような状況に鑑みてなされたものであり、ノイズの増幅を抑制しつつ、撮像光学系の点像強度分布関数に起因する画質劣化を補正する技術を提供することを目的とする。 The present invention has been made in view of such a situation, and an object of the present invention is to provide a technique for correcting image quality deterioration caused by a point image intensity distribution function of an imaging optical system while suppressing noise amplification. ..

上記課題を解決するために、本発明は、撮像光学系の点像強度分布関数に起因する画質劣化を補正する補正処理を入力画像に適用することにより補正画像を生成する画像処理手段を備える画像処理装置であって、前記補正画像に含まれる前記補正処理に由来する補正成分が、前記入力画像に前記点像強度分布関数を適用した場合に前記入力画像に生じる変化に対応する第１の成分に対してローパスフィルタを適用した場合に得られる第２の成分に基づき、前記補正成分が、前記第１の成分と前記第２の成分とを所定の合成率で合成した場合に得られる第３の成分に基づき、前記画像処理装置は、前記入力画像の撮像時のＩＳＯ感度に基づいて、前記ＩＳＯ感度が第１の値である場合に、前記第１の成分に対する前記第２の成分の比率が、前記ＩＳＯ感度が前記第１の値より小さい第２の値である場合よりも大きくなるように、前記所定の合成率を決定する決定手段を更に備えることを特徴とする画像処理装置を提供する。 In order to solve the above problems, the present invention includes an image processing means for generating a corrected image by applying a correction process for correcting image quality deterioration caused by a point image intensity distribution function of an imaging optical system to an input image. A first image processing apparatus, in which a correction component derived from the correction process included in the correction image corresponds to a change that occurs in the input image when the point image intensity distribution function is applied to the input image. Based on the second component obtained when the low-pass filter is applied to the components, the correction component is obtained when the first component and the second component are synthesized at a predetermined synthesis rate. Based on the third component, the image processing apparatus is based on the ISO sensitivity at the time of capturing the input image, and when the ISO sensitivity is the first value, the second component with respect to the first component. Image processing characterized in that the image processing further comprises a determining means for determining the predetermined synthesis rate so that the ratio of the components is larger than when the ISO sensitivity is a second value smaller than the first value. Provide the device.

本発明によれば、ノイズの増幅を抑制しつつ、撮像光学系の点像強度分布関数に起因する画質劣化を補正することが可能となる。 According to the present invention, it is possible to correct the image quality deterioration caused by the point image intensity distribution function of the imaging optical system while suppressing the amplification of noise.

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。 In addition, other features and advantages of the present invention will be further clarified by the accompanying drawings and the description in the following embodiments for carrying out the invention.

アンシャープマスク処理（画像鮮鋭化処理）による補正の概念図。Conceptual diagram of correction by unsharp mask processing (image sharpening processing). 撮像光学系のＰＳＦの概念図。Conceptual diagram of PSF of an imaging optical system. 非対称に劣化した画像に対して回転対称なガウシアンフィルタを用いるアンシャープマスク処理による補正の概念図。Conceptual diagram of correction by unsharp mask processing using a rotationally symmetric Gaussian filter for an asymmetrically deteriorated image. 非対称に劣化した画像に対して回転非対称な撮像光学系のＰＳＦを適用するアンシャープマスク処理の概念図。The conceptual diagram of the unsharp mask processing which applies the PSF of the rotation asymmetric image pickup optical system to the asymmetrically deteriorated image. 式１０の括弧｛｝の絶対値を示す図。The figure which shows the absolute value of the parentheses {} of an expression 10. アンシャープマスク処理による補正前後の振幅成分ＭＴＦの変化を示す図。The figure which shows the change of the amplitude component MTF before and after the correction by the unsharp mask processing. 式７の（１－Ｕ（ｕ，ｖ））の周波数特性の例を示す図。The figure which shows the example of the frequency characteristic of (1-U (u, v)) of the formula 7. ローパスフィルタＬＰＦ（ｘ，ｙ）の周波数特性の例を示す図。The figure which shows the example of the frequency characteristic of a low-pass filter LPF (x, y). 画像処理装置の一例である撮像装置１００の構成を示す図。The figure which shows the structure of the image pickup apparatus 100 which is an example of an image processing apparatus. 撮像光学系の点像強度分布関数（ＰＳＦ）に起因する画質劣化を補正する補正処理のフローチャート。The flowchart of the correction process which corrects the image quality deterioration caused by the point image intensity distribution function (PSF) of an image pickup optical system. ベイヤー配列の模式図。Schematic diagram of the Bayer array. ローパスフィルタ取得部１１２が取得するローパスフィルタＬＰＦ（ｘ，ｙ）の周波数特性の例を示す図。The figure which shows the example of the frequency characteristic of the low-pass filter LPF (x, y) acquired by a low-pass filter acquisition unit 112. 異なる撮影条件における撮像光学系のＭＴＦの例を示す図。The figure which shows the example of the MTF of the image pickup optical system under different shooting conditions. （ａ）ＰＳＦ（ｘ，ｙ）及びローパスフィルタＬＰＦ（ｘ，ｙ）の一例として１５×１５タップの２次元のフィルタを表す図、（ｂ）図１４（ａ）のＰＳＦ（ｘ，ｙ）及びＬＰＦ（ｘ，ｙ）の断面図。(A) PSF (x, y) and low-pass filter As an example of LPF (x, y), a diagram showing a two-dimensional filter of 15 × 15 taps, (b) PSF (x, y) of FIG. 14 (a) and Sectional drawing of LPF (x, y). 入力画像の模式図。Schematic diagram of the input image. 図１５の第１象限を拡大した図。An enlarged view of the first quadrant of FIG. 式１５に示す演算方法を実現するための画像処理部１０４の構成を示す図。The figure which shows the structure of the image processing unit 104 for realizing the calculation method shown in the formula 15. 式１５に示す演算方法による補正処理のフローチャート。The flowchart of the correction process by the calculation method shown in the formula 15. 式２７により生成した補正フィルタのゲインの例を示す図。The figure which shows the example of the gain of the correction filter generated by the equation 27.

以下、添付図面を参照して、本発明の実施形態を説明する。添付図面の全体を通じて、同一の参照符号が付与された要素は、同一又は同様の要素を表す。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. Throughout the accompanying drawings, elements with the same reference numeral represent the same or similar elements. The technical scope of the present invention is determined by the scope of claims, and is not limited by the following individual embodiments. Also, not all combinations of features described in the embodiments are essential to the present invention. It is also possible to appropriately combine the features described in the separate embodiments.

［第１の実施形態］
最初に、本実施形態の画像補正処理の原理を説明する。図１は、アンシャープマスク処理（画像鮮鋭化処理）による補正の概念図である。図１において、横軸は座標を示し、縦軸は画素値又は輝度値を示す。図１（Ａ）において、実線は入力画像を示し、破線は入力画像をぼかした画像（ボケ画像）を示し、点線は鮮鋭化後の画像を示す。図１（Ｂ）は、補正成分を表す。 [First Embodiment]
First, the principle of the image correction processing of the present embodiment will be described. FIG. 1 is a conceptual diagram of correction by unsharp mask processing (image sharpening processing). In FIG. 1, the horizontal axis represents coordinates and the vertical axis represents pixel values or luminance values. In FIG. 1A, a solid line indicates an input image, a broken line indicates an image in which the input image is blurred (blurred image), and a dotted line indicates an image after sharpening. FIG. 1B shows a correction component.

入力画像をｆ（ｘ，ｙ）、補正成分をｈ（ｘ，ｙ）とすると、鮮鋭化後の補正画像ｇ（ｘ，ｙ）は以下の式１で表される。

g(x,y)=f(x,y)+m×h(x,y) ・・・(1)

ここで、ｍは補正の強さを変化させるための調整係数である。調整係数ｍを変化させることで補正量を調整することができる。なお、調整係数ｍは、入力画像の位置によらない定数であってもよいし、入力画像の位置に応じて変化させてもよい。調整係数ｍを入力画像の位置に応じて異ならせることで、入力画像の位置に応じて補正量を調整することができる。また、調整係数ｍは、光学系の焦点距離、絞り値、又は被写体距離といった撮影条件に応じて異なる数であってもよい。また、式１は第１項と第２項を加算する形で表されるが、これは調整係数ｍが正の場合であり、調整係数ｍが負の場合は、式１は第１項と第２項を減算する形で表される。 Assuming that the input image is f (x, y) and the correction component is h (x, y), the sharpened corrected image g (x, y) is represented by the following equation 1.

g (x, y) = f (x, y) + m × h (x, y) ・ ・ ・ (1)

Here, m is an adjustment coefficient for changing the strength of the correction. The correction amount can be adjusted by changing the adjustment coefficient m. The adjustment coefficient m may be a constant that does not depend on the position of the input image, or may be changed according to the position of the input image. By making the adjustment coefficient m different according to the position of the input image, the correction amount can be adjusted according to the position of the input image. Further, the adjustment coefficient m may be a different number depending on the shooting conditions such as the focal length of the optical system, the aperture value, or the subject distance. Further, Equation 1 is expressed by adding the first term and the second term. This is the case where the adjustment coefficient m is positive, and when the adjustment coefficient m is negative, Equation 1 is expressed as the first term. It is expressed by subtracting the second term.

補正成分ｈ（ｘ，ｙ）は、アンシャープマスクにおけるボケ画像生成フィルタをＵＳＭ（ｘ，ｙ）とすると、以下の式２で表される。ＵＳＭ（ｘ，ｙ）は、例えば、座標（ｘ，ｙ）におけるタップ値である。

h(x,y)=f(x,y)-f(x,y)*USM(x,y) ・・・(2)

ここで、「＊」はコンボリューション（畳み込み積分、積和）を意味する。 The correction component h (x, y) is expressed by the following equation 2 assuming that the blurred image generation filter in the unsharp mask is USM (x, y). USM (x, y) is, for example, a tap value in coordinates (x, y).

h (x, y) = f (x, y) -f (x, y) * USM (x, y) ・ ・ ・ (2)

Here, "*" means convolution (convolution integral, sum of products).

式２の右辺を変形すると、補正成分ｈ（ｘ，ｙ）は以下の式３で表される。

h(x,y)=f(x,y)*(δ(x,y)-USM(x,y)) ・・・(3)

ここで、「δ」はデルタ関数（理想点像）である。デルタ関数とは、ＵＳＭ（ｘ，ｙ）とタップ数が等しく、中心の値が１でそれ以外が０で埋まっているデータである。 When the right side of the equation 2 is transformed, the correction component h (x, y) is expressed by the following equation 3.

h (x, y) = f (x, y) * (δ (x, y) -USM (x, y)) ・ ・ ・ (3)

Here, "δ" is a delta function (ideal point image). The delta function is data in which the number of taps is equal to that of USM (x, y), the center value is 1, and the other values are filled with 0.

以下、補正成分ｈ（ｘ，ｙ）の生成について説明する。一般的なアンシャープマスク処理では、ボケ画像生成フィルタとしてガウシアンフィルタ、メディアンフィルタ、又は移動平均フィルタ等の平滑化フィルタが使用される。例えば、図１（Ａ）の実線で示される入力画像ｆ（ｘ，ｙ）に対してＵＳＭ（ｘ，ｙ）としてガウシアンフィルタを適用する場合、入力画像ｆ（ｘ，ｙ）は図１（Ａ）の破線で示されるボケ画像となる。補正成分ｈ（ｘ，ｙ）は、式２に示されるように入力画像ｆ（ｘ，ｙ）とボケ画像の差分値であり、図１（Ａ）の実線から図１（Ａ）の破線を減算することで図１（Ｂ）の実線で表される補正成分ｈ（ｘ，ｙ）が得られる。入力画像ｆ（ｘ，ｙ）は、式１の演算を行うことで、図１（Ａ）の点線で示される鮮鋭化後の補正画像ｇ（ｘ，ｙ）となる。 Hereinafter, the generation of the correction component h (x, y) will be described. In general unsharp mask processing, a smoothing filter such as a Gaussian filter, a median filter, or a moving average filter is used as a blurred image generation filter. For example, when a Gaussian filter is applied as USM (x, y) to the input image f (x, y) shown by the solid line in FIG. 1 (A), the input image f (x, y) is shown in FIG. 1 (A). ) Is the blurred image shown by the broken line. The correction component h (x, y) is a difference value between the input image f (x, y) and the blurred image as shown in Equation 2, and the broken line in FIG. 1 (A) is drawn from the solid line in FIG. 1 (A). By subtraction, the correction component h (x, y) represented by the solid line in FIG. 1 (B) can be obtained. The input image f (x, y) becomes the corrected image g (x, y) after sharpening shown by the dotted line in FIG. 1 (A) by performing the calculation of Equation 1.

以下、被写体の光学像を形成する撮像光学系により劣化した画像に対して、アンシャープマスク処理を行うことで画像を補正する方法について説明する。 Hereinafter, a method of correcting an image by performing unsharp mask processing on an image deteriorated by an imaging optical system that forms an optical image of a subject will be described.

撮像光学系を介して取得される入力画像ｆ（ｘ，ｙ）は、撮影前の元の画像（被写体像）をＩ（ｘ，ｙ）、撮像光学系の点光源に対する応答を表す関数であるＰＳＦをｐｓｆ（ｘ，ｙ）とすると、以下の式４で表される。

f(x,y)=I(x,y)*psf(x,y) ・・・(4)

撮像光学系が回転対称な共軸光学系である場合、画像の中心部に対応するＰＳＦは回転対称となる。そのため、画像の中心部に対して回転対称なＵＳＭ（ｘ，ｙ）を適用することで、入力画像ｆ（ｘ，ｙ）を元の画像Ｉ（ｘ，ｙ）に近づける鮮鋭化を行うことができる。補正成分ｈ（ｘ，ｙ）は入力画像ｆ（ｘ，ｙ）とボケ画像の差分値であるため、ＵＳＭ（ｘ，ｙ）として単純な平滑化フィルタではなく、ＰＳＦに近い形状のフィルタを使用することで入力画像ｆ（ｘ，ｙ）を精度良く補正することができる。例えば、球面収差の影響で入力画像が劣化する場合、球面収差は入力画像に回転対称に影響を与えるが、ガウシアンフィルタのような平滑化フィルタは、球面収差の影響によるＰＳＦとは分布の形状が異なる。そのため、入力画像が回転対称にぼける影響を低減する場合、ＰＳＦを使用することで入力画像を精度良く補正することができる。 The input image f (x, y) acquired via the image pickup optical system is a function representing the response of the original image (subject image) before shooting to I (x, y) and the point light source of the image pickup optical system. Assuming that PSF is psf (x, y), it is expressed by the following equation 4.

f (x, y) = I (x, y) * psf (x, y) ・ ・ ・ (4)

When the imaging optical system is a rotationally symmetric co-axis optical system, the PSF corresponding to the center of the image is rotationally symmetric. Therefore, by applying USM (x, y) that is rotationally symmetric with respect to the center of the image, it is possible to sharpen the input image f (x, y) so that it approaches the original image I (x, y). can. Since the correction component h (x, y) is the difference value between the input image f (x, y) and the blurred image, a filter having a shape close to PSF is used as the USM (x, y) instead of a simple smoothing filter. By doing so, the input image f (x, y) can be corrected with high accuracy. For example, when the input image is deteriorated due to the influence of spherical aberration, the spherical aberration affects the rotational symmetry of the input image, but the smoothing filter such as the Gaussian filter has a distribution shape different from that of PSF due to the influence of spherical aberration. different. Therefore, when the influence of the input image being blurred in rotational symmetry is reduced, the input image can be corrected with high accuracy by using the PSF.

本実施形態では、ＵＳＭ（ｘ，ｙ）としてＰＳＦを用いる。図１（Ａ）の実線で示される入力画像ｆ（ｘ，ｙ）は、簡略化のため対称な形状としているが、非対称な形状であってもよい。元の画像Ｉ（ｘ，ｙ）の形状が非対称であってもｐｓｆ（ｘ，ｙ）に相当する元の画像Ｉ（ｘ，ｙ）の劣化関数が回転対称であれば、回転対称なＵＳＭ（ｘ，ｙ）を用いて鮮鋭化を行うことができる。 In this embodiment, PSF is used as USM (x, y). The input image f (x, y) shown by the solid line in FIG. 1A has a symmetrical shape for simplification, but may have an asymmetrical shape. Even if the shape of the original image I (x, y) is asymmetric, if the deterioration function of the original image I (x, y) corresponding to psf (x, y) is rotationally symmetric, the rotationally symmetric USM ( Sharpening can be performed using x, y).

画像の中心部以外では、撮像光学系が回転対称な共軸光学系であっても、ＰＳＦは通常非対称な形状となる。図２は、撮像光学系のＰＳＦの概念図である。図２（Ａ）は軸上のＰＳＦを表し、図２（Ｂ）は軸外のＰＳＦを表す。例えば、元の画像（被写体像）が理想点像である場合、入力画像ｆ（ｘ，ｙ）は、式４に示されるように、撮像光学系のＰＳＦになる。図２（Ｂ）に対応する画角に理想点像があり、撮像光学系のＰＳＦの影響を受けて元の画像（被写体像）が劣化する場合、入力画像ｆ（ｘ，ｙ）として得られる画像は、図２（Ｂ）に示されるように、ぼけた画像となる。 Other than the central part of the image, the PSF usually has an asymmetric shape even if the image pickup optical system is a rotationally symmetric coaxial optical system. FIG. 2 is a conceptual diagram of the PSF of the imaging optical system. FIG. 2A represents an on-axis PSF and FIG. 2B represents an off-axis PSF. For example, when the original image (subject image) is an ideal point image, the input image f (x, y) becomes the PSF of the imaging optical system as shown in Equation 4. When there is an ideal point image at the angle of view corresponding to FIG. 2B and the original image (subject image) is deteriorated due to the influence of the PSF of the imaging optical system, it is obtained as an input image f (x, y). The image is a blurred image as shown in FIG. 2 (B).

以下、非対称にぼけた画像に対して、アンシャープマスク処理による補正を行う場合について説明する。図３は、非対称に劣化した画像に対して回転対称なガウシアンフィルタを用いるアンシャープマスク処理による補正の概念図である。図４は、非対称に劣化した画像に対して回転非対称な撮像光学系のＰＳＦを適用するアンシャープマスク処理の概念図である。図１において、横軸は座標を示し、縦軸は画素値又は輝度値を示す。図３（Ａ）及び図４（Ａ）において、実線は入力画像を表し、破線は入力画像をぼかした画像（ボケ画像）を表す。図３（Ｂ）及び図４（Ｂ）は、入力画像とボケ画像の差分値である補正成分を表す。図３及び図４の横軸では、ボケ画像のうち、よりぼけて裾野が広くなっている側を便宜的にプラス側と表現し、その反対側をマイナス側と表現する。 Hereinafter, a case where correction by unsharp mask processing is performed on an asymmetrically blurred image will be described. FIG. 3 is a conceptual diagram of correction by unsharp mask processing using a rotationally symmetric Gaussian filter for an asymmetrically deteriorated image. FIG. 4 is a conceptual diagram of an unsharp mask process in which a PSF of a rotationally asymmetric imaging optical system is applied to an asymmetrically deteriorated image. In FIG. 1, the horizontal axis represents coordinates and the vertical axis represents pixel values or luminance values. In FIGS. 3A and 4A, the solid line represents the input image, and the broken line represents the blurred image (blurred image) of the input image. 3 (B) and 4 (B) show a correction component which is a difference value between an input image and a blurred image. On the horizontal axis of FIGS. 3 and 4, the side of the blurred image that is more blurred and has a wider base is expressed as the plus side for convenience, and the opposite side is expressed as the minus side.

図３（Ａ）では、実線のピーク位置に対してマイナス側の入力画像とボケ画像の差分値が、プラス側の入力画像とボケ画像の差分値より大きい。そのため、図３（Ｂ）に示されるように、ピーク位置に対してマイナス側の補正成分の極値は、プラス側の補正成分の極値に比べて小さい。即ち、プラス側の補正成分が小さく、マイナス側の補正成分は大きいため、式１を用いてアンシャープマスク処理を行っても非対称なボケを補正できない。図３（Ｃ）は、式１の調整係数ｍが１である場合の補正後の画像を表す。補正後の画像は、図３（Ｃ）に示されるように、図３（Ａ）の実線で示される入力画像に対して鮮鋭化されているが、マイナス側の領域がプラス側の領域に比べて大きく凹んでおり、非対称なボケは補正されていない。また、入力画像のプラス側の領域を適切に補正するように調整係数ｍを設定すると、入力画像のマイナス側の領域は補正過剰（アンダーシュート）になる。入力画像のマイナス側の領域を適切に補正するように調整係数ｍを設定すると、入力画像のプラス側の領域は補正不足になる。 In FIG. 3A, the difference value between the input image on the minus side and the blurred image with respect to the peak position of the solid line is larger than the difference value between the input image on the plus side and the blurred image. Therefore, as shown in FIG. 3B, the extremum of the correction component on the minus side with respect to the peak position is smaller than the extremum of the correction component on the plus side. That is, since the correction component on the plus side is small and the correction component on the minus side is large, asymmetric blur cannot be corrected even if the unsharp mask processing is performed using Equation 1. FIG. 3C shows a corrected image when the adjustment coefficient m of Equation 1 is 1. As shown in FIG. 3C, the corrected image is sharpened with respect to the input image shown by the solid line in FIG. 3A, but the minus side region is compared with the plus side region. It is greatly dented and asymmetrical blur is not corrected. Further, if the adjustment coefficient m is set so as to appropriately correct the positive side region of the input image, the negative side region of the input image becomes overcorrected (undershoot). If the adjustment coefficient m is set so as to appropriately correct the negative side region of the input image, the positive side region of the input image is insufficiently corrected.

以上説明したように、非対称にぼけた入力画像に対して回転対称なＵＳＭ（ｘ，ｙ）を適用してアンシャープマスク処理を行う場合、入力画像の非対称性を改善することは困難である。このような問題は、ガウシアンフィルタ以外の回転対称なフィルタを使用する場合でも発生する。 As described above, when the unsharp mask processing is performed by applying the rotationally symmetric USM (x, y) to the asymmetrically blurred input image, it is difficult to improve the asymmetry of the input image. Such problems occur even when a rotationally symmetric filter other than the Gaussian filter is used.

図４（Ａ）では、実線のピーク位置に対してプラス側の入力画像とボケ画像の差分値が、マイナス側の入力画像とボケ画像の差分値より大きい。そのため、図４（Ｂ）に示されるように、ピーク位置に対してプラス側の補正成分の極値は、マイナス側の補正成分の極値に比べて小さい。即ち、ボケ量が大きいプラス側の補正成分は大きく、ボケ量の少ないマイナス側の補正成分は小さくなっている。従って、図４（Ａ）の実線で示される入力画像に対してアンシャープマスク処理を行うと、入力画像のボケのバランスと補正成分の補正量のバランスの傾向が一致するため、補正の過不足も起きにくい。 In FIG. 4A, the difference value between the input image on the plus side and the blurred image with respect to the peak position of the solid line is larger than the difference value between the input image on the minus side and the blurred image. Therefore, as shown in FIG. 4B, the extremum of the correction component on the plus side with respect to the peak position is smaller than the extremum of the correction component on the minus side. That is, the correction component on the plus side with a large amount of blur is large, and the correction component on the minus side with a small amount of blur is small. Therefore, when the unsharp mask processing is performed on the input image shown by the solid line in FIG. 4A, the tendency of the balance of the blur of the input image and the balance of the correction amount of the correction component match, so that the correction is excessive or insufficient. Is hard to get up.

図４（Ｃ）は、式１の調整係数ｍが１である場合の補正後の画像を表す。補正後の画像は、図４（Ｃ）に示されるように、図４（Ａ）の実線で示される入力画像に対して補正されるとともに、図３（Ｃ）の補正後の画像に比べてマイナス側の領域とプラス側の領域の凹みのバランス差が改善されている。また、回転対称なＵＳＭ（ｘ，ｙ）を適用する場合と比べて、補正過剰になりにくくなるため、調整係数ｍの値も比較的大きく変化させることできる。そのため、補正後の画像は、非対称なボケが低減されるとともにより鮮鋭化される。 FIG. 4C shows a corrected image when the adjustment coefficient m of Equation 1 is 1. As shown in FIG. 4C, the corrected image is corrected with respect to the input image shown by the solid line in FIG. 4A, and is compared with the corrected image in FIG. 3C. The balance difference between the dents on the minus side and the dents on the plus side has been improved. Further, since the correction is less likely to be excessive as compared with the case where the rotationally symmetric USM (x, y) is applied, the value of the adjustment coefficient m can be changed relatively greatly. Therefore, the corrected image is sharpened while reducing asymmetric blurring.

また、補正成分の補正量のバランスは入力画像とボケ画像の差分値となるため、より精度良くアンシャープマスク処理を行うためには、撮像光学系のＰＳＦによって大きくぼけた領域がＵＳＭ（ｘ，ｙ）によって他の領域に比べてよりぼかされる必要がある。従って、ＵＳＭ（ｘ，ｙ）として撮像光学系のＰＳＦを利用することで、より精度良くアンシャープマスク処理を行うことができる。 Further, since the balance of the correction amount of the correction component is the difference value between the input image and the blurred image, in order to perform the unsharp mask processing with higher accuracy, the region largely blurred by the PSF of the imaging optical system is USM (x, It needs to be more blurred by y) compared to other areas. Therefore, by using the PSF of the imaging optical system as the USM (x, y), the unsharp mask processing can be performed with higher accuracy.

以下、アンシャープマスク処理の周波数特性の制御について説明する。式１をフーリエ変換して周波数面での表示形式に変換すると、式１は以下の式５で表される。

G(u,v)=F(u,v)+m×H(u,v) ・・・(5)

ここで、Ｈ（ｕ，ｖ）は補正成分ｈ（ｘ，ｙ）のフーリエ変換であり、Ｇ（ｕ，ｖ）及びＦ（ｕ，ｖ）はそれぞれ補正後の画像ｇ（ｘ，ｙ）及び入力画像ｆ（ｘ，ｙ）のフーリエ変換である。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数である。 Hereinafter, the control of the frequency characteristics of the unsharp mask processing will be described. When the equation 1 is Fourier transformed and converted into the display format in terms of frequency, the equation 1 is expressed by the following equation 5.

G (u, v) = F (u, v) + m × H (u, v) ・ ・ ・ (5)

Here, H (u, v) is a Fourier transform of the correction component h (x, y), and G (u, v) and F (u, v) are the corrected images g (x, y) and, respectively. It is a Fourier transform of the input image f (x, y). (U, v) is a coordinate on a two-dimensional frequency plane, that is, a frequency.

式２をフーリエ変換することで、補正成分ｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）は、以下の式６で表される。

H(u,v)=F(u,v)-F(u,v)×U(u,v) ・・・(6)

ここで、Ｕ（ｕ，ｖ）は、ボケ画像生成フィルタであるＵＳＭ（ｘ，ｙ）のフーリエ変換である。 By Fourier transforming Equation 2, the Fourier transform H (u, v) of the correction component h (x, y) is represented by Equation 6 below.

H (u, v) = F (u, v) -F (u, v) × U (u, v) ・ ・ ・ (6)

Here, U (u, v) is a Fourier transform of USM (x, y), which is a blurred image generation filter.

また、式３をフーリエ変換することで、補正成分ｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）は、以下の式７で表される。

H(u,v)=F(u,v)×(1-U(u,v)) ・・・(7)

補正後の画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）は、式５に式６を代入することで、以下の式８で表される。

G(u,v)=F(u,v)+m×{F(u,v)-F(u,v)×U(u,v)} ・・・(8)

また、補正後の画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）は、式５に式７を代入することで、以下の式９で表される。

G(u,v)=F(u,v)+m×F(u,v)×{1-U(u,v)} ・・・(9)

ここで、式９は、以下の式のように変形される。

G(u,v)=F(u,v)×{1+m×(1-U(u,v))} ・・・(10)

式８から式１０は、処理する順序等が異なるものの、数式の変形により導出できるため、いずれも等価な関係にある。式１０の括弧｛｝の部分は、アンシャープマスク処理前後の周波数特性の変化に対応する。即ち、式１０の括弧｛｝の絶対値は、アンシャープマスク処理で使用するフィルタのゲイン（鮮鋭化度合い）であり、アンシャープマスク処理の周波数空間における補正効果を表す。 Further, by performing the Fourier transform of the equation 3, the Fourier transform H (u, v) of the correction component h (x, y) is expressed by the following equation 7.

H (u, v) = F (u, v) × (1-U (u, v)) ・ ・ ・ (7)

The Fourier transform G (u, v) of the corrected image g (x, y) is expressed by the following equation 8 by substituting the equation 6 into the equation 5.

G (u, v) = F (u, v) + m × {F (u, v) -F (u, v) × U (u, v)} ・ ・ ・ (8)

Further, the Fourier transform G (u, v) of the corrected image g (x, y) is expressed by the following equation 9 by substituting the equation 7 into the equation 5.

G (u, v) = F (u, v) + m × F (u, v) × {1-U (u, v)} ・ ・ ・ (9)

Here, the equation 9 is transformed as the following equation.

G (u, v) = F (u, v) × {1 + m × (1-U (u, v))} ・ ・ ・ (10)

Although the processing order and the like are different from the equations 8 to 10, they can be derived by modifying the equations, so that they are all in an equivalent relationship. The part in parentheses {} in Equation 10 corresponds to the change in frequency characteristics before and after the unsharp mask processing. That is, the absolute value of the parentheses {} in Equation 10 is the gain (sharpness degree) of the filter used in the unsharp mask processing, and represents the correction effect in the frequency space of the unsharp mask processing.

図５は、式１０の括弧｛｝の絶対値を示す図である。図５において、横軸は空間周波数を示し、縦軸はゲインを示す。図５では、点線は調整係数ｍが０．５である場合を表し、高周波側ではゲインＧａが１．５に漸近する。破線は調整係数ｍが１．０である場合を表し、高周波側ではゲインＧａが２．０に漸近する。図５の実線については後で説明する。 FIG. 5 is a diagram showing the absolute value of the parentheses {} in Equation 10. In FIG. 5, the horizontal axis represents the spatial frequency and the vertical axis represents the gain. In FIG. 5, the dotted line represents the case where the adjustment coefficient m is 0.5, and the gain Ga gradually approaches 1.5 on the high frequency side. The broken line represents the case where the adjustment coefficient m is 1.0, and the gain Ga gradually approaches 2.0 on the high frequency side. The solid line in FIG. 5 will be described later.

ボケ画像生成フィルタＵＳＭ（ｘ，ｙ）として撮像光学系のＰＳＦを利用する場合、ＵＳＭ（ｘ，ｙ）のフーリエ変換Ｕ（ｕ，ｖ）は、ＰＳＦのフーリエ変換である光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）となる。 When the PSF of the imaging optical system is used as the blurred image generation filter USM (x, y), the Fourier transform U (u, v) of the USM (x, y) is the optical transfer function (OTF:) which is the Fourier transform of the PSF. Optical Transfer Function).

図６は、アンシャープマスク処理による補正前後の振幅成分ＭＴＦの変化を示す図である。図６において、一点鎖線は補正前の振幅成分ＭＴＦを表し、点線と破線はそれぞれ図５の点線と破線に対応する補正後の振幅成分ＭＴＦを表す。図６の実線については後で説明する。 FIG. 6 is a diagram showing changes in the amplitude component MTF before and after correction by unsharp mask processing. In FIG. 6, the alternate long and short dash line represents the amplitude component MTF before correction, and the dotted line and the broken line represent the corrected amplitude component MTF corresponding to the dotted line and broken line in FIG. 5, respectively. The solid line in FIG. 6 will be described later.

振幅成分ＭＴＦは、収差による画像劣化の振幅成分の周波数特性であり、図６に示されるように、低周波側が高く、高周波側が低くなる。振幅成分ＭＴＦがゼロに近づくと、ＯＴＦの実部及び虚部はゼロに近づき、撮像光学系で解像できる周波数を超えると実部及び虚部は０となる。このとき、ゲインＧａは式１０より（１＋ｍ）となる。そのため、ＵＳＭ（ｘ，ｙ）として撮像光学系のＰＳＦを利用した場合でも、ゲインＧａは図５の点線や破線で示される高周波側で増加する曲線となる。なお、軸外のＰＳＦは回転非対称となるため、ゲインＧａも回転非対称となる。ゲインＧａはＰＳＦが回転対称の場合はどの方向（断面）でも一定となるが、回転非対称な場合は方向によって異なる。また、所定の周波数でゲインＧａはＧａ＞（１＋ｍ）となる場合もある。 The amplitude component MTF is a frequency characteristic of the amplitude component of image deterioration due to aberration, and as shown in FIG. 6, the low frequency side is high and the high frequency side is low. When the amplitude component MTF approaches zero, the real part and the imaginary part of the OTF approach zero, and when the frequency exceeds the frequency that can be resolved by the imaging optical system, the real part and the imaginary part become zero. At this time, the gain Ga is (1 + m) from Equation 10. Therefore, even when the PSF of the imaging optical system is used as the USM (x, y), the gain Ga becomes a curve that increases on the high frequency side shown by the dotted line or the broken line in FIG. Since the off-axis PSF is rotationally asymmetric, the gain Ga is also rotationally asymmetric. The gain Ga is constant in any direction (cross section) when the PSF is rotationally symmetric, but differs depending on the direction when the PSF is rotationally asymmetric. Further, the gain Ga may be Ga> (1 + m) at a predetermined frequency.

以上説明したように、ボケ画像生成フィルタＵＳＭ（ｘ，ｙ）としてガウス分布のような回転対称なフィルタを利用する場合であっても、撮像光学系のＰＳＦを利用する場合であっても、基本的にゲインＧａは低周波側から高周波側にかけて増加する曲線となる。図５に示されるように、調整係数ｍが異なる場合、高周波側でゲインＧａに差が生じるものの、補正後の振幅成分ＭＴＦは周波数ｆｒにおいて差が最大となる。これは、図６の一点鎖線で示される補正前の振幅成分ＭＴＦに図５に示されるゲインＧａが掛け合わされて補正後の振幅成分ＭＴＦとなるためである。補正前の振幅成分ＭＴＦが低い場合、ゲインＧａが大きくても補正による振幅成分ＭＴＦの変化は小さくなる。 As described above, whether a rotationally symmetric filter such as a Gaussian distribution is used as the blurred image generation filter USM (x, y) or the PSF of the imaging optical system is used, it is basic. The gain Ga is a curve that increases from the low frequency side to the high frequency side. As shown in FIG. 5, when the adjustment coefficients m are different, the gain Ga differs on the high frequency side, but the corrected amplitude component MTF has the maximum difference at the frequency fr. This is because the amplitude component MTF before correction shown by the alternate long and short dash line in FIG. 6 is multiplied by the gain Ga shown in FIG. 5 to obtain the amplitude component MTF after correction. When the amplitude component MTF before correction is low, the change in the amplitude component MTF due to the correction is small even if the gain Ga is large.

図５の点線と破線を比較すると、破線の方が点線を上回っているため補正効果は大きい。しかし、アンシャープマスク処理を適用する入力画像にはノイズ成分が含まれているため、実際にはノイズ成分の影響を考慮する必要がある。入力画像のノイズ成分を考慮すると、式１０は、以下の式１１で表される。

G(u,v)=(F(u,v)+N(u,v))×{1+m×(1-U(u,v))｝ ・・・(11)

ここで、Ｎ（ｕ，ｖ）は、ノイズ成分である。式１１から理解できるように、ノイズ成分を含む入力画像に対してアンシャープマスク処理を行うと、入力画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）とノイズ成分Ｎ（ｕ，ｖ）の両方に括弧｛｝の部分がかかる。また、入力画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）は、式４をフーリエ変換することで取得され、撮影前の元の画像Ｉ（ｘ，ｙ）のフーリエ変換と撮像光学系のＯＴＦの積である。振幅成分ＭＴＦがゼロに近づく高周波側では、ＯＴＦの実部及び虚部はゼロに近づくため、入力画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）も同様にゼロに近づく。 Comparing the dotted line and the broken line in FIG. 5, the correction effect is large because the broken line exceeds the dotted line. However, since the input image to which the unsharp mask processing is applied contains a noise component, it is actually necessary to consider the influence of the noise component. Considering the noise component of the input image, the equation 10 is represented by the following equation 11.

G (u, v) = (F (u, v) + N (u, v)) × {1 + m × (1-U (u, v))} ・ ・ ・ (11)

Here, N (u, v) is a noise component. As can be understood from Equation 11, when the unsharp mask processing is performed on the input image containing the noise component, the Fourier transform F (u, v) of the input image f (x, y) and the noise component N (u, v) are performed. ) Both have parentheses {}. Further, the Fourier transform F (u, v) of the input image f (x, y) is obtained by the Fourier transform of Equation 4, and the Fourier transform and the imaging optics of the original image I (x, y) before shooting. It is the product of the OTF of the system. On the high frequency side where the amplitude component MTF approaches zero, the real part and the imaginary part of the OTF approach zero, so that the Fourier transform F (u, v) of the input image f (x, y) also approaches zero.

一方、ノイズ成分Ｎ（ｕ，ｖ）は、例えばホワイトノイズのようなノイズ成分であれば、基本的に周波数に依存することなく一様な分布となる。従って、高周波側では、入力画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）に対するノイズ成分Ｎ（ｕ，ｖ）の割合が大きくなる。そのため、ノイズ成分を含む入力画像に対して高周波側に大きなゲインをかけると、補正効果はあまり得られないにも関わらず、ノイズ成分は大きく増幅される。そのため、観賞用画像として良好な画像を得るためには、補正効果よりもノイズ成分の影響が大きい高周波側でのゲインはできる限り小さくする必要がある。 On the other hand, the noise component N (u, v) basically has a uniform distribution regardless of frequency if it is a noise component such as white noise. Therefore, on the high frequency side, the ratio of the noise component N (u, v) to the Fourier transform F (u, v) of the input image f (x, y) becomes large. Therefore, when a large gain is applied to the high frequency side of the input image including the noise component, the noise component is greatly amplified even though the correction effect is not so much obtained. Therefore, in order to obtain a good image as an ornamental image, it is necessary to make the gain on the high frequency side, which is more affected by the noise component than the correction effect, as small as possible.

そこで、本実施形態では、観賞用画像として良好な画像を得るために、図５において実線で示すように、補正効果よりノイズ成分に対する影響が大きい高周波側ではゲインＧａを小さくし、ノイズ成分の影響が小さい低周波側ではゲインＧａを大きくする。 Therefore, in the present embodiment, in order to obtain a good image as an ornamental image, as shown by the solid line in FIG. 5, the gain Ga is reduced on the high frequency side where the influence on the noise component is larger than the correction effect, and the influence of the noise component is reduced. On the low frequency side where is small, the gain Ga is increased.

ところで、アンシャープマスク処理では、前述したように、調整係数ｍを変化させることでゲインＧａを制御することができる。しかしながら、調整係数ｍによる補正量の調整では、空間周波数に対して一律に補正量を制御することはできるものの、図５の実線のように低周波側のゲインＧａを大きく、高周波側のゲインＧａを小さくすることはできない。そこで、本実施形態では、以下に説明する方法によりゲインＧａを制御する。 By the way, in the unsharp mask processing, as described above, the gain Ga can be controlled by changing the adjustment coefficient m. However, in the adjustment of the correction amount by the adjustment coefficient m, although the correction amount can be uniformly controlled with respect to the spatial frequency, the gain Ga on the low frequency side is large and the gain Ga on the high frequency side is large as shown by the solid line in FIG. Cannot be made smaller. Therefore, in the present embodiment, the gain Ga is controlled by the method described below.

式７において画像のノイズ成分の影響を考慮すると、補正成分は以下の式１２で表される。

H(u,v)=(F(u,v)+N(u,v))×(1-U(u,v)) ・・・(12)

ここで、図７は、式１２の（１－Ｕ（ｕ，ｖ））の周波数特性の例を示す図である。（１－Ｕ（ｕ，ｖ））は、低周波側から高周波側にかけて増加する曲線であり、ハイパスフィルタの特性を示す。式１２において、ノイズ成分Ｎ（ｕ，ｖ）に（１－Ｕ（ｕ，ｖ））がかかることで、補正成分Ｈ（ｕ，ｖ）は高周波側が増幅されたノイズ成分を含むことになる。この増幅されたノイズ成分を含む補正成分が、アンシャープマスク処理では式１で表したように入力画像に加算されることで、補正後の画像にノイズ増加が発生する。 Considering the influence of the noise component of the image in the formula 7, the correction component is represented by the following formula 12.

H (u, v) = (F (u, v) + N (u, v)) × (1-U (u, v)) ・ ・ ・ (12)

Here, FIG. 7 is a diagram showing an example of the frequency characteristic of (1-U (u, v)) of the formula 12. (1-U (u, v)) is a curve that increases from the low frequency side to the high frequency side, and shows the characteristics of the high-pass filter. In the formula 12, the noise component N (u, v) is multiplied by (1-U (u, v)), so that the correction component H (u, v) includes the noise component amplified on the high frequency side. In the unsharp mask processing, the correction component including the amplified noise component is added to the input image as expressed by Equation 1, so that noise increases in the corrected image.

本実施形態では、このような補正成分に含まれるノイズ成分を抑制するために、補正成分にローパスフィルタＬＰＦ（ｘ，ｙ）をかける。このときの補正成分ｈ（ｘ，ｙ）は以下の式１３で表される。式１３は、式３のローパスフィルタＬＰＦ（ｘ，ｙ）を適用したものに相当する。

h(x,y)=f(x,y)*(δ(x,y)-USM(x,y))*LPF(x,y) ・・・(13)

ここで、図８は、ローパスフィルタＬＰＦ（ｘ，ｙ）の周波数特性の例を示す図である。このようなローパスフィルタを補正成分に適用することで、補正成分中のノイズ成分を抑制することができる。 In the present embodiment, a low-pass filter LPF (x, y) is applied to the correction component in order to suppress the noise component included in such a correction component. The correction component h (x, y) at this time is represented by the following equation 13. Equation 13 corresponds to the one to which the low-pass filter LPF (x, y) of Equation 3 is applied.

h (x, y) = f (x, y) * (δ (x, y) -USM (x, y)) * LPF (x, y) ・ ・ ・ (13)

Here, FIG. 8 is a diagram showing an example of the frequency characteristics of the low-pass filter LPF (x, y). By applying such a low-pass filter to the correction component, the noise component in the correction component can be suppressed.

ローパスフィルタＬＰＦ（ｘ，ｙ）のフーリエ変換をＬ（ｕ，ｖ）とすると、補正後の画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）は、以下の式１４で表される。

G(u,v)=F(u,v)×{1+m×(1-U(u,v))×L(u,v)} ・・・(14)

ここで、式１４に基づくアンシャープマスク処理を実行した後の振幅成分ＭＴＦは図６の実線で表され、式１４に基づくゲインＧａは図５の実線で表される。 Assuming that the Fourier transform of the low-pass filter LPF (x, y) is L (u, v), the Fourier transform G (u, v) of the corrected image g (x, y) is expressed by the following equation 14. ..

G (u, v) = F (u, v) × {1 + m × (1-U (u, v)) × L (u, v)} ・ ・ ・ (14)

Here, the amplitude component MTF after performing the unsharp mask processing based on the equation 14 is represented by the solid line in FIG. 6, and the gain Ga based on the equation 14 is represented by the solid line in FIG.

本実施形態では、ローパスフィルタを撮像光学系の特性に基づいて決定することで、補正効果とノイズ抑制のバランスを制御する。例えば、高周波側でＭＴＦがゼロに近い周波数帯域では、ゲインをかけて補正しても補正効果はほとんどなく、ノイズ成分の増幅だけが発生する。従って、その周波数帯域で振幅を下げるローパスフィルタを使用することで、補正効果を維持し、ノイズ成分の増幅を抑制することが可能になる。 In the present embodiment, the balance between the correction effect and the noise suppression is controlled by determining the low-pass filter based on the characteristics of the imaging optical system. For example, in the frequency band where the MTF is close to zero on the high frequency side, there is almost no correction effect even if the gain is applied and the correction is performed, and only the amplification of the noise component occurs. Therefore, by using a low-pass filter that lowers the amplitude in the frequency band, it is possible to maintain the correction effect and suppress the amplification of the noise component.

本実施形態におけるアンシャープマスク処理の基本式は、式１と式１３から導かれる以下の式１５で表される。なお、本実施形態ではＵＳＭ（ｘ，ｙ）としてＰＳＦを用いるため、式１５以降の式では、ＵＳＭ（ｘ，ｙ）をＰＳＦ（ｘ，ｙ）に置き換えている。

g(x,y)=f(x,y)+m×{f(x,y)*(δ(x,y)-PSF(x,y))*LPF(x,y)} ・・・(15)

また、式１５は、式１６又は式１７に変形することができる。

g(x,y)=f(x,y)+m×{f(x,y)*LPF(x,y)-f(x,y)*PSF(x,y)*LPF(x,y)}・・・(16)
g(x,y)=f(x,y)*{δ(x,y)+m×(δ(x,y)-PSF(x,y))*LPF(x,y)} ・・・(17)

なお、ＰＳＦは、光学系を介して形成される像の像高、光学系の焦点距離、Ｆ値、及び被写体距離を含む撮影条件ごとに異なる。以下では撮影条件として像高を例に説明を行っているが、光学系の焦点距離、Ｆ値、及び撮影距離に応じて異なる収差情報を取得し、それに基づいてボケ画像生成フィルタを生成してもよい。 The basic formula of the unsharp mask processing in the present embodiment is expressed by the following formula 15 derived from the formula 1 and the formula 13. Since PSF is used as USM (x, y) in this embodiment, USM (x, y) is replaced with PSF (x, y) in the formulas 15 and later.

g (x, y) = f (x, y) + m × {f (x, y) * (δ (x, y) -PSF (x, y)) * LPF (x, y)} ・ ・ ・(15)

Further, the formula 15 can be transformed into the formula 16 or the formula 17.

g (x, y) = f (x, y) + m × {f (x, y) * LPF (x, y) -f (x, y) * PSF (x, y) * LPF (x, y) )} ・ ・ ・ (16)
g (x, y) = f (x, y) * {δ (x, y) + m × (δ (x, y) -PSF (x, y)) * LPF (x, y)} ・ ・ ・(17)

The PSF differs depending on the shooting conditions including the image height of the image formed through the optical system, the focal length of the optical system, the F value, and the subject distance. In the following, the image height is described as an example of the shooting conditions, but different aberration information is acquired according to the focal length, F value, and shooting distance of the optical system, and a blurred image generation filter is generated based on the acquisition. May be good.

次に、図９を参照して、第１の実施形態に係る画像処理装置の一例である撮像装置１００の構成について説明する。図１において、撮像光学系１０１は、不図示の被写体を撮像素子１０２に結像する。撮像光学系１０１は、絞り１０１ａ及びフォーカスレンズ１０１ｂを備え、撮像装置１００本体と一体的に構成されている。なお、撮像光学系１０１は、撮像装置１００本体に対して着脱可能に構成されてもよい。撮像光学系１０１には、ローパスフィルタや赤外線カットフィルタなどの光学素子を挿入してもよい。ローパスフィルタなどのＰＳＦの特性に影響を与える光学素子を用いる場合、挿入した光学素子の影響を考慮してアンシャープマスク処理を行えばより高精度な補正処理が可能である。また、赤外線カットフィルタを用いる場合、分光波長のＰＳＦの積分値であるＲＧＢチャンネル（ＲＧＢ色成分）の各ＰＳＦ（特に、ＲチャンネルのＰＳＦ）に影響が生じる。そのため、アンシャープマスク処理を行う際に赤外線カットフィルタの影響を考慮してもよい。 Next, with reference to FIG. 9, the configuration of the image pickup apparatus 100, which is an example of the image processing apparatus according to the first embodiment, will be described. In FIG. 1, the image pickup optical system 101 forms an image of a subject (not shown) on the image pickup element 102. The image pickup optical system 101 includes a diaphragm 101a and a focus lens 101b, and is integrally configured with the image pickup device 100 main body. The image pickup optical system 101 may be configured to be detachably attached to the main body of the image pickup device 100. An optical element such as a low-pass filter or an infrared cut filter may be inserted into the image pickup optical system 101. When an optical element that affects the characteristics of the PSF, such as a low-pass filter, is used, more accurate correction processing can be performed by performing unsharp mask processing in consideration of the influence of the inserted optical element. Further, when the infrared cut filter is used, each PSF (particularly, the PSF of the R channel) of the RGB channel (RGB color component), which is the integral value of the PSF of the spectral wavelength, is affected. Therefore, the influence of the infrared cut filter may be taken into consideration when performing the unsharp mask processing.

撮像素子１０２は、結像光を電気信号に変換する。Ａ／Ｄコンバータ１０３は、撮像素子１０２が出力した電気信号をデジタル信号に変換し、画像処理部１０４に入力する。画像処理部１０４は、点像強度分布関数取得部１１１、ローパスフィルタ取得部１１２、補正フィルタ生成部１１３、フィルタ重畳部１１４、及び、その他画像処理部１１５を含む。画像処理部１０４は、点像強度分布関数取得部１１１、ローパスフィルタ取得部１１２、補正フィルタ生成部１１３、及びフィルタ重畳部１１４によって画像補正処理を行う。また、その他画像処理部１１５は、画素補間、ガンマ補正、カラーバランス調整などの所定の画像処理を行い、ＪＰＥＧ等の画像ファイルを生成する。 The image pickup device 102 converts the image pickup light into an electric signal. The A / D converter 103 converts the electric signal output by the image pickup device 102 into a digital signal and inputs it to the image processing unit 104. The image processing unit 104 includes a point image intensity distribution function acquisition unit 111, a low-pass filter acquisition unit 112, a correction filter generation unit 113, a filter superimposition unit 114, and other image processing units 115. The image processing unit 104 performs image correction processing by the point image intensity distribution function acquisition unit 111, the low-pass filter acquisition unit 112, the correction filter generation unit 113, and the filter superimposition unit 114. In addition, the other image processing unit 115 performs predetermined image processing such as pixel interpolation, gamma correction, and color balance adjustment to generate an image file such as JPEG.

画像処理部１０４は、状態検知部１０７から撮像装置１００の撮像状態の情報を得る。状態検知部１０７は、システムコントローラ１１０から直接状態情報を得ても良い。例えば、撮像光学系に関する撮像状態情報については、状態検知部１０７は、撮像光学系制御部１０６から得ることもできる。 The image processing unit 104 obtains information on the image pickup state of the image pickup apparatus 100 from the state detection unit 107. The state detection unit 107 may obtain state information directly from the system controller 110. For example, the state detection unit 107 can also obtain the image pickup state information regarding the image pickup optical system from the image pickup optical system control unit 106.

記憶部１０８は、画像処理部１０４で使用するＰＳＦ及びローパスフィルタに関する情報を保持する。画像処理部１０４で処理された出力画像は、画像記録媒体１０９に所定のフォーマットで保存される。また、表示部１０５には、画像処理後の画像が表示される。 The storage unit 108 holds information about the PSF and the low-pass filter used in the image processing unit 104. The output image processed by the image processing unit 104 is stored in the image recording medium 109 in a predetermined format. Further, the image after image processing is displayed on the display unit 105.

システムコントローラ１１０は、撮像装置１００の全体的な制御を行う。撮像光学系の機械的な駆動については、システムコントローラ１１０の指示により撮像光学系制御部１０６が行う。 The system controller 110 controls the entire image pickup apparatus 100. The mechanical drive of the image pickup optical system is performed by the image pickup optical system control unit 106 according to the instruction of the system controller 110.

次に、図１０を参照して、撮像光学系の点像強度分布関数（ＰＳＦ）に起因する画質劣化を補正する補正処理について説明する。図１０に示すフローチャートの各ステップの処理は、システムコントローラ１１０の指示に従って画像処理部１０４により実行される。 Next, with reference to FIG. 10, a correction process for correcting image quality deterioration caused by the point image intensity distribution function (PSF) of the imaging optical system will be described. The processing of each step of the flowchart shown in FIG. 10 is executed by the image processing unit 104 according to the instruction of the system controller 110.

Ｓ２０１で、画像処理部１０４は、撮影画像に基づいて補正対象の入力画像を取得する。補正対象の入力画像の色成分データは、例えば、デモザイキング後のＧチャンネルの画像データである。但し、補正対象の入力画像の色成分データは、ＲチャンネルやＢチャンネルの画像データや、ＲＧＢすべてのチャンネルの画像データ、或いはデモザイキング前の画像データであってもよい。図１１は、離散的な規則配列であるベイヤー配列の模式図である。例えば、画像処理部１０４は、単純にＲＧＢの各チャンネルのデータをそのまま抜き出して、色ごとに入力画像として使用してもよいし、特定のチャンネルのみ入力画像として使用してもよい。また、図１１に示されるように、ＧチャンネルをＧ１、Ｇ２の２つに分け、撮影画像を４チャンネルの色成分データとして取り扱ってもよい。Ｇチャンネルを２つに分けることで、Ｒ、Ｇ１、Ｇ２、Ｂのそれぞれを抜き出した画像データは解像度が等しくなるため、処理やデータ加工がしやすくなる。 In S201, the image processing unit 104 acquires an input image to be corrected based on the captured image. The color component data of the input image to be corrected is, for example, the image data of the G channel after demoizing. However, the color component data of the input image to be corrected may be image data of R channel or B channel, image data of all RGB channels, or image data before demoizing. FIG. 11 is a schematic diagram of a Bayer array, which is a discrete regular array. For example, the image processing unit 104 may simply extract the data of each RGB channel as it is and use it as an input image for each color, or may use only a specific channel as an input image. Further, as shown in FIG. 11, the G channel may be divided into two, G1 and G2, and the captured image may be treated as the color component data of the four channels. By dividing the G channel into two, the image data extracted from each of R, G1, G2, and B has the same resolution, which facilitates processing and data processing.

Ｓ２０２で、画像処理部１０４の点像強度分布関数取得部１１１は、入力画像の撮影条件に対応する撮像光学系１０１のＰＳＦを記憶部１０８から取得する。点像強度分布関数取得部１１１が取得するＰＳＦは、２次元のタップデータ、ＰＳＦの構成要素となる複数の１次元のタップデータ、又は係数であってもよい。２次元のタップデータは、例えば、特異値分解定理などを用いて複数の１次元のタップデータに分解される。記憶部１０８が分解されたデータを記録し、点像強度分布関数取得部１１１が撮影条件に応じてＰＳＦの主成分に対応する複数の１次元のタップデータを取得してもよい。なお、記憶部１０８から取得するＰＳＦの情報は、必ずしも精度の高い情報である必要はなく、ＰＳＦを近似した情報であっても構わない。 In S202, the point image intensity distribution function acquisition unit 111 of the image processing unit 104 acquires the PSF of the image pickup optical system 101 corresponding to the shooting conditions of the input image from the storage unit 108. The PSF acquired by the point image intensity distribution function acquisition unit 111 may be two-dimensional tap data, a plurality of one-dimensional tap data that are components of the PSF, or coefficients. The two-dimensional tap data is decomposed into a plurality of one-dimensional tap data by using, for example, a singular value decomposition theorem. The storage unit 108 may record the decomposed data, and the point image intensity distribution function acquisition unit 111 may acquire a plurality of one-dimensional tap data corresponding to the main components of the PSF according to the shooting conditions. The PSF information acquired from the storage unit 108 does not necessarily have to be highly accurate information, and may be information that approximates the PSF.

Ｓ２０３で、ローパスフィルタ取得部１１２は、ローパスフィルタＬＰＦ（ｘ，ｙ）を記憶部１０８から取得する。図１２に、ローパスフィルタ取得部１１２が取得するローパスフィルタＬＰＦ（ｘ，ｙ）の周波数特性の例を示す。この例では、ローパスフィルタ取得部１１２は、撮像光学系のＭＴＦに応じて図１２（ａ）、図１２（ｂ）、図１２（ｃ）に示す３つのローパスフィルタのうちの１つを選択する。図１３は、異なる撮影条件における撮像光学系のＭＴＦの例を示す図であり、点線のＭＴＦは破線のＭＴＦよりもより低周波側でゼロに近づいている。例えば、点線のＭＴＦの場合、ＭＴＦがゼロ付近の周波数帯域におけるノイズ増加を抑えるために、ローパスフィルタ取得部１１２は図１２（ａ）のローパスフィルタを選択する。また、図１３の破線で示したＭＴＦの場合、ローパスフィルタ取得部１１２は図１２（ｃ）のローパスフィルタを選択する。また、図１３の点線で示したＭＴＦと破線で示したＭＴＦの間の特性を持つＭＴＦの場合、ローパスフィルタ取得部１１２は図１２（ｂ）のローパスフィルタを選択する。入力画像の撮影条件と選択するローパスフィルタの対応関係を示す情報は、記憶部１０８に格納することができる。なお、ローパスフィルタ取得部１１２は、記憶部１０８から取得したローパスフィルタをそのままローパスフィルタＬＰＦ（ｘ，ｙ）として使用してもよいし、取得したローパスフィルタを加工したものをローパスフィルタＬＰＦ（ｘ，ｙ）として使用してもよい。 In S203, the low-pass filter acquisition unit 112 acquires the low-pass filter LPF (x, y) from the storage unit 108. FIG. 12 shows an example of the frequency characteristics of the low-pass filter LPF (x, y) acquired by the low-pass filter acquisition unit 112. In this example, the low-pass filter acquisition unit 112 selects one of the three low-pass filters shown in FIGS. 12 (a), 12 (b), and 12 (c) according to the MTF of the imaging optical system. .. FIG. 13 is a diagram showing an example of the MTF of the imaging optical system under different photographing conditions, and the dotted MTF is closer to zero on the lower frequency side than the broken line MTF. For example, in the case of a dotted line MTF, the low-pass filter acquisition unit 112 selects the low-pass filter of FIG. 12A in order to suppress an increase in noise in a frequency band near zero MTF. Further, in the case of the MTF shown by the broken line in FIG. 13, the low-pass filter acquisition unit 112 selects the low-pass filter in FIG. 12 (c). Further, in the case of an MTF having a characteristic between the MTF shown by the dotted line and the MTF shown by the broken line in FIG. 13, the low-pass filter acquisition unit 112 selects the low-pass filter shown in FIG. 12 (b). Information indicating the correspondence between the shooting conditions of the input image and the selected low-pass filter can be stored in the storage unit 108. The low-pass filter acquisition unit 112 may use the low-pass filter acquired from the storage unit 108 as it is as the low-pass filter LPF (x, y), or the acquired low-pass filter processed into the low-pass filter LPF (x, y). It may be used as y).

図１４（ａ）は、ＰＳＦ（ｘ，ｙ）及びローパスフィルタＬＰＦ（ｘ，ｙ）の一例として１５×１５タップの２次元のフィルタを表している。ＰＳＦ（ｘ，ｙ）及びＬＰＦ（ｘ，ｙ）のタップ数は、必ずしも等しくなくてもよい。例えば、ＬＰＦ（ｘ，ｙ）がＰＳＦ（ｘ，ｙ）よりも分布の広がりが小さい場合、タップ数を減らすことで処理負荷を低減したり、データ量を削減したりすることができる。 FIG. 14A shows a 15 × 15 tap two-dimensional filter as an example of the PSF (x, y) and the low-pass filter LPF (x, y). The number of taps of PSF (x, y) and LPF (x, y) does not necessarily have to be equal. For example, when the LPF (x, y) has a smaller distribution spread than the PSF (x, y), the processing load can be reduced or the amount of data can be reduced by reducing the number of taps.

図１４（ｂ）は、図１４（ａ）のＰＳＦ（ｘ，ｙ）及びＬＰＦ（ｘ，ｙ）の断面図である。図１４（ｂ）において、横軸はタップを示し、縦軸はタップの値を示す。図１４（ｂ）では、実線がＰＳＦ（ｘ，ｙ）の断面、点線がＬＰＦ（ｘ，ｙ）の断面を表す。本実施形態では、点像強度分布関数取得部１１１は、記憶部１０８から取得したＰＳＦをそのままＰＳＦ（ｘ，ｙ）として使用してもよいし、取得したＰＳＦを加工したものをＰＳＦ（ｘ、ｙ）として使用してもよい。 14 (b) is a cross-sectional view of the PSF (x, y) and LPF (x, y) of FIG. 14 (a). In FIG. 14B, the horizontal axis represents a tap and the vertical axis represents a tap value. In FIG. 14B, the solid line represents the cross section of the PSF (x, y), and the dotted line represents the cross section of the LPF (x, y). In the present embodiment, the point image intensity distribution function acquisition unit 111 may use the PSF acquired from the storage unit 108 as it is as the PSF (x, y), or the acquired PSF may be processed into the PSF (x, y). It may be used as y).

Ｓ２０４で、補正フィルタ生成部１１３は、ＰＳＦ（ｘ，ｙ）及びＬＰＦ（ｘ，ｙ）から補正フィルタを生成する。補正フィルタＣ（ｘ，ｙ）は、式１７の括弧｛｝の部分に相当し、以下の式１８で表される。

C(x,y)=δ(x,y)+m×(δ(x,y)-PSF(x,y))*LPF(x,y) ・・・(18) In S204, the correction filter generation unit 113 generates a correction filter from the PSF (x, y) and the LPF (x, y). The correction filter C (x, y) corresponds to the part of the parentheses {} in the equation 17, and is represented by the following equation 18.

C (x, y) = δ (x, y) + m × (δ (x, y) -PSF (x, y)) * LPF (x, y) ・ ・ ・ (18)

Ｓ２０５で、フィルタ重畳部１１４は、補正フィルタＣ（ｘ，ｙ）を入力画像に適用する（重畳する）ことにより（即ち、式１７に示す演算を行うことにより）、補正画像ｇ（ｘ，ｙ）を生成する。 In S205, the filter superimposing unit 114 applies (superimposes) the correction filter C (x, y) to the input image (that is, by performing the operation shown in the equation 17), so that the correction image g (x, y) ) Is generated.

式１８において、調整係数ｍは補正量に影響するパラメータである。調整係数ｍを大きくするとアンシャープマスクのゲインＧａは大きくなり、調整係数ｍを小さくするとアンシャープマスクのゲインＧａは小さくなる。図５の点線や破線で示されるように、調整係数ｍを変更すると周波数に対し全体的に補正量が変化する。また、式１８の補正フィルタＣ（ｘ，ｙ）は、ＬＰＦ（ｘ，ｙ）の適用を含んでおり、図５の実線で示されるように、低周波側のゲインＧａを大きく、高周波側のゲインＧａを小さくすることができる。従って、本実施形態の補正処理では、調整係数ｍに基づいてゲインＧａの全体的な調整を行い、ＬＰＦ（ｘ，ｙ）の性質（形状）に基づいてゲインＧａの高周波側と低周波側のバランスの調整を行うことができる。 In Equation 18, the adjustment coefficient m is a parameter that affects the correction amount. When the adjustment coefficient m is increased, the gain Ga of the unsharp mask is increased, and when the adjustment coefficient m is decreased, the gain Ga of the unsharp mask is decreased. As shown by the dotted line and the broken line in FIG. 5, when the adjustment coefficient m is changed, the correction amount changes as a whole with respect to the frequency. Further, the correction filter C (x, y) of the equation 18 includes the application of LPF (x, y), and as shown by the solid line in FIG. 5, the gain Ga on the low frequency side is large and the gain Ga on the high frequency side is large. The gain Ga can be reduced. Therefore, in the correction process of the present embodiment, the gain Ga is adjusted as a whole based on the adjustment coefficient m, and the gain Ga on the high frequency side and the low frequency side is adjusted based on the property (shape) of the LPF (x, y). The balance can be adjusted.

なお、補正フィルタは、ＰＳＦ（ｘ，ｙ）及びＬＰＦ（ｘ，ｙ）に基づいて生成されるが、ＰＳＦは像高によって変化する。そのため、画像処理部１０４は、補正精度を高めるために像高に応じてＰＳＦ（ｘ，ｙ）を変化させてもよい。しかしながら、記憶部１０８が像高に対し細かい間隔で対応するＰＳＦを記録する場合、データ容量が増えコストアップとなる。そこで、本実施形態では、像高によってＰＳＦを変化させるために、入力画像を複数の領域に分割し、領域ごとに少なくとも２点の像高におけるＰＳＦの情報を記憶部１０８に記録する。画像処理部１０４は、少なくとも２点の像高におけるＰＳＦに基づく補間処理を行うことで、様々な像高における補正フィルタを生成する。 The correction filter is generated based on the PSF (x, y) and the LPF (x, y), but the PSF changes depending on the image height. Therefore, the image processing unit 104 may change the PSF (x, y) according to the image height in order to improve the correction accuracy. However, when the storage unit 108 records PSFs corresponding to the image height at fine intervals, the data capacity increases and the cost increases. Therefore, in the present embodiment, in order to change the PSF depending on the image height, the input image is divided into a plurality of regions, and the PSF information at at least two image heights is recorded in the storage unit 108 for each region. The image processing unit 104 generates correction filters at various image heights by performing interpolation processing based on PSF at at least two image heights.

以下、補間処理の詳細について説明する。図１５は、入力画像の模式図である。図１５において、入力画像の長辺方向をｘ軸、短辺方向をｙ軸とし、画像の中心を座標の原点とする。本実施形態では、図１５に示されるように、一例として、入力画像は領域Ａから領域Ｈの８つの領域に分割され、画像処理部１０４は、各領域の周辺部、及び原点のＰＳＦの情報を取得する。図１６は、図１５の第１象限を拡大した図である。図１６において、Ｐ０は原点、Ｐ１、Ｐ２、Ｐ３はそれぞれ領域Ａ、領域Ｂ、領域Ｃの周辺像高を表す。Ｐｎは画像内の任意の点（像高）を表し、図１６では、点Ｐｎは原点Ｐ０から距離ｄ０、点Ｐ２から距離ｄ２で領域Ｂ内に位置する。点Ｐ０、Ｐ２に対応する補正フィルタをそれぞれＦ０、Ｆ２とすると、任意の点Ｐｎに相当する補間データＦｎは、以下の式１９で表される。

Fn=F0×(1-d0)+F2×d2 ・・・(19)

式１９に示すような補間処理を行うことで、各領域内の任意の像高における補正フィルタを生成することができる。このように補間処理を行って補正フィルタを生成することで、像高に対して連続的に補正フィルタを変化させることができる。 Hereinafter, the details of the interpolation processing will be described. FIG. 15 is a schematic diagram of the input image. In FIG. 15, the long side direction of the input image is the x-axis, the short side direction is the y-axis, and the center of the image is the origin of the coordinates. In the present embodiment, as shown in FIG. 15, as an example, the input image is divided into eight regions from the region A to the region H, and the image processing unit 104 has information on the peripheral portion of each region and the PSF at the origin. To get. FIG. 16 is an enlarged view of the first quadrant of FIG. In FIG. 16, P0 represents the origin, and P1, P2, and P3 represent the peripheral image heights of the regions A, B, and C, respectively. Pn represents an arbitrary point (image height) in the image, and in FIG. 16, the point Pn is located in the region B at a distance d0 from the origin P0 and a distance d2 from the point P2. Assuming that the correction filters corresponding to the points P0 and P2 are F0 and F2, respectively, the interpolated data Fn corresponding to the arbitrary point Pn is represented by the following equation 19.

Fn = F0 × (1-d0) + F2 × d2 ・ ・ ・ (19)

By performing the interpolation processing as shown in Equation 19, a correction filter at an arbitrary image height in each region can be generated. By performing the interpolation processing in this way to generate the correction filter, the correction filter can be continuously changed with respect to the image height.

なお、式１９は第１象限の領域Ｂに関する計算式となっているが、他の領域や他の象限についても同様の演算を行うことで補間処理後のデータを作成することができる。また、像高の補間に使用する計算式は式１９に限定されず、計算式に２次曲線を使用したり、或いは補間前の各補正フィルタに対して所定の定数を掛けることで重み付けしたりしてもよい。 Although the formula 19 is a calculation formula for the region B of the first quadrant, the data after the interpolation processing can be created by performing the same calculation for the other regions and the other quadrants. Further, the calculation formula used for image height interpolation is not limited to formula 19, and a quadratic curve may be used in the calculation formula, or each correction filter before interpolation may be weighted by multiplying it by a predetermined constant. You may.

また、ここでは２つのデータから任意の補間データを生成する方法について説明したが、補間に利用するデータ数を増やせば補間データの精度を向上させることができる。例えば、原点Ｐ０や点Ｐ１、Ｐ２、Ｐ３に相当する補正フィルタを点Ｐｎとの距離に応じて重み付けして加算することにより、任意の点Ｐｎに相当する補間データＦｎを生成してもよい。 Further, although a method of generating arbitrary interpolated data from two data has been described here, the accuracy of the interpolated data can be improved by increasing the number of data used for interpolation. For example, the interpolation data Fn corresponding to an arbitrary point Pn may be generated by weighting and adding the correction filters corresponding to the origin P0 and the points P1, P2, and P3 according to the distance from the point Pn.

また、調整係数ｍを像高に応じて変化させる場合、式１９の補正フィルタＦ０、Ｆ２の部分に像高に対応する調整係数ｍを代入することで補間後の調整係数ｍを生成することができる。このように、補間した調整係数ｍを補正フィルタに利用することで、像高に対して連続的に補正量を調整することが可能となる。 Further, when the adjustment coefficient m is changed according to the image height, the adjustment coefficient m after interpolation can be generated by substituting the adjustment coefficient m corresponding to the image height into the correction filters F0 and F2 of the equation 19. can. By using the interpolated adjustment coefficient m in the correction filter in this way, it is possible to continuously adjust the correction amount with respect to the image height.

また、補正フィルタの補間処理を行う代わりに、補正画像ｇ（ｘ，ｙ）の補間処理を行ってもよい。この場合、各像高に対応する補正画像ｇ（ｘ，ｙ）を式１９のＦ０、Ｆ２の部分に代入することで、ＰＳＦの像高方向の変化を考慮した補間後の補正画像を取得することができる。 Further, instead of performing the interpolation processing of the correction filter, the interpolation processing of the corrected image g (x, y) may be performed. In this case, by substituting the corrected image g (x, y) corresponding to each image height into the parts of F0 and F2 of the equation 19, the corrected image after interpolation considering the change in the image height direction of PSF is acquired. be able to.

ところで、図１０では、式１８に示す補正フィルタＣ（ｘ，ｙ）を用いる補正処理、即ち式１７に示す演算方法による補正処理について説明した。しかしながら、本実施形態の補正処理は、式１７に示す演算方法によるものに限定されず、例えば式１５や式１６に示す演算方法によっても本実施形態の補正処理を実現することが可能である。 By the way, in FIG. 10, the correction process using the correction filter C (x, y) shown in the equation 18, that is, the correction process by the calculation method shown in the equation 17 has been described. However, the correction process of the present embodiment is not limited to the calculation method shown in the formula 17, and the correction process of the present embodiment can be realized by, for example, the calculation method shown in the formula 15 or the formula 16.

式１５において、「ｍ×｛ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）－ＰＳＦ（ｘ，ｙ））＊ＬＰＦ（ｘ，ｙ）｝」は、補正画像ｇ（ｘ，ｙ）に含まれる補正処理に由来する補正成分に相当する。補正成分のうち、「｛ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）－ＰＳＦ（ｘ，ｙ））」は、入力画像にＰＳＦ（ｘ，ｙ）を適用した場合に入力画像に生じる変化に対応する成分（第１の成分）に相当する。また、「ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）－ＰＳＦ（ｘ，ｙ））＊ＬＰＦ（ｘ，ｙ）」は、この第１の成分に対してＬＰＦ（ｘ，ｙ）を適用した場合に得られる成分（第２の成分）に相当する。従って、式１５の補正処理は、補正成分が第２の成分のｍ倍となるような補正処理、即ち、補正成分が第２の成分に少なくとも部分的に基づく補正処理であると言える。 In the formula 15, "m × {f (x, y) * (δ (x, y) -PSF (x, y)) * LPF (x, y)}" is added to the corrected image g (x, y). It corresponds to the correction component derived from the included correction process. Of the correction components, "{f (x, y) * (δ (x, y) -PSF (x, y))" occurs in the input image when PSF (x, y) is applied to the input image. It corresponds to the component corresponding to the change (first component). Further, "f (x, y) * (δ (x, y) -PSF (x, y)) * LPF (x, y)" sets LPF (x, y) for this first component. It corresponds to the component (second component) obtained when applied. Therefore, it can be said that the correction process of the formula 15 is a correction process in which the correction component is m times the second component, that is, the correction process is based on the second component at least partially.

ここで、式１６及び式１７は、式１５を変形することにより得られるため、数学的には式１５と等価である。従って、式１５～式１７のいずれの演算方法により補正処理を行っても、補正画像ｇ（ｘ，ｙ）に含まれる補正処理に由来する補正成分は、第２の成分のｍ倍となり、第２の成分に少なくとも部分的に基づく。例えば、式１７の場合、「（δ（ｘ，ｙ）－ＰＳＦ（ｘ，ｙ））」は、デルタ関数とＰＳＦ（ｘ，ｙ）との差に対応するフィルタ（第１の中間フィルタ）であると言える。また、「（δ（ｘ，ｙ）－ＰＳＦ（ｘ，ｙ））＊ＬＰＦ（ｘ，ｙ）」は、第１の中間フィルタにＬＰＦ（ｘ，ｙ）を適用した場合に得られるフィルタ（第２の中間フィルタ）であると言える。従って、式１７の演算方法による補正処理において生成される補正フィルタＣ（ｘ，ｙ）（式１８）は、第２の中間フィルタに少なくとも部分的に基づくフィルタであると言える。そして、このような補正フィルタＣ（ｘ，ｙ）に基づく補正処理を行った場合であっても、結局、補正画像ｇ（ｘ，ｙ）に含まれる補正処理に由来する補正成分は、第２の成分に少なくとも部分的に基づく値になる。 Here, since the equations 16 and 17 are obtained by modifying the equation 15, they are mathematically equivalent to the equation 15. Therefore, regardless of which of the calculation methods of Equations 15 to 17, the correction component derived from the correction process included in the corrected image g (x, y) is m times larger than that of the second component. At least partially based on the components of 2. For example, in the case of Equation 17, "(δ (x, y) -PSF (x, y))" is a filter (first intermediate filter) corresponding to the difference between the delta function and PSF (x, y). It can be said that there is. Further, "(δ (x, y) -PSF (x, y)) * LPF (x, y)" is a filter obtained when LPF (x, y) is applied to the first intermediate filter (first). It can be said that it is an intermediate filter of 2. Therefore, it can be said that the correction filter C (x, y) (Equation 18) generated in the correction processing by the calculation method of Equation 17 is a filter based at least partially on the second intermediate filter. Even when the correction process based on the correction filter C (x, y) is performed, the correction component derived from the correction process included in the correction image g (x, y) is, after all, the second correction component. It is a value that is at least partially based on the components of.

ここから理解できるように、本実施形態の補正処理は、補正画像ｇ（ｘ，ｙ）に含まれる補正処理に由来する補正成分が第２の成分に少なくとも部分的に基づく限り、任意の演算方法により実現可能である。 As can be understood from this, the correction process of the present embodiment is an arbitrary calculation method as long as the correction component derived from the correction process included in the corrected image g (x, y) is at least partially based on the second component. Is feasible.

以下、式１５に示す演算方法による補正処理の具体例について説明する。図１７は、式１５に示す演算方法を実現するための画像処理部１０４の構成を示す図である。この例では、図９に示す画像処理部１０４が、図１７に示す画像処理部１０４に置き換えられる。図１７の画像処理部１０４は、図９に示す補正フィルタ生成部１１３の代わりに、画像合成部１１６を含む。 Hereinafter, a specific example of the correction process by the calculation method shown in the equation 15 will be described. FIG. 17 is a diagram showing a configuration of an image processing unit 104 for realizing the calculation method shown in the equation 15. In this example, the image processing unit 104 shown in FIG. 9 is replaced with the image processing unit 104 shown in FIG. The image processing unit 104 of FIG. 17 includes an image composition unit 116 instead of the correction filter generation unit 113 shown in FIG.

図１８は、式１５に示す演算方法による補正処理のフローチャートである。本フローチャートの各ステップの処理は、システムコントローラ１１０の指示に従って図１７の画像処理部１０４により実行される。 FIG. 18 is a flowchart of the correction process by the calculation method shown in the equation 15. The processing of each step of this flowchart is executed by the image processing unit 104 of FIG. 17 according to the instruction of the system controller 110.

図１８において、Ｓ３０１～Ｓ３０３の処理は、図１０のＳ２０１～Ｓ２０３の処理と同様である。 In FIG. 18, the processing of S301 to S303 is the same as the processing of S201 to S203 of FIG.

Ｓ３０４で、フィルタ重畳部１１４は、ＰＳＦに基づいて生成したフィルタ（δ（ｘ，ｙ）－ＰＳＦ（ｘ，ｙ））を入力画像に重畳し（式２０）、ローパスフィルタＬＰＦ（ｘ，ｙ）を更に重畳する（式２１）。

fp(x,y)=f(x,y)*(δ(x,y)-PSF(x,y)) ・・・(20)
fpl(x,y)=f(x,y)*(δ(x,y)-PSF(x,y))*LPF(x,y) ・・・(21) In S304, the filter superimposing unit 114 superimposes the filter (δ (x, y) -PSF (x, y)) generated based on the PSF on the input image (Equation 20), and the low-pass filter LPF (x, y). Is further superimposed (Equation 21).

fp (x, y) = f (x, y) * (δ (x, y) -PSF (x, y)) ・ ・ ・ (20)
fpl (x, y) = f (x, y) * (δ (x, y) -PSF (x, y)) * LPF (x, y) ・ ・ ・ (21)

Ｓ３０５で、画像合成部１１６は、式１５と式２１から導かれる以下の式２２の演算を行う。

g(x,y)=f(x,y)+m×fpl(x,y) ・・・(22)

式２２に示すように、ＰＳＦに基づいて生成したフィルタとローパスフィルタとを入力画像に重畳することにより得られる画像ｆｐｌ（ｘ，ｙ）と入力画像ｆ（ｘ，ｙ）とを合成することで、補正画像の生成が可能である。 In S305, the image composition unit 116 performs the following calculation of the formula 22 derived from the formula 15 and the formula 21.

g (x, y) = f (x, y) + m × fpl (x, y) ・ ・ ・ (22)

As shown in Equation 22, the image fpl (x, y) obtained by superimposing the filter generated based on PSF and the low-pass filter on the input image and the input image f (x, y) are combined. , It is possible to generate a corrected image.

また、式１６に示した演算方法による補正処理も可能である。この場合、図１８のＳ３０４において、フィルタ重畳部１１４は、ローパスフィルタＬＰＦ（ｘ，ｙ）を以下の式２３に示したように入力画像に重畳する。

fl(x,y)=f(x,y)*LPF(x,y) ・・・(23) Further, the correction process by the calculation method shown in the equation 16 is also possible. In this case, in S304 of FIG. 18, the filter superimposing unit 114 superimposes the low-pass filter LPF (x, y) on the input image as shown in the following equation 23.

fl (x, y) = f (x, y) * LPF (x, y) ・ ・ ・ (23)

また、フィルタ重畳部１１４は、以下の式２４及び式２５に示したように、ＰＳＦに基づいて生成したフィルタＰＳＦ（ｘ，ｙ）とローパスフィルタＬＰＦ（ｘ，ｙ）を重畳する。

fp'(x,y)=f(x,y)*PSF(x,y) ・・・(24)
fpl'(x,y)=fp’(x,y)*LPF(x,y)} ・・・(25) Further, as shown in the following equations 24 and 25, the filter superimposing unit 114 superimposes the filter PSF (x, y) generated based on the PSF and the low-pass filter LPF (x, y).

fp'(x, y) = f (x, y) * PSF (x, y) ・ ・ ・ (24)
fpl'(x, y) = fp'(x, y) * LPF (x, y)} ・ ・ ・ (25)

次に、Ｓ３０５で、画像合成部１１６は、式１６、式２３、式２５から導かれる以下の式２６の演算を行う。

g(x,y)=f(x,y)+m×{fl(x,y)-fpl'(x,y)} ・・・(26)

式２６に示すように、ＰＳＦに基づいて生成したフィルタとローパスフィルタとを入力画像に重畳することにより得られる画像ｆｐｌ’（ｘ，ｙ）と入力画像ｆ（ｘ，ｙ）とを合成することで、補正画像の生成が可能である。 Next, in S305, the image synthesizing unit 116 performs the following calculation of the formula 26 derived from the formula 16, the formula 23, and the formula 25.

g (x, y) = f (x, y) + m × {fl (x, y) -fpl'(x, y)} ・ ・ ・ (26)

As shown in Equation 26, the image fpl'(x, y) obtained by superimposing the filter generated based on PSF and the low-pass filter on the input image and the input image f (x, y) are combined. It is possible to generate a corrected image.

以上説明したように、第１の実施形態によれば、撮像装置１００は、撮像光学系の点像強度分布関数（ＰＳＦ）に起因する画質劣化を補正する補正処理を入力画像に適用することにより補正画像を生成する。この補正処理は、補正画像に含まれる補正処理に由来する補正成分が、入力画像にＰＳＦを適用した場合に入力画像に生じる変化に対応する第１の成分に対してローパスフィルタを適用した場合に得られる第２の成分に少なくとも部分的に基づくように行われる。これにより、ノイズの増幅を抑制しつつ、撮像光学系のＰＳＦに起因する画質劣化を補正することが可能となる。 As described above, according to the first embodiment, the image pickup apparatus 100 applies a correction process for correcting image quality deterioration caused by the point image intensity distribution function (PSF) of the image pickup optical system to the input image. Generate a corrected image. This correction process is performed when the correction component derived from the correction process included in the corrected image applies a low-pass filter to the first component corresponding to the change that occurs in the input image when PSF is applied to the input image. It is done so as to be at least partially based on the second component obtained. This makes it possible to correct the image quality deterioration caused by the PSF of the imaging optical system while suppressing the amplification of noise.

［第２の実施形態］
次に、第２の実施形態について説明する。本実施形態における撮像装置１００の基本的な構成は、第１の実施形態と同様である（図９及び図１７参照）。以下、主に第１の実施形態と異なる点について説明する。 [Second Embodiment]
Next, the second embodiment will be described. The basic configuration of the image pickup apparatus 100 in this embodiment is the same as that in the first embodiment (see FIGS. 9 and 17). Hereinafter, the points different from the first embodiment will be mainly described.

本実施形態では、撮像装置１００は、ローパスフィルタとしてＰＳＦを用いる。前述の通り、ＰＳＦをフーリエ変換したＯＴＦの絶対値ＭＴＦは、図６に示されるように、低周波側が高く高周波側が低い特性を示す。また、前述の通り、高周波側でＭＴＦがゼロに近い周波数帯域は、ゲインをかけて補正しても補正効果はほとんどなく、ノイズ成分の増幅だけが発生する。第１の実施形態では、ＭＴＦがゼロに近い周波数帯域におけるノイズ成分の増幅を抑制するため、式１５～式１７に示すようにローパスフィルタの適用を含む補正処理を行った。しかしながら、このローパスフィルタとして、ＰＳＦをそのまま使用することが可能である。この場合、式１５～式１７におけるＬＰＦ（ｘ，ｙ）は、ＰＳＦ（ｘ，ｙ）に置き換えられる。 In this embodiment, the image pickup apparatus 100 uses a PSF as a low-pass filter. As described above, the absolute value MTF of the OTF obtained by Fourier transforming the PSF exhibits a characteristic that the low frequency side is high and the high frequency side is low, as shown in FIG. Further, as described above, in the frequency band where the MTF is close to zero on the high frequency side, there is almost no correction effect even if the gain is applied to correct the frequency band, and only the amplification of the noise component occurs. In the first embodiment, in order to suppress the amplification of the noise component in the frequency band where the MTF is close to zero, a correction process including the application of a low-pass filter is performed as shown in equations 15 to 17. However, PSF can be used as it is as this low-pass filter. In this case, the LPF (x, y) in the formulas 15 to 17 is replaced with the PSF (x, y).

ローパスフィルタとしてＰＳＦを使用することで、ＭＴＦが残っている周波数帯域については補正効果を残し、ＭＴＦがゼロに近づきＭＴＦが残っていない周波数帯域についてはゲインを抑制することでノイズ増加を抑制することが可能である。 By using PSF as a low-pass filter, the correction effect is left for the frequency band where MTF remains, and the noise increase is suppressed by suppressing the gain for the frequency band where MTF approaches zero and MTF does not remain. Is possible.

また、第１の実施形態では、補正成分の全体がローパスフィルタの影響を受ける補正処理について説明したが、第２の実施形態では、ローパスフィルタの影響を調整可能な構成について説明する。 Further, in the first embodiment, the correction process in which the entire correction component is affected by the low-pass filter has been described, but in the second embodiment, the configuration in which the influence of the low-pass filter can be adjusted will be described.

以下、図１０を参照して、第２の実施形態に係る補正処理について説明する。図１０において、Ｓ２０１及びＳ２０２の処理は、第１の実施形態と同様である。 Hereinafter, the correction process according to the second embodiment will be described with reference to FIG. 10. In FIG. 10, the processes of S201 and S202 are the same as those of the first embodiment.

Ｓ２０３で、ローパスフィルタ取得部１１２は、ローパスフィルタＬＰＦ（ｘ，ｙ）として、Ｓ２０２で取得したＰＳＦあるいはＰＳＦを近似した情報を同様に取得する。 In S203, the low-pass filter acquisition unit 112 similarly acquires the PSF acquired in S202 or information similar to the PSF as the low-pass filter LPF (x, y).

Ｓ２０４で、補正フィルタ生成部１１３は、ＰＳＦ（ｘ，ｙ）から、以下の式２７に示す補正フィルタを生成する。なお、式２７において、LPF(x,y)の部分は実際にはPSF(x,y)が代入されるが、この部分がローパスフィルタ適用の目的を持つことを示すためにLPF(x,y)と表記する。

C(x,y)=δ(x,y)+m×{(1-w)×(δ(x,y)-PSF(x,y))
+w×(δ(x,y)-PSF(x,y))*LPF(x,y)} ・・・(27)

式２７において、調整係数ｗは、ローパスフィルタによる高周波側のゲインの調整強度を制御するための係数である。 In S204, the correction filter generation unit 113 generates the correction filter represented by the following equation 27 from the PSF (x, y). In Equation 27, PSF (x, y) is actually substituted for the LPF (x, y) part, but LPF (x, y) is used to show that this part has the purpose of applying the low-pass filter. ).

C (x, y) = δ (x, y) + m × {(1-w) × (δ (x, y) -PSF (x, y))
+ w × (δ (x, y) -PSF (x, y)) * LPF (x, y)} ・ ・ ・ (27)

In the equation 27, the adjustment coefficient w is a coefficient for controlling the adjustment strength of the gain on the high frequency side by the low-pass filter.

図１９は、式２７により生成した補正フィルタのゲインの例を示す図である。調整係数ｗが０の時は、ローパスフィルタの影響を受けない補正フィルタとなり、ｗを１に近づけていくと高周波側のゲインを抑えた補正フィルタになる。この調整係数ｗを、画像のノイズ成分に影響する撮像素子１０２のＩＳＯ感度に基づいて設定することで、画像のノイズ量に応じて補正フィルタのゲイン特性をコントロールすることが可能である。 FIG. 19 is a diagram showing an example of the gain of the correction filter generated by the equation 27. When the adjustment coefficient w is 0, the correction filter is not affected by the low-pass filter, and when w is brought closer to 1, the correction filter suppresses the gain on the high frequency side. By setting this adjustment coefficient w based on the ISO sensitivity of the image pickup device 102 that affects the noise component of the image, it is possible to control the gain characteristic of the correction filter according to the amount of noise in the image.

式２７の補正フィルタを式１７の括弧｛｝の部分に代入することにより、調整係数ｗによりローパスフィルタによる高周波側のゲインの調整強度を制御可能な補正処理を実現可能である。この場合、「（δ（ｘ，ｙ）－ＰＳＦ（ｘ，ｙ））」は、デルタ関数とＰＳＦ（ｘ，ｙ）との差に対応するフィルタ（第１の中間フィルタ）であると言える。また、「（δ（ｘ，ｙ）－ＰＳＦ（ｘ，ｙ））＊ＬＰＦ（ｘ，ｙ）」は、第１の中間フィルタにＬＰＦ（ｘ，ｙ）を適用した場合に得られるフィルタ（第２の中間フィルタ）であると言える。従って、式２７の補正フィルタＣ（ｘ，ｙ）は、第１の中間フィルタと第２の中間フィルタとを調整係数ｗに基づく所定の合成率で合成した場合に得られるフィルタ（第３の中間フィルタ）に少なくとも部分的に基づくフィルタであると言える。 By substituting the correction filter of the formula 27 into the part of the parentheses {} of the formula 17, it is possible to realize the correction processing in which the adjustment strength of the gain on the high frequency side by the low-pass filter can be controlled by the adjustment coefficient w. In this case, it can be said that "(δ (x, y) -PSF (x, y))" is a filter (first intermediate filter) corresponding to the difference between the delta function and the PSF (x, y). Further, "(δ (x, y) -PSF (x, y)) * LPF (x, y)" is a filter obtained when LPF (x, y) is applied to the first intermediate filter (first). It can be said that it is an intermediate filter of 2. Therefore, the correction filter C (x, y) of the equation 27 is a filter (third intermediate) obtained when the first intermediate filter and the second intermediate filter are synthesized at a predetermined synthesis rate based on the adjustment coefficient w. It can be said that the filter is at least partially based on the filter).

ところで、第１の実施形態では、補正画像に含まれる補正処理に由来する補正成分が、第１の成分に対してＬＰＦを適用した場合に得られる第２の成分に少なくとも部分的に基づく限り、任意の演算方法により補正処理を実現可能であると説明した。この点は、第２の実施形態においても、第１の成分と第２の成分とが調整係数ｗに基づく所定の合成率で合成される点を除き、ほぼ同様である。即ち、第２の実施形態では、補正画像に含まれる補正処理に由来する補正成分が、第１の成分と第２の成分とを所定の合成率で合成した場合に得られる成分（第３の成分）に少なくとも部分的に基づく。このことは、式１５に基づく式２２に調整係数ｗを適用することにより得られる以下の式２８から確認できる。

g(x,y)=f(x,y)+m×{(1-w)×fp(x,y)+w×fpl(x,y)} ・・・(28)

ここで、ｆｐ（ｘ，ｙ）、ｆｐｌ（ｘ，ｙ）は、それぞれ式２０、式２１に示したものである。 By the way, in the first embodiment, as long as the correction component derived from the correction process included in the corrected image is at least partially based on the second component obtained when the LPF is applied to the first component. It was explained that the correction process can be realized by any calculation method. This point is also substantially the same in the second embodiment, except that the first component and the second component are synthesized at a predetermined synthesis rate based on the adjustment coefficient w. That is, in the second embodiment, the correction component derived from the correction process included in the correction image is a component (third) obtained when the first component and the second component are synthesized at a predetermined synthesis rate. Ingredients) at least partially. This can be confirmed from the following equation 28 obtained by applying the adjustment coefficient w to the equation 22 based on the equation 15.

g (x, y) = f (x, y) + m × {(1-w) × fp (x, y) + w × fpl (x, y)} ・ ・ ・ (28)

Here, fp (x, y) and fpl (x, y) are shown in Equations 20 and 21, respectively.

同様に、式１６に基づく式２６に対しても、調整係数ｗを適用して以下の式２９を得ることができる。

g(x,y)=f(x,y)+m×{(1-w)×(f(x,y)-fp'(x,y))
+w×(fl(x,y)-fpl'(x,y)} ・・・(29)

ここで、ｆｌ（ｘ，ｙ）、ｆｐ’（ｘ，ｙ）、ｆｐｌ’（ｘ，ｙ）は、それぞれ式２３、式２４、式２５で示したものである。 Similarly, the following equation 29 can be obtained by applying the adjustment coefficient w to the equation 26 based on the equation 16.

g (x, y) = f (x, y) + m × {(1-w) × (f (x, y) -fp'(x, y))
+ w × (fl (x, y) -fpl'(x, y)} ・ ・ ・ (29)

Here, fl (x, y), fp'(x, y), and fpl'(x, y) are represented by the formulas 23, 24, and 25, respectively.

以上説明したように、第２の実施形態によれば、撮像装置１００は、撮像光学系の点像強度分布関数（ＰＳＦ）に起因する画質劣化を補正する補正処理を入力画像に適用することにより補正画像を生成する。この補正処理は、第１の成分と第２の成分とを所定の合成率で合成した場合に得られる第３の成分に少なくとも部分的に基づくように行われる。ここで、第１の成分は、入力画像にＰＳＦを適用した場合に入力画像に生じる変化に対応する成分であり、第２の成分は、第１の成分に対してローパスフィルタを適用した場合に得られる成分である。これにより、ローパスフィルタによる高周波側のゲインの調整強度を制御することが可能になる。 As described above, according to the second embodiment, the image pickup apparatus 100 applies a correction process for correcting image quality deterioration caused by the point image intensity distribution function (PSF) of the image pickup optical system to the input image. Generate a corrected image. This correction process is performed so as to be at least partially based on the third component obtained when the first component and the second component are synthesized at a predetermined synthesis rate. Here, the first component is a component corresponding to the change that occurs in the input image when PSF is applied to the input image, and the second component is a component when a low-pass filter is applied to the first component. It is an ingredient obtained. This makes it possible to control the gain adjustment strength on the high frequency side by the low-pass filter.

撮像装置１００は、入力画像の撮像時のＩＳＯ感度に基づいて所定の合成率を決定してもよい。一般的に、ＩＳＯ感度が大きいほど、ノイズ成分が多くなる。そこで、撮像装置１００は、ＩＳＯ感度が第１の値である場合に、第１の成分に対する第２の成分の比率が、ＩＳＯ感度が第１の値より小さい第２の値である場合よりも大きくなるように、所定の合成率を決定してもよい。 The image pickup apparatus 100 may determine a predetermined synthesis rate based on the ISO sensitivity at the time of capturing the input image. Generally, the higher the ISO sensitivity, the more noise components. Therefore, in the image pickup apparatus 100, when the ISO sensitivity is the first value, the ratio of the second component to the first component is higher than when the ISO sensitivity is a second value smaller than the first value. A predetermined synthesis rate may be determined so as to be large.

なお、上の説明では、ローパスフィルタとしてＰＳＦをそのまま用いるものとした。しかしながら、撮像装置１００は、ＰＳＦの代わりに、ＰＳＦを基に生成したローパスフィルタを使用してもよい。即ち、撮像装置１００が使用するローパスフィルタは、ＰＳＦに少なくとも部分的に基づくフィルタである。 In the above description, PSF is used as it is as a low-pass filter. However, the image pickup apparatus 100 may use a low-pass filter generated based on the PSF instead of the PSF. That is, the low-pass filter used by the image pickup apparatus 100 is a filter that is at least partially based on the PSF.

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 [Other embodiments]
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１００…撮像装置、１０１…撮像光学系、１０２…撮像素子、１０３…Ａ／Ｄコンバータ、１０４…画像処理部、１０５…表示部、１０６…撮像光学系制御部、１０７…状態検知部、１０８…記憶部、１０９…画像記録媒体、１１０…システムコントローラ 100 ... Image pickup device, 101 ... Image pickup optical system, 102 ... Image pickup element, 103 ... A / D converter, 104 ... Image processing unit, 105 ... Display unit, 106 ... Image pickup optical system control unit, 107 ... State detection unit, 108 ... Storage unit, 109 ... Image recording medium, 110 ... System controller

Claims (7)

撮像光学系の点像強度分布関数に起因する画質劣化を補正する補正処理を入力画像に適用することにより補正画像を生成する画像処理手段を備える画像処理装置であって、
前記補正画像に含まれる前記補正処理に由来する補正成分が、前記入力画像に前記点像強度分布関数を適用した場合に前記入力画像に生じる変化に対応する第１の成分に対してローパスフィルタを適用した場合に得られる第２の成分に基づき、
前記補正成分が、前記第１の成分と前記第２の成分とを所定の合成率で合成した場合に得られる第３の成分に基づき、
前記画像処理装置は、前記入力画像の撮像時のＩＳＯ感度に基づいて、前記ＩＳＯ感度が第１の値である場合に、前記第１の成分に対する前記第２の成分の比率が、前記ＩＳＯ感度が前記第１の値より小さい第２の値である場合よりも大きくなるように、前記所定の合成率を決定する決定手段を更に備える
ことを特徴とする画像処理装置。 An image processing apparatus including an image processing means for generating a corrected image by applying a correction process for correcting image quality deterioration caused by a point image intensity distribution function of an imaging optical system to an input image.
When the correction component derived from the correction process included in the correction image applies the point image intensity distribution function to the input image, a low-pass filter is applied to the first component corresponding to the change occurring in the input image. Based on the second ingredient obtained when applied
The correction component is based on a third component obtained when the first component and the second component are synthesized at a predetermined synthesis rate.
In the image processing apparatus, when the ISO sensitivity is the first value, the ratio of the second component to the first component is the ISO sensitivity based on the ISO sensitivity at the time of capturing the input image. Is further provided with a determination means for determining the predetermined synthesis rate so that is larger than the case where is a second value smaller than the first value.
An image processing device characterized by this. 前記画像処理手段は、
デルタ関数と前記点像強度分布関数との差に対応する第１の中間フィルタと、前記ローパスフィルタを前記第１の中間フィルタに適用した場合に得られる第２の中間フィルタとを前記所定の合成率で合成した場合に得られる第３の中間フィルタに基づく補正フィルタを生成するフィルタ生成手段と、
前記補正フィルタを前記入力画像に適用するフィルタ適用手段と、
を含むことを特徴とする請求項１に記載の画像処理装置。 The image processing means is
The predetermined combination of a first intermediate filter corresponding to the difference between the delta function and the point image intensity distribution function and a second intermediate filter obtained when the low-pass filter is applied to the first intermediate filter. A filter generation means for generating a correction filter based on a third intermediate filter obtained when synthesizing by a rate, and
A filter application means for applying the correction filter to the input image, and
The image processing apparatus according to claim 1 , wherein the image processing apparatus comprises. 前記画像処理手段は、
デルタ関数と前記点像強度分布関数との差に対応するフィルタを前記入力画像に適用することにより前記第１の成分を取得し、
前記ローパスフィルタを前記第１の成分に適用することにより前記第２の成分を取得し、
前記第１の成分と前記第２の成分とを前記所定の合成率で合成することにより第３の成分を取得し、
前記第３の成分、又は前記第３の成分に所定の係数を乗じることにより得られる成分を、前記入力画像に加算する
ことを特徴とする請求項１に記載の画像処理装置。 The image processing means is
The first component is obtained by applying a filter corresponding to the difference between the delta function and the point image intensity distribution function to the input image.
By applying the low-pass filter to the first component, the second component is obtained.
The third component is obtained by synthesizing the first component and the second component at the predetermined synthesis rate.
The image processing apparatus according to claim 1 , wherein the third component or a component obtained by multiplying the third component by a predetermined coefficient is added to the input image. 前記ローパスフィルタは、前記点像強度分布関数に基づく
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 3 , wherein the low-pass filter is based on the point image intensity distribution function. 前記入力画像を生成する撮像手段を更に備える
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 4 , further comprising an image pickup means for generating the input image. 画像処理装置が実行する画像処理方法であって、
撮像光学系の点像強度分布関数に起因する画質劣化を補正する補正処理を入力画像に適用することにより補正画像を生成する画像処理工程を備え、
前記補正画像に含まれる前記補正処理に由来する補正成分が、前記入力画像に前記点像強度分布関数を適用した場合に前記入力画像に生じる変化に対応する第１の成分に対してローパスフィルタを適用した場合に得られる第２の成分に基づき、
前記補正成分が、前記第１の成分と前記第２の成分とを所定の合成率で合成した場合に得られる第３の成分に基づき、
前記画像処理方法は、前記入力画像の撮像時のＩＳＯ感度に基づいて、前記ＩＳＯ感度が第１の値である場合に、前記第１の成分に対する前記第２の成分の比率が、前記ＩＳＯ感度が前記第１の値より小さい第２の値である場合よりも大きくなるように、前記所定の合成率を決定する決定方法を更に備える
ことを特徴とする画像処理方法。 An image processing method executed by an image processing device.
It is provided with an image processing step of generating a corrected image by applying a correction process for correcting image quality deterioration caused by a point image intensity distribution function of an imaging optical system to an input image.
When the correction component derived from the correction process included in the correction image applies the point image intensity distribution function to the input image, a low-pass filter is applied to the first component corresponding to the change occurring in the input image. Based on the second ingredient obtained when applied
The correction component is based on a third component obtained when the first component and the second component are synthesized at a predetermined synthesis rate.
In the image processing method, when the ISO sensitivity is the first value, the ratio of the second component to the first component is the ISO sensitivity based on the ISO sensitivity at the time of capturing the input image. Further comprises a determination method for determining the predetermined synthesis rate so that is larger than the case where is a second value smaller than the first value.
An image processing method characterized by that. コンピュータを、請求項１乃至４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。 A program for making a computer function as each means of the image processing apparatus according to any one of claims 1 to 4 .
JP2018098058A 2018-05-22 2018-05-22 Image processing equipment, image processing methods, and programs Active JP7101539B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018098058A JP7101539B2 (en) 2018-05-22 2018-05-22 Image processing equipment, image processing methods, and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018098058A JP7101539B2 (en) 2018-05-22 2018-05-22 Image processing equipment, image processing methods, and programs

Publications (3)

Publication Number Publication Date
JP2019204225A JP2019204225A (en) 2019-11-28
JP2019204225A5 JP2019204225A5 (en) 2021-07-26
JP7101539B2 true JP7101539B2 (en) 2022-07-15

Family

ID=68727043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018098058A Active JP7101539B2 (en) 2018-05-22 2018-05-22 Image processing equipment, image processing methods, and programs

Country Status (1)

Country Link
JP (1) JP7101539B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010028178A (en) 2008-07-15 2010-02-04 Victor Co Of Japan Ltd Image quality improving device and method
JP2010219797A (en) 2009-03-16 2010-09-30 Fujitsu Semiconductor Ltd Edge enhancement image processing apparatus
JP2015097380A (en) 2013-10-09 2015-05-21 キヤノン株式会社 Image processing method, image pickup apparatus using the same, image processing apparatus, and image processing program
JP2017163282A (en) 2016-03-08 2017-09-14 キヤノン株式会社 Image processing apparatus, optical apparatus, image processing method, image processing program, and recording medium

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3343405B2 (en) * 1993-07-22 2002-11-11 松下電器産業株式会社 Image contour enhancer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010028178A (en) 2008-07-15 2010-02-04 Victor Co Of Japan Ltd Image quality improving device and method
JP2010219797A (en) 2009-03-16 2010-09-30 Fujitsu Semiconductor Ltd Edge enhancement image processing apparatus
JP2015097380A (en) 2013-10-09 2015-05-21 キヤノン株式会社 Image processing method, image pickup apparatus using the same, image processing apparatus, and image processing program
JP2017163282A (en) 2016-03-08 2017-09-14 キヤノン株式会社 Image processing apparatus, optical apparatus, image processing method, image processing program, and recording medium

Also Published As

Publication number Publication date
JP2019204225A (en) 2019-11-28

Similar Documents

Publication Publication Date Title
US9747672B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium
JP6327922B2 (en) Image processing apparatus, image processing method, and program
JP5991749B2 (en) Image processing apparatus and method
JP5818586B2 (en) Image processing apparatus and image processing method
JP6045185B2 (en) Image processing apparatus, image processing method, and program
US10062153B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and storage medium
JP6234623B2 (en) Image processing method, imaging apparatus using the same, image processing apparatus, and image processing program
JP6071966B2 (en) Image processing method, imaging apparatus using the same, image processing apparatus, and image processing program
CN111988517B (en) Image processing apparatus, lens apparatus, and image processing method
JP6768312B2 (en) Image processing equipment, optical equipment, image processing methods, image processing programs, and recording media
JP6562650B2 (en) Image processing apparatus, imaging apparatus, image processing method, and image processing program
JP7101539B2 (en) Image processing equipment, image processing methods, and programs
CN112073603B (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP6605009B2 (en) Image processing apparatus, imaging apparatus, image processing method, image processing program, and recording medium
JP2015198380A (en) Image processing system, imaging apparatus, image processing program, and image processing method
JP7207893B2 (en) Imaging device, lens device
JP2018107541A (en) Image processing apparatus, imaging device, image processing method, and image processing program
JP2017224906A (en) Image processing method, imaging apparatus using the same, image processing system, and image processing program

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220705

R151 Written notification of patent or utility model registration

Ref document number: 7101539

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151