JP4891301B2 - Image processing method, image processing apparatus, and imaging apparatus - Google Patents
Image processing method, image processing apparatus, and imaging apparatus Download PDFInfo
- Publication number
- JP4891301B2 JP4891301B2 JP2008252324A JP2008252324A JP4891301B2 JP 4891301 B2 JP4891301 B2 JP 4891301B2 JP 2008252324 A JP2008252324 A JP 2008252324A JP 2008252324 A JP2008252324 A JP 2008252324A JP 4891301 B2 JP4891301 B2 JP 4891301B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- filter
- image restoration
- imaging
- optical system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 111
- 238000012545 processing Methods 0.000 title claims description 73
- 238000003672 processing method Methods 0.000 title claims description 17
- 230000003287 optical effect Effects 0.000 claims description 73
- 230000004075 alteration Effects 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 26
- 238000011084 recovery Methods 0.000 claims description 18
- 238000012546 transfer Methods 0.000 claims description 17
- 210000004027 cell Anatomy 0.000 description 45
- 230000006870 function Effects 0.000 description 26
- 238000012937 correction Methods 0.000 description 14
- 206010010071 Coma Diseases 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 241000255969 Pieris brassicae Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 210000002287 horizontal cell Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
本発明は、画像に含まれるぼけ成分と倍率色収差成分を低減する画像処理技術に関する。 The present invention relates to an image processing technique for reducing a blur component and a magnification chromatic aberration component included in an image.
デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮像光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。 An image obtained by imaging a subject with an imaging device such as a digital camera has image degradation caused by spherical aberration, coma aberration, field curvature, astigmatism, etc. of an imaging optical system (hereinafter simply referred to as an optical system). A blur component is included as a component. Such a blur component is generated when a light beam emitted from one point of a subject to be collected again at one point on the imaging surface when an aberration is not caused and there is no influence of diffraction is formed by forming an image with a certain spread.
ここにいうぼけ成分は、光学的には、点像分布関数（ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。 The blur component here is optically represented by a point spread function (PSF) and is different from the blur due to the focus shift. In addition, color bleeding in a color image can also be said to be a difference in blurring for each wavelength of light with respect to axial chromatic aberration, chromatic spherical aberration, and chromatic coma aberration of the optical system.
画像のぼけ成分を補正する方法として、光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は、画像回復や画像復元と呼ばれており、以下、この光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像のぼけ成分を補正（低減）する処理を画像回復処理と称する。 As a method for correcting a blur component of an image, a method for correcting the blur component using information of an optical transfer function (OTF) of an optical system is known. This method is called image restoration or image restoration. Hereinafter, processing for correcting (reducing) a blur component of an image using information on the optical transfer function (OTF) of the optical system is called image restoration processing.
画像回復処理の概要は以下の通りである。ぼけ成分を含む劣化画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像をｆ（ｘ，ｙ）とする。また、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。 The outline of the image restoration process is as follows. A degraded image (input image) including a blur component is denoted by g (x, y), and an original image that is not degraded is denoted by f (x, y). Further, a point spread function (PSF) that is a Fourier pair of the optical transfer function is assumed to be h (x, y). At this time, the following equation holds. Here, * indicates convolution and (x, y) indicates coordinates on the image.
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
また、上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ）である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
g (x, y) = h (x, y) * f (x, y)
Further, when the above equation is converted into a display format on a two-dimensional frequency plane by Fourier transformation, a product format for each frequency is obtained as in the following equation. H is a Fourier transform of the point spread function (PSF) and is an optical transfer function (OTF). (U, v) indicates the coordinates on the two-dimensional frequency plane, that is, the frequency.
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
劣化画像から元の画像を得るためには、以下のように、両辺をＨで除算すればよい。
G (u, v) = H (u, v) · F (u, v)
In order to obtain the original image from the deteriorated image, both sides may be divided by H as follows.
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。
G (u, v) / H (u, v) = F (u, v)
A restored image corresponding to the original image f (x, y) is obtained by performing inverse Fourier transform on this F (u, v) and returning it to the actual surface.
ここで、Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。 Here, assuming that the result of inverse Fourier transform of H −1 is R, the original image can be similarly obtained by performing convolution processing on the actual image as in the following equation.
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を、画像回復フィルタという。実際の画像にはノイズ成分があるため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。この点については、例えばウィーナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。画像の色にじみ成分の劣化は、例えば、上記のぼけ成分の補正により画像の色成分ごとのぼけ量が均一になれば補正されたことになる。
g (x, y) * R (x, y) = f (x, y)
This R (x, y) is called an image restoration filter. Since an actual image has a noise component, using an image restoration filter created by taking the reciprocal of the optical transfer function (OTF) as described above will amplify the noise component together with the deteriorated image. A good image cannot be obtained. Regarding this point, for example, a method of suppressing the recovery rate on the high frequency side of an image according to the intensity ratio of the image signal and the noise signal, such as a Wiener filter, is known. The deterioration of the color blur component of the image is corrected, for example, when the blur amount for each color component of the image becomes uniform by correcting the blur component.
ここで、光学伝達関数（ＯＴＦ）は、光学系の焦点距離（ズーム状態）や絞り径等の光学系の撮像状態に応じて変動するため、画像回復処理に用いる画像回復フィルタも撮像状態に応じて変更する必要がある。 Here, since the optical transfer function (OTF) varies depending on the imaging state of the optical system such as the focal length (zoom state) and the aperture diameter of the optical system, the image restoration filter used for the image restoration processing also depends on the imaging state. Need to be changed.
また、画像には、色ずれ成分（倍率色収差成分）が含まれる場合もある。色ずれ成分は、光学系の倍率色収差を原因として発生する。 In addition, the image may include a color shift component (magnification chromatic aberration component). The color misregistration component occurs due to lateral chromatic aberration of the optical system.
特許文献１にて開示された画像処理方法では、撮像により得られた画像をＲ，Ｇ，Ｂの複数の色成分に分解し、Ｇ画像を基準とし、Ｒ及びＢ画像を拡大縮小してＧ画像に揃えることで、色成分間の倍率の相違である倍率色収差により発生する色ずれ成分を補正する。
光学系の諸収差により劣化した画像を良好に補正して高画質な画像を得るためには、上述したぼけ成分と色ずれ成分を低減する処理を行う必要がある。しかしながら、これらの処理を行うソフトウェアやそれを実装した撮像装置では、ユーザーにストレスを感じさせないために処理速度を高速にしなければならない。 In order to satisfactorily correct an image deteriorated due to various aberrations of the optical system and obtain a high-quality image, it is necessary to perform the process of reducing the blur component and the color shift component described above. However, in the software for performing these processes and the imaging apparatus in which the software is mounted, the processing speed must be increased so as not to cause the user to feel stress.
また、特許文献１にて開示された画像処理方法では、光学系の色による撮像倍率の相違により発生する倍率色収差をＲ，Ｇ，Ｂの色成分ごとに拡大縮小を行うことで、色ずれ成分のある程度の補正が可能とも考えられる。しかしながら、実際の画像における色ずれ成分の発生原因を光学的に考察すると、この方法では、以下のように十分な補正効果が得られない。 In addition, in the image processing method disclosed in Patent Document 1, magnification chromatic aberration caused by a difference in imaging magnification depending on the color of the optical system is enlarged / reduced for each of R, G, and B color components, whereby a color shift component It is considered that a certain amount of correction is possible. However, considering the cause of the occurrence of color misregistration components in an actual image, this method cannot provide a sufficient correction effect as described below.
光学系は、被写体から入射した光をレンズにより屈折させて像面に結像させる。この際、色（波長）によってレンズの屈折率が異なるため、色ごとの焦点距離に差が生じる。光学系は、一般に、波長分散と形状を考慮した複数のレンズを用いて色収差を抑制するように設計されるが、光学系の小型化やコスト低減の要求により、色収差がある程度残留する。 The optical system refracts light incident from a subject with a lens and forms an image on an image plane. At this time, since the refractive index of the lens differs depending on the color (wavelength), a difference occurs in the focal length for each color. In general, an optical system is designed so as to suppress chromatic aberration by using a plurality of lenses in consideration of wavelength dispersion and shape, but chromatic aberration remains to some extent due to demands for downsizing and cost reduction of the optical system.
一方、被写体像を光電変換する撮像素子を含む撮像系では、被写体像をカラーフィルタを通してＲ，Ｇ，Ｂ信号に分解し、これらＲ，Ｇ，Ｂ信号の混合によってカラー画像を生成する。したがって、Ｒ，Ｇ，Ｂの各チャンネルの信号値は、撮像面に到達した４００ｎｍ〜７００ｎｍの波長の光をカラーフィルタの分光透過率特性に応じて積分した強度情報となっている。このため、Ｇ信号の中でも、Ｇ用カラーフィルタの分光透過率特性に応じた透過波長帯域幅の間で焦点距離の異なった波長光が積分されている。このことは、Ｒ信号及びＢ信号でも同様である。すなわち、倍率色収差は、Ｒ，Ｇ，Ｂチャンネルごとに画像上の結像位置がずれるとともに、各チャンネルの像をぼかしてしまう。したがって、特許文献１の画像処理方法によってＲ，Ｇ，Ｂ信号の位置ずれを幾何変換により補正しても十分な色ずれ成分の補正はできない。また、特許文献１の画像処理方法では、色ずれ成分以外のぼけ成分（色にじみ成分を含む）の補正を行うことはできない。 On the other hand, in an imaging system including an imaging device that photoelectrically converts a subject image, the subject image is decomposed into R, G, and B signals through a color filter, and a color image is generated by mixing these R, G, and B signals. Therefore, the signal values of the R, G, and B channels are intensity information obtained by integrating light having a wavelength of 400 nm to 700 nm that has reached the imaging surface in accordance with the spectral transmittance characteristics of the color filter. For this reason, among the G signals, wavelength lights having different focal lengths are integrated between transmission wavelength bandwidths corresponding to the spectral transmittance characteristics of the G color filter. The same applies to the R signal and the B signal. That is, the lateral chromatic aberration shifts the image formation position on the image for each of the R, G, and B channels and blurs the image of each channel. Therefore, even if the positional deviation of the R, G, B signals is corrected by geometric transformation by the image processing method of Patent Document 1, sufficient color deviation component cannot be corrected. Further, in the image processing method of Patent Document 1, it is not possible to correct a blur component (including a color blur component) other than a color misregistration component.
特許文献１にて開示された色ずれ成分の補正方法と、従来の画像回復フィルタを用いた画像回復処理とを順次行うことで、色ずれ成分だけでなくぼけ成分を低減することは可能である。ただし、処理工程が増え、処理速度が低下する。 It is possible to reduce not only the color misregistration component but also the blur component by sequentially performing the correction method of the color misregistration component disclosed in Patent Document 1 and the image restoration processing using the conventional image restoration filter. . However, the number of processing steps increases and the processing speed decreases.
本発明は、画像のぼけ成分と倍率色収差成分を高速に補正することができるようにした画像処理方法、画像処理装置及び撮像装置を提供する。 The present invention provides an image processing method, an image processing apparatus, and an imaging apparatus that can correct blur components and lateral chromatic aberration components of an image at high speed.
本発明の一側面としての画像処理方法は、光学系を用いた撮像により得られた画像を処理する画像処理方法であって、画像を取得するステップと、光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを用いて該画像に対する画像回復処理を行う画像回復ステップとを有する。画像回復ステップにおいて、画像回復フィルタとして、色ごとに異なるフィルタ値の２次元分布を有する複数の画像回復フィルタを用いる。そして、複数の画像回復フィルタは、フィルタ値の絶対値が最大であるセルの位置と該画像回復フィルタの中心セルの位置とのずれ量が光学系の倍率色収差量に応じて互いに異なり、画像のぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とする。 An image processing method according to one aspect of the present invention is an image processing method for processing an image obtained by imaging using an optical system, and includes a step of acquiring an image and a filter based on aberration information of the optical system. And an image restoration step for performing an image restoration process on the image using an image restoration filter created so that the values have a two-dimensional distribution. In the image restoration step, a plurality of image restoration filters having a two-dimensional distribution of different filter values for each color are used as the image restoration filter. The plurality of image restoration filters have different amounts of deviation between the cell position where the absolute value of the filter value is the maximum and the position of the center cell of the image restoration filter according to the amount of chromatic aberration of magnification of the optical system, and It is a filter that reduces the lateral chromatic aberration component together with the blur component.
また、本発明の他の一側面としての画像処理装置は、光学系を用いた撮像により得られた画像を処理する画像処理装置であって、光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを記憶する記憶手段と、画像回復フィルタを用いて該画像に対する画像回復処理を行う画像回復手段とを有する。画像回復手段は、画像回復フィルタとして、色ごとに異なるフィルタ値の２次元分布を有する複数の画像回復フィルタを用いる。そして、複数の画像回復フィルタは、フィルタ値の絶対値が最大であるセルの位置と該画像回復フィルタの中心セルの位置とのずれ量が互いに異なり、画像のぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とする。 An image processing apparatus according to another aspect of the present invention is an image processing apparatus that processes an image obtained by imaging using an optical system, and has a filter value of 2 based on aberration information of the optical system. Storage means for storing an image restoration filter created to have a dimensional distribution and image restoration means for performing image restoration processing on the image using the image restoration filter. The image restoration means uses a plurality of image restoration filters having a two-dimensional distribution of different filter values for each color as the image restoration filter. The plurality of image restoration filters have different amounts of shift between the cell position where the absolute value of the filter value is the maximum and the position of the center cell of the image restoration filter, and reduce the lateral chromatic aberration component together with the image blur component. It is a filter.
なお、光学系により形成された被写体像を光電変換して画像を取得する撮像系と、該画像を処理する上記画像処理装置とを有する撮像装置も本発明の他の一側面を構成する。 Note that an imaging apparatus that includes an imaging system that acquires an image by photoelectrically converting a subject image formed by an optical system and the image processing apparatus that processes the image also constitutes another aspect of the present invention.
本発明によれば、画像回復フィルタがぼけ成分とともに倍率色収差成分を低減するように作成されているので、画像回復処理によってぼけ成分と倍率色収差成分とを同時に低減することができる。したがって、ぼけ成分と倍率色収差成分とを高速な処理によって低減することができる。 According to the present invention, since the image restoration filter is created so as to reduce the magnification chromatic aberration component together with the blur component, the blur component and the magnification chromatic aberration component can be simultaneously reduced by the image restoration processing. Therefore, the blur component and the lateral chromatic aberration component can be reduced by high-speed processing.
図１には、本発明の実施例である画像処理装置を備えた（画像処理方法を使用する）デジタルカメラやビデオカメラ等の撮像装置の構成を示している。 FIG. 1 shows a configuration of an imaging apparatus such as a digital camera or a video camera (using an image processing method) provided with an image processing apparatus according to an embodiment of the present invention.
不図示の被写体からの光束は、撮像光学系１０１によって、ＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子１０２上に結像する。 A light beam from a subject (not shown) forms an image on an image sensor 102 constituted by a CCD sensor, a CMOS sensor, or the like by an imaging optical system 101.
撮像光学系１０１は、不図示の変倍レンズ、絞り１０１ａ及びフォーカスレンズ１０１ｂを含む。変倍レンズを光軸方向に移動させることで、撮像光学系１０１の焦点距離を変更するズームが可能である。また、絞り１０１ａは、絞り開口径を増減させて、撮像素子１０２に到達する光量を調節する。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために、不図示のオートフォーカス（ＡＦ）機構やマニュアルフォーカス機構によって光軸方向の位置が制御される。 The imaging optical system 101 includes a variable power lens (not shown), a diaphragm 101a, and a focus lens 101b. By moving the zoom lens in the optical axis direction, zooming that changes the focal length of the imaging optical system 101 is possible. The diaphragm 101a adjusts the amount of light reaching the image sensor 102 by increasing or decreasing the aperture diameter of the diaphragm. The focus lens 101b is controlled in position in the optical axis direction by an unillustrated autofocus (AF) mechanism or manual focus mechanism in order to perform focus adjustment according to the subject distance.
撮像素子１０２上に形成された被写体像は、該撮像素子１０２により電気信号に変換される。撮像素子１０２からのアナログ出力信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換され、画像処理部１０４に入力される。 The subject image formed on the image sensor 102 is converted into an electric signal by the image sensor 102. An analog output signal from the image sensor 102 is converted into a digital image signal by the A / D converter 103 and input to the image processing unit 104.
画像処理部１０４は、入力されたデジタル撮像信号に対して各種処理を行うことで、カラー入力画像を生成する画像生成部１０４ａを有する。また、画像処理部１０４は、この入力画像に対して画像回復処理を行う画像回復処理部（画像回復手段）１０４ｂを有する。撮像素子１０２から画像生成部１０４ａまでが撮像系に相当する。 The image processing unit 104 includes an image generation unit 104a that generates a color input image by performing various processes on the input digital imaging signal. The image processing unit 104 includes an image recovery processing unit (image recovery unit) 104b that performs an image recovery process on the input image. The imaging element 102 to the image generation unit 104a correspond to the imaging system.
画像回復処理部１０４ｂは、状態検知部１０７から撮像光学系１０１の状態（以下、撮像状態という）の情報を得る。撮像状態とは、例えば、撮像光学系１０１の焦点距離（ズーム位置）、絞り開口径（絞り値、Ｆナンバー）、フォーカスレンズ位置（被写体距離）である。なお、状態検知部１０７は、システムコントローラ１１０から撮像状態の情報を得てもよいし、撮像光学系１０１を制御する撮像光学系制御部１０６から得てもよい。 The image restoration processing unit 104b obtains information on the state of the imaging optical system 101 (hereinafter referred to as an imaging state) from the state detection unit 107. The imaging state includes, for example, the focal length (zoom position), aperture diameter (aperture value, F number), and focus lens position (subject distance) of the imaging optical system 101. Note that the state detection unit 107 may obtain information on the imaging state from the system controller 110 or may be obtained from the imaging optical system control unit 106 that controls the imaging optical system 101.
そして、画像回復処理部１０４ｂは、撮像状態に応じた画像回復フィルタを記憶部（記憶手段）１０８から選択し、入力画像に対して画像回復処理を行う。状態検知部１０７、画像回復処理部１０４ｂ及び記憶部１０８により、撮像装置内で画像処理装置が構成される。 The image restoration processing unit 104b selects an image restoration filter corresponding to the imaging state from the storage unit (storage unit) 108, and performs image restoration processing on the input image. The state detection unit 107, the image restoration processing unit 104b, and the storage unit 108 constitute an image processing device in the imaging device.
図２には、画像回復処理部１０４ｂ（以下の説明では、画像処理部１０４という）で行われる画像回復に関する処理（画像処理方法）のフローチャートを示している。画像処理部１０４は、画像処理用コンピュータにより構成され、コンピュータプログラムに従って該処理を実行する。 FIG. 2 shows a flowchart of processing (image processing method) relating to image recovery performed by the image recovery processing unit 104b (hereinafter referred to as the image processing unit 104). The image processing unit 104 is configured by an image processing computer and executes the processing according to a computer program.
ステップＳ１では、画像処理部１０４は、撮像素子１０２からの出力信号に基づいて生成された画像（以下、入力画像という）を画像回復処理の対象として取得する。次に、ステップＳ２では、画像処理部１０４は、状態検知部１０７から撮像状態情報を取得する。ここでは、撮像状態を、ズーム位置、絞り開口径、及び被写体距離の３つとする。 In step S <b> 1, the image processing unit 104 acquires an image generated based on an output signal from the image sensor 102 (hereinafter referred to as an input image) as an object for image restoration processing. Next, in step S <b> 2, the image processing unit 104 acquires imaging state information from the state detection unit 107. Here, there are three imaging states, that is, a zoom position, an aperture diameter, and a subject distance.
次に、ステップＳ３では、画像処理部１０４は、記憶部１０８に記憶された画像回復フィルタの中から、ステップＳ２で取得した撮像状態に対応する画像回復フィルタを選択する。 Next, in step S <b> 3, the image processing unit 104 selects an image restoration filter corresponding to the imaging state acquired in step S <b> 2 from the image restoration filters stored in the storage unit 108.
ここで、記憶部１０８には、画像回復フィルタの数（データ数）を低減するために、離散的に選択された撮像状態に対する画像回復フィルタのみが記憶（格納）されている。このため、ステップＳ２で取得した撮像状態に対応する又は該撮像状態にきわめて近い撮像状態に対応する画像回復フィルタが記憶部１０８に格納されていない場合は、その撮像状態にできるだけ近い画像回復フィルタを選択する。そして、その画像回復フィルタを、以下のステップＳ４〜Ｓ６で、ステップＳ２で取得した撮像状態に最適化するように補正することで、実際に使用する画像回復フィルタを作成する。 Here, the storage unit 108 stores (stores) only image restoration filters for discretely selected imaging states in order to reduce the number of image restoration filters (data number). For this reason, when the image restoration filter corresponding to the imaging state acquired in step S2 or corresponding to the imaging state very close to the imaging state is not stored in the storage unit 108, an image restoration filter as close as possible to the imaging state is selected. select. Then, the image restoration filter to be actually used is created by correcting the image restoration filter in the following steps S4 to S6 so as to be optimized to the imaging state acquired in step S2.
図３には、記憶部１０８に記憶された、離散的に選択された撮像状態に対する画像回復フィルタを模式的に示す。記憶部１０８に記憶された画像回復フィルタは、前述したように、ズーム位置（状態Ａ）、絞り開口径（状態Ｂ）及び被写体距離（状態Ｃ）の３つの撮像状態を軸とした撮像状態空間中に離散的に配置されている。撮像状態空間中の各点（黒丸）の座標が、記憶部１０８に記憶されている画像回復フィルタを示す。 FIG. 3 schematically illustrates the image restoration filter stored in the storage unit 108 for the discretely selected imaging state. As described above, the image restoration filter stored in the storage unit 108 is an imaging state space with the three imaging states of the zoom position (state A), the aperture diameter (state B), and the subject distance (state C) as axes. It is arranged discretely inside. The coordinates of each point (black circle) in the imaging state space indicate the image restoration filter stored in the storage unit 108.
なお、図３では、画像回復フィルタを各撮像状態に対して直交した線上の格子点に配置しているが、画像回復フィルタを格子点から外して配置しても構わない。また、撮像状態の種類は、ズーム位置、絞り開口径及び被写体距離に限らず、その数も３つでなくてもよく、４つ以上の撮像状態による４次元以上の撮像状態空間を構成してその中に画像回復フィルタを離散的に配置してもよい。 In FIG. 3, the image restoration filter is arranged at the grid point on the line orthogonal to each imaging state, but the image restoration filter may be arranged away from the grid point. Further, the types of imaging states are not limited to the zoom position, the aperture diameter, and the subject distance, and the number thereof may not be three, and a four-dimensional or more imaging state space is formed by four or more imaging states. The image restoration filter may be discretely arranged therein.
このように離散的に配置された画像回復フィルタから、実際に使用する画像回復フィルタを作成する方法については後述する。 A method of creating an actually used image restoration filter from the discretely arranged image restoration filters will be described later.
ここで、画像回復フィルタの例を図４に示す。画像回復フィルタでは、撮像光学系１０１の収差量に応じてセル（タップ）数、すなわちカーネルサイズが決められる。図４に示す画像回復フィルタは、１１×１１セルを有する２次元フィルタである。各セルが画像の１画素に対応する。 An example of the image restoration filter is shown in FIG. In the image restoration filter, the number of cells (tap), that is, the kernel size is determined according to the aberration amount of the imaging optical system 101. The image restoration filter shown in FIG. 4 is a two-dimensional filter having 11 × 11 cells. Each cell corresponds to one pixel of the image.
画像回復フィルタを、１００以上のセルに分割した２次元フィルタとすることで、撮像光学系１０１による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差に対しても良好な画像回復結果を得ることができる。また、このような実空間での画像回復フィルタを、入力画像に対してコンボリューション処理することで、フーリエ変換を行うことなく画像を回復することができる。 By making the image restoration filter into a two-dimensional filter divided into 100 or more cells, for the aberration that spreads widely from the imaging position such as spherical aberration, coma aberration, axial chromatic aberration, off-axis color flare, etc. by the imaging optical system 101 However, a good image restoration result can be obtained. In addition, by convolving the input image with such an image restoration filter in real space, the image can be restored without performing Fourier transform.
また、各セルは、撮像光学系１０１の球面収差、コマ収差、軸上色収差、軸外色フレア等の収差情報に応じて、図５に示すような値を有するように設定される。図５には、画像回復フィルタの１つの断面でのセル値（フィルタ値）を示している。画像回復フィルタは、フィルタ値が２次元分布を持つように作成されている。また、図５の例では、画像の中心から外れた位置での、コマ収差のような非対称性をもった収差を回復するフィルタとなっている。 Each cell is set to have a value as shown in FIG. 5 according to aberration information such as spherical aberration, coma aberration, axial chromatic aberration, and off-axis color flare of the imaging optical system 101. FIG. 5 shows cell values (filter values) in one cross section of the image restoration filter. The image restoration filter is created so that the filter value has a two-dimensional distribution. In the example of FIG. 5, the filter recovers aberration having asymmetry such as coma aberration at a position off the center of the image.
画像回復フィルタは、撮像光学系１０１等の光学伝達関数（ＯＴＦ）を計算若しくは計測し、その逆関数を逆フーリエ変換することで作成される。一般的にはノイズの影響を考慮する必要があるため、ウィーナーフィルタや関連する回復フィルタの作成方法を選択して用いることができる。 The image restoration filter is created by calculating or measuring an optical transfer function (OTF) of the imaging optical system 101 or the like, and inverse Fourier transforming the inverse function. In general, since it is necessary to consider the influence of noise, it is possible to select and use a method of creating a Wiener filter or a related recovery filter.
また、ここにいう光学伝達関数は、撮像光学系１０１のみならず、撮像素子１０２の出力信号から画像処理部１０４にて入力画像が生成されるまでの、光学伝達関数を劣化させる要因を含めることが望ましい。すなわち、画像回復フィルタを、光が撮像光学系１０１に入射してから撮像素子１０２による撮像によって入力画像が取得されるまでの光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換することにより作成するようにするとよい。 The optical transfer function here includes not only the imaging optical system 101 but also factors that degrade the optical transfer function until the input image is generated by the image processing unit 104 from the output signal of the imaging element 102. Is desirable. That is, the image restoration filter performs an inverse Fourier transform on a function generated based on an inverse function of an optical transfer function from when light enters the imaging optical system 101 until an input image is acquired by imaging by the imaging element 102. It is good to make it by.
撮像光学系１０１以外で光学伝達関数を劣化させる要因としては以下のようなものがある。例えば、撮像素子１０２の前面に配置されるローパスフィルタ（図示せず）は、光学伝達関数の周波数特性に対して高周波成分を抑制する。また、同様に撮像素子１０２の前面に配置される赤外線カットフィルタは、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響する。さらに、撮像素子１０２の画素開口の形状や開口率も周波数特性に影響する。他にも、被写体を照らす光源の分光特性や、各種波長フィルタの分光特性も光学伝達関数を劣化させる要因として挙げられる。したがって、これらを考慮した広義の光学伝達関数に基づいて画像回復フィルタを作成することが望ましい。 Factors that degrade the optical transfer function other than the imaging optical system 101 include the following. For example, a low-pass filter (not shown) disposed in front of the image sensor 102 suppresses high frequency components with respect to the frequency characteristics of the optical transfer function. Similarly, the infrared cut filter disposed in front of the image sensor 102 affects each PSF of the RGB channel, particularly the PSF of the R channel, which is an integral value of the point spread function (PSF) of the spectral wavelength. Furthermore, the shape and aperture ratio of the pixel aperture of the image sensor 102 also affect the frequency characteristics. In addition, spectral characteristics of a light source that illuminates a subject and spectral characteristics of various wavelength filters can be cited as factors that degrade the optical transfer function. Therefore, it is desirable to create an image restoration filter based on an optical transfer function in a broad sense considering these.
なお、撮像光学系１０１は、撮像装置の一部として設けられてもよいし、撮像装置に対して着脱可能な交換式のものであってもよい。 The imaging optical system 101 may be provided as a part of the imaging device, or may be an exchangeable type that can be attached to and detached from the imaging device.
また、本実施例では、入力画像がＲＧＢ形式のカラー画像であるため、Ｒ，Ｇ，Ｂの複数の色成分に対応した複数（ここでは３つ）の画像回復フィルタを作成する。撮像光学系１０１には色収差があり、色成分ごとにぼけ方が異なるため、色成分ごとに最適な画像回復フィルタを得るためには、その特性を色収差に基づいて異ならせるべきだからである。つまり、図５に示したセル値の２次元分布が、色成分ごとに異なる３つの画像回復フィルタを作成する。 In this embodiment, since the input image is an RGB color image, a plurality (three in this case) of image restoration filters corresponding to a plurality of R, G, and B color components are created. This is because the imaging optical system 101 has chromatic aberration, and the blur is different for each color component. Therefore, in order to obtain an optimum image restoration filter for each color component, the characteristics should be made different based on the chromatic aberration. That is, three image restoration filters having different two-dimensional cell values shown in FIG. 5 for each color component are created.
なお、図４には、１１×１１セルを有する画像回復フィルタを示したが、画像回復フィルタのセル数は、収差量に応じて任意に設定すればよい。例えば、収差量が大きい場合には、３０×３０セルや５０×５０セルのようにセル数を増加させてもよい。また、画像回復フィルタの縦横のセル数（セル配列）に関しては、図４に示すような正方配列である必要はなく、コンボリューション処理時にセル配列を考慮するようにすれば、任意に変更することができる。 Although FIG. 4 shows an image restoration filter having 11 × 11 cells, the number of cells in the image restoration filter may be arbitrarily set according to the amount of aberration. For example, when the amount of aberration is large, the number of cells may be increased such as 30 × 30 cells or 50 × 50 cells. Further, the number of vertical and horizontal cells (cell arrangement) of the image restoration filter does not have to be a square arrangement as shown in FIG. 4 and can be arbitrarily changed if the cell arrangement is taken into consideration during the convolution process. Can do.
画像回復フィルタの具体的な選択及び作成（補正）方法について説明する。図３において、大きな白丸で示した撮像状態が、ステップＳ２で取得した実際の撮像状態であるとする。実際の撮像状態又はそのきわめて近くに、記憶部１０８に記憶（格納）された画像回復フィルタ（以下、格納フィルタという）が存在する場合には、その格納フィルタを選択して画像回復処理に用いる。実際の撮像状態又はそのきわめて近くに、格納フィルタが存在しない場合には、以下の方法により画像回復フィルタを選択又は作成（補正）する。 A specific selection and creation (correction) method of the image restoration filter will be described. In FIG. 3, it is assumed that the imaging state indicated by a large white circle is the actual imaging state acquired in step S2. When there is an image restoration filter (hereinafter referred to as a storage filter) stored (stored) in the storage unit 108 in or near the actual imaging state, the storage filter is selected and used for image restoration processing. When the storage filter does not exist in or near the actual imaging state, the image restoration filter is selected or created (corrected) by the following method.
まず、前述したステップＳ３において、画像処理部１０４は、実際の撮像状態と複数の格納フィルタに対応する撮像状態との間の撮像状態空間内での距離をそれぞれ算出する。そして、算出した距離のうち最も短い距離にある撮像状態に対応する格納フィルタを選択する。 First, in step S3 described above, the image processing unit 104 calculates the distance in the imaging state space between the actual imaging state and the imaging states corresponding to the plurality of storage filters. Then, the storage filter corresponding to the imaging state at the shortest distance among the calculated distances is selected.
このような格納フィルタを選択することで、実際の撮像状態と該格納フィルタに対応する撮像状態との相違量（以下、状態相違量という）が最も小さくなる。このため、該格納フィルタに対する補正量を少なくすることができ、実際の撮像状態に対応する画像回復フィルタにより近い画像回復フィルタを作成することができる。 By selecting such a storage filter, the difference amount between the actual imaging state and the imaging state corresponding to the storage filter (hereinafter referred to as state difference amount) is minimized. Therefore, the correction amount for the storage filter can be reduced, and an image restoration filter closer to the image restoration filter corresponding to the actual imaging state can be created.
図３において、小さな白丸で示した撮像状態に対応する格納フィルタが選択されたものとする。なお、図３には、撮像状態空間を概念的に示しているが、実際の各格納フィルタのデータには、座標値の情報が必要である。このため、格納フィルタ自体に座標値情報を持たせたり、予めアドレス（座標）が決まった多次元の配列空間に各格納フィルタのデータを配置したりすればよい。 In FIG. 3, it is assumed that the storage filter corresponding to the imaging state indicated by a small white circle is selected. In addition, although the imaging state space is conceptually illustrated in FIG. 3, coordinate value information is necessary for the actual data of each storage filter. For this reason, the storage filter itself may be provided with coordinate value information, or the data of each storage filter may be arranged in a multidimensional array space in which addresses (coordinates) are determined in advance.
次に、ステップＳ４では、画像処理部１０４は、ステップＳ３で選択した格納フィルタに対応する撮像状態と実際の撮像状態との状態相違量ΔＡ，ΔＢ，ΔＣを算出する。そして、ステップＳ５では、これらの状態相違量ΔＡ，ΔＢ，ΔＣに基づいて、状態補正係数を算出する。さらに、画像処理部１０４は、ステップＳ６において、該状態補正係数を用いて、ステップＳ３で選択した格納フィルタを補正する。これにより、実際の撮像状態に対応した画像回復フィルタを作成することができる。 Next, in step S4, the image processing unit 104 calculates state difference amounts ΔA, ΔB, and ΔC between the imaging state corresponding to the storage filter selected in step S3 and the actual imaging state. In step S5, a state correction coefficient is calculated based on these state difference amounts ΔA, ΔB, and ΔC. In step S6, the image processing unit 104 corrects the storage filter selected in step S3 using the state correction coefficient. Thereby, an image restoration filter corresponding to an actual imaging state can be created.
次に、ステップＳ７では、画像処理部１０４は、選択又は作成された画像回復フィルタを用いて、ステップＳ１で取得した入力画像に対して画像回復処理を行う。すなわち、上記画像回復フィルタを用いて入力画像に対するコンボリューション処理を行うことで、撮像光学系１０１の収差に起因する画像のぼけ成分及び色にじみ成分を低減（又は除去）することができる。 Next, in step S7, the image processing unit 104 performs image restoration processing on the input image acquired in step S1 using the selected or created image restoration filter. That is, by performing convolution processing on the input image using the image restoration filter, it is possible to reduce (or eliminate) the blur component and the color blur component of the image due to the aberration of the imaging optical system 101.
なお、ステップＳ３〜ステップＳ７での処理は、撮像装置とは別の装置（パーソナルコンピュータ等）で行ってもよい。この場合、該別の装置で得られた画像回復フィルタを、撮像装置の記憶部１０８に格納（インストール）する処理を行えばよい。 In addition, you may perform the process by step S3-step S7 with apparatuses (personal computer etc.) different from an imaging device. In this case, a process of storing (installing) the image restoration filter obtained by the other apparatus in the storage unit 108 of the imaging apparatus may be performed.
図１において、画像処理部１０４で画像回復処理が行われた出力画像は、半導体メモリや光ディスク等の画像記録媒体１０９に所定のフォーマットで保存される。この出力画像は、画像回復処理によって鮮鋭化された高画質の画像である。 In FIG. 1, an output image that has undergone image restoration processing by the image processing unit 104 is stored in a predetermined format in an image recording medium 109 such as a semiconductor memory or an optical disk. This output image is a high-quality image sharpened by image restoration processing.
また、出力画像は、表示部１０５に表示されたり、撮像装置の外部（プリンタやデータベース）に出力されたりする。 The output image is displayed on the display unit 105 or output to the outside of the imaging apparatus (printer or database).
上述した撮像素子１０２での光電変換、画像処理部１０４での画像処理、画像記録媒体１０９への記録、及び表示部１０５への画像表示といった一連の動作の制御は、システムコントローラ１１０によって行われる。また、撮像光学系１０１のズーム駆動やフォーカス駆動は、システムコントローラ１１０の指示により撮像光学系制御部１０６が制御する。 The system controller 110 controls a series of operations such as photoelectric conversion in the image sensor 102, image processing in the image processing unit 104, recording on the image recording medium 109, and image display on the display unit 105. The imaging optical system control unit 106 controls zoom driving and focus driving of the imaging optical system 101 according to instructions from the system controller 110.
なお、撮像光学系１０１の中心像高の横倍率が最大像高の横倍率よりも１．２５倍以上大きくなるように撮像光学系１０１を設計するとよい。これにより、撮像光学系１０１のうち最も被写体側に位置する前玉レンズの径を小さくしたり、像面湾曲の補正を行ったりすることができる。 Note that the imaging optical system 101 may be designed so that the lateral magnification of the center image height of the imaging optical system 101 is 1.25 times or more larger than the lateral magnification of the maximum image height. Thereby, the diameter of the front lens located closest to the subject in the imaging optical system 101 can be reduced, or the field curvature can be corrected.
本実施例では、画像回復処理によって画像のぼけ成分と色にじみ成分だけでなく、色ずれ成分も低減（補正）する。このため、画像回復処理において、ぼけ成分と色にじみ成分と色ずれ成分を補正できるよう、Ｒ，Ｇ，Ｂの色成分ごとの複数（３つ）の画像回復フィルタを、前述したように撮像状態に応じて選択したり選択した画像回復フィルタを補正して作成したりする。 In this embodiment, the image restoration process reduces (corrects) not only the blur component and the color blur component of the image but also the color shift component. Therefore, in the image restoration process, a plurality of (three) image restoration filters for each of the R, G, and B color components are captured as described above so that the blur component, the color blur component, and the color shift component can be corrected. Depending on the selection, the selected image restoration filter is corrected and created.
色成分ごとの画像回復フィルタの例を図６に示す。図６において（Ｒ），（Ｇ），（Ｂ）で示す画像回復フィルタは、それぞれＲ，Ｇ，Ｂ用の画像回復フィルタである。これらの画像回復フィルタは、ぼけ成分と色にじみ成分を補正するフィルタであるが、倍率色収差に対応する色ずれ成分の補正機能は有していない。 An example of the image restoration filter for each color component is shown in FIG. In FIG. 6, the image restoration filters indicated by (R), (G), and (B) are image restoration filters for R, G, and B, respectively. These image restoration filters are filters that correct the blur component and the color blur component, but do not have a function of correcting the color shift component corresponding to the chromatic aberration of magnification.
また、（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタも、それぞれＲ，Ｇ，Ｂ用の画像回復フィルタである。ただし、これらの画像回復フィルタは、ぼけ成分と色にじみ成分の補正機能に加えて、色ずれ成分の補正を行う機能も有する。具体的には、該３つの画像回復フィルタのうち少なくとも１つ（ここでは（Ｒ′）と（Ｂ′））において、セル値（フィルタ値）の絶対値が最大であるセル（以下、最大値セルという）の位置が、その画像回復フィルタの中心セルの位置からずれている。 The image restoration filters indicated by (R ′), (G ′), and (B ′) are also image restoration filters for R, G, and B, respectively. However, these image restoration filters have a function of correcting a color misregistration component in addition to a function of correcting a blur component and a color blur component. Specifically, in at least one of the three image restoration filters (here, (R ′) and (B ′)), the cell having the maximum absolute value of the cell value (filter value) (hereinafter referred to as the maximum value). The position of the cell) is shifted from the position of the center cell of the image restoration filter.
各画像回復フィルタ内で黒いセルが最大値セルであり、×を付したセルが中心セルである。 In each image restoration filter, the black cell is the maximum value cell, and the cell with x is the center cell.
（Ｒ），（Ｇ），（Ｂ）で示す画像回復フィルタは、色成分ごとに光学伝達関数（ＯＴＦ）が異なることからフィルタ特性は異なるが、最大値セルの位置は互いに同じ（中心セルの位置）である。 The image restoration filters indicated by (R), (G), and (B) have different filter characteristics because the optical transfer function (OTF) differs for each color component, but the positions of the maximum value cells are the same (the center cell). Position).
一方、（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタは、フィルタ特性が異なっているのに加えて、最大値セルの位置の中心セルに対するずれ量が互いに異なっている。これら画像回復フィルタ間での最大値セルの位置の相対ずれ量は、撮像光学系１０１の倍率色収差量に応じた量である。図７には、（Ｒ′）で示す画像回復フィルタの１つの断面でのセル値（フィルタ値）を示している。 On the other hand, the image restoration filters indicated by (R ′), (G ′), and (B ′) have different filter characteristics, but also have different amounts of deviation from the center cell at the position of the maximum value cell. . The relative shift amount of the position of the maximum value cell between these image restoration filters is an amount corresponding to the amount of lateral chromatic aberration of the imaging optical system 101. FIG. 7 shows cell values (filter values) in one section of the image restoration filter indicated by (R ′).
（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタにおいて、フィルタ内のセル値の分布を色成分ごとに異ならせることで色ごとのぼけ成分及び色にじみ成分を補正できる。さらに、（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタにおいて、上記分布の位置をずらす（最大値セルの位置と中心セルの位置とのずれ量を異ならせる。ただし、本実施例では（Ｇ′）でのずれ量は０）ことで色ずれ成分も補正できる。 In the image restoration filters indicated by (R ′), (G ′), and (B ′), the blur component and the color blur component for each color can be corrected by making the distribution of cell values in the filter different for each color component. Further, in the image restoration filters indicated by (R ′), (G ′), and (B ′), the position of the distribution is shifted (the amount of shift between the position of the maximum value cell and the position of the center cell is different, provided that In this embodiment, the amount of deviation in (G ′) is 0), so that the color deviation component can also be corrected.
なお、図６では、１１×１１セルの画像回復フィルタを示したが、収差量が大きい場合には、３０×３０セルや５０×５０セルのように、収差量に応じてセル数を増加させてもよい。また、画像回復フィルタ内のセル値の分布を移動させたときに、元のセル領域から分布がはみ出してしまう場合には、画像回復フィルタのセル数を増加させることで対応すればよい。 In FIG. 6, an 11 × 11 cell image restoration filter is shown. However, when the amount of aberration is large, the number of cells is increased according to the amount of aberration, such as 30 × 30 cells or 50 × 50 cells. May be. Further, when the distribution of cell values in the image restoration filter is moved, if the distribution protrudes from the original cell region, it can be dealt with by increasing the number of cells in the image restoration filter.
次に、（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタの効果を、図８を用いて説明する。図８において、（ａ）は撮像光学系１０１の収差の影響がなければ矩形のプロファイルを持つはずの被写体像が撮像光学系１０１の収差によってぼけ像として劣化している入力画像を示している。 Next, the effect of the image restoration filter indicated by (R ′), (G ′), and (B ′) will be described with reference to FIG. 8A shows an input image in which a subject image that should have a rectangular profile is degraded as a blurred image due to the aberration of the imaging optical system 101 if there is no influence of the aberration of the imaging optical system 101. FIG.
実線、破線及び一点鎖線はそれぞれ、Ｇ成分、Ｒ成分及びＢ成分を表しており、（ａ）では、Ｇ成分、Ｒ成分及びＢ成分でぼけの広がりが互いに異なる上に、ピーク位置が互いにずれている。各色成分でのプロファイルの劣化がぼけ成分であり、色成分間でのぼけ量の違いによる色づきが色にじみ成分であり、ピーク位置のずれが色ずれ成分である。 The solid line, the broken line, and the alternate long and short dash line represent the G component, the R component, and the B component, respectively. ing. Degradation of the profile of each color component is a blur component, coloring due to a difference in blur amount between color components is a color blur component, and a shift in peak position is a color shift component.
（ｂ）は、図７に（Ｒ），（Ｇ），（Ｂ）で示す画像回復フィルタを用いて、（ａ）に示す入力画像に対する画像回復処理を行った場合の回復画像を示している。この回復画像において、Ｒ，Ｇ，Ｂの被写体像が本来の矩形プロファイルを持つようにぼけ成分（色にじみ成分を含む）は補正されたが、色ずれ成分は補正されていない。さらに、色成分ごとに画像の倍率を拡大縮小して色ずれを補正する方法により、（ｃ）に示すような画像を得ることは可能である。 FIG. 7B shows a restored image when the image restoration process is performed on the input image shown in FIG. 7A using the image restoration filters shown in FIGS. 7R, 7G, and 7B. . In this restored image, the blur component (including the color blur component) is corrected so that the R, G, and B subject images have the original rectangular profile, but the color shift component is not corrected. Furthermore, an image as shown in (c) can be obtained by a method of correcting the color shift by enlarging or reducing the magnification of the image for each color component.
一方、（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタを用いて（ａ）に示す入力画像に対して画像回復処理を行うと、（ｃ′）に示すように、色成分ごとのぼけ成分（色にじみ成分を含む）が補正されるとともに、色ずれ成分も同時に補正される。 On the other hand, when image restoration processing is performed on the input image shown in (a) using the image restoration filters shown in (R ′), (G ′), and (B ′), as shown in (c ′), A blur component (including a color blur component) for each color component is corrected, and a color shift component is also corrected at the same time.
このように、本実施例によれば、従来では互いに別の処理として行う必要があったぼけ成分の補正処理（画像回復処理）と色ずれ成分の補正処理とを、１つ（一度）の画像回復処理の中で行うことができる。したがって、ぼけ成分と色ずれ成分（倍率色収差成分）とを高速な処理によって低減することができ、良好な出力画像を得ることができる。 As described above, according to the present embodiment, the blur component correction processing (image restoration processing) and the color misregistration component correction processing, which conventionally had to be performed as separate processes, are performed in one (once) image. This can be done in the recovery process. Therefore, the blur component and the color shift component (magnification chromatic aberration component) can be reduced by high-speed processing, and a good output image can be obtained.
前述した光学伝達関数（ＯＴＦ）は、同じ撮像状態であっても画角（像高）に応じて変化する。このため、画像回復処理は、画像における像高に応じて分割された領域ごとに画像回復フィルタを変更して行うことが望ましい。画像回復フィルタを画像上で走査しながらコンボリューション処理を行い、分割領域ごとに画像回復フィルタを順次変更すればよい。 The optical transfer function (OTF) described above changes according to the angle of view (image height) even in the same imaging state. For this reason, it is desirable that the image restoration process is performed by changing the image restoration filter for each region divided according to the image height in the image. Convolution processing may be performed while scanning the image restoration filter on the image, and the image restoration filter may be sequentially changed for each divided region.
また、画像回復処理の対象とする入力画像における画素の信号値に応じて画像回復フィルタを補正することで、入力画像の暗い領域で顕著となるノイズの増加を抑制することができる。入力画像の暗い領域では、明るい領域に比べて、画像信号に対してノイズ成分が相対的に大きいため、画像回復処理によってノイズを強調してしまうおそれがある。このため、暗い領域に対しては、画像回復フィルタの各セルの値を補正して画像回復効果を低下させることで、ノイズの増大を抑制することができる。信号値がある閾値以下の画素又は領域については画像回復処理を行わないようにしてもよい。 Further, by correcting the image restoration filter in accordance with the pixel signal value in the input image to be subjected to the image restoration processing, it is possible to suppress an increase in noise that becomes noticeable in a dark region of the input image. In the dark area of the input image, the noise component is relatively large with respect to the image signal as compared with the bright area, and thus there is a possibility that the noise may be enhanced by the image restoration process. For this reason, an increase in noise can be suppressed for dark regions by correcting the value of each cell of the image restoration filter to reduce the image restoration effect. The image restoration process may not be performed for pixels or regions whose signal values are below a certain threshold.
また、画像回復処理後の回復画像に補正誤差がある場合には、この補正誤差を補正するための別の画像処理を行ってもよい。これにより、実際の撮像状態と画像回復処理に用いた画像回復フィルタに対応する撮像状態との誤差に起因する回復画像における残留収差成分をさらに低減することができる。 If there is a correction error in the recovered image after the image recovery process, another image process for correcting the correction error may be performed. Thereby, it is possible to further reduce the residual aberration component in the recovered image caused by the error between the actual imaging state and the imaging state corresponding to the image restoration filter used for the image restoration process.
また、入力画像内に飽和輝度領域が存在する場合に、その周辺部では収差成分が顕著に現れる。しかし、画像回復処理を行う際に、輝度値が飽和している画素については本来の輝度値が分からず、良好な補正が行えないおそれがある。この場合には、画像回復処理後の回復画像から残留している収差成分を検出して適応的に補正処理を行うことで、さらなる高画質化が達成できる。この適応的な補正処理は、本実施例での画像回復処理によってぼけ成分が低減された画像に最終的に残留した収差を補正するので、画像回復処理よりも後の段階で行うことが望ましい。 In addition, when a saturated luminance region exists in the input image, an aberration component appears remarkably in the peripheral portion. However, when the image restoration process is performed, the original luminance value is not known for a pixel whose luminance value is saturated, and there is a possibility that good correction cannot be performed. In this case, further improvement in image quality can be achieved by detecting the remaining aberration component from the recovered image after the image recovery process and adaptively performing the correction process. This adaptive correction processing is preferably performed at a later stage than the image restoration processing because the aberration finally remaining in the image in which the blur component is reduced by the image restoration processing in the present embodiment is corrected.
なお、本実施例では、画像がＲＧＢ形式の場合について説明したが、ＹＣＣ形式等、他の色形式の画像にも本発明を適用することができる。 In this embodiment, the case where the image is in the RGB format has been described. However, the present invention can also be applied to an image in another color format such as the YCC format.
また、本実施例では、本発明の画像処理方法を使用する（画像処理装置を搭載した）撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の画像（入力画像）を取り込み（取得し）、画像処理プログラムによって画像回復処理を行って、その結果得られた画像を出力する。 Further, in the present embodiment, the imaging apparatus using the image processing method of the present invention (mounted with the image processing apparatus) has been described. However, the image processing method of the present invention can also be performed by an image processing program installed in a personal computer. Can be implemented. In this case, the personal computer corresponds to the image processing apparatus of the present invention. The personal computer captures (acquires) an image (input image) before image recovery processing generated by the imaging device, performs image recovery processing by an image processing program, and outputs the resulting image.
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。 Each embodiment described above is only a representative example, and various modifications and changes can be made to each embodiment in carrying out the present invention.
１０１ 撮像光学系
１０１ａ 絞り
１０１ｂ フォーカスレンズ
１０２ 撮像素子
１０４ 画像処理部
１０５ 表示部
１０６ 撮像光学系制御部
１０７ 状態検知部
１０８ 記憶部
１１０ システムコントローラ
DESCRIPTION OF SYMBOLS 101 Image pick-up optical system 101a Aperture 101b Focus lens 102 Image pick-up element 104 Image processing part 105 Display part 106 Image pick-up optical system control part 107 State detection part 108 Storage part 110 System controller
Claims (6)
前記画像を取得するステップと、
前記光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを用いて前記画像に対する画像回復処理を行う画像回復ステップとを有し、
該画像回復ステップにおいて、前記画像回復フィルタとして、色ごとに異なる前記フィルタ値の２次元分布を有する複数の画像回復フィルタを用い、
前記複数の画像回復フィルタは、前記フィルタ値の絶対値が最大であるセルの位置と該画像回復フィルタの中心セルの位置とのずれ量が前記光学系の倍率色収差量に応じて互いに異なり、前記画像のぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とする画像処理方法。 An image processing method for processing an image obtained by imaging using an optical system,
Obtaining the image;
An image restoration step for performing an image restoration process on the image using an image restoration filter created so that a filter value has a two-dimensional distribution based on aberration information of the optical system,
In the image restoration step, a plurality of image restoration filters having a two-dimensional distribution of the filter values different for each color are used as the image restoration filter,
The plurality of image restoration filters are different from each other in the amount of deviation between the position of the cell where the absolute value of the filter value is the maximum and the position of the center cell of the image restoration filter according to the amount of lateral chromatic aberration of the optical system, An image processing method comprising: a filter that reduces a chromatic aberration component of magnification together with a blur component of an image.
前記光学系の収差情報に基づいて、フィルタ値が２次元分布を持つように作成された画像回復フィルタを記憶する記憶手段と、
前記画像回復フィルタを用いて前記画像に対する画像回復処理を行う画像回復手段とを有し、
該画像回復手段は、前記画像回復フィルタとして、色ごとに異なる前記フィルタ値の２次元分布を有する複数の画像回復フィルタを用い、
前記複数の画像回復フィルタは、前記フィルタ値の絶対値が最大であるセルの位置と該画像回復フィルタの中心セルの位置とのずれ量が互いに異なり、前記画像のぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とする画像処理装置。 An image processing apparatus that processes an image obtained by imaging using an optical system,
Storage means for storing an image restoration filter created so that a filter value has a two-dimensional distribution based on aberration information of the optical system;
Image recovery means for performing image recovery processing on the image using the image recovery filter,
The image restoration means uses a plurality of image restoration filters having a two-dimensional distribution of the filter values different for each color as the image restoration filter,
The plurality of image restoration filters have different amounts of deviation between the position of the cell where the absolute value of the filter value is the maximum and the position of the center cell of the image restoration filter, and reduce the chromatic aberration component of magnification together with the blur component of the image An image processing apparatus characterized by being a filter that performs processing.
該画像を処理する請求項５に記載の画像処理装置とを有することを特徴とする撮像装置。 An imaging system for photoelectrically converting a subject image formed by an optical system to obtain an image;
An imaging apparatus comprising: the image processing apparatus according to claim 5 that processes the image.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008252324A JP4891301B2 (en) | 2008-09-30 | 2008-09-30 | Image processing method, image processing apparatus, and imaging apparatus |
| US12/568,603 US8477206B2 (en) | 2008-09-30 | 2009-09-28 | Image processing apparatus and image processing method for performing image restoration using restoration filter |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008252324A JP4891301B2 (en) | 2008-09-30 | 2008-09-30 | Image processing method, image processing apparatus, and imaging apparatus |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011269651A Division JP5197839B2 (en) | 2011-12-09 | 2011-12-09 | Image processing method, image processing apparatus, imaging apparatus, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010087671A JP2010087671A (en) | 2010-04-15 |
| JP4891301B2 true JP4891301B2 (en) | 2012-03-07 |
Family
ID=42251208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008252324A Expired - Fee Related JP4891301B2 (en) | 2008-09-30 | 2008-09-30 | Image processing method, image processing apparatus, and imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4891301B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102422632B (en) * | 2010-04-23 | 2014-04-30 | 松下电器产业株式会社 | Imaging device and image restoration method |
| JP5409589B2 (en) * | 2010-12-17 | 2014-02-05 | キヤノン株式会社 | Image processing method, image processing program, image processing apparatus, and imaging apparatus |
| JP5868076B2 (en) | 2011-08-31 | 2016-02-24 | キヤノン株式会社 | Image processing apparatus and image processing method |
| JP5818586B2 (en) * | 2011-08-31 | 2015-11-18 | キヤノン株式会社 | Image processing apparatus and image processing method |
| JP5991749B2 (en) * | 2011-09-26 | 2016-09-14 | キヤノン株式会社 | Image processing apparatus and method |
| JP6347763B2 (en) * | 2015-05-19 | 2018-06-27 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, image processing method, and image processing program |
| US10282822B2 (en) * | 2016-12-01 | 2019-05-07 | Almalence Inc. | Digital correction of optical system aberrations |
-
2008
- 2008-09-30 JP JP2008252324A patent/JP4891301B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010087671A (en) | 2010-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4942216B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and program | |
| US8477206B2 (en) | Image processing apparatus and image processing method for performing image restoration using restoration filter | |
| US8830351B2 (en) | Image processing method and image processing apparatus for image restoration to reduce a detected color shift | |
| US9167216B2 (en) | Image processing apparatus, image capture apparatus and image processing method | |
| US8537225B2 (en) | Image pickup apparatus and image conversion method | |
| JP5546229B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| US8605163B2 (en) | Image processing method, image processing apparatus, image pickup apparatus, and storage medium capable of suppressing generation of false color caused by image restoration | |
| EP2536126B1 (en) | Image processing apparatus, image processing method, and program | |
| KR101536162B1 (en) | Image processing apparatus and method | |
| WO2011122283A1 (en) | Image processing device and image capturing device using same | |
| JP4891301B2 (en) | Image processing method, image processing apparatus, and imaging apparatus | |
| JP2011123589A5 (en) | ||
| JP2009260620A (en) | Image processing apparatus and method | |
| JP2014027570A (en) | Image processing method, image processing program, image processor and imaging device | |
| JP2011215707A (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP5479187B2 (en) | Image processing apparatus and imaging apparatus using the same | |
| JP5268533B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP5425135B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP5425136B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP5197839B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and program | |
| JP2017073599A (en) | Image processing apparatus, lens apparatus, imaging apparatus, and imaging apparatus manufacturing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110916 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20110929 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20111020 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111115 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111215 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4891301 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141222 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |