JP2008165657A - Image restoration device, image restoration method, and image restoration program - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To perform image restoration using a Wiener filter which is capable of securing sharpness while suppressing ringing. <P>SOLUTION: An image restoration device which uses the Wiener filter to restore original image information with respect to deteriorated image information including fluctuation detection information showing a fluctuation of an image obtained by an imaging apparatus, includes a point spread function estimating means (step S7) for estimating a point spread function of the Wiener filter on the basis of the fluctuation detection information included in the deteriorated image information and an image restoration means (steps S8 to S18) for generating local area restored image information on the basis of frequency responses of the Wiener filter, which are calculated per local area image information segmented from the deteriorated image information on the basis of the point spread function and an optimal approximation constant. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元装置、画像復元方法及び画像復元プログラムに関する。   The present invention relates to an image restoration apparatus, an image restoration method, and an image restoration program for restoring original image information using degraded image information including shake detection information representing shake of an image obtained from an imaging apparatus using a Wiener filter.

従来の画像復元装置としては、例えば劣化関数を用いて、劣化画像から元画像に近い復元画像を復元する際に、劣化関数を構成する振れ方向、振れ量等の劣化パラメータを変化させながら劣化画像を復元し、復元された画像の画像復元度を求め、該画像復元度を基に劣化パラメータを選択して劣化関数を導出し、該劣化関数により復元画像を生成するようにした画像処理方法及び装置が提案されている（例えば特許文献１参照）。   As a conventional image restoration device, for example, when restoring a restored image close to the original image from a degraded image using a degradation function, the degraded image is changed while changing degradation parameters such as a shake direction and a shake amount constituting the degradation function. An image processing method for obtaining an image restoration degree of the restored image, selecting a deterioration parameter based on the degree of image restoration, deriving a deterioration function, and generating a restored image using the deterioration function; An apparatus has been proposed (see, for example, Patent Document 1).

しかしながら、上記特許文献１に記載の従来例にあっては、振れ方向、振れ量等の劣化パラメータを変化させるだけであるので、劣化画像を復元する際のリンギングを抑制することはできない。
このため、従来、劣化画像情報の雑音に関する統計的性質が既知の場合、その情報を利用し、逆フィルタの雑音に対する弱点を補う方法としてウィーナフィルタが知られている（非特許文献１参照）。このウィーナフィルタは元画像ｆ（ｘ，ｙ）と復元画像ｆ＾（ｘ，ｙ）との平均２乗誤差が最小となるような復元方法であり、その周波数応答Ｍ（ｕ，ｖ）は下記のようにして算出される。 However, in the conventional example described in Patent Document 1, ringing at the time of restoring a degraded image cannot be suppressed because only degradation parameters such as a shake direction and a shake amount are changed.
For this reason, a Wiener filter is conventionally known as a method for compensating for the weakness of the inverse filter using noise when the statistical properties of the degraded image information regarding noise are known (see Non-Patent Document 1). This Wiener filter is a restoration method that minimizes the mean square error between the original image f (x, y) and the restored image f ^ (x, y), and the frequency response M (u, v) is as follows. It is calculated as follows.

観測された画像のフーリエ変換Ｇ（ｕ，ｖ）に周波数応答Ｍ（ｕ，ｖ）を掛けた後フーリエ逆変換すると、復元画像が求まる。通常は［Ｐ_nn（ｕ，ｖ）／Ｐ_ff（ｕ，ｖ）を正確に求めることができないため、適当な定数Γで近似することが多い。ウィーナフィルタでは、この項があるため、Ｈ（ｕ，ｖ）＝０となるような周波数でＭ（ｕ，ｖ）＝０となり、逆フィルタのような不安定さは生じない。
特開２０００−５７３３９号公報（第２頁、図２） 「コンピュータ画像処理」平成１６年１０月２０日株式会社オーム社発行 When the Fourier transform G (u, v) of the observed image is multiplied by the frequency response M (u, v) and then inverse Fourier transform is performed, a restored image is obtained. Usually, [P _nn (u, v) / P _ff (u, v) cannot be obtained accurately, and is often approximated with an appropriate constant Γ. Since the Wiener filter has this term, M (u, v) = 0 at a frequency at which H (u, v) = 0, and instability like an inverse filter does not occur.
JP 2000-57339 A (second page, FIG. 2) "Computer image processing" October 20, 2004 Published by Ohm Co., Ltd.

しかしながら、上記非特許文献１に記載された従来例にあっては、ウィーナフィルタの周波数応答Ｍ（ｕ，ｖ）を算出するために適当な近似定数Γを使用するようにしているので、この近似定数Γが大きいと、リンギングの問題は改善されるが、鮮明さが不十分となり、逆に近似定数Γが小さいと、鮮明になるが、リンギングが発生することになり、最適なΓを決定することが困難であるという未解決の課題がある。   However, in the conventional example described in Non-Patent Document 1, an appropriate approximation constant Γ is used to calculate the frequency response M (u, v) of the Wiener filter. If the constant Γ is large, the problem of ringing is improved, but the sharpness is insufficient, and conversely, if the approximate constant Γ is small, it becomes clear, but ringing occurs, and the optimum Γ is determined. There is an unresolved issue that is difficult.

そこで、本発明は、上記従来例の未解決の課題に着目してなされたものであり、リンギングを抑制しながら鮮明さを確保することができるウィーナフィルタを使用した画像復元装置、画像復元方法及び画像復元プログラムを提供することを目的としている。   Therefore, the present invention has been made paying attention to the unsolved problems of the above conventional example, and an image restoration apparatus, an image restoration method, and an image restoration method using a Wiener filter capable of ensuring sharpness while suppressing ringing. It aims to provide an image restoration program.

本発明の第１の技術手段は、撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元装置であって、前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定手段と、前記劣化画像情報から切り出した局所領域画像情報毎に前記点広がり関数と最適な近似定数とに基づいて算出される前記ウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成する画像復元手段とを有することを特徴としている。   A first technical means of the present invention is an image restoration device that restores original image information by using a Wiener filter for degraded image information including shake detection information representing shake of an image obtained from an imaging device, Point spread function estimating means for estimating the point spread function of the Wiener filter based on the shake detection information included in the deteriorated image information, and the point spread function and the optimum for each local area image information cut out from the deteriorated image information And image restoration means for generating local region restoration image information based on the frequency response of the Wiener filter calculated based on the approximate constant.

この第１の技術手段では、角速度データ等の撮像装置の振れ検出情報を含む劣化画像情報から振れ検出情報に基づいてウィーナフィルタの点広がり関数を算出し、劣化画像情報から切り出した局所領域画像情報毎に、点広がり関数と最適な近似定数とに基づいて算出されるウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成するので、劣化画像情報の局所領域画像情報毎に最適な近似定数を設定することができ、リンギングを抑制しながら鮮明さを確保した画像復元を行うことができる。   In the first technical means, the local area image information cut out from the deteriorated image information by calculating the point spread function of the Wiener filter based on the shake detection information from the deteriorated image information including the shake detection information of the imaging device such as angular velocity data. Since the local area restoration image information is generated based on the frequency response of the Wiener filter calculated based on the point spread function and the optimum approximation constant for each time, the optimum approximation constant for each local area image information of the degraded image information Can be set, and image restoration can be performed while ensuring sharpness while suppressing ringing.

また、第２の技術手段は、上記第１の技術手段において、前記振れ検出情報は撮像装置の上下及び左右の振れを検出する角速度センサの出力情報であることを特徴としている。
この第２の技術手段においては、撮像装置の前後左右の振れを角速度センサで正確に検出することができるので、この角速度センサの出力情報を使用して点広がり関数を算出することにより、劣化画像情報の振れに応じた点広がり関数を算出することができる。 Further, the second technical means is characterized in that, in the first technical means, the shake detection information is output information of an angular velocity sensor that detects vertical and horizontal shakes of the imaging apparatus.
In the second technical means, since the angular velocity sensor can accurately detect the back-and-forth, right-and-left shake of the imaging apparatus, the degradation image is calculated by calculating the point spread function using the output information of the angular velocity sensor. It is possible to calculate a point spread function according to information fluctuation.

さらに、本発明の第３の技術手段は、第１又は第２の技術手段において、前記点広がり関数推定手段は、前記振れ検出情報から点広がり関数のフーリエスペクトルを算出するように構成されていることを特徴としている。
この第３の技術手段では、点広がり関数推定手段で点広がり関数のフーリエスペクトルを算出するので、このフーリエスペクトルと、その共役複素数と、近似定数Γとからウィーナフィルタの周波数応答を算出することができる。 Further, the third technical means of the present invention is the first or second technical means, wherein the point spread function estimating means is configured to calculate a Fourier spectrum of the point spread function from the shake detection information. It is characterized by that.
In the third technical means, the point spread function estimating means calculates the Fourier spectrum of the point spread function, so that the frequency response of the Wiener filter can be calculated from this Fourier spectrum, its conjugate complex number, and the approximate constant Γ. it can.

さらにまた、本発明の第４の技術手段は、第１〜第３の技術手段の１つにおいて、前記点広がり関数推定手段は、前記振れ検出情報の振れ幅が大きいときに当該触れ検出情報をスプライン補間処理することを特徴としている。
この第４の技術手段では、振れ検出情報の触れ幅が大きいときに振れ検出情報をスプライン補間処理するので、より多くの振れ検出情報を得ることができ、正確な点広がり関数を算出することができる。 Furthermore, the fourth technical means of the present invention is the one of the first to third technical means, wherein the point spread function estimating means outputs the touch detection information when a shake width of the shake detection information is large. It is characterized by spline interpolation processing.
In the fourth technical means, since the shake detection information is spline-interpolated when the touch width of the shake detection information is large, more shake detection information can be obtained and an accurate point spread function can be calculated. it can.

なおさらに、本発明の第５の技術手段は、上記第１乃至第４の技術手段の１つにおいて、前記点広がり関数推定手段は、前記振れ検出情報をガウスフィルタ処理することを特徴としている。
この第５の技術手段では、振れ検出情報をガウスフィルタ処理することにより、振れ検出情報が平滑化されてより正確な点広がり関数を算出することができる。 Still further, according to a fifth technical means of the present invention, in any one of the first to fourth technical means, the point spread function estimating means performs a Gaussian filter process on the shake detection information.
In the fifth technical means, the shake detection information is smoothed by performing Gaussian filter processing on the shake detection information, and a more accurate point spread function can be calculated.

また、本発明の第６の技術手段は、第１〜第５の技術手段の１つにおいて、前記画像復元手段は、前記劣化画像情報から局所領域画像情報を切り出す画像情報切り出し手段と、該画像情報切り出し手段で切り出した前記局所領域画像情報をフーリエ変換した空間周波数領域情報に、前記点広がり関数推定手段で推定した前記点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出する復元結果算出手段と、該復元結果算出手段で算出した所定数の前記復元結果をフーリエ逆変換して所定数の局所領域復元画像情報を生成する復元画像生成手段と、該復元画像生成手段で復元した所定数の前記局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる前記局所領域復元画像情報を選択する復元画像選択手段とを有することを特徴としている。   According to a sixth technical means of the present invention, in any one of the first to fifth technical means, the image restoration means includes image information cutout means for cutting out local area image information from the degraded image information, and the image. Wiener calculated on the basis of the point spread function estimated by the point spread function estimating means and a predetermined number of different approximation constants Γ to the spatial frequency domain information obtained by Fourier transforming the local area image information cut out by the information cutout means A restoration result calculation unit that calculates a predetermined number of restoration results by multiplying the frequency response of the filter, and a predetermined number of local region restoration image information by inverse Fourier transforming the predetermined number of restoration results calculated by the restoration result calculation unit. The restored image generating means to be generated, and the mean square error between the local area restored image information and the local area image information restored by the restored image generating means is minimized. It is characterized by having a restored image selection means for selecting the local area restored image information.

この第６の技術手段では、画像復元手段で、画像切り出し手段で切り出した局所領域画像情報をフーリエ変換した空間周波数領域情報に、推定した点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出し、算出した所定数の復元結果をフーリエ逆変換して所定数の局所領域復元画像情報を生成し、復元した所定数の局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる復元画像情報を選択するので、局所領域画像情報毎に最適な近似定数で復元した局所領域復元画像情報を生成することができる。   In the sixth technical means, the image restoration means uses the Fourier transform of the local area image information cut out by the image cut-out means based on the estimated point spread function and a predetermined number of different approximation constants Γ. A predetermined number of restoration results are calculated by multiplying the calculated frequency response of the Wiener filter, and a predetermined number of local region restored image information is generated by performing Fourier inverse transform on the calculated predetermined number of restoration results. Since the restored image information that minimizes the mean square error between the local area restored image information and the local area image information is selected, generating the local area restored image information restored with the optimal approximation constant for each local area image information Can do.

さらに、本発明の第７の技術手段は、第６の技術手段において、前記画像情報切り出し手段は、前記局所画像領域を含む拡大局所画像情報を切り出すように構成され、前記復元画像生成手段は、フーリエ逆変換した前記復元結果算出手段で算出した復元結果から前記局所画像領域を切り出して前記局所領域復元画像情報を生成するように構成されていることを特徴としている。   Further, according to a seventh technical means of the present invention, in the sixth technical means, the image information cutout means is configured to cut out enlarged local image information including the local image region, and the restored image generation means includes: The local image area is cut out from the restoration result calculated by the restoration result calculation means obtained by inverse Fourier transform, and the local area restoration image information is generated.

この第７の技術手段では、画像切り出し手段で、局所画像領域を含むこれより大きい拡大局所画像情報を切り出し、復元画像生成手段で、フーリエ逆変換した復元結果算出手段で算出した復元結果から前記局所画像領域を切り出して前記局所領域復元画像情報を生成するようにしているので、振れ幅による折り返しの影響を受けることなく正確な局所領域の画像復元を行うことができる。   In the seventh technical means, the image cutout means cuts out the enlarged local image information including the local image area, and the restoration image generation means calculates the local image from the restoration result calculated by the restoration result calculation means obtained by inverse Fourier transform. Since the local area restoration image information is generated by cutting out the image area, it is possible to accurately restore the local area image without being affected by the aliasing due to the shake width.

さらにまた、第８の技術手段は、第６又は第７の技術手段の１つにおいて、前記復元結果算出手段は、前記点広がり関数推定手段で算出した点広がり関数のフーリエスペクトルと、当該フーリエスペクトルの共役複素数と、前記近似定数Γとから周波数応答を算出するように構成されていることを特徴としている。
この第８の技術手段では、点広がり関数のフーリエスペクトルと、その共役複素数と、近似定数Γからウィーナフィルタの周波数応答を算出するので、近似定数Γを異なる値とすることにより、近似定数Γの異なる種々の周波数応答を算出することができる。 Furthermore, the eighth technical means is one of the sixth and seventh technical means, wherein the restoration result calculating means is a Fourier spectrum of the point spread function calculated by the point spread function estimating means, and the Fourier spectrum. The frequency response is calculated from the conjugate complex number and the approximate constant Γ.
In the eighth technical means, the frequency response of the Wiener filter is calculated from the Fourier spectrum of the point spread function, its conjugate complex number, and the approximate constant Γ. Therefore, by setting the approximate constant Γ to a different value, Various different frequency responses can be calculated.

なおさらに、本発明の第９の技術手段は、撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元方法であって、点広がり関数推定手段によって前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定ステップと、画像復元手段によって前記劣化画像情報から切り出した局所領域画像情報毎に前記点広がり関数と最適な近似定数とに基づいて算出される前記ウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成する画像復元ステップとを有することを特徴としている。   Still further, the ninth technical means of the present invention is an image restoration method for restoring deteriorated image information including shake detection information indicating shake of an image obtained from an imaging apparatus using a Wiener filter to restore original image information. A point spread function estimating step for estimating a point spread function of the Wiener filter based on the shake detection information included in the deteriorated image information by a point spread function estimating means, and a clipped from the deteriorated image information by an image restoring means. An image restoration step of generating local area restored image information based on the frequency response of the Wiener filter calculated based on the point spread function and an optimal approximation constant for each local area image information. .

この第９の技術手段では、前述した第１の技術手段と同様の効果を得ることができる。
さらにまた、本発明の第１０の技術手段は、第９の技術手段において、前記画像復元ステップは、画像情報切り出し手段で前記劣化画像情報から局所領域画像情報を切り出す画像情報切り出しステップと、復元結果算出手段で前記画像情報切り出しステップによって切り出した前記局所領域画像情報をフーリエ変換した空間周波数領域情報に、前記点広がり関数推定手段で推定した前記点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出する復元結果算出ステップと、復元画像生成手段で算出した所定数の前記復元結果をフーリエ逆変換して所定数の局所復元画像情報を生成する復元画像生成ステップと、復元画像選択手段で復元した所定数の前記局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる前記局所領域復元画像情報を選択する復元画像選択ステップとを備えていることを特徴としている。 In the ninth technical means, the same effect as the first technical means described above can be obtained.
Still further, a tenth technical means of the present invention is the ninth technical means, wherein the image restoration step comprises an image information cutout step of cutting out local area image information from the degraded image information by an image information cutout means, and a restoration result. Based on the spatial frequency domain information obtained by Fourier transforming the local area image information cut out by the image information cutout step by the calculation means, based on the point spread function estimated by the point spread function estimation means and a predetermined number of different approximation constants Γ. A restoration result calculation step for calculating a predetermined number of restoration results by multiplying the frequency response of the Wiener filter calculated in step (a), and a predetermined number of local restorations by inverse Fourier transform of the predetermined number of restoration results calculated by the restoration image generation means A restored image generating step for generating image information, and a predetermined number of the local regions restored by restored image selection means It is characterized by comprising a restored image selection step of selecting the local area restored image information mean square error between the image information and the local region image information is minimized.

この第１０の技術手段では、前述した第６の技術手段と同様の効果を得ることができる。
なおさらに、本発明の第１１の技術手段は、撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元処理をコンピュータに実行させるための画像復元プログラムであって、点広がり関数推定手段によって前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定ステップと、画像復元手段によって前記劣化画像情報から切り出した局所領域画像情報毎に前記点広がり関数と最適な近似定数とに基づいて算出される前記ウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成する画像復元ステップとをコンピュータに実行させることを特徴としている。
この第１１の技術手段では、前述した第１の技術手段及び第９の技術手段と同様の効果を得ることができる。 In the tenth technical means, the same effect as in the sixth technical means described above can be obtained.
Still further, according to an eleventh technical means of the present invention, a computer performs image restoration processing for restoring degraded image information including shake detection information representing shake of an image obtained from an imaging apparatus, and restoring original image information using a Wiener filter. A point spread function estimating step for estimating a point spread function of the Wiener filter based on the shake detection information included in the deteriorated image information by a point spread function estimating unit; An image for generating local region restored image information based on the frequency response of the Wiener filter calculated based on the point spread function and an optimal approximation constant for each local region image information cut out from the degraded image information by the restoration means The restoration step is executed by a computer.
In the eleventh technical means, the same effects as those of the first technical means and the ninth technical means described above can be obtained.

また、本発明の第１２の技術手段は、第１１の技術手段において、前記画像復元ステップは、画像情報切り出し手段で前記劣化画像情報から局所領域画像情報を切り出す画像情報切り出しステップと、復元結果算出手段で前記画像情報切り出しステップによって切り出した前記局所領域画像情報をフーリエ変換した空間周波数領域情報に、前記点広がり関数推定手段で推定した点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出する復元結果算出ステップと、復元画像生成手段で算出した所定数の前記復元結果をフーリエ逆変換して所定数の局所領域復元画像情報を生成する復元画像生成ステップと、復元画像選択手段で復元した所定数の前記局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる前記局所領域復元画像情報を選択する復元画像選択ステップとを備えていることを特徴としている。   According to a twelfth technical means of the present invention, in the eleventh technical means, the image restoration step includes an image information cutout step of cutting out local area image information from the degraded image information by an image information cutout means, and a restoration result calculation. The spatial region information obtained by Fourier transforming the local region image information cut out by the image information cut-out step is calculated based on the point spread function estimated by the point spread function estimation unit and a predetermined number of different approximation constants Γ. A restoration result calculation step of calculating a predetermined number of restoration results by multiplying the frequency response of the Wiener filter, and a predetermined number of local region restoration images obtained by inverse Fourier transform of the predetermined number of restoration results calculated by the restoration image generation means A restored image generating step for generating information, and a predetermined number of the local region restored images restored by the restored image selection means; Distribution and the is characterized in that the mean square error between the local area image information and a restored image selecting step of selecting the local area restored image information is minimized.

この第１２の技術手段では、前述した第６及び１０の技術手段と同様の効果を得ることができる。   In the twelfth technical means, the same effects as in the sixth and tenth technical means described above can be obtained.

以下、本発明の実施の形態を図面に基づいて説明する。
図１は本発明の一実施形態を示す概略構成図であり、図中、１はプリンタであって、このプリンタ１にＣＤ−Ｒ装置１００、デジタルカメラ１２０及びホストコンピュータ１４０が例えばＵＳＢの接続コードを介して接続される。なお、ＣＤ−Ｒ装置１００、例えば被写体を静止画像として撮影する撮像装置としてのデジタルスチルカメラ１２０及びホストコンピュータ１４０とプリンタ１との接続は接続コードを使用する場合に限らず無線で画像情報の授受を行うようにしてもよい。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic configuration diagram showing an embodiment of the present invention. In FIG. 1, reference numeral 1 denotes a printer. A CD-R device 100, a digital camera 120, and a host computer 140 are connected to the printer 1 by, for example, a USB connection cord. Connected through. Note that the CD-R device 100, for example, a digital still camera 120 as an imaging device that captures a subject as a still image, and the connection between the host computer 140 and the printer 1 are not limited to the case of using a connection cord, and image information is exchanged wirelessly. May be performed.

そして、プリンタ１は、ヘッドユニット２０、用紙搬送機構３０、キャリッジ移動機構４０、検出器群５０、プリンタ側コントローラ６０、液晶表示器３、操作ボタン５、及びカードスロット６を有する。また、これらの他に、プリンタ１はホストコンピュータ１４０と接続するための第１インタフェース１２と、デジタルスチルカメラ１２０やＣＤ−Ｒ装置１００と接続するための第２インタフェース１４とを有している。   The printer 1 includes a head unit 20, a paper transport mechanism 30, a carriage moving mechanism 40, a detector group 50, a printer-side controller 60, a liquid crystal display 3, operation buttons 5, and a card slot 6. In addition to these, the printer 1 has a first interface 12 for connecting to the host computer 140 and a second interface 14 for connecting to the digital still camera 120 and the CD-R device 100.

ヘッドユニット２０は、インクを用紙に向けて吐出させるものであり、インクを吐出するヘッド２２を有する。このヘッドユニット２０は、キャリッジ（図示せず）に取付けられており、キャリッジをキャリッジ移動方向に移動させるキャリッジ移動機構４０によって、キャリッジと共に移動する。
用紙搬送機構３０は、キャリッジ移動方向と交差する方向に用紙を搬送する。検出器群５０は、プリンタ１の状態を検出するためのものであり、例えば、キャリッジの位置を検出するリニア式エンコーダ、紙の搬送量を検出するロータリー式エンコーダ、及び用紙の有無を検出する紙検出器（何れも図示せず）等が含まれる。 The head unit 20 discharges ink toward a sheet, and includes a head 22 that discharges ink. The head unit 20 is attached to a carriage (not shown), and moves together with the carriage by a carriage moving mechanism 40 that moves the carriage in the carriage movement direction.
The paper transport mechanism 30 transports paper in a direction that intersects the carriage movement direction. The detector group 50 is for detecting the state of the printer 1. For example, a linear encoder that detects the position of the carriage, a rotary encoder that detects the amount of paper transport, and paper that detects the presence or absence of paper. A detector (none of which is shown) is included.

プリンタ側コントローラ６０は、プリンタ１の制御を行うものであり、ＣＰＵ６２と、メモリ６４と、制御ユニット６８とを有する。ＣＰＵ６２は、プリンタ１の全体的な制御を行うための演算処理装置である。メモリ６４は、ＣＰＵ６２のプログラムを格納する領域や作業領域等を確保するためのものであり、ＲＡＭ、ＥＥＰＲＯＭ、ＲＯＭ等の記憶素子によって構成されている。そして、画像情報の復元時において、メモリ６４に復元画像情報が格納される。制御ユニット６８は、制御対象となる各部とＣＰＵ６２との間に配置され、ＣＰＵ６２からのコマンドに基づいてモータ用の駆動信号を生成したり、各部から送られてくる信号を、ＣＰＵ６２が解釈できる形態にして出力したりする。   The printer-side controller 60 controls the printer 1 and includes a CPU 62, a memory 64, and a control unit 68. The CPU 62 is an arithmetic processing unit for performing overall control of the printer 1. The memory 64 is for securing an area for storing a program of the CPU 62, a work area, and the like, and is configured by a storage element such as a RAM, an EEPROM, or a ROM. Then, the restored image information is stored in the memory 64 when the image information is restored. The control unit 68 is disposed between each unit to be controlled and the CPU 62, and generates a drive signal for the motor based on a command from the CPU 62, or the CPU 62 can interpret a signal sent from each unit. Or output.

通常、プリンタ１は、ホストコンピュータ１４０又はデジタルスチルカメラ１２０から印刷データを受信すると、印刷データに基づいて印刷処理を行う。すなわち、印刷データの受信後、プリンタ側コントローラ６０は、用紙搬送機構３０に印刷開始位置まで用紙を搬送させ、キャリッジ移動機構４０にキャリッジをキャリッジ移動方向に移動させ、キャリッジと共に移動するヘッドから印刷データに基づいてインクを吐出させる。そして、これらの動作が繰り返して行われると、用紙に画像が印刷される。   Normally, when the printer 1 receives print data from the host computer 140 or the digital still camera 120, the printer 1 performs print processing based on the print data. That is, after receiving the print data, the printer-side controller 60 causes the paper transport mechanism 30 to transport the paper to the print start position, causes the carriage movement mechanism 40 to move the carriage in the carriage movement direction, and print data from the head that moves with the carriage. Ink is ejected based on the above. When these operations are repeated, an image is printed on the paper.

さらに、プリンタ１は、ユーザーが操作ボタン５を操作することにより、画像情報のバックアップ処理を行う。このバックアップ処理では、プリンタ側コントローラ６０は、カードスロット６に装着されたメモリカード１１０から画像情報を、ＣＤ−Ｒ装置１００に送出し、ＣＤ−Ｒに記憶させる。
さらにまた、デジタルスチルカメラ１２０は、カメラレンズ１２１によって被写体像がその後段に配設された固体撮像素子１２２に結像される。この固体撮像素子１２２は、固体撮像素子駆動回路１２３からの駆動信号によって光電変換を行い、その光電変換出力がカメラ系信号処理部１２４に供給され、このカメラ系信号処理部１２４で、サンプリング処理、ＡＧＣ処理を行った後にＡ／Ｄ変換処理によってデジタルデータに変換してからガンマ補正処理、エンコード処理等が行われて画像メモリ１２５に入力される。 Further, the printer 1 performs a backup process of the image information when the user operates the operation button 5. In this backup processing, the printer-side controller 60 sends image information from the memory card 110 inserted in the card slot 6 to the CD-R device 100 and stores it in the CD-R.
Furthermore, in the digital still camera 120, a subject image is formed on the solid-state image sensor 122 arranged at the subsequent stage by the camera lens 121. The solid-state image sensor 122 performs photoelectric conversion according to a drive signal from the solid-state image sensor driving circuit 123, and the photoelectric conversion output is supplied to the camera system signal processing unit 124. The camera system signal processing unit 124 performs sampling processing, After performing AGC processing, the digital data is converted by A / D conversion processing, and then gamma correction processing, encoding processing, and the like are performed and input to the image memory 125.

画像メモリ１２５から読出された画像データが液晶ディスプレイ、有機ＥＬディスプレイ等で構成される表示器１３５に供給されると共に、記録系信号処理部１２６に出力され、この記録系信号処理部１２６でＪＰＥＧ変換等を行ってＤＲＡＭ、ＳＲＡＭ、フラッシュメモリ等で構成されるメモリカード１１０に記憶される。
一方、手振れ補正を行うために、デジタルスチルカメラ１２０の筐体に垂直方向及び水平方向のコリオリ力が発生したときにこれを検出する振れ量検出手段としての例えばジャイロセンサ（ジャイロスコープ）で構成される垂直方向及び水平方向角速度センサ１２８及び１２９が設けられ、これら垂直方向及び水平方向角速度センサ１２８及び１２９から出力される検出信号が帯域制限フィルタ１３０及び１３１に供給されて帯域制限された後、増幅器１３２及び１３３で増幅されてからＡ／Ｄ変換器１３４によって所定サンプリング周期でデジタル信号に変換されてバッファメモリ１３６に一時格納される。そして、バッファメモリ１３６に格納された垂直方向及び水平方向の角速度データがデジタルスチルカメラ１２０の制御を統括するマイクロコンピュータ１２７に読出される。 The image data read from the image memory 125 is supplied to a display unit 135 constituted by a liquid crystal display, an organic EL display, etc., and is output to a recording system signal processing unit 126, and this recording system signal processing unit 126 performs JPEG conversion. Are stored in a memory card 110 composed of DRAM, SRAM, flash memory, or the like.
On the other hand, in order to perform camera shake correction, it is composed of, for example, a gyro sensor (gyroscope) as shake amount detection means for detecting when a Coriolis force in the vertical direction and the horizontal direction is generated in the casing of the digital still camera 120. The vertical and horizontal angular velocity sensors 128 and 129 are provided, and the detection signals output from the vertical and horizontal angular velocity sensors 128 and 129 are supplied to the band limiting filters 130 and 131 to be band limited, and then the amplifier. Amplified at 132 and 133, converted to a digital signal at a predetermined sampling period by the A / D converter 134, and temporarily stored in the buffer memory 136. Then, the angular velocity data in the vertical direction and the horizontal direction stored in the buffer memory 136 are read out to the microcomputer 127 that controls the control of the digital still camera 120.

そして、マイクロコンピュータ１２７では、シャッタ開閉センサ１３７からのシャッタ開閉信号ＳＳが入力されたときに、このシャッタ開閉信号がシャッタ開状態となっている間及びその前後の所定時間のバッファメモリ１３６に格納されている垂直方向及び水平方向の角速度データを読込み、読込んだ角速度データを記録系信号処理部１２６が画像メモリ１２５から画像データを読込むタイミングで記録系信号処理部１２６に出力して、この記録系信号処理部１２６で画像データと共に信号処理してメモリカード１１０に記憶する。   In the microcomputer 127, when the shutter open / close signal SS is input from the shutter open / close sensor 137, the shutter open / close signal is stored in the buffer memory 136 for a predetermined time before and after the shutter open state. The angular velocity data in the vertical direction and the horizontal direction are read, and the read angular velocity data is output to the recording system signal processing unit 126 at the timing when the recording system signal processing unit 126 reads the image data from the image memory 125, and this recording is performed. The system signal processing unit 126 performs signal processing together with the image data and stores it in the memory card 110.

すなわち、角速度センサ１２８及び１２９の各角速度データをサンプリング間隔Δｔ（例えば４０〜４００Ｈｚの範囲の任意の周波数）でサンプリングし、それをバッファメモリ１３６に時系列的に格納しておく、シャッタ開閉センサ１３７でシャッタが開かれる前の所定数のサンプルデータ、シャッタが開いてから閉じられるまでのサンプルデータ、シャッタが閉じられた後での所定数のサンプルのデータを使用して、角速度の変化を求める。その際、画像データは画像メモリ１２５に蓄積する。   In other words, each of the angular velocity data of the angular velocity sensors 128 and 129 is sampled at a sampling interval Δt (for example, an arbitrary frequency in the range of 40 to 400 Hz), and stored in the buffer memory 136 in time series. The change in angular velocity is obtained using a predetermined number of sample data before the shutter is opened, sample data from when the shutter is opened until it is closed, and data of a predetermined number of samples after the shutter is closed. At that time, the image data is stored in the image memory 125.

そして、バッファメモリ１３６に蓄積された各角速度データを画像メモリ１２５に記憶した画像データと共に記録系信号処理部１２６で信号処理してメモリカード１１０に記憶する。
この記録系信号処理部１２６では、画像情報をＪＰＥＧ変換してＪＰＥＧ画像ファイルに記憶すると共に、そのＪＰＥＧ画像ファイルのＥｘｉｆ ＩＦＤ内の階層化されたユーザタグに各角速度データを記憶する。 Each angular velocity data accumulated in the buffer memory 136 is signal-processed by the recording system signal processing unit 126 together with the image data stored in the image memory 125 and stored in the memory card 110.
In this recording system signal processing unit 126, the image information is JPEG converted and stored in a JPEG image file, and each angular velocity data is stored in a hierarchized user tag in the Exif IFD of the JPEG image file.

また、デジタルスチルカメラ１２０は、メモリカード１１０に記憶した画像情報をプリンタ１やホストコンピュータ１４０に出力する画像データ出力部１３８を有し、この画像データ出力部１３８からＵＳＢ等の接続コードを介して画像情報を出力する。
また、前述したプリンタ１では、デジタルスチルカメラ１２０からの振れがある劣化画像情報が接続コードを介して第２インタフェース１４から直接入力されるか又はメモリカード１１０を介して入力されたときに、ユーザーが画像復元ボタン７を操作することにより、ウィーナフィルタを使用した画像復元処理を実行する。 The digital still camera 120 also has an image data output unit 138 that outputs image information stored in the memory card 110 to the printer 1 or the host computer 140. The image data output unit 138 is connected to a connection code such as a USB. Output image information.
Further, in the printer 1 described above, when the deteriorated image information with shake from the digital still camera 120 is input directly from the second interface 14 via the connection cord or input via the memory card 110, the user By operating the image restoration button 7, the image restoration process using the Wiener filter is executed.

ここで、画像復元の原理は、原画像から劣化画像が生じる画像劣化モデルを図３について説明すると、原画像ｆ（ｘ，ｙ）とし、劣化画像をｇ（ｘ，ｙ）とし、さらに点広がり関数をｈ（ｘ，ｙ）、ノイズをｎ（ｘ，ｙ）としたとき、これらの関係は図３に示すようになり、式で表すと下記（１）式となる。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊ｈ（ｘ，ｙ）＋ｎ（ｘ，ｙ） …………（１）
但し、＊は畳み込みを表す。 Here, the principle of image restoration is described with reference to FIG. 3, which is an image deterioration model in which a deteriorated image is generated from the original image. The original image is f (x, y), the deteriorated image is g (x, y), and the point spread is further increased. When the function is h (x, y) and the noise is n (x, y), these relationships are as shown in FIG. 3, and the following expression (1) is obtained.
g (x, y) = f (x, y) * h (x, y) + n (x, y) (1)
However, * represents convolution.

そして、劣化画像ｇ（ｘ，ｙ）、原画像ｆ（ｘ，ｙ）、点広がり関数ｈ（ｘ，ｙ）及びノイズｎ（ｘ，ｙ）のフーリエ変換を夫々Ｇ（μ，ν）、Ｆ（μ，ν）、Ｈ（μ，ν）及びＮ（μ，ν）とすると、前記（１）式より
Ｇ（μ，ν）＝Ｆ（μ，ν）Ｈ（μ，ν）＋Ｎ（μ，ν） …………（２）
が得られる。 Then, Fourier transforms of the degraded image g (x, y), the original image f (x, y), the point spread function h (x, y) and the noise n (x, y) are respectively G (μ, ν) and F If (μ, ν), H (μ, ν) and N (μ, ν), then G (μ, ν) = F (μ, ν) H (μ, ν) + N (μ , Ν) ............ (2)
Is obtained.

そして、ウィーナフィルタによる画像復元の周波数応答Ｂ（μ，ν）は、
Ｂ（μ，ν）＝Ｈ（μ，ν）^*／｛Ｈ（μ，ν）Ｈ（μ，ν）^*＋Γ ……（３）
と表すことができる。ここで、^*は共役複素数、Γは近似定数を表す。
したがって、観測された画像のフーリエ変換Ｇ（μ，ν）に周波数応答Ｂ（μ，ν）を掛けた後、フーリエ逆変換すると復元画像を求めることができる。 The frequency response B (μ, ν) of image restoration by the Wiener filter is
B (μ, ν) = H (μ, ν) ^* / {H (μ, ν) H (μ, ν) ^* + Γ (3)
It can be expressed as. Here, ^* represents a conjugate complex number, and Γ represents an approximate constant.
Accordingly, a restored image can be obtained by multiplying the Fourier transform G (μ, ν) of the observed image by the frequency response B (μ, ν) and then performing the inverse Fourier transform.

そして、画像復元処理は、プリンタ側コントローラ６０内のＣＰＵ６２で実行され、図４に示すように、先ず、ステップＳ１で、振れが生じている劣化画像情報を読込み、次いでステップＳ２に移行して、劣化画像情報のＥｘｉｆ ＩＦＤ内の階層化されたユーザタグから各角速度データを取得する。
次いで、ステップＳ３に移行して、取得した各角速度データから振れ幅（ピクセル）を算出する。 Then, the image restoration process is executed by the CPU 62 in the printer-side controller 60. As shown in FIG. 4, first, in step S1, the deteriorated image information in which the shake has occurred is read, and then the process proceeds to step S2. Each angular velocity data is acquired from the hierarchized user tag in the Exif IFD of the deteriorated image information.
Next, the process proceeds to step S3, and a deflection width (pixel) is calculated from each acquired angular velocity data.

この振れ量の算出は、デジタルスチルカメラ１２０のカメラレンズ１２１における光軸方位の変動状況を検出する角速度センサ２成分（角速度センサ１２８，１２９）は、図５に示すように、固体撮像素子１２２の平面内の直交ベクトル成分に対応するものである。これら２つの角速度成分は、図５に示すように、θｘ及びθｙの変数で表される。
この角度成分に補正係数λｘ及びλｙを乗算することにより、画像のｘ軸方向或いはｙ軸方向の振れ量（ピクセル）を求めることができる。 The calculation of the shake amount is performed by using two components of the angular velocity sensor (angular velocity sensors 128 and 129) for detecting the fluctuation state of the optical axis direction in the camera lens 121 of the digital still camera 120, as shown in FIG. This corresponds to the orthogonal vector component in the plane. These two angular velocity components are represented by variables of θx and θy, as shown in FIG.
By multiplying the angle component by the correction coefficients λx and λy, a shake amount (pixel) of the image in the x-axis direction or the y-axis direction can be obtained.

ここで、画像のＸ方向の振れ量ｘ_nはθｙ×λｘ、画像のｙ方向の振れ量ｙ_nはθｘ×λｙとなる。この場合の角速度センサ１２８，１２９より求めた振れ幅（ｘ_n，ｙ_n）（ｎ＝１，２，……Ｎ）の変化の様子は図６（ａ）に示すようになる。
次いで、ステップＳ４に移行して、算出した隣接する振れ幅（ｘ_n，ｙ_n）及び（ｘ_n+1，ｙ_n+1）間の最大変化量が大きいか否かを判定し、変化量が小さいときには直接ステップＳ６に移行するが、変化量が大きいときにはステップＳ５に移行して、振れ幅（ｘ_n，ｙ_n）を例えばキュービックスプライン処理を行うことによりスプライン補間して振れ幅（ｘ_m，ｙ_m）を算出してからステップＳ６に移行する。 Here, the shake amount x _{n in} the X direction of the image is θy × λx, and the shake amount y _{n in} the y direction of the image is θx × λy. FIG. 6A shows how the fluctuation widths (x _n , y _n ) (n = 1, 2,... N) obtained from the angular velocity sensors 128 and 129 in this case are changed.
Next, the process proceeds to step S4, where it is determined whether or not the maximum amount of change between the calculated adjacent shake widths (x _n , y _n ) and (x _{n + 1} , y _{n + 1} ) is large. If the change amount is small, the process proceeds directly to step S6. If the amount of change is large, the process proceeds to step S5, and the fluctuation width (x _n , y _n ) is spline interpolated by, for example, cubic spline processing to obtain the fluctuation width (x _m , Y _m ) is calculated, and then the process proceeds to step S6.

このステップＳ６では、変化量の小さい振れ幅（ｘ_n，ｙ_n）又はスプライン補間した振れ幅（ｘ_m，ｙ_m）に対してガウスフィルタ処理を行う。このガウスフィルタ処理は、下記（４）式で表される２次元のガウス関数ｆ（ｘ，ｙ）を畳み込むことにより、振れ幅（ｘ_n，ｙ_n）又は（ｘ_m，ｙ_m）を平滑化する。
ｆ（ｘ，ｙ）＝ｅ−（ｘ²＋ｙ²）／２σ² …………（４）
この場合のガウス分布は図７（ａ）に示すようになり、図７（ａ）の矢印で示した断面におけるガウス分布断面図は図７（ｂ）で表される。 In this step S6, Gaussian filter processing is performed on the shake width (x _n , y _n ) with a small change amount or the shake width (x _m , y _m ) subjected to spline interpolation. In this Gaussian filter processing, a swing width (x _n , y _n ) or (x _m , y _m ) is smoothed by convolving a two-dimensional Gaussian function f (x, y) expressed by the following equation (4). Turn into.
f (x, y) = e− (x ² + y ² ) / 2σ ² (4)
The Gaussian distribution in this case is as shown in FIG. 7A, and the Gaussian distribution cross-sectional view taken along the arrow in FIG. 7A is represented in FIG.

次いで、ステップＳ７に移行して、平滑化された振れ量からウィーナフィルタの点広がり関数を推定する点広がり関数推定処理を行う。
この点広がり関数推定処理は、振れ幅（ｘ₁，ｙ₁），（ｘ₂，ｙ₂），……（ｘ_N，ｙ_N）が与えられたとき、劣化画像ｇ（ｘ，ｙ）は次式で示されるように、原画像ｆ（ｘ，ｙ）を（ｘ_n，ｙ_n）（ｎ＝１，２，……Ｎ）画素だけ移動した画像の和により得られる。 Next, the process proceeds to step S7, and a point spread function estimation process for estimating the point spread function of the Wiener filter from the smoothed shake amount is performed.
In this point spread function estimation process, when the amplitudes (x ₁ , y ₁ ), (x ₂ , y ₂ ),... (X _N , y _N ) are given, the degraded image g (x, y) is As shown by the following equation, the original image f (x, y) is obtained by the sum of images moved by (x _n , y _n ) (n = 1, 2,... N) pixels.

このとき、劣化画像のフーリエスペクトルに注目すると、

At this time, paying attention to the Fourier spectrum of the degraded image,

これにより、点広がり関数のフーリエスペクトルＨ（μ，ν）は

As a result, the Fourier spectrum H (μ, ν) of the point spread function is

となる。

It becomes.

次いで、ステップＳ８に移行して、点広がり関数のフーリエスペクトルＨ（μ，ν）とその共役複素数Ｈ（μ，ν）^*と所定数の異なる近似定数Γ₁〜Γ_Nとに基づいて所定数Ｎ個のウィーナフィルタの周波数応答ＢΓ（μ，ν）を算出する。 Next, the process proceeds to step S8, where the predetermined number is based on the Fourier spectrum H (μ, ν) of the point spread function, its conjugate complex number H (μ, ν) ^*, and a predetermined number of different approximation constants Γ _{1 to} Γ _N. The frequency response BΓ (μ, ν) of N Wiener filters is calculated.

次いで、ステップＳ９に移行して、復元対象となる劣化画像情報（例えば２３０４×１７２８画素）から予め設定した幅ｗ（例えば８０画素）,高さｈ（例えば６０画素）のサイズの局所領域画像情報ｇ^s（ｘ，ｙ）（（ｗ×ｈ）画素）を含みこれに幅ｐ（例えば２０画素）及び高さｑ（例えば２０画素）を加算したサイズの拡大局所領域画像情報ｇ^l（ｘ，ｙ）（（ｗ＋ｐ）×（ｈ＋ｑ）画素）を切り出す。ここで、拡大局所領域画像情報ｇ^l（ｘ，ｙ）（（ｗ＋ｐ）×（ｈ＋ｑ）画素）の幅ｐ及び高さｑは、撮像装置となるデジタルスチルカメラ１２０の最大振れ幅によって設定され、最大振れ幅が１０画素であるときに余裕をみて幅ｐ及び高さｑを夫々２０画素に設定する。なお、幅ｐ及び高さｑは異なる値に設定するようにしてもよい。 Next, the process proceeds to step S9, and local area image information having a size of a width w (for example, 80 pixels) and a height h (for example, 60 pixels) set in advance from degraded image information (for example, 2304 × 1728 pixels) to be restored. g ^s (x, y) ((w × h) pixels), and a local area image information g ^l (x, x, x) having a size obtained by adding a width p (for example, 20 pixels) and a height q (for example, 20 pixels) to this. y) Cut out ((w + p) × (h + q) pixels). Here, the width p and the height q of the enlarged local region image information g ^l (x, y) ((w + p) × (h + q) pixels) are set by the maximum shake width of the digital still camera 120 serving as the imaging device, When the maximum shake width is 10 pixels, the width p and the height q are set to 20 pixels, respectively, with a margin. The width p and the height q may be set to different values.

次いで、ステップＳ１０に移行して、拡大局所領域画像情報ｇ^l（ｘ，ｙ）（（ｗ＋ｐ）×（ｈ＋ｑ）画素）を離散フーリエ変換（Discrete Fourier Transform;DFT）して空間周波数領域情報Ｇ^l（ｘ，ｙ）に変換する。
次いで、ステップＳ１１に移行して、算出した空間周波数領域情報Ｇ^l（ｘ，ｙ）に所定数のウィーナフィルタの周波数応答ＢΓ（ｘ，ｙ）を個別に掛けることにより、所定数の空間周波数領域復元情報Ｆ＾Γ^l（μ，ν）を算出する。 Next, the process proceeds to step S10, and the enlarged local region image information g ^l (x, y) ((w + p) × (h + q) pixels) is subjected to discrete Fourier transform (DFT) to obtain spatial frequency region information G ^l. Convert to (x, y).
Next, the process proceeds to step S11, where the calculated spatial frequency domain information G ^l (x, y) is individually multiplied by a predetermined number of Wiener filter frequency responses BΓ (x, y) to obtain a predetermined number of spatial frequency domains. The restoration information F ^ Γ ^l (μ, ν) is calculated.

次いで、ステップＳ１２に移行して、算出した所定数の周波数領域復元情報Ｆ＾Γ^l（μ，ν）を逆離散フーリエ変換（ＩＤＦＴ）を行って所定数の拡大局所領域復元画像情報ｆ＾Γ^l（ｘ，ｙ）を算出する。
次いで、ステップＳ１３に移行して、算出した各拡大局所領域復元画像情報ｆ＾Γ^l（ｘ，ｙ）の中央部から個別に前述した局所領域ｇ^s（ｘ，ｙ）と同一サイズの局所領域復元画像情報ｆ＾Γ^s（ｘ，ｙ）を切り出す。 Next, the process proceeds to step S12, and the predetermined number of calculated frequency domain restoration information F ^ Γ ^l (μ, ν) is subjected to inverse discrete Fourier transform (IDFT) to obtain a predetermined number of expanded local area restoration image information f ^ Γ. ^l Calculate (x, y).
Subsequently, the process proceeds to step S13, and the local area having the same size as the local area g ^s (x, y) described above is individually started from the center of the calculated enlarged local area restored image information f ^ Γ ^l (x, y). The restored image information f ^ Γ ^s (x, y) is cut out.

次いで、ステップＳ１４に移行して、切り出した所定数の局所領域復元画像情報ｆ＾Γ^s（ｘ，ｙ）と劣化画像情報ｇ（ｘ，ｙ）から切り出した局所領域復元画像情報ｆ^s（ｘ，ｙ）から下式によって所定数の平均二乗誤差ＤΓを算出する。 Then, the processing proceeds to step S14, a predetermined number of local areas cut restored image information ^{f ^ Γ s (x, y} ) and the degraded image information g (x, y) local area recovered cut out from the image information f ^s (x , Y), a predetermined number of mean square errors DΓ are calculated by the following equation.

次いで、ステップＳ１５に移行して、算出した所定数の平均二乗誤差ＤΓのうちから最小の平均二乗誤差ＤΓを選択し、この最小の平均二乗誤差ＤΓの局所領域復元画像情報ｆ＾Γ^s（ｘ，ｙ）における輝度値を切り出した局所領域画像情報ｇ^s（ｘ，ｙ）における復元画像の輝度値の推定値とする。 Next, the process proceeds to step S15, where the minimum mean square error DΓ is selected from the calculated predetermined number of mean square errors DΓ, and the local area reconstructed image information f ^ Γ ^s (x , Y) is an estimated value of the luminance value of the restored image in the local area image information g ^s (x, y) obtained by cutting out the luminance value.

次いで、ステップＳ１６に移行して、劣化画像情報ｇ（ｘ，ｙ）の全ての局所領域について前述したステップＳ９〜Ｓ１５の輝度値の推定が終了したか否かを判定し、全ての局所領域についての輝度値の推定が終了していないときには、ステップＳ１７に移行して、次に切り出す拡大局所領域を指定してから前記ステップＳ９に戻り、全ての局所領域について輝度値の推定が終了したときにはステップＳ１８に移行して、全ての局所領域で推定した輝度値の復元画像ｆ＾Γ（ｘ，ｙ）をメモリカード１１０に記憶すると共に、液晶表示器３に表示してから画像復元処理を終了する。   Next, the process proceeds to step S16, where it is determined whether or not the estimation of the luminance values in steps S9 to S15 described above has been completed for all the local regions of the degraded image information g (x, y), and for all the local regions. When the estimation of the luminance value is not completed, the process proceeds to step S17, the next expanded local area to be extracted is designated, and the process returns to step S9. The process proceeds to S18, and the restored image f ^ Γ (x, y) of the luminance values estimated in all the local areas is stored in the memory card 110 and displayed on the liquid crystal display 3, and then the image restoration process is terminated. .

この図４の処理において、ステップＳ１〜ステップＳ７の処理が点広がり関数推定手段に対応し、ステップＳ８〜ステップＳ１８の処理が画像復元手段に対応し、ステップＳ９の処理が画像切り出し手段に対応し、ステップＳ１０〜ステップＳ１３の処理が復元画像生成手段に対応し、ステップＳ１４及びＳ１５の処理が復元画像選択手段に対応している。   In the processing of FIG. 4, the processing of step S1 to step S7 corresponds to the point spread function estimation means, the processing of step S8 to step S18 corresponds to the image restoration means, and the processing of step S9 corresponds to the image cutout means. The processes in steps S10 to S13 correspond to the restored image generation means, and the processes in steps S14 and S15 correspond to the restored image selection means.

次に、上記実施形態の動作を説明する。
先ず、デジタルスチルカメラ１２０のカメラレンズ１２１を被写体に向けて図示しないレリーズボタンを押圧することにより、露出計で測光された露出に基づいてシャッタ速度が算出され、算出されたシャッタ速度でシャッタが作動されることにより、カメラレンズ１２１を通った画像が固体撮像素子１２２上に投影される。 Next, the operation of the above embodiment will be described.
First, the shutter speed is calculated based on the exposure metered by the exposure meter by pressing a release button (not shown) with the camera lens 121 of the digital still camera 120 facing the subject, and the shutter operates at the calculated shutter speed. As a result, the image passing through the camera lens 121 is projected onto the solid-state image sensor 122.

この固体撮像素子１２２上に投影された画像情報が固体撮像素子駆動回路１２３からの駆動信号によって順次読出され、カメラ系信号処理部１２４で所定の信号処理が行われて画像データとして画像メモリ１２５に記憶される。この画像メモリ１２５に記憶された画像データは表示器１３５に供給されて表示される。この表示器１３５に表示された画像データは振れ量を含んだ画像データであり、表示された画像データから振れ量の程度を判断することができる。   The image information projected on the solid-state image sensor 122 is sequentially read by a drive signal from the solid-state image sensor drive circuit 123, and predetermined signal processing is performed by the camera system signal processing unit 124 to the image memory 125 as image data. Remembered. The image data stored in the image memory 125 is supplied to the display device 135 and displayed. The image data displayed on the display 135 is image data including a shake amount, and the degree of the shake amount can be determined from the displayed image data.

このとき、シャッタが作動されることにより、シャッタ開閉センサ１３７からシャッタが開いてから閉じるときにオン状態からオフ状態に反転するシャッタ開閉信号ＳＳがマイクロコンピュータ１２７に入力されると、この時点から所定時間即ちＡ／Ｄ変換器１３４で角速度センサ１２８及び１２９の角速度データを予め設定した所定数のサンプル分の角速度データがバッファメモリ１３６に格納される時間が経過した時点で、バッファメモリ１３６からシャッタが開状態となる前の所定数のサンプル分とシャッタが開状態を継続している間のサンプル分とシャッタが閉じてからの所定数のサンプル分とを合計した連続的な角速度データθｘ₁〜θｘ_N及びθｙ₁〜θｙ_Nを読出す。 At this time, when a shutter opening / closing signal SS that reverses from an on state to an off state when the shutter is opened and closed from the shutter opening / closing sensor 137 is input to the microcomputer 127 by operating the shutter, a predetermined value is started from this point. When the time for storing the angular velocity data for a predetermined number of samples in which the angular velocity data of the angular velocity sensors 128 and 129 is preset in the buffer memory 136 by the time, that is, the A / D converter 134 has elapsed, the shutter is released from the buffer memory 136. Continuous angular velocity data θx _{1 to} θx obtained by summing a predetermined number of samples before the open state, a sample while the shutter is kept open, and a predetermined number of samples after the shutter is closed Read _N and θy _{1 to} θy _N.

そして、読出した角速度データθｘ₀〜θｘ_N及びθｙ₁〜θｙ_Nをバッファメモリ１３６に一時記憶し、その後記録系信号処理部１２６が画像メモリ１２５に記憶された画像データを読込むタイミングで角速度データθｘ₀〜θｘ_N及びθｙ₁〜θｙ_Nを記録系信号処理部１２６に供給することにより、画像データＪＰＥＧ変換してＪＰＥＧファイルに格納する共に、ＪＰＥＧファイルのＥｘｉｆに角速度データθｘ₀〜θｘ_N及びθｙ₁〜θｙ_Nを格納し、作成したＪＰＥＧファイルをメモリカード１１０に記憶する。 The read angular velocity data θx _{0 to} θx _N and θy _{1 to} θy _N are temporarily stored in the buffer memory 136, and then the angular velocity data is read at a timing when the recording system signal processing unit 126 reads the image data stored in the image memory 125. By supplying θx _{0 to} θx _N and θy _{1 to} θy _N to the recording system signal processing unit 126, the image data is JPEG converted and stored in the JPEG file, and the angular velocity data θx _{0 to} θx _N and Exif of the JPEG file are stored. θy _{1 to} θy _N are stored, and the created JPEG file is stored in the memory card 110.

このようにして順次デジタルスチルカメラ１２０で所望の被写体を撮影して画像データ及び角速度データθｘ₀〜θｘ_N及びθｙ₁〜θｙ_NをＪＰＥＧファイルに格納してメモリカード１１０に記憶する。
その後、所望のタイミングでデジタルスチルカメラ１２０を接続コードでプリンタ１の第２インタフェース１４に接続するか又はデジタルスチルカメラ１２０からメモリカード１１０を引き出して、このメモリカード１１０をプリンタのカードスロット６に装着することにより、メモリカード１１０に記憶されている撮影した画像情報及び角速度データを含むＪＰＥＧファイルを、制御ユニット６８を介してＣＰＵ６２に読込む。 In this manner, a desired subject is sequentially photographed by the digital still camera 120, and the image data and the angular velocity data θx _{0 to} θx _N and θy _{1 to} θy _N are stored in the JPEG file and stored in the memory card 110.
Thereafter, the digital still camera 120 is connected to the second interface 14 of the printer 1 with a connection cord at a desired timing, or the memory card 110 is pulled out from the digital still camera 120, and the memory card 110 is inserted into the card slot 6 of the printer. As a result, the JPEG file including the captured image information and angular velocity data stored in the memory card 110 is read into the CPU 62 via the control unit 68.

そして、デジタルスチルカメラ１２０で同一被写体を撮影したときに、振れを生じると、図８に示すようにぼけとノイズが生じた劣化画像ｇ（ｘ，ｙ）となる。この劣化画像では、ウィーナフィルタで復元画像を生成したときに、輝度変化の大きいエッジ部の近傍の平坦部でリンギングを生じ易くなる。
このため、劣化画像情報をプリンタ１に読込んだ状態で、ユーザーが画像復元ボタン７を操作すると、ＣＰＵ６２で、図４に示す画像復元処理が実行される。 Then, when the same subject is photographed by the digital still camera 120, if shake occurs, a degraded image g (x, y) in which blur and noise occur as shown in FIG. In this deteriorated image, when a restored image is generated by the Wiener filter, ringing is likely to occur in a flat portion in the vicinity of the edge portion where the luminance change is large.
For this reason, when the user operates the image restoration button 7 with the deteriorated image information read into the printer 1, the CPU 62 executes the image restoration process shown in FIG.

この画像復元処理では、先ず、デジタルスチルカメラ１２０又はメモリカード１１０から劣化画像情報及び角速度データθｘ₁〜θｘ_N及びθｙ₁〜θｙ_Nを含むＪＰＥＧファイルを読込み（ステップＳ１）、次いでＪＰＥＧファイルのＥｘｉｆから角速度データθｘ₁〜θｘ_N及びθｙ₁〜θｙ_Nを取得する（ステップＳ２）。
次いで、角速度データθｘ₁〜θｘ_N及びθｙ₁〜θｙ_Nから振れ幅（ｘ_n，ｙ_n）を算出し（ステップＳ３）、次いで隣接する振れ幅（ｘ_n，ｙ_n）及び（ｘ_n+1，ｙ_n+1）間の最大変化量が大きいか否かを判定する（ステップＳ４）。 In this image restoration process, first, a JPEG file including degraded image information and angular velocity data θx _{1 to} θx _N and θy _{1 to} θy _N is read from the digital still camera 120 or the memory card 110 (step S1), and then the Exif of the JPEG file is displayed. To obtain angular velocity data θx ₁ to θx _N and θy _{1 to} θy _N (step S2).
Next, a swing width (x _n , y _n ) is calculated from the angular velocity data θx _{1 to} θx _N and θy _{1 to} θy _N (step S3), and then the adjacent swing widths (x _n , y _n ) and (x _{n + It} is determined whether or not the maximum change amount between ₁ , y _{n + 1} ) is large (step S4).

このとき、隣接する振れ幅（ｘ_n，ｙ_n）及び（ｘ_n+1，ｙ_n+1）間の最大変化量が小さいときには振れ幅（ｘ₁，ｙ₁）〜（ｘ_N，ｙ_N）の夫々についてガウスフィルタ処理を行って平滑化するが（ステップＳ６）、図６（ａ）に示すように、隣接する振れ幅（ｘ_n，ｙ_n）及び（ｘ_n+1，ｙ_n+1）間の最大変化量が大きいときには振れ幅（ｘ₁，ｙ₁）〜（ｘ_N，ｙ_N）に対してキュービックスプライン処理することにより（ステップＳ５）、図６（ｂ）に示すように、スプライン補間してより多くの振れ幅を得、これをガウスフィルタ処理することにより平滑化する（ステップＳ６）。 At this time, the neighboring amplitude (x _n, y _n) and _{(x n + 1, y n} + 1) is amplitude when the maximum amount of change between a small _{(x 1, y 1) ~} (x N, y N ) Is smoothed by performing Gaussian filter processing (step S6), but as shown in FIG. 6A, adjacent shake widths (x _n , y _n ) and (x _{n + 1} , y _{n + When} the maximum change amount during ₁ ) is large, the cubic spline processing is performed on the fluctuation widths (x ₁ , y ₁ ) to (x _N , y _N ) (step S5), as shown in FIG. Then, more fluctuations are obtained by spline interpolation, and this is smoothed by Gaussian filter processing (step S6).

そして、劣化画像情報ｇ（ｘ，ｙ）は原画像ｆ（ｘ，ｙ）を振れ幅（ｘ_n，ｙ_n）だけ移動した画像の和により得られることから、平滑化された振れ幅（ｘ₁，ｙ₁）〜（ｘ_N，ｙ_N）から前記（７）式の演算を行って点広がり関数のフーリエスペクトルＨ（μ，ν）を算出する。算出した点広がり関数のフーリエスペクトルＨ（μ，ν）はスプライン補間した図６（ｂ）の振れ幅（ｘ₁，ｙ₁）〜（ｘ_N，ｙ_N）を使用した場合、図９に示すようになる。 The deteriorated image information g (x, y) is obtained by the sum of images obtained by moving the original image f (x, y) by the shake width (x _n , y _n ), so that the smoothed shake width (x ₁ , y ₁ ) to (x _N , y _N ) are used to calculate the Fourier spectrum H (μ, ν) of the point spread function by performing the calculation of the equation (7). The Fourier spectrum H (μ, ν) of the calculated point spread function is shown in FIG. 9 when the amplitudes (x ₁ , y ₁ ) to (x _N , y _N ) of FIG. It becomes like this.

そして、点広がり関数のフーリエスペクトルＨ（μ，ν）が算出されると、算出した点広がり関数のフーリエスペクトルＨ（μ，ν）とその共役複素数Ｈ（μ，ν）^*と所定数の異なる値の所定数Ｎ（＝１０）の近似定数Γ（＝０．２５，０．５，……１．０）を使用して、前述した（３）式の演算を行うことにより、図１０の処理２に示すように所定数のウィーナフィルタの周波数応答ＢΓ_=0.25（μ，ν）、ＢΓ_=0.5（μ，ν）、……ＢΓ_=1.0（μ，ν）を算出する（ステップＳ８）。 When the Fourier spectrum H (μ, ν) of the point spread function is calculated, the Fourier spectrum H (μ, ν) of the calculated point spread function and its conjugate complex number H (μ, ν) ^* are different by a predetermined number. By using the approximate constant Γ (= 0.25, 0.5,... 1.0) of the predetermined number N (= 10) of values and performing the above-described calculation of the expression (3), FIG. As shown in process 2, frequency responses BΓ _{= 0.25} (μ, ν), BΓ _{= 0.5} (μ, ν),... BΓ _{= 1.0} (μ, ν) of a predetermined number of Wiener filters are calculated (step S8).

次いで、図８及び図１０の処理１に示すように、劣化画像情報ｇ（ｘ，ｙ）から局所領域画像情報ｇ^s（ｘ，ｙ）（ｗ×ｈ）画素）を中央部に含む最初の拡大局所領域画像情報ｇ^l（ｘ，ｙ）（（ｗ＋ｐ）×（ｈ＋ｑ）画素）を切り出す（ステップＳ９）。
次いで、図１１に示すように、切り出した拡大局所領域画像情報ｇ^l（ｘ，ｙ）（（ｗ＋ｐ）×（ｈ＋ｑ）画素）を、離散フーリエ変換して空間周波数領域情報Ｇ^l（ｘ，ｙ）に変換し（ステップＳ１０）、変換した空間周波数領域情報Ｇ^l（ｘ，ｙ）に前記ステップＳ８で算出した所定数のウィーナフィルタの周波数応答ＢΓ_=0.25（μ，ν）、ＢΓ_=0.5（μ，ν）、……ＢΓ_=1.0（μ，ν）を個別に掛けることにより、図１０の処理２に示すように、所定数の空間周波数領域復元画像Ｆ＾^lΓ_=0.25〜Ｆ＾^lΓ_=1.0を算出する（ステップＳ１１）。 Next, as shown in Process 1 in FIGS. 8 and 10, the first local region image information g ^s (x, y) (w × h) pixels) from the degraded image information g (x, y) is included in the center. The enlarged local region image information g ^l (x, y) ((w + p) × (h + q) pixels) is cut out (step S9).
Next, as shown in FIG. 11, the extracted enlarged local region image information g ^l (x, y) ((w + p) × (h + q) pixels) is subjected to discrete Fourier transform to obtain spatial frequency region information G ^l (x, y). ) (Step S10), and the frequency response BΓ _{= 0.25} (μ, ν) and BΓ _{= 0.5} (BΓ _{= 0.5} (μ) of the predetermined number of Wiener filters calculated in step S8 to the converted spatial frequency domain information G ^l (x, y). _{μ, ν), ...... BΓ =} 1.0 (μ, by multiplying the [nu) individually, as shown in process 2 of FIG. 10, the spatial frequency region of a predetermined number of restored image _{^{F ^ l Γ = 0.25 ~F ^}} l Γ _{= 1.0} is calculated (step S11).

次いで、算出した各空間周波数領域復元画像Ｆ＾^lΓ_=0.25〜Ｆ＾^lΓ_=1.0を逆離散フーリエ変換することにより、図１０の処理３に示すように拡大局所領域復元情報ｆ＾^lΓ_=0.25〜Ｆ＾^lΓ_=1.0を算出する（ステップＳ１２）。
次いで、図１０に示すように、算出した拡大局所領域復元情報ｆ＾^lΓ_=0.25〜Ｆ＾^lΓ_=1.0の中央部から個別に局所領域ｇ^s（ｘ，ｙ）と同一サイズの局所領域復元画像情報ｆ＾^sΓ_=0.25（ｘ，ｙ）〜ｆ＾^sΓ_=1.0（ｘ，ｙ）を切り出す（ステップＳ１３）。 Then, the respective spatial frequency domain restored image _{^{F ^ l Γ = 0.25 ~F ^}} l Γ = 1.0 calculated by inverse discrete Fourier transform, the process 3 are shown as enlarged local region reconstruction information f ^ ^l gamma in FIG. 10 _{= 0.25 ~F} ^ ^l _{Γ = 1.0} is calculated (step S12).
Then, as shown in FIG. 10, the calculated expanded local area restoration information _{^{f ^ l Γ = 0.25 ~F ^}} l individually local region from the middle portion of the ^{_{Γ = 1.0 g s (x,}} y) and the local area of the same size The restored image information f ^ ^s Γ _{= 0.25} (x, y) to f ^ ^s Γ _{= 1.0} (x, y) is cut out (step S13).

次いで、図１０に示すように、切り出した局所領域復元画像情報ｆ＾^sΓ_=0.25（ｘ，ｙ）〜ｆ＾^sΓ_=1.0（ｘ，ｙ）とステップＳ９で切り出した局所領域画像情報ｇ＾^s（ｘ，ｙ）との平均二乗誤差ＤΓ_=0.25〜ＤΓ_=1.0を算出し（ステップＳ１４）、算出した平均二乗誤差ＤΓ_=0.25〜ＤΓ_=1.0のうちから最小の平均二乗誤差ＤΓを選択し、選択した最小の平均二乗誤差ＤΓの局所領域復元画像情報ｆ＾^sΓ（ｘ，ｙ）における輝度値を切り出した局所領域画像情報ｇ^s（ｘ，ｙ）における復元画像の輝度値の推定値とする。 Next, as shown in FIG. 10, the extracted local region image information f ^ ^s Γ _{= 0.25} (x, y) to f ^ ^s Γ _{= 1.0} (x, y) and the local region image information g cut out in step S9. Calculate the mean square error DΓ _{= 0.25 to} DΓ _{= 1.0} with ^ ^s (x, y) (step S14), and select the minimum mean square error DΓ from the calculated mean square errors DΓ _{= 0.25 to} DΓ _{= 1.0} Then, estimation of the luminance value of the restored image in the local area image information g ^s (x, y) obtained by cutting out the luminance value in the local area restored image information f ^ ^s Γ (x, y) of the selected minimum mean square error DΓ Value.

このようにして、切り出した局所領域画像情報ｇ^s（ｘ，ｙ）における復元画像の輝度値の推定値が求まると、次いで劣化画像情報ｇ（ｘ，ｙ）の全ての局所領域画像情報ｇ^s（ｘ，ｙ）における輝度値の推定が終了したか否かを判定し（ステップＳ１６）、全ての局所領域画像情報ｇ^s（ｘ，ｙ）における輝度値の推定が終了していないときには、次に切り出す拡大局所領域を指定してから再度上記と同様の局所領域画像復元処理を行ない、全ての局所領域画像情報ｇ^s（ｘ，ｙ）における輝度値の推定が終了したときには、全ての局所領域で推定した輝度値の復元画像ｆ＾Γ（ｘ，ｙ）をメモリカード１１０に記憶すると共に、液晶表示器３に表示してから画像復元処理を終了する。 When the estimated value of the luminance value of the restored image in the extracted local area image information g ^s (x, y) is obtained in this way, then all the local area image information g ^{s of the} degraded image information g (x, y) is obtained. It is determined whether or not the estimation of the luminance value at (x, y) has been completed (step S16), and when the estimation of the luminance value at all the local area image information g ^s (x, y) has not been completed, When the local region image restoration processing similar to the above is performed again after specifying the enlarged local region to be cut out in the above, and when the estimation of the luminance values in all the local region image information g ^s (x, y) is completed, all the local regions The restored image f ^ Γ (x, y) of the luminance value estimated in step S1 is stored in the memory card 110 and displayed on the liquid crystal display 3, and the image restoration process is terminated.

このように上記実施形態によると、角速度データに基づいてウィーナフィルタの点広がり関数のフーリエスペクトラムＨ（μ，ν）を算出し、この点広がり関数のフーリエスペクトルとその共役複素数Ｈ（μ，ν）^*と所定数の異なる近似定数Γ₁〜Γ_Nとに基づいてウィーナフィルタの周波数応答Ｂ（μ，ν）を算出すると共に、劣化画像情報ｇ（ｘ，ｙ）から拡大局所領域画像情報ｇ^l（ｘ，ｙ）を順次切り出し、これら拡大局所領域画像情報ｇ^l（ｘ，ｙ）を離散フーリエ変換した空間周波数領域画像情報Ｇ^l（ｘ，ｙ）に所定数のウィーナフィルタの周波数応答ＢΓ（μ，ν）を個別に掛けて所定数の空間周波数領域復元画像情報Ｆ＾^l（ｘ，ｙ）を算出し、これらを逆離散フーリエ変換して拡大局所領域復元画像情報とし、この拡大局所領域復元画像情報から中央部の局所領域復元画像情報を切り出し、これら局所領域復元画像情報と局所領域画像情報との最小二乗誤差ＤΓが最小となる局所領域復元画像情報を選択して、選択した局所領域復元画像情報の輝度値を局所領域画像情報の輝度値として推定し、この局所領域画像情報の推定処理を繰り返すことにより、劣化画像情報の復元画像情報を生成するので、劣化画像情報を局所領域毎にウィーナフィルタの近似定数Γを最適に設定することができ、リンギングを抑制しながらぼけの成分をそのまま残すことなく、鮮明な復元画像情報を得ることができる。 Thus, according to the above embodiment, the Fourier spectrum H (μ, ν) of the point spread function of the Wiener filter is calculated based on the angular velocity data, and the Fourier spectrum of this point spread function and its conjugate complex number H (μ, ν). The frequency response B (μ, ν) of the Wiener filter is calculated on the basis of ^* and a predetermined number of different approximation constants Γ _{1 to} Γ _N, and the enlarged local region image information g ^l from the degraded image information g (x, y). (X, y) are sequentially cut out, and spatial frequency domain image information G ^l (x, y) obtained by discrete Fourier transform of these enlarged local area image information g ^l (x, y) is used as a frequency response BΓ () of a predetermined number of Wiener filters. mu, [nu) and multiplied separately calculates the spatial frequency domain of a predetermined number of restored image data ^{F ^ l (x, y)} , the enlarged local region restored image information of these inverse discrete Fourier transform to this extension station estate The local region restored image information in the central portion is cut out from the restored image information, the local region restored image information that minimizes the least square error DΓ between the local region restored image information and the local region image information is selected, and the selected local region is selected. By estimating the brightness value of the restored image information as the brightness value of the local area image information and repeating the estimation process of the local area image information, the restored image information of the degraded image information is generated. In addition, the Wiener filter approximation constant Γ can be set optimally, and clear restored image information can be obtained without leaving blur components while suppressing ringing.

ここで、角速度データから点広がり関数のフーリエスペクトルＨ（μ，ν）を算出する際に、角速度データの隣接する振れ幅の変化量が大きいときに、スプライン補間処理することにより、より多くの角速度データを得ることができ、正確な点広がり関数のフーリエスペクトルを算出することができる。しかも、そのままの振れ幅又はスプライン補間した振れ幅をガウスフィルタ処理して平滑化することにより、より正確な点広がり関数のフーリエスペクトルＨ（μ，ν）を算出することができる。   Here, when calculating the Fourier spectrum H (μ, ν) of the point spread function from the angular velocity data, when the variation amount of the adjacent fluctuation width of the angular velocity data is large, more angular velocities are obtained by performing spline interpolation processing. Data can be obtained, and an accurate Fourier spectrum of the point spread function can be calculated. In addition, a more accurate Fourier spectrum H (μ, ν) of the point spread function can be calculated by smoothing the fluctuation width obtained as it is or the fluctuation width obtained by spline interpolation by performing Gaussian filter processing.

また、劣化画像情報ｇ（ｘ，ｙ）から局所領域画像情報ｇ^s（ｘ，ｙ）（（ｗ×ｈ）画素）を抽出する際に、この局所領域画像情報ｇ^s（ｘ，ｙ）（（ｗ×ｈ）画素）に対して撮像装置としてのデジタルスチルカメラ１２０の最大振れ幅を考慮した拡大局所領域画像情報ｇ^l（ｘ，ｙ）（（ｗ＋ｐ）×（ｈ＋ｑ）画素）を切り出すようにしているので、デジタルスチルカメラ１２０の振れ幅による折り返しの影響を受けることなく、画像抽出を行うことができ、後に得られる復元画像を正確に復元することができる。 Further, when the local area image information g ^s (x, y) ((w × h) pixels) is extracted from the degraded image information g (x, y), the local area image information g ^s (x, y) ( The expanded local area image information g ^l (x, y) ((w + p) × (h + q) pixels) in consideration of the maximum shake width of the digital still camera 120 as the imaging device is cut out from (w × h) pixels). Therefore, the image extraction can be performed without being affected by the aliasing due to the shake width of the digital still camera 120, and the restored image obtained later can be accurately restored.

なお、上記実施形態においては、本発明をプリンタに適用した場合について説明したが、これに限定されるものではなく、デジタルスチルカメラ１２０を含む撮像装置や画像情報を再生するプロジェクタやテレビ等の表示装置に本発明を適用して劣化画像情報を復元して表示したり、コンピュータに本発明を適用して劣化画像情報を復元して表示したりすることができる。   In the above-described embodiment, the case where the present invention is applied to a printer has been described. However, the present invention is not limited to this, and an imaging device including a digital still camera 120, a projector or a television that reproduces image information, and the like are displayed. The present invention can be applied to an apparatus to restore and display degraded image information, or the present invention can be applied to a computer to restore and display degraded image information.

また、上記実施形態では、角速度データを直接ＪＰＥＧファイルのＥｘｉｆに格納する場合について説明したが、これに限定されるものではなく、角速度データをｎ次の多項式に近似して、各次数の係数を記憶することにより、記憶容量を減少させるようにしてもよい。
さらに、上記実施形態においては、撮像装置としてデジタルスチルカメラ１２０を適用した場合について説明したが、これに限定されるものではなく、他の撮像装置を適用することもできる。また、劣化画像情報の入力もデジタルスチルカメラ１２０から入力される場合に限られるものではなく、ホストコンピュータから劣化画像を入力したり、ＣＤ−Ｒ、ＤＶＤ等の記録媒体から劣化画像を入力したりするようにしてもよい。 In the above embodiment, the case where the angular velocity data is directly stored in the Exif of the JPEG file has been described. However, the present invention is not limited to this. By storing, the storage capacity may be reduced.
Furthermore, although the case where the digital still camera 120 is applied as the imaging apparatus has been described in the above embodiment, the present invention is not limited to this, and other imaging apparatuses can be applied. Also, the input of the deteriorated image information is not limited to the case of being input from the digital still camera 120. The deteriorated image is input from the host computer, or the deteriorated image is input from a recording medium such as a CD-R or DVD. You may make it do.

さらにまた、上記実施形態においては、振れ幅（ｘ_n，ｙ_n）に対してガウスフィルタ処理する場合について説明したが、これに限定されるものではなく、ガウスフィルタ処理を省略するようにしてもよい。 Furthermore, in the above-described embodiment, the case where the Gaussian filter processing is performed on the shake width (x _n , y _n ) has been described. However, the present invention is not limited to this, and the Gaussian filter processing may be omitted. Good.

本発明の一実施形態を示す概略構成図である。It is a schematic structure figure showing one embodiment of the present invention. デジタルスチルカメラの電気的構成を示すブロック図である。It is a block diagram which shows the electric constitution of a digital still camera. 画像劣化モデルを示す説明図である。It is explanatory drawing which shows an image degradation model. ＣＰＵで実行する画像復元処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the image restoration process procedure performed with CPU. デジタルスチルカメラに生じる角速度の説明に供する模式図である。It is a schematic diagram with which it uses for description of the angular velocity which arises in a digital still camera. 角速度データを示す特性線図であって、（ａ）は角速度データであり、（ｂ）はスプライン補間した角速度データである。It is a characteristic diagram which shows angular velocity data, Comprising: (a) is angular velocity data, (b) is angular velocity data which carried out the spline interpolation. ガウス分布を示す説明図であって、（ａ）はガウス分布特性図、（ｂ）は（ａ）の矢印上のガウス分布断面図である。It is explanatory drawing which shows Gaussian distribution, Comprising: (a) is a Gaussian distribution characteristic figure, (b) is a Gaussian distribution sectional drawing on the arrow of (a). 劣化画像情報を示す説明図である。It is explanatory drawing which shows degraded image information. 点広がり関数のフーリエスペクトルを示す特性線図である。It is a characteristic diagram which shows the Fourier spectrum of a point spread function. 劣化画像情報を復元するための処理手順を示す説明図である。It is explanatory drawing which shows the process sequence for decompress | restoring degraded image information. 局所画像情報を離散フーリエ変換して空間周波数領域情報を得ることを示す説明図である。It is explanatory drawing which shows obtaining a spatial frequency domain information by carrying out a discrete Fourier transform of local image information.

符号の説明Explanation of symbols

１…プリンタ、５…操作ボタン、６…カードスロット、７…画像復元ボタン、２０…ヘッドユニット、３０…用紙搬送機構、４０…キャリッジ移動機構、５０…検出器群、６０…プリンタ側コントローラ、６２…ＣＰＵ、１００…ＣＤ−Ｒ装置、１１０…メモリカード、１２０…デジタルスチルカメラ、１２１…カメラレンズ、１２２…固体撮像素子、１２４…カメラ系信号処理部、１２５…画像メモリ、１２６…記録系信号処理部、１２７…マイクロコンピュータ、１２８，１２９…角速度センサ、１３４…Ａ／Ｄ変換器、１３５…表示器、１３６…バッファメモリ、１３７…シャッタ開閉センサ、１４０…ホストコンピュータ   DESCRIPTION OF SYMBOLS 1 ... Printer, 5 ... Operation button, 6 ... Card slot, 7 ... Image restoration button, 20 ... Head unit, 30 ... Paper conveyance mechanism, 40 ... Carriage movement mechanism, 50 ... Detector group, 60 ... Printer side controller, 62 ... CPU, 100 ... CD-R device, 110 ... memory card, 120 ... digital still camera, 121 ... camera lens, 122 ... solid-state imaging device, 124 ... camera system signal processor, 125 ... image memory, 126 ... recording system signal Processing unit, 127 ... microcomputer, 128, 129 ... angular velocity sensor, 134 ... A / D converter, 135 ... display, 136 ... buffer memory, 137 ... shutter opening / closing sensor, 140 ... host computer

Claims (12)

撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元装置であって、
前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定手段と、前記劣化画像情報から切り出した局所領域画像情報毎に前記点広がり関数と最適な近似定数とに基づいて算出される前記ウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成する画像復元手段とを有することを特徴とする画像復元装置。 An image restoration device that restores original image information by using a Wiener filter for deteriorated image information including shake detection information representing shake of an image obtained from an imaging device,
Point spread function estimation means for estimating a point spread function of the Wiener filter based on the shake detection information included in the degraded image information, and the point spread function and the optimum for each local area image information cut out from the degraded image information An image restoration apparatus comprising: an image restoration unit that generates local area restoration image information based on a frequency response of the Wiener filter calculated based on an approximate constant. 前記振れ検出情報は撮像装置の上下及び左右の振れを検出する角速度センサの出力情報であることを特徴とする請求項１に記載の画像復元装置。   The image restoration apparatus according to claim 1, wherein the shake detection information is output information of an angular velocity sensor that detects vertical and horizontal shakes of the imaging apparatus. 前記点広がり関数推定手段は、前記振れ検出情報から点広がり関数のフーリエスペクトルを算出するように構成されていることを特徴とする請求項１又は２に記載の画像復元装置。   The image restoration device according to claim 1, wherein the point spread function estimation unit is configured to calculate a Fourier spectrum of a point spread function from the shake detection information. 前記点広がり関数推定手段は、前記振れ検出情報の振れ幅が大きいときに当該触れ検出情報をスプライン補間処理することを特徴とする請求項１乃至３の何れか１項に記載の画像復元装置。   4. The image restoration apparatus according to claim 1, wherein the point spread function estimation unit performs spline interpolation processing on the touch detection information when a shake width of the shake detection information is large. 5. 前記点広がり関数推定手段は、前記振れ検出情報をガウスフィルタ処理することを特徴とする請求項１乃至４の何れか１項に記載の画像復元装置。   The image restoration apparatus according to claim 1, wherein the point spread function estimation unit performs Gaussian filter processing on the shake detection information. 前記画像復元手段は、前記劣化画像情報から局所領域画像情報を切り出す画像情報切り出し手段と、該画像情報切り出し手段で切り出した前記局所領域画像情報をフーリエ変換した空間周波数領域情報に、前記点広がり関数推定手段で推定した前記点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出する復元結果算出手段と、該復元結果算出手段で算出した所定数の前記復元結果をフーリエ逆変換して所定数の局所領域復元画像情報を生成する復元画像生成手段と、該復元画像生成手段で復元した所定数の前記局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる前記局所領域復元画像情報を選択する復元画像選択手段とを有することを特徴とする請求項１乃至５の何れか１項に記載の画像復元装置。   The image restoration means includes an image information cutout means for cutting out the local area image information from the degraded image information, and the point spread function into the spatial frequency area information obtained by Fourier transforming the local area image information cut out by the image information cutout means. A restoration result calculation means for calculating a predetermined number of restoration results by multiplying a frequency response of a Wiener filter calculated based on the point spread function estimated by the estimation means and a predetermined number of different approximate constants Γ; Restored image generation means for generating a predetermined number of local area restored image information by performing Fourier inverse transform on the predetermined number of restoration results calculated by the means, and a predetermined number of the local area restored image information restored by the restored image generation means And restored image selection means for selecting the local area restored image information that minimizes the mean square error between the local area image information and the local area image information. Image restoration apparatus according to any one of claims 1 to 5, symptom. 前記画像情報切り出し手段は、前記局所画像領域を含む拡大局所画像情報を切り出すように構成され、前記復元画像生成手段は、フーリエ逆変換した前記復元結果算出手段で算出した復元結果から前記局所画像領域を切り出して前記局所領域復元画像情報を生成するように構成されていることを特徴とする請求項６に記載の画像復元装置。   The image information cutout unit is configured to cut out the enlarged local image information including the local image region, and the restored image generation unit is configured to extract the local image region from the restoration result calculated by the restoration result calculation unit obtained by inverse Fourier transform. The image restoration apparatus according to claim 6, wherein the local area restoration image information is generated by cutting out the image. 前記復元結果算出手段は、前記点広がり関数推定手段で算出した点広がり関数のフーリエスペクトルと、当該フーリエスペクトルの共役複素数と、前記近似定数Γとから周波数応答を算出するように構成されていることを特徴とする請求項６又は７の何れか１項に記載の画像復元装置。   The restoration result calculation means is configured to calculate a frequency response from the Fourier spectrum of the point spread function calculated by the point spread function estimation means, the conjugate complex number of the Fourier spectrum, and the approximate constant Γ. The image restoration apparatus according to claim 6, wherein: 撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元方法であって、
点広がり関数推定手段によって前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定ステップと、画像復元手段によって前記劣化画像情報から切り出した局所領域画像情報毎に前記点広がり関数と最適な近似定数とに基づいて算出される前記ウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成する画像復元ステップとを有することを特徴とする画像復元方法。 An image restoration method for restoring deteriorated image information including shake detection information representing shake of an image obtained from an imaging device using a Wiener filter,
A point spread function estimating step for estimating a point spread function of the Wiener filter based on the shake detection information included in the degraded image information by a point spread function estimating unit; and a local region cut out from the degraded image information by an image restoring unit An image restoration step of generating local area restoration image information based on a frequency response of the Wiener filter calculated based on the point spread function and an optimum approximation constant for each image information Method. 前記画像復元ステップは、画像情報切り出し手段で前記劣化画像情報から局所領域画像情報を切り出す画像情報切り出しステップと、復元結果算出手段で前記画像情報切り出しステップによって切り出した前記局所領域画像情報をフーリエ変換した空間周波数領域情報に、前記点広がり関数推定手段で推定した前記点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出する復元結果算出ステップと、復元画像生成手段で算出した所定数の前記復元結果をフーリエ逆変換して所定数の局所復元画像情報を生成する復元画像生成ステップと、復元画像選択手段で復元した所定数の前記局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる前記局所領域復元画像情報を選択する復元画像選択ステップとを備えていることを特徴とする請求項９に記載の画像復元方法。   In the image restoration step, an image information cutout unit performs Fourier transform on the local region image information cut out by the image information cutout step by the image information cutout step of cutting out the local region image information from the degraded image information by the restoration result calculation unit. The spatial frequency domain information is multiplied by the frequency response of the Wiener filter calculated based on the point spread function estimated by the point spread function estimating means and a predetermined number of different approximate constants Γ, thereby calculating a predetermined number of restoration results. A restoration result calculation step, a restoration image generation step for performing a Fourier inverse transform on a predetermined number of the restoration results calculated by the restoration image generation unit to generate a predetermined number of local restoration image information, and a predetermined number restored by the restoration image selection unit The station in which the mean square error between the local region restored image information and the local region image information is minimized Image restoration method according to claim 9, characterized in that it comprises a restored image selecting step of selecting an area restored image information. 撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元処理をコンピュータに実行させるための画像復元プログラムであって、
点広がり関数推定手段によって前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定ステップと、画像復元手段によって前記劣化画像情報から切り出した局所領域画像情報毎に前記点広がり関数と最適な近似定数とに基づいて算出される前記ウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成する画像復元ステップとをコンピュータに実行させることを特徴とする画像復元プログラム。 An image restoration program for causing a computer to execute image restoration processing for restoring degraded image information including shake detection information representing shake of an image obtained from an imaging device using a Wiener filter,
A point spread function estimating step for estimating a point spread function of the Wiener filter based on the shake detection information included in the degraded image information by a point spread function estimating unit; and a local region cut out from the degraded image information by an image restoring unit An image restoration step of generating local area restoration image information based on a frequency response of the Wiener filter calculated based on the point spread function and an optimum approximation constant for each image information is performed by a computer. Image restoration program. 前記画像復元ステップは、画像情報切り出し手段で前記劣化画像情報から局所領域画像情報を切り出す画像情報切り出しステップと、復元結果算出手段で前記画像情報切り出しステップによって切り出した前記局所領域画像情報をフーリエ変換した空間周波数領域情報に、前記点広がり関数推定手段で推定した点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出する復元結果算出ステップと、復元画像生成手段で算出した所定数の前記復元結果をフーリエ逆変換して所定数の局所領域復元画像情報を生成する復元画像生成ステップと、復元画像選択手段で復元した所定数の前記局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる前記局所領域復元画像情報を選択する復元画像選択ステップとを備えていることを特徴とする請求項１１に記載の画像復元プログラム。   In the image restoration step, an image information cutout unit performs Fourier transform on the local region image information cut out by the image information cutout step by the image information cutout step of cutting out the local region image information from the degraded image information by the restoration result calculation unit. A restoration that calculates a predetermined number of restoration results by multiplying the spatial frequency domain information by the frequency response of the Wiener filter calculated based on the point spread function estimated by the point spread function estimation means and a predetermined number of different approximate constants Γ. A result calculating step, a restored image generating step for generating a predetermined number of local region restored image information by performing inverse Fourier transform on a predetermined number of the restored results calculated by the restored image generating means, and a predetermined number restored by the restored image selecting means The station in which the mean square error between the local region restored image information and the local region image information is minimized Image restoration program according to claim 11, characterized in that it comprises a restored image selecting step of selecting an area restored image information.

Images