JPH11134481A - Image restoration device and image restoration method - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide an image restoration device and an image restoration method capable of providing a deterioration function approximated to an actual deterioration model when a shaken image picked with an image pickup device like a camera, etc., is restored and obtaining good image restoration effect in comparison with the conventional one. SOLUTION: The image restoration device is provided with a memory 101 to store image information for one screen obtained from the image pickup device like a digital camera and a silver salt camera, etc., shake information 1 obtained form the image pickup device, the shake information 2 required for generating a PSF image, a PSF calculation block 102 to generate the PSF image based on the shake information 1 and the shake information 2 stored in the memory 101 and a calculation block 103 to generate a restored image according to an image restoration algorithm based on image information supplied form the memory 101 and PSF image information supplied from the PSF calculation block 102.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、画像復元装置及び
画像復元方法に係り、更に詳しくは、カメラ等の撮像装
置によって撮影された画像が手ブレまたは被写体ブレ等
による劣化を伴う際に原画像に近い復元画像を求める場
合に好適な画像復元装置及び画像復元方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image restoring apparatus and an image restoring method, and more particularly, to an original image when an image photographed by an image pickup apparatus such as a camera is deteriorated due to camera shake or subject shake. The present invention relates to an image restoring apparatus and an image restoring method suitable for obtaining a restored image close to.

【０００２】[0002]

【従来の技術】従来より、カメラ等の撮像装置によって
撮影された画像が手ブレや被写体ブレ等によりブレを生
じた際に、ブレ画像を復元する画像復元方法は数多くあ
る。これら多数の画像復元方法の中でも、ブレ方向やブ
レ量等のブレ情報から想定した劣化関数を用いてブレ画
像を復元する手法が、最も一般的であり画像復元効果も
高い。2. Description of the Related Art Heretofore, there have been many image restoration methods for restoring a blurred image when an image taken by an imaging device such as a camera is blurred due to hand shake or subject shake. Among these many image restoration methods, a method of restoring a blurred image using a deterioration function assumed from blurring information such as a blurring direction and a blurring amount is the most general and has a high image restoration effect.

【０００３】以下に、上記のブレ画像を復元する手法で
用いる劣化関数について説明する。ｆ（ｘ、ｙ）を理想
画像、ｇ（ｘ、ｙ）を劣化した画像としたとき、[0003] Hereinafter, a deterioration function used in the above-described method of restoring a blurred image will be described. When f (x, y) is an ideal image and g (x, y) is a deteriorated image,

【０００４】[0004]

【数１】 の関係があると仮定する。ここで、ｈ（ｘ、ｙ、ｘ′、
ｙ′）は劣化関数、ｖ（ｘ、ｙ）は出力画像におけるラ
ンダム雑音を表す。(Equation 1) Assume that there is a relationship Here, h (x, y, x ',
y ') represents a degradation function, and v (x, y) represents random noise in an output image.

【０００５】平行移動を除いて、点の劣化した像がその
点の位置に依存しないならば、点ひろがり関数（ＰＳ
Ｆ：Ｐoint Ｓpread Ｆunction）は、ｈ（ｘ−ｘ′、ｙ
−ｙ′）の形となり、式（１）は、[0005] Except for translation, if the degraded image of a point does not depend on the position of that point, the point spread function (PS
F: Point Spread Function is h (xx ', y
−y ′), and equation (1) becomes

【０００６】[0006]

【数２】 となる。雑音がないとき、式（２）の両辺のフーリエ変
換を行い、畳み込み定理より、 Ｇ（ｕ、ｖ）＝Ｈ（ｕ、ｖ）Ｆ（ｕ、ｖ） ・・・（３） となる。Ｇ（ｕ、ｖ）、Ｆ（ｕ、ｖ）、Ｈ（ｕ、ｖ）は
それぞれｇ（ｘ、ｙ）、ｆ（ｘ、ｙ）、ｈ（ｘ、ｙ）の
フーリエ変換を表す。ここで、Ｈ（ｕ、ｖ）は、理想画
像ｆ（ｘ、ｙ）を劣化した画像ｇ（ｘ、ｙ）に変換する
システムの伝達関数である。(Equation 2) Becomes When there is no noise, Fourier transform is performed on both sides of equation (2), and G (u, v) = H (u, v) F (u, v) (3) from the convolution theorem. G (u, v), F (u, v), H (u, v) represent the Fourier transform of g (x, y), f (x, y), h (x, y), respectively. Here, H (u, v) is a transfer function of the system that converts the ideal image f (x, y) into a deteriorated image g (x, y).

【０００７】ここでは、カメラと風景との相対的な運動
による劣化（いわゆるブレ画像）についてのみ取り上げ
るため、その劣化モデルについて以下に説明する。運動
を除いて画像は時間的に不変であると仮定する。もし、
相対運動が平面内における記録用フィルムの運動による
ものと近似的に等しいならば、フィルム上の点における
露光量の総計は、瞬時的な露光量をシャッタが開いてい
る時間だけ積分することによって求められる。この場
合、シャッタの開閉に要する時間は無視できるものとす
る。α（ｔ）、β（ｔ）をそれぞれ変位のｘ、ｙ方向の
成分であるとすると、[0007] Here, only the deterioration (so-called blurred image) due to the relative motion between the camera and the landscape is taken up, and therefore, a deterioration model thereof will be described below. Assume that the images are temporally invariant except for motion. if,
If the relative motion is approximately equal to the motion of the recording film in the plane, the total exposure at a point on the film is determined by integrating the instantaneous exposure by the time the shutter is open. Can be In this case, the time required for opening and closing the shutter is negligible. If α (t) and β (t) are the components of the displacement in the x and y directions, respectively,

【０００８】[0008]

【数３】 となる。この場合、Ｔは露光時間で、便宜的に−Ｔ／２
からＴ／２までであるとした。式（４）の両辺をフーリ
エ変換すると、(Equation 3) Becomes In this case, T is the exposure time, for convenience -T / 2
To T / 2. Fourier transforming both sides of equation (4) gives

【０００９】[0009]

【数４】 となる。ｘ−α（ｔ）＝ξ、ｙ−β（ｔ）＝ηと置く
と、上式は、(Equation 4) Becomes If we put x-α (t) = ξ and y-β (t) = η, the above equation becomes:

【００１０】[0010]

【数５】 となる。この式（５）から、劣化は式（３）またはこれ
に等しい式（２）でモデル化されることがわかる。この
劣化の伝達関数Ｈ（ｕ、ｖ）は次式で与えられる。(Equation 5) Becomes From this equation (5), it can be seen that the degradation is modeled by equation (3) or equation (2) equivalent thereto. The transfer function H (u, v) of this deterioration is given by the following equation.

【００１１】[0011]

【数６】 従って、Ｘ軸に対して、角度θ、一定の速度Ｖで時間Ｔ
だけブレた場合の点応答関数は、 Ｈ（ｕ、ｖ）＝ｓｉｎ πωＴ／πω ・・・（７） で与えられる。ここで、 ω＝（ｕ−ｕ0）Ｖｃｏｓθ＋（ｖ−ｖ0）Ｖｓｉｎθ ・・・（８） で、ｕ0、ｖ0は画像の中心座標である。尚、ωが微小な
時はＨ（ｕ、ｖ）＝Ｔと近似する。(Equation 6) Therefore, with respect to the X axis, the angle T
The point response function in the case of only blurring is given by H (u, v) = sin πωT / πω (7) Here, ω = (u−u0) Vcos θ + (v−v0) Vsinθ (8) where u0 and v0 are the center coordinates of the image. Note that when ω is very small, H (u, v) = T is approximated.

【００１２】点ひろがり関数ｈ（ｘ−ｘ′、ｙ−ｙ′）
は、一般に画像（ＰＳＦ画像）として表現される。従来
から用いられるＰＳＦ画像の一例として、ブレ方向を水
平とした場合のＰＳＦ画像例を図６に示す。図６に示す
ＰＳＦ画像では、画像中心を（ｘ０、ｙ０）とし、図６
左のＸ−Ｘ′の向きがブレ方向、Ｘ−Ｘ′の長さがブレ
量に相当する。また、Ｘ−Ｘ′上の画素の輝度値の関数
を図５右と下に示す。The point spread function h (xx ', yy')
Is generally represented as an image (PSF image). As an example of a conventionally used PSF image, FIG. 6 shows an example of a PSF image when the blur direction is horizontal. In the PSF image shown in FIG. 6, the center of the image is (x0, y0), and FIG.
The direction of XX 'on the left corresponds to the blur direction, and the length of XX' corresponds to the blur amount. Further, the function of the luminance value of the pixel on XX ′ is shown in the right and bottom of FIG.

【００１３】図示の如く、従来の技術におけるＰＳＦ画
像では、ブレ軌跡上の画素（本例ではｙ＝ｙ０を満たす
画素）のみ輝度値ｚ（０）を持ち、それ以外の画素の輝
度値は全て０乃至はごく微小な値である。即ち、この場
合の劣化関数はブレ方向（Ｘ−Ｘ′）上の画素の影響の
みが考慮されたものとなっており、それ以外の画素の影
響は殆ど考慮しないことを示す。As shown in the figure, in the PSF image according to the conventional technique, only the pixels on the blur locus (pixels satisfying y = y0 in this example) have a luminance value z (0), and the luminance values of the other pixels are all It is 0 or a very small value. In other words, the deterioration function in this case considers only the influence of the pixel in the blur direction (XX ′), and shows that the influence of the other pixels is hardly considered.

【００１４】ここで、上述した劣化関数を用いた画像復
元の一例として、最も基本的な画像復元アルゴリズムで
ある逆フィルタを用いた画像復元方法について説明す
る。劣化した画像ｇ（ｘ、ｙ）と元の画像ｆ（ｘ、ｙ）
が上記式（２）のモデルに従うと仮定する。Here, as an example of image restoration using the above-described deterioration function, an image restoration method using an inverse filter which is the most basic image restoration algorithm will be described. Degraded image g (x, y) and original image f (x, y)
Follows the model of equation (2) above.

【００１５】このとき、雑音が無いならば、ｇ（ｘ、
ｙ）、ｆ（ｘ、ｙ）及びＰＳＦ、ｈ（ｘ、ｙ）のフーリ
エ変換は上記式（３）を満たす。ここで、式（３）を変
形すると、 Ｆ（ｕ、ｖ）＝Ｇ（ｕ、ｖ）／Ｈ（ｕ、ｖ） ・・・（９） となる。この式（９）から、Ｈ（ｕ、ｖ）が既知であれ
ば、劣化した画像のフーリエ変換Ｇ（ｕ、ｖ）に１／Ｈ
（ｕ、ｖ）をかけて逆フーリエ変換することによって、
ｆ（ｘ、ｙ）を復元できることがわかる。At this time, if there is no noise, g (x,
The Fourier transform of y), f (x, y) and PSF, h (x, y) satisfies the above equation (3). Here, when Expression (3) is modified, F (u, v) = G (u, v) / H (u, v) (9) From this equation (9), if H (u, v) is known, the Fourier transform G (u, v) of the degraded image is 1 / H
By performing inverse Fourier transform by multiplying (u, v),
It can be seen that f (x, y) can be restored.

【００１６】[0016]

【発明が解決しようとする課題】しかしながら、上述し
た従来技術においては下記のような問題があった。即
ち、従来からブレ画像復元に用いられるＰＳＦ画像は、
上記図６に示した如く、ブレ方向（Ｘ−Ｘ′）上の画素
の輝度値の関数として表される。しかし、実際に撮影さ
れたブレ画像においては、ブレ方向上の画素のみでな
く、その周辺画素の影響も無視できない。例えば、視覚
的には直線ブレであっても厳密には非直線であるためブ
レ軌跡からずれた画素の影響がある場合や、露光漏れ等
の影響からブレによる劣化に加えて周辺画素に対するボ
ケが生じている場合も考えられる。However, the above-mentioned prior art has the following problems. That is, a PSF image conventionally used for blurred image restoration is:
As shown in FIG. 6, it is represented as a function of the luminance value of the pixel in the blur direction (XX ′). However, in a blurred image actually shot, the influence of not only pixels in the blur direction but also peripheral pixels cannot be ignored. For example, even if it is visually a straight line blur, it is strictly non-linear, and there is an effect of a pixel deviating from the blur locus. It is possible that it has occurred.

【００１７】上記の理由から、上述した従来技術におい
て説明したブレの劣化関数では、実際に撮影されたブレ
画像の劣化モデルとは完全に適応しないため、十分な画
像復元が不可能であるという問題があった。For the above-mentioned reason, the blurring deterioration function described in the above-mentioned prior art does not completely adapt to the deterioration model of the actually shot blurred image, so that it is impossible to sufficiently restore the image. was there.

【００１８】本発明は、上述した点に鑑みなされたもの
であり、カメラ等の撮像装置で撮影されたブレ画像を復
元する際に現実の劣化モデルに近い劣化関数を与えるこ
とを可能とし、従来と比較して良好な画像復元効果を得
ること等を可能とした画像復元装置及び画像復元方法を
提供することを目的とする。SUMMARY OF THE INVENTION The present invention has been made in view of the above points, and has been made capable of giving a deterioration function close to an actual deterioration model when restoring a blurred image captured by an imaging device such as a camera. It is an object of the present invention to provide an image restoring apparatus and an image restoring method capable of obtaining a better image restoring effect as compared with the present invention.

【００１９】[0019]

【課題を解決するための手段】上記目的を達成するた
め、請求項１の発明は、撮影動作等により劣化したブレ
画像を原画像に近い画像に復元する画像復元装置であっ
て、ブレ軌跡データに基づき生成した点ひろがり関数画
像及びブレ画像から画像復元アルゴリズムに従って復元
画像を生成する復元手段を有し、該復元手段は、ブレ軌
跡上の画素周辺の画素の輝度値も考慮して復元を行うこ
とを特徴とする。According to one aspect of the present invention, there is provided an image restoration apparatus for restoring a blurred image degraded by a photographing operation or the like to an image close to an original image. Based on the point spread function image and the blurred image generated on the basis of the image restoration algorithm, and the restoration unit performs the restoration in consideration of the luminance values of the pixels around the pixels on the blur locus. It is characterized by the following.

【００２０】上記目的を達成するため、請求項２の発明
は、撮影動作等により劣化したブレ画像を原画像に近い
画像に復元する画像復元装置であって、ブレ軌跡データ
に基づき生成した点ひろがり関数画像及びブレ画像から
画像復元アルゴリズムに従って復元画像を生成する復元
手段を有し、該復元手段は、前記点ひろがり関数画像を
生成する際に、ブレ軌跡上の画素の輝度値として前記ブ
レ軌跡データから得た値を使用し、ブレ軌跡に垂直方向
の画素の輝度値として前記ブレ軌跡データから関数に基
づき演算した値を使用することを特徴とする。According to another aspect of the present invention, there is provided an image restoring apparatus for restoring a blurred image degraded by a photographing operation or the like to an image close to an original image, wherein a point spread generated based on blurred locus data is provided. A restoring means for generating a restored image from the function image and the blurred image in accordance with an image restoring algorithm. The restoring means, when generating the point spread function image, generates the blurred locus data as a luminance value of a pixel on the blurred locus. And a value calculated based on a function from the blur locus data as a luminance value of a pixel in a direction perpendicular to the blur locus.

【００２１】上記目的を達成するため、請求項３の発明
は、前記復元手段は、前記点ひろがり関数画像における
ブレ軌跡に垂直方向の画素の輝度値としてブレ軌跡の線
分からの距離のボケ劣化特性を持つ関数に基づき演算し
た値を使用することを特徴とする。In order to achieve the above object, the invention according to claim 3 is characterized in that the restoring means includes a blur deterioration characteristic of a distance from a line segment of the blur locus as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. Characterized in that a value calculated based on a function having is used.

【００２２】上記目的を達成するため、請求項４の発明
は、前記復元手段は、前記点ひろがり関数画像における
ブレ軌跡に垂直方向の画素の輝度値としてブレ軌跡の線
分からの距離の絶対値に関する負の一次関数に基づき演
算した値を使用することを特徴とする。In order to achieve the above object, the invention according to claim 4 is characterized in that the restoration means relates to an absolute value of a distance from a line segment of the blur locus as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. It is characterized in that a value calculated based on a negative linear function is used.

【００２３】上記目的を達成するため、請求項５の発明
は、前記復元手段は、前記点ひろがり関数画像における
ブレ軌跡に垂直方向の画素の輝度値としてブレ軌跡上の
画素と同じ値を使用することを特徴とする。In order to achieve the above object, the invention according to claim 5 is characterized in that the restoration means uses the same value as a pixel on the blur locus as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. It is characterized by the following.

【００２４】上記目的を達成するため、請求項６の発明
は、撮影動作等により劣化したブレ画像を原画像に近い
画像に復元する画像復元装置であって、ブレ軌跡データ
に基づき生成した点ひろがり関数画像及びブレ画像から
画像復元アルゴリズムに従って復元画像を生成する復元
手段を有し、該復元手段は、前記点ひろがり関数画像を
生成する際に、ブレ軌跡上の画素の輝度値として前記ブ
レ軌跡データから得た値を使用し、ブレ軌跡に垂直方向
の画素の輝度値として前記ブレ軌跡データから関数に基
づき演算した値を使用し、ブレ軌跡の端点周辺の画素の
輝度値として前記ブレ軌跡データから関数に基づき演算
した値を使用することを特徴とする。According to a sixth aspect of the present invention, there is provided an image restoration apparatus for restoring a blurred image degraded by a photographing operation or the like to an image close to an original image, wherein the point spread generated based on the blur locus data. A restoring means for generating a restored image from the function image and the blurred image in accordance with an image restoring algorithm. The restoring means, when generating the point spread function image, generates the blurred locus data as a luminance value of a pixel on the blurred locus. From the blur locus data as a luminance value of a pixel around an end point of the blur locus using a value calculated based on a function from the blur locus data as a luminance value of a pixel in a vertical direction to the blur locus. It is characterized in that a value calculated based on a function is used.

【００２５】上記目的を達成するため、請求項７の発明
は、前記復元手段は、前記点ひろがり関数画像における
ブレ軌跡に垂直方向の画素の輝度値としてブレ軌跡の線
分からの距離のボケ劣化特性を持つ関数に基づき演算し
た値を使用し、ブレ軌跡の端点周辺の画素の輝度値とし
てブレ軌跡の端点からの距離のボケ劣化特性を持つ関数
に基づき演算した値を使用することを特徴とする。In order to achieve the above object, the invention according to claim 7 is characterized in that the restoring means includes a blur deterioration characteristic of a distance from a line segment of the blur locus as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. Using a value calculated based on a function having a characteristic having blurring deterioration characteristics of a distance from an end point of the blur locus as a luminance value of a pixel around the end point of the blur locus. .

【００２６】上記目的を達成するため、請求項８の発明
は、前記復元手段は、前記点ひろがり関数画像における
ブレ軌跡に垂直方向の画素の輝度値としてブレ軌跡の線
分からの距離の絶対値に関する負の一次関数に基づき演
算した値を使用し、ブレ軌跡の端点周辺の画素の輝度値
としてブレ軌跡の端点からの距離の絶対値に関する負の
一次関数に基づき演算した値を使用することを特徴とす
る。In order to achieve the above object, the invention according to claim 8 is characterized in that the restoration means relates to an absolute value of a distance from a line segment of the blur locus as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. It is characterized in that a value calculated based on a negative linear function is used, and a value calculated based on a negative linear function related to an absolute value of a distance from the end point of the blur locus is used as a luminance value of a pixel around an end point of the blur locus. And

【００２７】上記目的を達成するため、請求項９の発明
は、前記復元手段は、前記点ひろがり関数画像における
ブレ軌跡に垂直方向の画素の輝度値及びブレ軌跡の端点
周辺の画素の輝度値としてブレ軌跡上の画素と同じ値を
使用することを特徴とする。In order to achieve the above object, the invention according to claim 9 is characterized in that the restoring means calculates a luminance value of a pixel in a direction perpendicular to a blur locus in the point spread function image and a luminance value of a pixel around an end point of the blur locus. It is characterized by using the same value as the pixel on the blur locus.

【００２８】上記目的を達成するため、請求項１０の発
明は、撮影動作等により劣化したブレ画像を原画像に近
い画像に復元する画像復元装置であって、ブレ軌跡デー
タに基づき生成した点ひろがり関数画像及びブレ画像か
ら画像復元アルゴリズムに従って復元画像を生成する復
元手段を有し、該復元手段は、前記点ひろがり関数画像
を生成する際に、ブレ軌跡上の画素の輝度値として前記
ブレ軌跡データから得た値を使用し、ブレ軌跡周辺の画
素の輝度値として任意に指定した値を使用することを特
徴とする。According to a tenth aspect of the present invention, there is provided an image restoring apparatus for restoring a blurred image degraded by a photographing operation or the like to an image close to an original image, wherein a point spread generated based on blurred locus data is provided. A restoring means for generating a restored image from the function image and the blurred image in accordance with an image restoring algorithm. The restoring means, when generating the point spread function image, generates the blurred locus data as a luminance value of a pixel on the blurred locus. , And arbitrarily designated values as luminance values of pixels around the blur locus.

【００２９】上記目的を達成するため、請求項１１の発
明は、前記復元手段は、前記点ひろがり関数画像におけ
るブレ軌跡周辺の画素の輝度値として、任意に指定した
ブレ軌跡周辺の有限領域内の画素に対して任意に指定し
た値を使用することを特徴とする。In order to achieve the above object, the invention according to claim 11, wherein the restoring means sets the luminance value of a pixel around the blur locus in the point spread function image in a finite area around the blur locus arbitrarily designated. It is characterized in that a value arbitrarily specified for a pixel is used.

【００３０】上記目的を達成するため、請求項１２の発
明は、前記ブレ軌跡データは、対象画像の撮影時に撮像
装置から得る方法或いは対象画像自体から演算により求
める方法により取得されたデータであることを特徴とす
る。According to a twelfth aspect of the present invention, the blur locus data is data obtained by a method of obtaining a target image from an imaging device or a method of obtaining a target image by calculation. It is characterized by.

【００３１】上記目的を達成するため、請求項１３の発
明は、撮像装置で撮影された画像情報及び前記点ひろが
り関数画像の生成に必要なブレ情報を記憶する記憶手段
を有することを特徴とする。To achieve the above object, the invention of claim 13 is characterized in that it has a storage means for storing image information photographed by an image pickup apparatus and blur information necessary for generating the point spread function image. .

【００３２】上記目的を達成するため、請求項１４の発
明は、撮影動作等により劣化したブレ画像を原画像に近
い画像に復元する画像復元方法であって、ブレ軌跡デー
タに基づき生成した点ひろがり関数画像及びブレ画像か
ら画像復元アルゴリズムに従って復元画像を生成する復
元ステップを有し、該復元ステップでは、ブレ軌跡上の
画素周辺の画素の輝度値も考慮して復元を行うことを特
徴とする。In order to achieve the above object, the invention of claim 14 is an image restoration method for restoring a blurred image deteriorated by a photographing operation or the like to an image close to the original image, wherein the point spread generated based on the blur locus data is provided. The image processing apparatus further includes a restoration step of generating a restoration image from the function image and the blurred image according to an image restoration algorithm. In the restoration step, restoration is performed in consideration of luminance values of pixels around pixels on the blurring locus.

【００３３】上記目的を達成するため、請求項１５の発
明は、撮影動作等により劣化したブレ画像を原画像に近
い画像に復元する画像復元方法であって、ブレ軌跡デー
タに基づき生成した点ひろがり関数画像及びブレ画像か
ら画像復元アルゴリズムに従って復元画像を生成する復
元ステップを有し、該復元ステップでは、前記点ひろが
り関数画像を生成する際に、ブレ軌跡上の画素の輝度値
として前記ブレ軌跡データから得た値を使用し、ブレ軌
跡に垂直方向の画素の輝度値として前記ブレ軌跡データ
から関数に基づき演算した値を使用することを特徴とす
る。In order to achieve the above object, the invention of claim 15 is an image restoration method for restoring a blurred image degraded by a photographing operation or the like to an image close to the original image, wherein the point spread generated based on the blur locus data is provided. A restoring step of generating a restored image from the function image and the blurred image in accordance with an image restoration algorithm. In the restoring step, when the point spread function image is generated, the blurred locus data is used as a luminance value of a pixel on the blurred locus. And a value calculated based on a function from the blur locus data as a luminance value of a pixel in a direction perpendicular to the blur locus.

【００３４】上記目的を達成するため、請求項１６の発
明は、前記復元ステップでは、前記点ひろがり関数画像
におけるブレ軌跡に垂直方向の画素の輝度値としてブレ
軌跡の線分からの距離のボケ劣化特性を持つ関数に基づ
き演算した値を使用することを特徴とする。In order to achieve the above object, the invention according to a sixteenth aspect of the present invention is that, in the restoration step, the blur deterioration characteristic of the distance from the line segment of the blur locus as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. Characterized in that a value calculated based on a function having is used.

【００３５】上記目的を達成するため、請求項１７の発
明は、前記復元ステップでは、前記点ひろがり関数画像
におけるブレ軌跡に垂直方向の画素の輝度値としてブレ
軌跡の線分からの距離の絶対値に関する負の一次関数に
基づき演算した値を使用することを特徴とする。In order to achieve the above object, the invention according to claim 17 is characterized in that, in the restoration step, the absolute value of the distance from the line segment of the blur locus as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. It is characterized in that a value calculated based on a negative linear function is used.

【００３６】上記目的を達成するため、請求項１８の発
明は、前記復元ステップでは、前記点ひろがり関数画像
におけるブレ軌跡に垂直方向の画素の輝度値としてブレ
軌跡上の画素と同じ値を使用することを特徴とする。In order to achieve the above object, in the invention according to claim 18, in the restoration step, the same value as a pixel on a blur locus is used as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. It is characterized by the following.

【００３７】上記目的を達成するため、請求項１９の発
明は、撮影動作等により劣化したブレ画像を原画像に近
い画像に復元する画像復元方法であって、ブレ軌跡デー
タに基づき生成した点ひろがり関数画像及びブレ画像か
ら画像復元アルゴリズムに従って復元画像を生成する復
元ステップを有し、該復元ステップでは、前記点ひろが
り関数画像を生成する際に、ブレ軌跡上の画素の輝度値
として前記ブレ軌跡データから得た値を使用し、ブレ軌
跡に垂直方向の画素の輝度値として前記ブレ軌跡データ
から関数に基づき演算した値を使用し、ブレ軌跡の端点
周辺の画素の輝度値として前記ブレ軌跡データから関数
に基づき演算した値を使用することを特徴とする。In order to achieve the above object, the invention of claim 19 is an image restoration method for restoring a blurred image degraded by a photographing operation or the like to an image close to the original image, wherein the point spread generated based on the blur locus data is provided. A restoring step of generating a restored image from the function image and the blurred image in accordance with an image restoration algorithm. In the restoring step, when the point spread function image is generated, the blurred locus data is used as a luminance value of a pixel on the blurred locus. From the blur locus data as a luminance value of a pixel around an end point of the blur locus using a value calculated based on a function from the blur locus data as a luminance value of a pixel in a vertical direction to the blur locus. It is characterized in that a value calculated based on a function is used.

【００３８】上記目的を達成するため、請求項２０の発
明は、前記復元ステップでは、前記点ひろがり関数画像
におけるブレ軌跡に垂直方向の画素の輝度値としてブレ
軌跡の線分からの距離のボケ劣化特性を持つ関数に基づ
き演算した値を使用し、ブレ軌跡の端点周辺の画素の輝
度値としてブレ軌跡の端点からの距離のボケ劣化特性を
持つ関数に基づき演算した値を使用することを特徴とす
る。In order to achieve the above object, the invention according to claim 20 is characterized in that in the restoration step, the blur deterioration characteristic of the distance from the line segment of the blur locus as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. Using a value calculated based on a function having a characteristic having blurring deterioration characteristics of a distance from an end point of the blur locus as a luminance value of a pixel around the end point of the blur locus. .

【００３９】上記目的を達成するため、請求項２１の発
明は、前記復元ステップでは、前記点ひろがり関数画像
におけるブレ軌跡に垂直方向の画素の輝度値としてブレ
軌跡の線分からの距離の絶対値に関する負の一次関数に
基づき演算した値を使用し、ブレ軌跡の端点周辺の画素
の輝度値としてブレ軌跡の端点からの距離の絶対値に関
する負の一次関数に基づき演算した値を使用することを
特徴とする。In order to achieve the above object, the invention of claim 21 is characterized in that, in the restoration step, an absolute value of a distance from a line segment of the blur locus as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. It is characterized in that a value calculated based on a negative linear function is used, and a value calculated based on a negative linear function related to an absolute value of a distance from the end point of the blur locus is used as a luminance value of a pixel around an end point of the blur locus. And

【００４０】上記目的を達成するため、請求項２２の発
明は、前記復元ステップでは、前記点ひろがり関数画像
におけるブレ軌跡に垂直方向の画素の輝度値及びブレ軌
跡の端点周辺の画素の輝度値としてブレ軌跡上の画素と
同じ値を使用することを特徴とする。In order to achieve the above object, the invention according to claim 22 is characterized in that, in the restoration step, the luminance value of a pixel in the direction perpendicular to the blur locus and the luminance value of a pixel around the end point of the blur locus in the point spread function image. It is characterized by using the same value as the pixel on the blur locus.

【００４１】上記目的を達成するため、請求項２３の発
明は、撮影動作等により劣化したブレ画像を原画像に近
い画像に復元する画像復元方法であって、ブレ軌跡デー
タに基づき生成した点ひろがり関数画像及びブレ画像か
ら画像復元アルゴリズムに従って復元画像を生成する復
元ステップを有し、該復元ステップでは、前記点ひろが
り関数画像を生成する際に、ブレ軌跡上の画素の輝度値
として前記ブレ軌跡データから得た値を使用し、ブレ軌
跡周辺の画素の輝度値として任意に指定した値を使用す
ることを特徴とする。In order to achieve the above object, an invention according to claim 23 is an image restoration method for restoring a blurred image degraded by a photographing operation or the like to an image close to the original image, wherein a point spread generated based on blurred locus data is provided. A restoring step of generating a restored image from the function image and the blurred image in accordance with an image restoration algorithm. In the restoring step, when the point spread function image is generated, the blurred locus data is used as a luminance value of a pixel on the blurred locus. , And arbitrarily designated values as luminance values of pixels around the blur locus.

【００４２】上記目的を達成するため、請求項２４の発
明は、前記復元ステップでは、前記点ひろがり関数画像
におけるブレ軌跡周辺の画素の輝度値として、任意に指
定したブレ軌跡周辺の有限領域内の画素に対して任意に
指定した値を使用することを特徴とする。In order to achieve the above object, the invention according to claim 24 is characterized in that in the restoration step, the luminance value of the pixel around the blur locus in the point spread function image is within the finite area around the blur locus arbitrarily designated. It is characterized in that a value arbitrarily specified for a pixel is used.

【００４３】上記目的を達成するため、請求項２５の発
明は、前記ブレ軌跡データは、対象画像の撮影時に撮像
装置から得る方法或いは対象画像自体から演算により求
める方法により取得されたデータであることを特徴とす
る。According to a twenty-fifth aspect of the present invention, the blur locus data is data obtained by a method of obtaining an object image from an imaging device or a method of obtaining an object image by calculation. It is characterized by.

【００４４】上記目的を達成するため、請求項２６の発
明は、撮像装置で撮影された画像情報及び前記点ひろが
り関数画像の生成に必要なブレ情報を記憶する記憶ステ
ップを有することを特徴とする。In order to achieve the above object, the invention according to claim 26 has a storage step of storing image information photographed by an image pickup apparatus and blur information necessary for generating the point spread function image. .

【００４５】[0045]

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。Embodiments of the present invention will be described below with reference to the drawings.

【００４６】［１］第１の実施の形態 図１は本発明の第１の実施の形態に係る画像復元装置の
構成を示すブロック図である。第１の実施の形態に係る
画像復元装置は、メモリ１０１と、ＰＳＦ計算ブロック
１０２と、計算ブロック１０３と、メモリ１０４と、モ
ニタ１０５と、画像ファイル１０６とを備える構成とな
っている。画像復元装置は、例えばデジタルカメラや銀
塩カメラ等の撮像装置によって撮影された画像中のブレ
を減少させて、元の画像に近い画像を復元する場合に適
用されるものであり、後述の手順を実現する。[1] First Embodiment FIG. 1 is a block diagram showing a configuration of an image restoration apparatus according to a first embodiment of the present invention. The image restoration apparatus according to the first embodiment includes a memory 101, a PSF calculation block 102, a calculation block 103, a memory 104, a monitor 105, and an image file 106. The image restoration device is applied to a case where an image close to an original image is restored by reducing blurring in an image taken by an imaging device such as a digital camera or a silver halide camera, for example. To achieve.

【００４７】上記各部の構成を詳述すると、メモリ１０
１には、例えばデジタルカメラ等の撮像装置から或いは
銀塩カメラ等の撮像装置によって撮影されたフィルムか
ら、フィルムスキャナを用いる等の手法によって取得さ
れたデジタル画像の画像情報の一画面分が記憶される。
また、メモリ１０１には、上記の撮像装置に装備されて
いるセンサによるブレ検知や演算によって得られたブレ
情報１と、本発明で示したＰＳＦ画像生成に必要なブレ
情報２が記憶される。The configuration of each section will be described in detail.
1 stores, for example, one screen of image information of a digital image obtained from a film taken by an image pickup device such as a digital camera or a film taken by an image pickup device such as a silver halide camera by a method such as using a film scanner. You.
Further, the memory 101 stores the blur information 1 obtained by the blur detection and calculation by the sensor provided in the above-described imaging apparatus, and the blur information 2 necessary for generating the PSF image shown in the present invention.

【００４８】ＰＳＦ計算ブロック１０２は、メモリ１０
１に記憶されたブレ情報１及びブレ情報２に基づきＰＳ
Ｆ画像を生成する。計算ブロック１０３は、メモリ１０
１から供給された画像情報、及びＰＳＦ計算ブロック１
０２から供給されたＰＳＦ画像情報に基づき、画像復元
アルゴリズムに従って復元画像を生成する。メモリ１０
４には、計算ブロック１０３で生成された復元画像が記
憶される。モニタ１０５は、メモリ１０４から出力され
た復元画像を表示する。画像ファイル１０６は、メモリ
１０４から出力された復元画像を格納する。The PSF calculation block 102 is provided in the memory 10
1 based on shake information 1 and shake information 2 stored in
Generate an F image. The calculation block 103 stores the memory 10
Image information supplied from 1 and PSF calculation block 1
Based on the PSF image information supplied from 02, a restored image is generated according to an image restoration algorithm. Memory 10
4 stores the restored image generated in the calculation block 103. The monitor 105 displays the restored image output from the memory 104. The image file 106 stores the restored image output from the memory 104.

【００４９】次に、上記の如く構成してなる本発明の第
１の実施の形態に係る画像復元装置により、ブレ劣化に
加えボケ劣化特性を利用したＰＳＦ画像を用いる方法に
ついて詳細に説明する。Next, a method of using a PSF image utilizing the blurring deterioration characteristic in addition to the blurring deterioration by the image restoration apparatus according to the first embodiment of the present invention having the above-described configuration will be described in detail.

【００５０】本発明では、ＰＳＦ画像としてブレ方向
（Ｘ−Ｘ′）上の画素に加え、その周辺画素の影響も含
めた劣化関数を提案した。その第１の実施の形態とし
て、ブレ劣化に加えボケ劣化特性を利用したＰＳＦ画像
を用いる方法について以下に述べる。この場合、ブレ軌
跡データは、対象画像の撮影時に撮像装置から得られる
方法や対象画像自体から演算により求める方法によっ
て、既に取得されているものとする。In the present invention, a degradation function including the influence of peripheral pixels in addition to pixels in the blur direction (XX ′) has been proposed as a PSF image. As a first embodiment, a method of using a PSF image utilizing blurring deterioration characteristics in addition to blurring will be described below. In this case, it is assumed that the blur locus data has already been acquired by a method obtained from the imaging device at the time of capturing the target image or a method obtained by calculation from the target image itself.

【００５１】先ず、一般にボケ修正に用いる劣化関数に
ついて説明する。中心画素からの距離をｒ、正規分布法
則の任意のパラメータをσの二乗とすると、上記ボケ修
正に用いる劣化関数は、First, a deterioration function generally used for blur correction will be described. Assuming that the distance from the center pixel is r and an arbitrary parameter of the normal distribution law is the square of σ, the deterioration function used for the blur correction is

【００５２】[0052]

【数７】 で表される関数となる。(Equation 7) Is a function represented by

【００５３】第１の実施の形態では、ブレ軌跡上の各画
素は、ブレ方向に垂直な方向に式（１０）で示すような
ボケ劣化が生じていると考える。従って、ブレ軌跡（Ｘ
−Ｘ′）の周辺画素は、ブレ軌跡の線分からの距離ｒの
関数、In the first embodiment, it is assumed that each pixel on the blur locus has blurring degradation as shown by Expression (10) in a direction perpendicular to the blur direction. Therefore, the blur locus (X
−X ′) is a function of the distance r from the blur locus line segment,

【００５４】[0054]

【数８】 として与えられる輝度値ｚ（ｒ）となる。そして、上式
（１１）により輝度値を与える画素は、ブレ軌跡の線分
からの距離が有限値ｒ０以内とする。(Equation 8) The luminance value z (r) is given as Then, it is assumed that the pixel which gives the luminance value by the above equation (11) has a distance from the line segment of the blur locus within the finite value r0.

【００５５】図２は上記理論によるＰＳＦ画像の一例を
示す図である。輝度値の関数を示す図２右は、ブレ軌跡
上の各画素がブレ方向に垂直な方向にボケ劣化の特性を
持つことを示している。FIG. 2 is a diagram showing an example of a PSF image based on the above theory. The right side of FIG. 2 showing the function of the luminance value indicates that each pixel on the blur locus has a blur deterioration characteristic in a direction perpendicular to the blur direction.

【００５６】以下に、従来技術で示したＰＳＦ画像との
相違点を示す。 （ａ）ブレ方向（Ｘ−Ｘ′）上の画素は、従来同様一定
輝度値を持つ。 （ｂ）ブレ軌跡（Ｘ−Ｘ′）の周辺画素は、従来技術で
は輝度値０（乃至はごく微小）であるが、第１の実施の
形態では、ブレ軌跡の線分からの距離ｒの関数式（１
１）として与えられる輝度値となる。 （ｃ）上記（ｂ）の関数により輝度値を与える領域は、
ブレ軌跡からの距離ｒ０以内とし、その領域外の画素は
輝度値０とする。Hereinafter, differences from the PSF image shown in the prior art will be described. (A) Pixels in the blur direction (XX ′) have a constant luminance value as in the related art. (B) In the related art, the luminance value of the peripheral pixels of the blur locus (XX ′) is 0 (or extremely small), but in the first embodiment, the function of the distance r from the line segment of the blur locus is used. Equation (1
The brightness value is given as 1). (C) The area for giving the luminance value by the function of (b) is
It is assumed that the distance from the blur locus is within r0, and pixels outside the area have a luminance value of 0.

【００５７】図３は上記図２で示されるＰＳＦ画像の中
心画素周辺部（斜線部画素はＰＳＦ画像中心）の輝度値
を示す。例えば、ブレ軌跡上の画素の輝度値はｚ
（０）、ブレ軌跡からの距離が１画素または２画素で
は、従来は輝度値０（乃至はごく微小）であったのに対
し、第１の実施の形態ではそれぞれ輝度値ｚ（１）、ｚ
（２）が与えられる。FIG. 3 shows the luminance value around the center pixel of the PSF image shown in FIG. 2 (the hatched pixels are the center of the PSF image). For example, the luminance value of a pixel on the blur locus is z
(0) In the case where the distance from the blur locus is 1 pixel or 2 pixels, the luminance value is conventionally 0 (or very small), whereas in the first embodiment, the luminance value z (1), z
(2) is given.

【００５８】以上説明したように、本発明の第１の実施
の形態によれば、画像復元装置は、デジタルカメラや銀
塩カメラ等の撮像装置から得た画像情報の一画面分、撮
像装置から得たブレ情報１、ＰＳＦ画像生成に必要なブ
レ情報２を記憶するメモリ１０１と、メモリ１０１に記
憶されたブレ情報１及びブレ情報２に基づきＰＳＦ画像
を生成するＰＳＦ計算ブロック１０２と、メモリ１０１
から供給された画像情報及びＰＳＦ計算ブロック１０２
から供給されたＰＳＦ画像情報に基づき、画像復元アル
ゴリズムに従って復元画像を生成する計算ブロック１０
３とを有すると共に、ブレ方向上の画素は従来同様一定
輝度値とし、ブレ軌跡の周辺画素はブレ軌跡の線分から
の距離ｒの関数式（１１）として与えられる輝度値と
し、該関数により輝度値を与える領域はブレ軌跡からの
距離ｒ０以内、その領域外の画素は輝度値０とするた
め、下記のような効果を奏する。As described above, according to the first embodiment of the present invention, the image restoring device is capable of transmitting one screen of image information obtained from an imaging device such as a digital camera or a silver halide camera from the imaging device. A memory 101 for storing the obtained blur information 1 and blur information 2 necessary for PSF image generation; a PSF calculation block 102 for generating a PSF image based on the blur information 1 and blur information 2 stored in the memory 101;
Information and PSF calculation block 102 supplied from
Block 10 for generating a restored image according to an image restoration algorithm based on the PSF image information supplied from
3, the pixels in the blur direction have a constant brightness value as in the past, and the peripheral pixels of the blur locus have a brightness value given as a function expression (11) of the distance r from the line segment of the blur locus, and the brightness is calculated by the function. Since the area where the value is given is within the distance r0 from the blur locus, and the pixels outside the area are set to the luminance value 0, the following effects are obtained.

【００５９】本発明の第１の実施の形態では、実際のブ
レ画像の劣化モデルにより近い劣化関数を用いる。即
ち、従来技術におけるＰＳＦ画像ではブレ軌跡上の画素
以外の画素の輝度値は全て０乃至ごく微小な値であった
が、本発明の第１の実施の形態ではブレ軌跡上の画素の
輝度値は従来技術と同様の手法により得られる値を使用
し、加えて、ブレ軌跡に垂直な方向の画素の輝度値はブ
レ軌跡データから関数により演算した値を使用する。該
関数は、ブレ軌跡の線分からの距離の関数として、ボケ
劣化の特性を持つガウシアン関数を用いる。In the first embodiment of the present invention, a deterioration function closer to the actual blurred image deterioration model is used. That is, in the PSF image according to the related art, the luminance values of the pixels other than the pixels on the blur locus are all 0 to very small values, but in the first embodiment of the present invention, the luminance values of the pixels on the blur locus are Uses a value obtained by the same method as in the related art. In addition, a luminance value of a pixel in a direction perpendicular to the blur locus uses a value calculated by a function from blur locus data. As the function, a Gaussian function having a characteristic of blurring deterioration is used as a function of the distance from the line segment of the blur locus.

【００６０】従って、カメラ等の撮像装置によって撮影
されたブレ画像を復元する際に、現実の劣化モデルに近
い劣化関数を与えることが可能となる。例えば視覚的に
は直線ブレであっても厳密には非直線であるためブレ軌
跡からずれた画素の影響がある場合や、露光漏れ等の影
響からブレによる劣化に加えて周辺画素に対するボケが
生じている場合等でも、本実施の形態による劣化関数を
適用することにより、効果的な画像復元を行うことが可
能となり、従来と比較して良好な画像復元効果が得られ
る。Therefore, when restoring a blurred image captured by an imaging device such as a camera, it is possible to provide a deterioration function close to an actual deterioration model. For example, even if it is visually a straight line blur, it is strictly a non-linear line, so it may be affected by pixels that are deviated from the blur locus. Even in such a case, by applying the deterioration function according to the present embodiment, effective image restoration can be performed, and a better image restoration effect can be obtained as compared with the related art.

【００６１】更に、ブレ軌跡の端点周辺の画素の輝度値
もまた、ブレ軌跡データから関数により演算した値を使
用することにより、画像復元効果は更に向上する。上記
により提供される劣化モデルに適応しない場合、ブレ軌
跡周辺画素の輝度値に関しては、任意に指定した輝度値
を任意に指定した有限領域内の画素にのみ使用すること
により、より柔軟に対応可能な画像復元が可能となる。
更には、本実施の形態による劣化関数は、任意に指定し
た値またはブレ軌跡からの距離の関数として表されるた
め、演算負荷も従来と殆ど変わらないという効果があ
る。Furthermore, the image restoration effect is further improved by using a value calculated by a function from the blur locus data for the luminance value of the pixel around the end point of the blur locus. In the case where the degradation model provided above is not applied, the brightness value of the pixel around the blur locus can be more flexibly handled by using an arbitrarily specified brightness value only for pixels in an arbitrarily specified finite area. Image restoration becomes possible.
Furthermore, since the deterioration function according to the present embodiment is expressed as a function of an arbitrarily specified value or a distance from a blur locus, there is an effect that the calculation load is almost the same as the conventional one.

【００６２】［２］第２の実施の形態 本発明の第２の実施の形態に係る画像復元装置は、上記
第１の実施の形態と同様に、メモリ１０１と、ＰＳＦ計
算ブロック１０２と、計算ブロック１０３と、メモリ１
０４と、モニタ１０５と、画像ファイル１０６とを備え
る構成となっている。画像復元装置は、例えばデジタル
カメラや銀塩カメラ等の撮像装置によって撮影された画
像中のブレを減少させて、元の画像に近い画像を復元す
る場合に適用されるものであり、後述の手順を実現す
る。画像復元装置各部の詳細については上記第１の実施
の形態で詳述したので説明を省略する。[2] Second Embodiment An image restoration apparatus according to a second embodiment of the present invention has a memory 101, a PSF calculation block 102, and a calculation Block 103 and memory 1
04, a monitor 105, and an image file 106. The image restoration device is applied to a case where an image close to an original image is restored by reducing blurring in an image taken by an imaging device such as a digital camera or a silver halide camera, for example. To achieve. Details of each unit of the image restoration apparatus have been described in detail in the first embodiment, and a description thereof will not be repeated.

【００６３】上記第１の実施の形態においては、ブレ軌
跡周辺の画素の輝度値を与える関数としてボケの特性を
表す関数（上記図２右）を用いた。第２の実施の形態に
おいては、上記第１の実施の形態で用いた式（１１）の
代わりに、矩形波或いは三角波を用いる方法について説
明する。In the first embodiment, a function representing the blur characteristic (right in FIG. 2) is used as a function for giving the luminance value of the pixel around the blur locus. In the second embodiment, a method using a rectangular wave or a triangular wave instead of the equation (11) used in the first embodiment will be described.

【００６４】図４（ａ）は矩形波を用いた場合の例を示
す図であり、図４（ｂ）は三角波を用いた場合の例を示
す図である。矩形波の場合、ブレ軌跡の線分からの距離
が既定値ｒ０以内であれば、従来と同様の手法により、
ブレ軌跡データから得た輝度値ｚ（０）（＝一定値）を
与える。即ち、 ｚ（ｒ）＝ｚ（０） （−ｒ０≦ｒ≦ｒ０） ｚ（ｒ）＝０ （ｏｔｈｅｒ） ・・・（１２） で与えられる輝度値を持つ。FIG. 4A is a diagram showing an example when a rectangular wave is used, and FIG. 4B is a diagram showing an example when a triangular wave is used. In the case of a rectangular wave, if the distance from the line segment of the blur locus is within the predetermined value r0, a method similar to the conventional method is used.
The luminance value z (0) (= constant value) obtained from the blur locus data is given. That is, z (r) = z (0) (−r0 ≦ r ≦ r0) z (r) = 0 (other) (12)

【００６５】また、三角波の場合、ブレ軌跡上の画素の
輝度値をｚ（０）とし、ブレ軌跡の線分からの距離ｒの
絶対値に関する負の一次関数を用いる。また、距離ｒが
既定値ｒ０以上の画素の輝度値は０とする。即ち、一次
関数の傾きをａとすると、 ｚ（ｒ）＝ｚ（０）−ａ｜ｒ｜ （−ｒ０≦ｒ≦ｒ０） ｚ（ｒ）＝０ （ｏｔｈｅｒ） ・・・（１３） で与えられる輝度値を持つ。In the case of a triangular wave, the luminance value of a pixel on the blur locus is z (0), and a negative linear function related to the absolute value of the distance r from the line segment of the blur locus is used. In addition, the luminance value of a pixel whose distance r is equal to or greater than the predetermined value r0 is set to 0. That is, assuming that the slope of the linear function is a, z (r) = z (0) −a | r | (−r0 ≦ r ≦ r0) z (r) = 0 (other) (13) Has a brightness value.

【００６６】以上説明したように、本発明の第２の実施
の形態によれば、画像復元装置は、デジタルカメラや銀
塩カメラ等の撮像装置から得た画像情報の一画面分、撮
像装置から得たブレ情報１、ＰＳＦ画像生成に必要なブ
レ情報２を記憶するメモリ１０１と、メモリ１０１に記
憶されたブレ情報１及びブレ情報２に基づきＰＳＦ画像
を生成するＰＳＦ計算ブロック１０２と、メモリ１０１
から供給された画像情報及びＰＳＦ計算ブロック１０２
から供給されたＰＳＦ画像情報に基づき、画像復元アル
ゴリズムに従って復元画像を生成する計算ブロック１０
３とを有すると共に、上記第１の実施の形態で用いた式
（１１）の代わりに矩形波或いは三角波を用いる方法を
とり、矩形波の場合は、ブレ軌跡の線分からの距離が既
定値以内であればブレ軌跡データから得た輝度値を与
え、三角波の場合は、ブレ軌跡上の画素の輝度値につい
てブレ軌跡の線分からの距離の絶対値に関する負の一次
関数を用いるため、下記のような効果を奏する。As described above, according to the second embodiment of the present invention, the image restoring device is capable of transmitting one screen of image information obtained from an imaging device such as a digital camera or a silver halide camera from the imaging device. A memory 101 for storing the obtained blur information 1 and blur information 2 necessary for PSF image generation; a PSF calculation block 102 for generating a PSF image based on the blur information 1 and blur information 2 stored in the memory 101;
Information and PSF calculation block 102 supplied from
Block 10 for generating a restored image according to an image restoration algorithm based on the PSF image information supplied from
3 and a method using a rectangular wave or a triangular wave instead of the equation (11) used in the first embodiment. In the case of a rectangular wave, the distance from the line segment of the blur locus is within a predetermined value. Then, a luminance value obtained from the blur locus data is given.In the case of a triangular wave, a negative linear function related to an absolute value of a distance from a line segment of the blur locus is used for a luminance value of a pixel on the blur locus. Effect.

【００６７】カメラ等の撮像装置によって撮影されたブ
レ画像を復元する際に、現実の劣化モデルに近い劣化関
数を与えることが可能となる。例えば、視覚的には直線
ブレであっても厳密には非直線であるためブレ軌跡から
ずれた画素の影響がある場合や、露光漏れ等の影響から
ブレによる劣化に加えて周辺画素に対するボケが生じて
いる場合等でも、本発明の劣化関数を適用することによ
り、従来と比較して良好な画像復元効果が得られる。更
には、演算負荷も従来と殆ど変わらないという効果があ
る。When a blurred image captured by an imaging device such as a camera is restored, a deterioration function close to an actual deterioration model can be given. For example, even if it is visually a straight line blur, it is strictly non-linear, and there is an effect of a pixel deviating from the blur locus. Even in the case where it occurs, by applying the deterioration function of the present invention, a better image restoration effect can be obtained as compared with the related art. Further, there is an effect that the calculation load is almost the same as the conventional one.

【００６８】［３］第３の実施の形態 本発明の第３の実施の形態に係る画像復元装置は、上記
第１の実施の形態と同様に、メモリ１０１と、ＰＳＦ計
算ブロック１０２と、計算ブロック１０３と、メモリ１
０４と、モニタ１０５と、画像ファイル１０６とを備え
る構成となっている。画像復元装置は、例えばデジタル
カメラや銀塩カメラ等の撮像装置によって撮影された画
像中のブレを減少させて、元の画像に近い画像を復元す
る場合に適用されるものであり、後述の手順を実現す
る。画像復元装置各部の詳細については上記第１の実施
の形態で詳述したので説明を省略する。[3] Third Embodiment The image restoration apparatus according to the third embodiment of the present invention comprises a memory 101, a PSF calculation block 102, and a calculation Block 103 and memory 1
04, a monitor 105, and an image file 106. The image restoration device is applied to a case where an image close to an original image is restored by reducing blurring in an image taken by an imaging device such as a digital camera or a silver halide camera, for example. To achieve. Details of each unit of the image restoration apparatus have been described in detail in the first embodiment, and a description thereof will not be repeated.

【００６９】上記第１の実施の形態及び第２の実施の形
態においては、図５に示す如く、ブレ軌跡上の画素に加
え、軌跡に垂直な方向の画素（図５の斜線部領域）に対
し上述したような関数による輝度値を与えた。しかし、
ブレ軌跡の端点周辺（図５の領域Ａ及び領域Ｂ）に注目
すると、領域Ａ、領域Ｂに対しても端点からの距離の関
数等によって輝度値を与えることになり、更に現実の劣
化モデルに近づく。In the first and second embodiments, as shown in FIG. 5, in addition to the pixels on the blur locus, pixels in the direction perpendicular to the locus (shaded area in FIG. 5) are added. On the other hand, a luminance value by the function as described above was given. But,
Focusing on the vicinity of the end point of the blur locus (the area A and the area B in FIG. 5), the luminance value is given to the area A and the area B by a function of the distance from the end point and the like. Get closer.

【００７０】第３の実施の形態においては、ブレ軌跡に
垂直な方向の画素の輝度値を与える関数を、同じくブレ
軌跡の端点周辺の画素の輝度値を与える関数として利用
する。即ち、例えば上記第１の実施の形態で用いた関数
式（１１）を用いる場合、領域Ａ、領域Ｂ内の画素の輝
度値もまた、端点からの距離ｒの関数式（１１）により
与える。また、距離ｒが既定値ｒ０以上の画素の輝度値
は０とする。また、上記第２の実施の形態における矩形
波、三角波を用いる場合も同様である。In the third embodiment, a function for giving a luminance value of a pixel in a direction perpendicular to the blur locus is used as a function for giving a luminance value of a pixel around an end point of the blur locus. That is, for example, when the function expression (11) used in the first embodiment is used, the luminance values of the pixels in the regions A and B are also given by the function expression (11) of the distance r from the end point. In addition, the luminance value of a pixel whose distance r is equal to or greater than the predetermined value r0 is set to 0. The same applies to the case of using the rectangular wave and the triangular wave in the second embodiment.

【００７１】以上説明したように、本発明の第３の実施
の形態によれば、画像復元装置は、デジタルカメラや銀
塩カメラ等の撮像装置から得た画像情報の一画面分、撮
像装置から得たブレ情報１、ＰＳＦ画像生成に必要なブ
レ情報２を記憶するメモリ１０１と、メモリ１０１に記
憶されたブレ情報１及びブレ情報２に基づきＰＳＦ画像
を生成するＰＳＦ計算ブロック１０２と、メモリ１０１
から供給された画像情報及びＰＳＦ計算ブロック１０２
から供給されたＰＳＦ画像情報に基づき、画像復元アル
ゴリズムに従って復元画像を生成する計算ブロック１０
３とを有すると共に、ブレ軌跡に垂直な方向の画素の輝
度値を与える関数を、同じくブレ軌跡の端点周辺の画素
の輝度値を与える関数として利用するため、下記のよう
な効果を奏する。As described above, according to the third embodiment of the present invention, the image restoring apparatus is capable of transferring one screen of image information obtained from an imaging device such as a digital camera or a silver halide camera from the imaging device. A memory 101 for storing the obtained blur information 1 and blur information 2 necessary for PSF image generation; a PSF calculation block 102 for generating a PSF image based on the blur information 1 and blur information 2 stored in the memory 101;
Information and PSF calculation block 102 supplied from
Block 10 for generating a restored image according to an image restoration algorithm based on the PSF image information supplied from
3 and the function of giving the luminance value of the pixel in the direction perpendicular to the blur locus is used as the function of giving the luminance value of the pixel around the end point of the blur locus, so that the following effects are obtained.

【００７２】カメラ等の撮像装置によって撮影されたブ
レ画像を復元する際に、現実の劣化モデルに近い劣化関
数を与えることが可能となる。例えば、視覚的には直線
ブレであっても厳密には非直線であるためブレ軌跡から
ずれた画素の影響がある場合や、露光漏れ等の影響から
ブレによる劣化に加えて周辺画素に対するボケが生じて
いる場合等でも、本発明による劣化関数を適用すること
により、従来と比較して良好な画像復元効果が得られ
る。更には、演算負荷も従来と殆ど変わらないという効
果がある。When a blurred image captured by an imaging device such as a camera is restored, a deterioration function close to an actual deterioration model can be given. For example, even if it is visually a straight line blur, it is strictly non-linear, and there is an effect of a pixel deviating from the blur locus. Even in the case where it occurs, by applying the deterioration function according to the present invention, a better image restoration effect can be obtained as compared with the related art. Further, there is an effect that the calculation load is almost the same as the conventional one.

【００７３】尚、本発明は、複数の機器から構成される
システムに適用しても、１つの機器からなる装置に適用
してもよい。前述した実施形態の機能を実現するソフト
ウエアのプログラムコードを記憶した記憶媒体を、シス
テム或いは装置に供給し、そのシステム或いは装置のコ
ンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納
されたプログラムコードを読み出し実行することによっ
ても、達成されることは言うまでもない。The present invention may be applied to a system composed of a plurality of devices or an apparatus composed of one device. A storage medium storing software program codes for realizing the functions of the above-described embodiments is supplied to a system or an apparatus, and a computer (or CPU or MPU) of the system or the apparatus executes the program code stored in the storage medium. Needless to say, this can also be achieved by executing the reading.

【００７４】この場合、記憶媒体から読み出されたプロ
グラムコード自体が前述した実施形態の機能を実現する
ことになり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することになる。In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium storing the program code constitutes the present invention.

【００７５】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク、ハードディス
ク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭな
どを用いることができる。As a storage medium for supplying the program code, for example, a floppy disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD
-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.

【００７６】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳなどが実
際の処理の一部または全部を行い、その処理によって前
述した実施形態の機能が実現される場合も含まれること
は言うまでもない。When the computer executes the readout program code, not only the functions of the above-described embodiment are realized, but also the OS or the like running on the computer is actually executed based on the instructions of the program code. It goes without saying that a part or all of the above-described processing is performed, and the functions of the above-described embodiments are realized by the processing.

【００７７】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
ＣＰＵなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれることは言うまでもない。Further, after the program code read from the storage medium is written into a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, based on the instructions of the program code, It goes without saying that the CPU included in the function expansion board or the function expansion unit performs part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.

【００７８】[0078]

【発明の効果】以上説明したように、請求項１の発明に
よれば、撮影動作等により劣化したブレ画像を原画像に
近い画像に復元する画像復元装置であって、ブレ軌跡デ
ータに基づき生成した点ひろがり関数画像及びブレ画像
から画像復元アルゴリズムに従って復元画像を生成する
復元手段を有し、該復元手段は、ブレ軌跡上の画素周辺
の画素の輝度値も考慮して復元を行う。従って、従来と
比較して良好な画像復元効果を得ることが可能になると
いう効果がある。As described above, according to the first aspect of the present invention, there is provided an image restoring apparatus for restoring a blurred image degraded by a photographing operation or the like to an image close to the original image. A restoring unit that generates a restored image from the point spread function image and the blurred image according to the image restoration algorithm, and performs the restoration in consideration of the luminance values of the pixels around the pixels on the blur locus. Therefore, there is an effect that a better image restoration effect can be obtained as compared with the related art.

【００７９】請求項２の発明によれば、撮影動作等によ
り劣化したブレ画像を原画像に近い画像に復元する画像
復元装置であって、ブレ軌跡データに基づき生成した点
ひろがり関数画像及びブレ画像から画像復元アルゴリズ
ムに従って復元画像を生成する復元手段を有し、該復元
手段は、前記点ひろがり関数画像を生成する際に、ブレ
軌跡上の画素の輝度値として前記ブレ軌跡データから得
た値を使用し、ブレ軌跡に垂直方向の画素の輝度値とし
て前記ブレ軌跡データから関数に基づき演算した値を使
用する。従って、カメラ等の撮像装置によって撮影され
たブレ画像を復元する際に、現実の劣化モデルに近い劣
化関数を与えることが可能となる。例えば、視覚的には
直線ブレであっても厳密には非直線であるためブレ軌跡
からずれた画素の影響がある場合や、露光漏れ等の影響
からブレによる劣化に加えて周辺画素に対するボケが生
じている場合等でも、本発明による劣化関数を適用する
ことにより、従来と比較して良好な画像復元効果が得ら
れる。更には、本発明による劣化関数は、任意に指定し
た値またはブレ軌跡からの距離の関数として表されるた
め、演算負荷も従来と殆ど変わらないという効果があ
る。According to the second aspect of the present invention, there is provided an image restoring apparatus for restoring a blurred image degraded by a photographing operation or the like into an image close to the original image, comprising a point spread function image and a blurred image generated based on blurred locus data. From the blur locus data as a luminance value of a pixel on a blur locus when the point spread function image is generated. A value calculated based on a function from the blur locus data is used as a luminance value of a pixel in a direction perpendicular to the blur locus. Therefore, when restoring a blurred image captured by an imaging device such as a camera, it is possible to provide a deterioration function close to an actual deterioration model. For example, even if it is visually a straight line blur, it is strictly non-linear, and there is an effect of a pixel deviating from the blur locus. Even in the case where it occurs, by applying the deterioration function according to the present invention, a better image restoration effect can be obtained as compared with the related art. Furthermore, since the deterioration function according to the present invention is represented as a function of an arbitrarily designated value or a distance from a blur locus, the calculation load is almost the same as that of the related art.

【００８０】請求項３の発明によれば、前記復元手段
は、前記点ひろがり関数画像におけるブレ軌跡に垂直方
向の画素の輝度値としてブレ軌跡の線分からの距離のボ
ケ劣化特性を持つ関数に基づき演算した値を使用する。
従って、上記請求項２の発明と同様に、現実の劣化モデ
ルに近い劣化関数を与えることが可能となり、従来と比
較して良好な画像復元効果が得られる等の効果がある。According to the third aspect of the present invention, the restoring means determines the luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image based on a function having a blur deterioration characteristic of a distance from a line segment of the blur locus. Use the calculated value.
Therefore, similar to the invention of the second aspect, it is possible to provide a deterioration function close to an actual deterioration model, and it is possible to obtain a better image restoration effect as compared with the related art.

【００８１】請求項４の発明によれば、前記復元手段
は、前記点ひろがり関数画像におけるブレ軌跡に垂直方
向の画素の輝度値としてブレ軌跡の線分からの距離の絶
対値に関する負の一次関数に基づき演算した値を使用す
る。従って、上記請求項２の発明と同様に、現実の劣化
モデルに近い劣化関数を与えることが可能となり、従来
と比較して良好な画像復元効果が得られる等の効果があ
る。According to the fourth aspect of the present invention, the restoration means calculates a negative linear function relating to an absolute value of a distance from a line segment of the blur locus as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. Use the value calculated based on this. Therefore, similar to the invention of the second aspect, it is possible to provide a deterioration function close to an actual deterioration model, and it is possible to obtain a better image restoration effect as compared with the related art.

【００８２】請求項５の発明によれば、前記復元手段
は、前記点ひろがり関数画像におけるブレ軌跡に垂直方
向の画素の輝度値としてブレ軌跡上の画素と同じ値を使
用する。従って、上記請求項２の発明と同様に、従来と
比較して良好な画像復元効果が得られる等の効果があ
る。According to the invention of claim 5, the restoration means uses the same value as the pixel on the blur locus as the luminance value of a pixel in the direction perpendicular to the blur locus in the point spread function image. Accordingly, similar to the second aspect of the present invention, there is an effect that a better image restoring effect can be obtained as compared with the related art.

【００８３】請求項６の発明によれば、撮影動作等によ
り劣化したブレ画像を原画像に近い画像に復元する画像
復元装置であって、ブレ軌跡データに基づき生成した点
ひろがり関数画像及びブレ画像から画像復元アルゴリズ
ムに従って復元画像を生成する復元手段を有し、該復元
手段は、前記点ひろがり関数画像を生成する際に、ブレ
軌跡上の画素の輝度値として前記ブレ軌跡データから得
た値を使用し、ブレ軌跡に垂直方向の画素の輝度値とし
て前記ブレ軌跡データから関数に基づき演算した値を使
用し、ブレ軌跡の端点周辺の画素の輝度値として前記ブ
レ軌跡データから関数に基づき演算した値を使用する。
従って、カメラ等の撮像装置によって撮影されたブレ画
像を復元する際に、現実の劣化モデルに近い劣化関数を
与えることが可能となる。例えば、視覚的には直線ブレ
であっても厳密には非直線であるためブレ軌跡からずれ
た画素の影響がある場合や、露光漏れ等の影響からブレ
による劣化に加えて周辺画素に対するボケが生じている
場合等でも、本発明による劣化関数を適用することによ
り、従来と比較して良好な画像復元効果が得られる。更
には、本発明による劣化関数は、任意に指定した値また
はブレ軌跡からの距離の関数として表されるため、演算
負荷も従来と殆ど変わらないという効果がある。According to the sixth aspect of the present invention, there is provided an image restoring apparatus for restoring a blurred image degraded by a photographing operation or the like to an image close to the original image, comprising a point spread function image and a blurred image generated based on blurred locus data. From the blur locus data as a luminance value of a pixel on a blur locus when the point spread function image is generated. Using the value calculated based on the function from the blur locus data as the luminance value of the pixel in the vertical direction to the blur locus, calculated based on the function from the blur locus data as the luminance value of the pixel around the end point of the blur locus Use values.
Therefore, when restoring a blurred image captured by an imaging device such as a camera, it is possible to provide a deterioration function close to an actual deterioration model. For example, even if it is visually a straight line blur, it is strictly non-linear, and there is an effect of a pixel deviating from the blur locus. Even in the case where it occurs, by applying the deterioration function according to the present invention, a better image restoration effect can be obtained as compared with the related art. Furthermore, since the deterioration function according to the present invention is represented as a function of an arbitrarily designated value or a distance from a blur locus, the calculation load is almost the same as that of the related art.

【００８４】請求項７の発明によれば、前記復元手段
は、前記点ひろがり関数画像におけるブレ軌跡に垂直方
向の画素の輝度値としてブレ軌跡の線分からの距離のボ
ケ劣化特性を持つ関数に基づき演算した値を使用し、ブ
レ軌跡の端点周辺の画素の輝度値としてブレ軌跡の端点
からの距離のボケ劣化特性を持つ関数に基づき演算した
値を使用する。従って、上記請求項６の発明と同様に、
現実の劣化モデルに近い劣化関数を与えることが可能と
なり、従来と比較して良好な画像復元効果が得られる等
の効果がある。According to the seventh aspect of the present invention, the restoring means calculates a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image based on a function having a blur deterioration characteristic of a distance from a line segment of the blur locus. The calculated value is used, and a value calculated based on a function having a blur deterioration characteristic of a distance from the end point of the blur locus is used as a luminance value of a pixel around the end point of the blur locus. Therefore, similarly to the above-described claim 6,
It is possible to provide a deterioration function close to an actual deterioration model, and it is possible to obtain a better image restoration effect as compared with the related art.

【００８５】請求項８の発明によれば、前記復元手段
は、前記点ひろがり関数画像におけるブレ軌跡に垂直方
向の画素の輝度値としてブレ軌跡の線分からの距離の絶
対値に関する負の一次関数に基づき演算した値を使用
し、ブレ軌跡の端点周辺の画素の輝度値としてブレ軌跡
の端点からの距離の絶対値に関する負の一次関数に基づ
き演算した値を使用する。従って、上記請求項６の発明
と同様に、現実の劣化モデルに近い劣化関数を与えるこ
とが可能となり、従来と比較して良好な画像復元効果が
得られる等の効果がある。According to the eighth aspect of the present invention, the restoration means calculates a negative linear function related to an absolute value of a distance from a line segment of the blur locus as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. A value calculated based on a negative linear function related to an absolute value of a distance from an end point of the blur locus is used as a luminance value of a pixel around the end point of the blur locus using the value calculated based on the calculated value. Therefore, similarly to the invention of claim 6, it is possible to provide a deterioration function close to an actual deterioration model, and there is an effect that a better image restoration effect can be obtained as compared with the related art.

【００８６】請求項９の発明によれば、前記復元手段
は、前記点ひろがり関数画像におけるブレ軌跡に垂直方
向の画素の輝度値及びブレ軌跡の端点周辺の画素の輝度
値としてブレ軌跡上の画素と同じ値を使用する。従っ
て、上記請求項６の発明と同様に、従来と比較して良好
な画像復元効果が得られる等の効果がある。According to the ninth aspect of the present invention, the restoring means includes a pixel on the blur locus as a luminance value of a pixel in a direction perpendicular to the blur locus and a luminance value of a pixel around an end point of the blur locus in the point spread function image. Use the same value as. Therefore, similar to the above-described invention, there is an effect that a better image restoration effect can be obtained as compared with the related art.

【００８７】請求項１０の発明によれば、撮影動作等に
より劣化したブレ画像を原画像に近い画像に復元する画
像復元装置であって、ブレ軌跡データに基づき生成した
点ひろがり関数画像及びブレ画像から画像復元アルゴリ
ズムに従って復元画像を生成する復元手段を有し、該復
元手段は、前記点ひろがり関数画像を生成する際に、ブ
レ軌跡上の画素の輝度値として前記ブレ軌跡データから
得た値を使用し、ブレ軌跡周辺の画素の輝度値として任
意に指定した値を使用する。従って、カメラ等の撮像装
置によって撮影されたブレ画像を復元する際に、現実の
劣化モデルに近い劣化関数を与えることが可能となる。
例えば、視覚的には直線ブレであっても厳密には非直線
であるためブレ軌跡からずれた画素の影響がある場合
や、露光漏れ等の影響からブレによる劣化に加えて周辺
画素に対するボケが生じている場合等でも、本発明によ
る劣化関数を適用することにより、従来と比較して良好
な画像復元効果が得られる。更には、本発明による劣化
関数は、任意に指定した値またはブレ軌跡からの距離の
関数として表されるため、演算負荷も従来と殆ど変わら
ないという効果がある。According to the tenth aspect of the present invention, there is provided an image restoring apparatus for restoring a blurred image degraded by a photographing operation or the like to an image close to the original image, comprising a point spread function image and a blurred image generated based on blurred locus data. From the blur locus data as a luminance value of a pixel on a blur locus when the point spread function image is generated. A value arbitrarily specified is used as the luminance value of the pixel around the blur locus. Therefore, when restoring a blurred image captured by an imaging device such as a camera, it is possible to provide a deterioration function close to an actual deterioration model.
For example, even if it is visually a straight line blur, it is strictly non-linear, and there is an effect of a pixel deviating from the blur locus. Even in the case where it occurs, by applying the deterioration function according to the present invention, a better image restoration effect can be obtained as compared with the related art. Furthermore, since the deterioration function according to the present invention is represented as a function of an arbitrarily designated value or a distance from a blur locus, the calculation load is almost the same as that of the related art.

【００８８】請求項１１の発明によれば、前記復元手段
は、前記点ひろがり関数画像におけるブレ軌跡周辺の画
素の輝度値として、任意に指定したブレ軌跡周辺の有限
領域内の画素に対して任意に指定した値を使用する。従
って、上記請求項１０の発明と同様に、従来と比較して
良好な画像復元効果が得られる等の効果がある。According to the eleventh aspect of the present invention, the restoring means calculates a luminance value of a pixel around the blur locus in the point spread function image with respect to a pixel in a finite area around the arbitrary blur locus. Use the value specified in. Therefore, similar to the tenth aspect, there is an effect that a better image restoration effect can be obtained as compared with the related art.

【００８９】請求項１２の発明によれば、前記ブレ軌跡
データは、対象画像の撮影時に撮像装置から得る方法或
いは対象画像自体から演算により求める方法により取得
されたデータである。従って、予め取得してある前記ブ
レ軌跡データに基づき前記点ひろがり関数画像を生成す
る際、前記復元手段で上述した関数を使用することで、
上記と同様に、従来と比較して良好な画像復元効果が得
られる等の効果がある。According to the twelfth aspect of the present invention, the blur locus data is data obtained by a method of obtaining the target image from the imaging device or a method of obtaining the target image by calculation from the target image itself. Therefore, when generating the point spread function image based on the blur locus data obtained in advance, by using the function described above in the restoration means,
As described above, there is an effect that a better image restoration effect can be obtained as compared with the related art.

【００９０】請求項１３の発明によれば、撮像装置で撮
影された画像情報及び前記点ひろがり関数画像の生成に
必要なブレ情報を記憶する記憶手段を有する。従って、
該記憶手段に記憶された画像情報及びブレ情報に基づ
き、前記復元手段で上述した関数を使用して復元画像を
生成することで、上記と同様に、従来と比較して良好な
画像復元効果が得られる等の効果がある。According to the thirteenth aspect of the present invention, there is provided a storage means for storing image information photographed by the image pickup apparatus and blur information necessary for generating the point spread function image. Therefore,
Based on the image information and blur information stored in the storage unit, the restoration unit generates a restored image using the above-described function, thereby achieving a better image restoration effect as compared with the related art, as described above. There are effects such as being obtained.

【００９１】請求項１４の発明によれば、撮影動作等に
より劣化したブレ画像を原画像に近い画像に復元する画
像復元方法であって、ブレ軌跡データに基づき生成した
点ひろがり関数画像及びブレ画像から画像復元アルゴリ
ズムに従って復元画像を生成する復元ステップを有し、
該復元ステップでは、ブレ軌跡上の画素周辺の画素の輝
度値も考慮して復元を行う。従って、従来と比較して良
好な画像復元効果を得ることが可能になるという効果が
ある。According to the fourteenth aspect of the present invention, there is provided an image restoring method for restoring a blurred image degraded by a photographing operation or the like to an image close to the original image, comprising a point spread function image and a blurred image generated based on blurred locus data. A restoring step of generating a restored image according to an image restoration algorithm from
In the restoration step, restoration is performed in consideration of luminance values of pixels around pixels on the blur locus. Therefore, there is an effect that a better image restoration effect can be obtained as compared with the related art.

【００９２】請求項１５の発明によれば、撮影動作等に
より劣化したブレ画像を原画像に近い画像に復元する画
像復元方法であって、ブレ軌跡データに基づき生成した
点ひろがり関数画像及びブレ画像から画像復元アルゴリ
ズムに従って復元画像を生成する復元ステップを有し、
該復元ステップでは、前記点ひろがり関数画像を生成す
る際に、ブレ軌跡上の画素の輝度値として前記ブレ軌跡
データから得た値を使用し、ブレ軌跡に垂直方向の画素
の輝度値として前記ブレ軌跡データから関数に基づき演
算した値を使用する。従って、カメラ等の撮像装置によ
って撮影されたブレ画像を復元する際に、現実の劣化モ
デルに近い劣化関数を与えることが可能となる。例え
ば、視覚的には直線ブレであっても厳密には非直線であ
るためブレ軌跡からずれた画素の影響がある場合や、露
光漏れ等の影響からブレによる劣化に加えて周辺画素に
対するボケが生じている場合等でも、本発明による劣化
関数を適用することにより、従来と比較して良好な画像
復元効果が得られる。更には、本発明による劣化関数
は、任意に指定した値またはブレ軌跡からの距離の関数
として表されるため、演算負荷も従来と殆ど変わらない
という効果がある。According to the fifteenth aspect of the present invention, there is provided an image restoring method for restoring a blurred image degraded by a photographing operation or the like to an image close to the original image, comprising a point spread function image and a blurred image generated based on blurred locus data. A restoring step of generating a restored image according to an image restoration algorithm from
In the restoration step, when generating the point spread function image, a value obtained from the blur locus data is used as a luminance value of a pixel on a blur locus, and the blur value is used as a luminance value of a pixel in a direction perpendicular to the blur locus. Use the value calculated based on the function from the trajectory data. Therefore, when restoring a blurred image captured by an imaging device such as a camera, it is possible to provide a deterioration function close to an actual deterioration model. For example, even if it is visually a straight line blur, it is strictly non-linear, and there is an effect of a pixel deviating from the blur locus. Even in the case where it occurs, by applying the deterioration function according to the present invention, a better image restoration effect can be obtained as compared with the related art. Furthermore, since the deterioration function according to the present invention is represented as a function of an arbitrarily designated value or a distance from a blur locus, the calculation load is almost the same as that of the related art.

【００９３】請求項１６の発明によれば、前記復元ステ
ップでは、前記点ひろがり関数画像におけるブレ軌跡に
垂直方向の画素の輝度値としてブレ軌跡の線分からの距
離のボケ劣化特性を持つ関数に基づき演算した値を使用
する。従って、上記請求項１５の発明と同様に、現実の
劣化モデルに近い劣化関数を与えることが可能となり、
従来と比較して良好な画像復元効果が得られる等の効果
がある。According to a sixteenth aspect of the present invention, in the restoring step, based on a function having a blur deterioration characteristic of a distance from a line segment of the blur locus as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. Use the calculated value. Therefore, similarly to the invention of claim 15, it is possible to provide a deterioration function close to an actual deterioration model,
There is an effect that a better image restoration effect can be obtained as compared with the related art.

【００９４】請求項１７の発明によれば、前記復元ステ
ップでは、前記点ひろがり関数画像におけるブレ軌跡に
垂直方向の画素の輝度値としてブレ軌跡の線分からの距
離の絶対値に関する負の一次関数に基づき演算した値を
使用する。従って、上記請求項１５の発明と同様に、現
実の劣化モデルに近い劣化関数を与えることが可能とな
り、従来と比較して良好な画像復元効果が得られる等の
効果がある。According to a seventeenth aspect of the present invention, in the restoration step, a negative linear function relating to an absolute value of a distance from a line segment of the blur locus as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image is obtained. Use the value calculated based on this. Therefore, similarly to the invention of the fifteenth aspect, it is possible to provide a deterioration function close to an actual deterioration model, and it is possible to obtain a better image restoration effect as compared with the related art.

【００９５】請求項１８の発明によれば、前記復元ステ
ップでは、前記点ひろがり関数画像におけるブレ軌跡に
垂直方向の画素の輝度値としてブレ軌跡上の画素と同じ
値を使用する。従って、上記請求項１５の発明と同様
に、従来と比較して良好な画像復元効果が得られる等の
効果がある。According to the eighteenth aspect of the present invention, in the restoration step, the same value as a pixel on the blur locus is used as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. Accordingly, similar to the invention of the fifteenth aspect, there is an effect that a better image restoration effect can be obtained as compared with the related art.

【００９６】請求項１９の発明によれば、撮影動作等に
より劣化したブレ画像を原画像に近い画像に復元する画
像復元方法であって、ブレ軌跡データに基づき生成した
点ひろがり関数画像及びブレ画像から画像復元アルゴリ
ズムに従って復元画像を生成する復元ステップを有し、
該復元ステップでは、前記点ひろがり関数画像を生成す
る際に、ブレ軌跡上の画素の輝度値として前記ブレ軌跡
データから得た値を使用し、ブレ軌跡に垂直方向の画素
の輝度値として前記ブレ軌跡データから関数に基づき演
算した値を使用し、ブレ軌跡の端点周辺の画素の輝度値
として前記ブレ軌跡データから関数に基づき演算した値
を使用する。従って、カメラ等の撮像装置によって撮影
されたブレ画像を復元する際に、現実の劣化モデルに近
い劣化関数を与えることが可能となる。例えば、視覚的
には直線ブレであっても厳密には非直線であるためブレ
軌跡からずれた画素の影響がある場合や、露光漏れ等の
影響からブレによる劣化に加えて周辺画素に対するボケ
が生じている場合等でも、本発明による劣化関数を適用
することにより、従来と比較して良好な画像復元効果が
得られる。更には、本発明による劣化関数は、任意に指
定した値またはブレ軌跡からの距離の関数として表され
るため、演算負荷も従来と殆ど変わらないという効果が
ある。According to the nineteenth aspect of the present invention, there is provided an image restoring method for restoring a blurred image degraded by a photographing operation or the like to an image close to the original image, comprising a point spread function image and a blurred image generated based on blurred locus data. A restoring step of generating a restored image according to an image restoration algorithm from
In the restoration step, when generating the point spread function image, a value obtained from the blur locus data is used as a luminance value of a pixel on a blur locus, and the blur value is used as a luminance value of a pixel in a direction perpendicular to the blur locus. A value calculated based on the function from the locus data is used, and a value calculated based on the function from the blur locus data is used as a luminance value of a pixel around an end point of the blur locus. Therefore, when restoring a blurred image captured by an imaging device such as a camera, it is possible to provide a deterioration function close to an actual deterioration model. For example, even if it is visually a straight line blur, it is strictly non-linear, and there is an effect of a pixel deviating from the blur locus. Even in the case where it occurs, a good image restoration effect can be obtained by applying the deterioration function according to the present invention as compared with the related art. Furthermore, since the deterioration function according to the present invention is represented as a function of an arbitrarily designated value or a distance from a blur locus, the calculation load is almost the same as that of the related art.

【００９７】請求項２０の発明によれば、前記復元ステ
ップでは、前記点ひろがり関数画像におけるブレ軌跡に
垂直方向の画素の輝度値としてブレ軌跡の線分からの距
離のボケ劣化特性を持つ関数に基づき演算した値を使用
し、ブレ軌跡の端点周辺の画素の輝度値としてブレ軌跡
の端点からの距離のボケ劣化特性を持つ関数に基づき演
算した値を使用する。従って、上記請求項１９の発明と
同様に、現実の劣化モデルに近い劣化関数を与えること
が可能となり、従来と比較して良好な画像復元効果が得
られる等の効果がある。According to the twentieth aspect, in the restoration step, the brightness value of a pixel in a direction perpendicular to the blur locus in the point spread function image is based on a function having a blur deterioration characteristic of a distance from a line segment of the blur locus. The calculated value is used, and a value calculated based on a function having a blur deterioration characteristic of a distance from the end point of the blur locus is used as a luminance value of a pixel around the end point of the blur locus. Therefore, similarly to the invention of the nineteenth aspect, it is possible to provide a deterioration function close to an actual deterioration model, and it is possible to obtain a better image restoration effect as compared with the related art.

【００９８】請求項２１の発明によれば、前記復元ステ
ップでは、前記点ひろがり関数画像におけるブレ軌跡に
垂直方向の画素の輝度値としてブレ軌跡の線分からの距
離の絶対値に関する負の一次関数に基づき演算した値を
使用し、ブレ軌跡の端点周辺の画素の輝度値としてブレ
軌跡の端点からの距離の絶対値に関する負の一次関数に
基づき演算した値を使用する。従って、上記請求項１９
の発明と同様に、現実の劣化モデルに近い劣化関数を与
えることが可能となり、従来と比較して良好な画像復元
効果が得られる等の効果がある。According to the twenty-first aspect of the present invention, in the restoration step, a negative linear function relating to an absolute value of a distance from a line segment of the blur locus is used as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. A value calculated based on a negative linear function related to an absolute value of a distance from an end point of the blur locus is used as a luminance value of a pixel around the end point of the blur locus using the value calculated based on the calculated value. Therefore, the above claim 19
As in the case of the present invention, it is possible to provide a deterioration function close to the actual deterioration model, and it is possible to obtain a better image restoration effect as compared with the related art.

【００９９】請求項２２の発明によれば、前記復元ステ
ップでは、前記点ひろがり関数画像におけるブレ軌跡に
垂直方向の画素の輝度値及びブレ軌跡の端点周辺の画素
の輝度値としてブレ軌跡上の画素と同じ値を使用する。
従って、上記請求項１９の発明と同様に、従来と比較し
て良好な画像復元効果が得られる等の効果がある。According to a twenty-second aspect of the present invention, in the restoration step, the luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image and the brightness value of a pixel around an end point of the blur locus are represented by pixels on the blur locus Use the same value as.
Accordingly, similar to the nineteenth aspect, there is an effect that a better image restoration effect can be obtained as compared with the related art.

【０１００】請求項２３の発明によれば、撮影動作等に
より劣化したブレ画像を原画像に近い画像に復元する画
像復元方法であって、ブレ軌跡データに基づき生成した
点ひろがり関数画像及びブレ画像から画像復元アルゴリ
ズムに従って復元画像を生成する復元ステップを有し、
該復元ステップでは、前記点ひろがり関数画像を生成す
る際に、ブレ軌跡上の画素の輝度値として前記ブレ軌跡
データから得た値を使用し、ブレ軌跡周辺の画素の輝度
値として任意に指定した値を使用する。従って、カメラ
等の撮像装置によって撮影されたブレ画像を復元する際
に、現実の劣化モデルに近い劣化関数を与えることが可
能となる。例えば、視覚的には直線ブレであっても厳密
には非直線であるためブレ軌跡からずれた画素の影響が
ある場合や、露光漏れ等の影響からブレによる劣化に加
えて周辺画素に対するボケが生じている場合等でも、本
発明による劣化関数を適用することにより、従来と比較
して良好な画像復元効果が得られる。更には、本発明に
よる劣化関数は、任意に指定した値またはブレ軌跡から
の距離の関数として表されるため、演算負荷も従来と殆
ど変わらないという効果がある。According to the twenty-third aspect of the present invention, there is provided an image restoring method for restoring a blurred image degraded by a photographing operation or the like to an image close to the original image, comprising a point spread function image and a blurred image generated based on blurred locus data. A restoring step of generating a restored image according to an image restoration algorithm from
In the restoration step, when generating the point spread function image, a value obtained from the blur locus data is used as a luminance value of a pixel on the blur locus, and the luminance value of a pixel around the blur locus is arbitrarily specified. Use values. Therefore, when restoring a blurred image captured by an imaging device such as a camera, it is possible to provide a deterioration function close to an actual deterioration model. For example, even if it is visually a straight line blur, it is strictly non-linear, and there is an effect of a pixel deviating from the blur locus. Even in the case where it occurs, by applying the deterioration function according to the present invention, a better image restoration effect can be obtained as compared with the related art. Furthermore, since the deterioration function according to the present invention is represented as a function of an arbitrarily designated value or a distance from a blur locus, the calculation load is almost the same as that of the related art.

【０１０１】請求項２４の発明によれば、前記復元ステ
ップでは、前記点ひろがり関数画像におけるブレ軌跡周
辺の画素の輝度値として、任意に指定したブレ軌跡周辺
の有限領域内の画素に対して任意に指定した値を使用す
る。従って、上記請求項２３の発明と同様に、従来と比
較して良好な画像復元効果が得られる等の効果がある。According to a twenty-fourth aspect of the present invention, in the restoration step, the luminance value of the pixel around the blur locus in the point spread function image is set to an arbitrary value for a pixel in a finite area around the blur locus specified arbitrarily. Use the value specified in. Therefore, as in the case of the twenty-third aspect, there is an effect that a better image restoration effect can be obtained as compared with the related art.

【０１０２】請求項２５の発明によれば、前記ブレ軌跡
データは、対象画像の撮影時に撮像装置から得る方法或
いは対象画像自体から演算により求める方法により取得
されたデータである。従って、予め取得してある前記ブ
レ軌跡データに基づき前記点ひろがり関数画像を生成す
る際、前記復元ステップで上述した関数を使用すること
で、上記と同様に、従来と比較して良好な画像復元効果
が得られる等の効果がある。According to the twenty-fifth aspect, the blur locus data is data obtained by a method of obtaining the target image from the imaging device or a method of obtaining the target image by calculation from the target image itself. Therefore, when the point spread function image is generated based on the blur locus data obtained in advance, the above-described function is used in the restoration step, thereby achieving a better image restoration compared to the related art, as described above. There are effects such as obtaining effects.

【０１０３】請求項２６の発明によれば、撮像装置で撮
影された画像情報及び前記点ひろがり関数画像の生成に
必要なブレ情報を記憶する記憶ステップを有する。従っ
て、該記憶ステップで記憶された画像情報及びブレ情報
に基づき、前記復元ステップで上述した関数を使用して
復元画像を生成することで、上記と同様に、従来と比較
して良好な画像復元効果が得られる等の効果がある。According to the twenty-sixth aspect of the present invention, there is provided a storage step for storing image information photographed by the image pickup device and blur information necessary for generating the point spread function image. Therefore, by generating a restored image using the above-described function in the restoration step based on the image information and the blur information stored in the storage step, a better image restoration compared to the related art can be performed as described above. There are effects such as obtaining effects.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の第１乃至第３の実施の形態に係る画像
復元装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of an image restoration device according to first to third embodiments of the present invention.

【図２】本発明の第１の実施の形態に係るＰＳＦ画像の
一例を示す説明図である。FIG. 2 is an explanatory diagram illustrating an example of a PSF image according to the first embodiment of the present invention.

【図３】本発明の第１の実施の形態に係るＰＳＦ画像の
中心画素周辺部の輝度値を示す示す説明図である。FIG. 3 is an explanatory diagram illustrating luminance values around a central pixel of a PSF image according to the first embodiment of the present invention.

【図４】本発明の第２の実施の形態に係るブレ軌跡上の
画素の輝度値等を示す説明図であり、（ａ）は矩形波を
用いた場合の例を示す説明図、図４（ｂ）に三角波を用
いた場合の例を示す説明図である。4A and 4B are explanatory diagrams illustrating a luminance value and the like of a pixel on a blur locus according to a second embodiment of the present invention, and FIG. 4A is an explanatory diagram illustrating an example in which a rectangular wave is used; It is explanatory drawing which shows the example at the time of using a triangular wave in (b).

【図５】本発明の第１及び第２の実施の形態に係るブレ
軌跡の垂直な方向の画素やブレ軌跡の端点周辺等を示す
説明図である。FIG. 5 is an explanatory diagram showing pixels in a vertical direction of a blur locus, the vicinity of an end point of the blur locus, and the like according to the first and second embodiments of the present invention.

【図６】従来例に係るＰＳＦ画像を示す説明図である。FIG. 6 is an explanatory diagram showing a PSF image according to a conventional example.

【符号の説明】 １０１、１０４ メモリ １０２ ＰＳＦ計算ブロック １０３ 計算ブロック １０５ モニタ １０６ 画像ファイル[Description of Signs] 101, 104 Memory 102 PSF Calculation Block 103 Calculation Block 105 Monitor 106 Image File

Claims (26)

【特許請求の範囲】[Claims] 【請求項１】 撮影動作等により劣化したブレ画像を原
画像に近い画像に復元する画像復元装置であって、 ブレ軌跡データに基づき生成した点ひろがり関数画像及
びブレ画像から画像復元アルゴリズムに従って復元画像
を生成する復元手段を有し、該復元手段は、ブレ軌跡上
の画素周辺の画素の輝度値も考慮して復元を行うことを
特徴とする画像復元装置。An image restoration apparatus for restoring a blurred image degraded by a photographing operation or the like to an image close to an original image, comprising: a point spread function image generated based on blurred locus data; An image restoration apparatus, characterized in that the restoration means performs restoration in consideration of luminance values of pixels around pixels on the blur locus. 【請求項２】 撮影動作等により劣化したブレ画像を原
画像に近い画像に復元する画像復元装置であって、 ブレ軌跡データに基づき生成した点ひろがり関数画像及
びブレ画像から画像復元アルゴリズムに従って復元画像
を生成する復元手段を有し、該復元手段は、前記点ひろ
がり関数画像を生成する際に、ブレ軌跡上の画素の輝度
値として前記ブレ軌跡データから得た値を使用し、ブレ
軌跡に垂直方向の画素の輝度値として前記ブレ軌跡デー
タから関数に基づき演算した値を使用することを特徴と
する画像復元装置。2. An image restoration apparatus for restoring a blurred image degraded by a photographing operation or the like to an image close to an original image, wherein the restored image is obtained from a point spread function image generated based on blurred locus data and a blurred image according to an image restoration algorithm. And generating a point spread function image, using a value obtained from the blur locus data as a luminance value of a pixel on the blur locus, and generating a point spread function image. An image restoration apparatus, wherein a value calculated based on a function from the blur locus data is used as a luminance value of a pixel in a direction. 【請求項３】 前記復元手段は、前記点ひろがり関数画
像におけるブレ軌跡に垂直方向の画素の輝度値としてブ
レ軌跡の線分からの距離のボケ劣化特性を持つ関数に基
づき演算した値を使用することを特徴とする請求項２記
載の画像復元装置。3. The method according to claim 2, wherein the restoration unit uses a value calculated based on a function having a blur deterioration characteristic of a distance from a line segment of the blur locus as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. 3. The image restoration apparatus according to claim 2, wherein: 【請求項４】 前記復元手段は、前記点ひろがり関数画
像におけるブレ軌跡に垂直方向の画素の輝度値としてブ
レ軌跡の線分からの距離の絶対値に関する負の一次関数
に基づき演算した値を使用することを特徴とする請求項
２記載の画像復元装置。4. The restoration means uses a value calculated based on a negative linear function relating to an absolute value of a distance from a line segment of the blur locus as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. 3. The image restoration device according to claim 2, wherein: 【請求項５】 前記復元手段は、前記点ひろがり関数画
像におけるブレ軌跡に垂直方向の画素の輝度値としてブ
レ軌跡上の画素と同じ値を使用することを特徴とする請
求項２記載の画像復元装置。5. The image restoration according to claim 2, wherein said restoration means uses the same value as a pixel on the blur locus as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. apparatus. 【請求項６】 撮影動作等により劣化したブレ画像を原
画像に近い画像に復元する画像復元装置であって、 ブレ軌跡データに基づき生成した点ひろがり関数画像及
びブレ画像から画像復元アルゴリズムに従って復元画像
を生成する復元手段を有し、該復元手段は、前記点ひろ
がり関数画像を生成する際に、ブレ軌跡上の画素の輝度
値として前記ブレ軌跡データから得た値を使用し、ブレ
軌跡に垂直方向の画素の輝度値として前記ブレ軌跡デー
タから関数に基づき演算した値を使用し、ブレ軌跡の端
点周辺の画素の輝度値として前記ブレ軌跡データから関
数に基づき演算した値を使用することを特徴とする画像
復元装置。6. An image restoration apparatus for restoring a blurred image degraded by a photographing operation or the like into an image close to an original image, wherein the restored image is obtained from a point spread function image generated based on blurred locus data and a blurred image according to an image restoration algorithm. And generating a point spread function image, using a value obtained from the blur locus data as a luminance value of a pixel on the blur locus, and generating a point spread function image. A value calculated based on the function from the blur locus data is used as a luminance value of a pixel in a direction, and a value calculated based on the function from the blur locus data is used as a luminance value of a pixel around an end point of the blur locus. Image restoration device. 【請求項７】 前記復元手段は、前記点ひろがり関数画
像におけるブレ軌跡に垂直方向の画素の輝度値としてブ
レ軌跡の線分からの距離のボケ劣化特性を持つ関数に基
づき演算した値を使用し、ブレ軌跡の端点周辺の画素の
輝度値としてブレ軌跡の端点からの距離のボケ劣化特性
を持つ関数に基づき演算した値を使用することを特徴と
する請求項６記載の画像復元装置。7. The restoration means uses a value calculated based on a function having a blur deterioration characteristic of a distance from a line segment of the blur locus as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image, 7. The image restoration apparatus according to claim 6, wherein a value calculated based on a function having a blur deterioration characteristic of a distance from the end point of the blur locus is used as a luminance value of a pixel around the end point of the blur locus. 【請求項８】 前記復元手段は、前記点ひろがり関数画
像におけるブレ軌跡に垂直方向の画素の輝度値としてブ
レ軌跡の線分からの距離の絶対値に関する負の一次関数
に基づき演算した値を使用し、ブレ軌跡の端点周辺の画
素の輝度値としてブレ軌跡の端点からの距離の絶対値に
関する負の一次関数に基づき演算した値を使用すること
を特徴とする請求項６記載の画像復元装置。8. The restoration means uses a value calculated based on a negative linear function related to an absolute value of a distance from a line segment of the blur locus as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. 7. The image restoration apparatus according to claim 6, wherein a value calculated based on a negative linear function related to an absolute value of a distance from the end point of the blur locus is used as a luminance value of a pixel around the end point of the blur locus. 【請求項９】 前記復元手段は、前記点ひろがり関数画
像におけるブレ軌跡に垂直方向の画素の輝度値及びブレ
軌跡の端点周辺の画素の輝度値としてブレ軌跡上の画素
と同じ値を使用することを特徴とする請求項６記載の画
像復元装置。9. The restoration means uses the same value as a pixel on the blur locus as a luminance value of a pixel in a direction perpendicular to the blur locus and a luminance value of a pixel around an end point of the blur locus in the point spread function image. The image restoration apparatus according to claim 6, wherein: 【請求項１０】 撮影動作等により劣化したブレ画像を
原画像に近い画像に復元する画像復元装置であって、 ブレ軌跡データに基づき生成した点ひろがり関数画像及
びブレ画像から画像復元アルゴリズムに従って復元画像
を生成する復元手段を有し、該復元手段は、前記点ひろ
がり関数画像を生成する際に、ブレ軌跡上の画素の輝度
値として前記ブレ軌跡データから得た値を使用し、ブレ
軌跡周辺の画素の輝度値として任意に指定した値を使用
することを特徴とする画像復元装置。10. An image restoration apparatus for restoring a blurred image degraded by a photographing operation or the like to an image close to an original image, wherein the restored image is obtained from a point spread function image generated based on blurred locus data and a blurred image according to an image restoration algorithm. And generating the point spread function image, using the value obtained from the blur locus data as a luminance value of a pixel on the blur locus, and generating the point spread function image. An image restoration apparatus characterized by using an arbitrarily designated value as a luminance value of a pixel. 【請求項１１】 前記復元手段は、前記点ひろがり関数
画像におけるブレ軌跡周辺の画素の輝度値として、任意
に指定したブレ軌跡周辺の有限領域内の画素に対して任
意に指定した値を使用することを特徴とする請求項１０
記載の画像復元装置。11. The restoration means uses an arbitrarily designated value for a pixel in a finite area around an arbitrarily designated blur locus as a luminance value of a pixel around the blur locus in the point spread function image. 11. The method according to claim 10, wherein
An image restoration device as described in the above. 【請求項１２】 前記ブレ軌跡データは、対象画像の撮
影時に撮像装置から得る方法或いは対象画像自体から演
算により求める方法により取得されたデータであること
を特徴とする請求項１乃至１１の何れかに記載の画像復
元装置。12. The blur locus data according to claim 1, wherein the blur locus data is data obtained by a method of obtaining the target image from an imaging device or a method of obtaining the target image by calculation from the target image itself. An image restoration device according to claim 1. 【請求項１３】 撮像装置で撮影された画像情報及び前
記点ひろがり関数画像の生成に必要なブレ情報を記憶す
る記憶手段を有することを特徴とする請求項１乃至１２
の何れかに記載の画像復元装置。13. The image processing apparatus according to claim 1, further comprising a storage unit configured to store image information captured by an image capturing apparatus and blur information necessary for generating the dot spread function image.
The image restoration device according to any one of the above. 【請求項１４】 撮影動作等により劣化したブレ画像を
原画像に近い画像に復元する画像復元方法であって、 ブレ軌跡データに基づき生成した点ひろがり関数画像及
びブレ画像から画像復元アルゴリズムに従って復元画像
を生成する復元ステップを有し、該復元ステップでは、
ブレ軌跡上の画素周辺の画素の輝度値も考慮して復元を
行うことを特徴とする画像復元方法。14. An image restoration method for restoring a blurred image degraded by a shooting operation or the like to an image close to an original image, wherein the restored image is obtained from a point spread function image generated based on blurred locus data and a blurred image according to an image restoration algorithm. And a restoring step of generating
An image restoration method, wherein restoration is performed in consideration of luminance values of pixels around pixels on a blur locus. 【請求項１５】 撮影動作等により劣化したブレ画像を
原画像に近い画像に復元する画像復元方法であって、 ブレ軌跡データに基づき生成した点ひろがり関数画像及
びブレ画像から画像復元アルゴリズムに従って復元画像
を生成する復元ステップを有し、該復元ステップでは、
前記点ひろがり関数画像を生成する際に、ブレ軌跡上の
画素の輝度値として前記ブレ軌跡データから得た値を使
用し、ブレ軌跡に垂直方向の画素の輝度値として前記ブ
レ軌跡データから関数に基づき演算した値を使用するこ
とを特徴とする画像復元方法。15. An image restoration method for restoring a blurred image degraded by a photographing operation or the like to an image close to an original image, wherein a restored image is obtained from a point spread function image generated based on blurred locus data and a blurred image according to an image restoration algorithm. And a restoring step of generating
When generating the point spread function image, a value obtained from the blur locus data is used as a luminance value of a pixel on the blur locus, and a luminance value of a pixel in a direction perpendicular to the blur locus is used as a function from the blur locus data. An image restoration method characterized by using a value calculated based on the image. 【請求項１６】 前記復元ステップでは、前記点ひろが
り関数画像におけるブレ軌跡に垂直方向の画素の輝度値
としてブレ軌跡の線分からの距離のボケ劣化特性を持つ
関数に基づき演算した値を使用することを特徴とする請
求項１５記載の画像復元方法。16. In the restoration step, a value calculated based on a function having a blur deterioration characteristic of a distance from a line segment of the blur locus is used as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. 16. The image restoration method according to claim 15, wherein: 【請求項１７】 前記復元ステップでは、前記点ひろが
り関数画像におけるブレ軌跡に垂直方向の画素の輝度値
としてブレ軌跡の線分からの距離の絶対値に関する負の
一次関数に基づき演算した値を使用することを特徴とす
る請求項１５記載の画像復元方法。17. In the restoration step, a value calculated based on a negative linear function related to an absolute value of a distance from a line segment of the blur locus is used as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. 16. The image restoration method according to claim 15, wherein: 【請求項１８】 前記復元ステップでは、前記点ひろが
り関数画像におけるブレ軌跡に垂直方向の画素の輝度値
としてブレ軌跡上の画素と同じ値を使用することを特徴
とする請求項１５記載の画像復元方法。18. The image restoration according to claim 15, wherein in the restoration step, the same value as a pixel on the blur locus is used as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. Method. 【請求項１９】 撮影動作等により劣化したブレ画像を
原画像に近い画像に復元する画像復元方法であって、 ブレ軌跡データに基づき生成した点ひろがり関数画像及
びブレ画像から画像復元アルゴリズムに従って復元画像
を生成する復元ステップを有し、該復元ステップでは、
前記点ひろがり関数画像を生成する際に、ブレ軌跡上の
画素の輝度値として前記ブレ軌跡データから得た値を使
用し、ブレ軌跡に垂直方向の画素の輝度値として前記ブ
レ軌跡データから関数に基づき演算した値を使用し、ブ
レ軌跡の端点周辺の画素の輝度値として前記ブレ軌跡デ
ータから関数に基づき演算した値を使用することを特徴
とする画像復元方法。19. An image restoration method for restoring a blurred image degraded by a shooting operation or the like to an image close to an original image, wherein the restored image is obtained from a point spread function image generated based on blurred locus data and a blurred image according to an image restoration algorithm. And a restoring step of generating
When generating the point spread function image, a value obtained from the blur locus data is used as a luminance value of a pixel on the blur locus, and a luminance value of a pixel in a direction perpendicular to the blur locus is used as a function from the blur locus data. An image restoration method using a value calculated based on a function from the blur locus data as a luminance value of a pixel around an end point of the blur locus using a value calculated based on the blur locus. 【請求項２０】 前記復元ステップでは、前記点ひろが
り関数画像におけるブレ軌跡に垂直方向の画素の輝度値
としてブレ軌跡の線分からの距離のボケ劣化特性を持つ
関数に基づき演算した値を使用し、ブレ軌跡の端点周辺
の画素の輝度値としてブレ軌跡の端点からの距離のボケ
劣化特性を持つ関数に基づき演算した値を使用すること
を特徴とする請求項１９記載の画像復元方法。20. In the restoration step, a value calculated based on a function having a blur deterioration characteristic of a distance from a line segment of the blur locus is used as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image, 20. The image restoration method according to claim 19, wherein a value calculated based on a function having a blur deterioration characteristic of a distance from the end point of the blur locus is used as a luminance value of a pixel around the end point of the blur locus. 【請求項２１】 前記復元ステップでは、前記点ひろが
り関数画像におけるブレ軌跡に垂直方向の画素の輝度値
としてブレ軌跡の線分からの距離の絶対値に関する負の
一次関数に基づき演算した値を使用し、ブレ軌跡の端点
周辺の画素の輝度値としてブレ軌跡の端点からの距離の
絶対値に関する負の一次関数に基づき演算した値を使用
することを特徴とする請求項１９記載の画像復元方法。21. In the restoration step, a value calculated based on a negative linear function related to an absolute value of a distance from a line segment of the blur locus is used as a luminance value of a pixel in a direction perpendicular to the blur locus in the point spread function image. 20. The image restoration method according to claim 19, wherein a value calculated based on a negative linear function related to an absolute value of a distance from the end point of the blur locus is used as a luminance value of a pixel around the end point of the blur locus. 【請求項２２】 前記復元ステップでは、前記点ひろが
り関数画像におけるブレ軌跡に垂直方向の画素の輝度値
及びブレ軌跡の端点周辺の画素の輝度値としてブレ軌跡
上の画素と同じ値を使用することを特徴とする請求項１
９記載の画像復元方法。22. In the restoration step, the same value as a pixel on the blur locus is used as a luminance value of a pixel in a direction perpendicular to the blur locus and a luminance value of a pixel around an end point of the blur locus in the point spread function image. Claim 1 characterized by the following:
9. The image restoration method according to item 9. 【請求項２３】 撮影動作等により劣化したブレ画像を
原画像に近い画像に復元する画像復元方法であって、 ブレ軌跡データに基づき生成した点ひろがり関数画像及
びブレ画像から画像復元アルゴリズムに従って復元画像
を生成する復元ステップを有し、該復元ステップでは、
前記点ひろがり関数画像を生成する際に、ブレ軌跡上の
画素の輝度値として前記ブレ軌跡データから得た値を使
用し、ブレ軌跡周辺の画素の輝度値として任意に指定し
た値を使用することを特徴とする画像復元方法。23. An image restoration method for restoring a blurred image degraded by a photographing operation or the like to an image close to an original image, wherein the restored image is obtained from a point spread function image generated based on blurred locus data and a blurred image according to an image restoration algorithm. And a restoring step of generating
When generating the point spread function image, a value obtained from the blur locus data is used as a luminance value of a pixel on the blur locus, and a value arbitrarily specified as a luminance value of a pixel around the blur locus is used. An image restoration method characterized by the following. 【請求項２４】 前記復元ステップでは、前記点ひろが
り関数画像におけるブレ軌跡周辺の画素の輝度値とし
て、任意に指定したブレ軌跡周辺の有限領域内の画素に
対して任意に指定した値を使用することを特徴とする請
求項２３記載の画像復元方法。24. In the restoration step, an arbitrarily designated value is used for a pixel in a finite area around an arbitrarily designated blur locus as a luminance value of a pixel around the blur locus in the point spread function image. The image restoration method according to claim 23, wherein: 【請求項２５】 前記ブレ軌跡データは、対象画像の撮
影時に撮像装置から得る方法或いは対象画像自体から演
算により求める方法により取得されたデータであること
を特徴とする請求項１４乃至２４の何れかに記載の画像
復元方法。25. The blur trajectory data according to claim 14, wherein the blur locus data is data obtained by a method obtained from an imaging device at the time of capturing the target image or a method obtained by calculation from the target image itself. The image restoration method described in 1. 【請求項２６】 撮像装置で撮影された画像情報及び前
記点ひろがり関数画像の生成に必要なブレ情報を記憶す
る記憶ステップを有することを特徴とする請求項１４乃
至２５の何れかに記載の画像復元方法。26. The image according to claim 14, further comprising a storage step of storing image information captured by an image capturing apparatus and blur information necessary for generating the point spread function image. How to restore.