JP2005252760A - Blurring correction camera system, blurring correction camera, image restoration device and blurring correction program - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide a blurring correction camera system, a blurring correction camera, an image restoration device and a blurring correction program by which it is unnecessary to hold a large amount of data even if an image restortion can be performed at all times regardless of whether an optical blurring correction operation is performed or not and the image restortion optimum to all photographing conditions can be performed. <P>SOLUTION: When a VRSW 130 is switched to a side for performing optical blurring correction, a reference value is stored, and when the VRSW 130 is switched to a side for performing no optical blurring correction, a vibration detection detection signal is stored, and a point image function is operated on the basis of these reference values and the vibration detection signal. In addition, processing contents of image restoration are changed in accordance with a state of the VRSW 130. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、手振れ等による振動を検出し、像のブレを補正するブレ補正カメラに関し、特に、光学的なブレ補正の他に、画像回復に対応したブレ補正カメラシステム、ブレ補正カメラ、画像回復装置、及び、ブレ補正プログラムに関するものである。   The present invention relates to a shake correction camera that detects vibration caused by camera shake or the like and corrects a shake of an image. In particular, in addition to optical shake correction, a shake correction camera system, a shake correction camera, and an image recovery corresponding to image recovery. The present invention relates to an apparatus and a shake correction program.

（従来の技術１：光学的なブレ補正装置）
図８は、振れ検出装置を含んだ光学的なブレ補正装置の基本的な構成を示すブロック図である。この図を用いて光学的なブレ補正装置のメカニズムを説明する。
まず、カメラに加えられた振れを角速度センサ１０により検出する。角速度センサ１０は、通常コリオリ力を検出する圧電振動式角速度センサを用いる。角速度センサ１０の出力は、基準値演算部５２へ送信される。
基準値演算部５２は、角速度センサ１０の出力より振れの基準値を演算する。 (Prior art 1: Optical image stabilizer)
FIG. 8 is a block diagram showing a basic configuration of an optical shake correction apparatus including a shake detection apparatus. The mechanism of the optical blur correction apparatus will be described with reference to FIG.
First, the shake applied to the camera is detected by the angular velocity sensor 10. As the angular velocity sensor 10, a piezoelectric vibration type angular velocity sensor that normally detects Coriolis force is used. The output of the angular velocity sensor 10 is transmitted to the reference value calculation unit 52.
The reference value calculation unit 52 calculates a shake reference value from the output of the angular velocity sensor 10.

その後、角速度センサ１０からの振れ信号から基準値を減算し、積分部５４へ送信する。
積分部５４は、角速度の単位で表されている振れ信号を時間積分し、カメラの振れ角度に変換する。
目標駆動位置演算部５６は、積分部５４から送られてきた振れ角度情報にレンズの焦点距離などの情報を加味し、ブレ補正レンズ８０を駆動するための目標駆動位置情報を演算する。 Thereafter, the reference value is subtracted from the shake signal from the angular velocity sensor 10 and transmitted to the integrating unit 54.
The integration unit 54 time-integrates the shake signal expressed in the unit of angular velocity and converts it into a camera shake angle.
The target drive position calculation unit 56 calculates target drive position information for driving the shake correction lens 80 by adding information such as the focal length of the lens to the shake angle information sent from the integration unit 54.

この目標駆動位置情報に応じてブレ補正レンズ８０を動かすために、駆動信号演算部５８は、目標駆動位置情報とブレ補正レンズ８０の位置情報との差をとり、コイル７３へ駆動電流を流す。   In order to move the shake correction lens 80 according to the target drive position information, the drive signal calculation unit 58 takes the difference between the target drive position information and the position information of the shake correction lens 80 and passes a drive current to the coil 73.

ブレ補正レンズ８０を動かすためのアクチュエータは、ヨーク７１、マグネット７２、コイル７３から構成されている。
コイル７３は、ヨーク７１とマグネット７２により形成される磁気回路内に置かれており、コイル７３に電流を流すと、フレミングの左手の法則により、アクチュエータに力が発生する。また、コイル７３は、図８に示すように、ブレ補正レンズ８０を収めている鏡筒８２に取り付けられている。
ブレ補正レンズ８０、及び、鏡筒８２は、光軸Ｉに垂直な方向に動くことができるような構造となっているため、コイルに電流を流すことによりブレ補正レンズ８０を光軸Ｉに直交する方向に駆動させることが可能となる。 The actuator for moving the shake correction lens 80 is composed of a yoke 71, a magnet 72, and a coil 73.
The coil 73 is placed in a magnetic circuit formed by the yoke 71 and the magnet 72. When a current is passed through the coil 73, a force is generated in the actuator according to Fleming's left-hand rule. In addition, the coil 73 is attached to a lens barrel 82 that houses a shake correction lens 80 as shown in FIG.
Since the blur correction lens 80 and the lens barrel 82 have a structure that can move in a direction perpendicular to the optical axis I, the blur correction lens 80 is orthogonal to the optical axis I by passing a current through the coil. It is possible to drive in the direction.

ブレ補正レンズ８０の動きは、赤外線発光ダイオード（以下、ＩＲＥＤ）７４、スリット板７５、スリット７６、ＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｖｉｃｅ）７７により構成される光学的位置検出装置によりモニタしている。
ＩＲＥＤ７４が発光した光は、まずスリット７６を通過することにより、光線の幅を絞られ、ＰＳＤ７７へ到達する。ＰＳＤ７７は、その受光面上の光の位置に応じた信号を出力する素子である。 The movement of the blur correction lens 80 is monitored by an optical position detection device including an infrared light emitting diode (hereinafter referred to as IRED) 74, a slit plate 75, a slit 76, and a PSD (Position Sensitive Device) 77.
The light emitted from the IRED 74 first passes through the slit 76, thereby reducing the width of the light beam and reaching the PSD 77. The PSD 77 is an element that outputs a signal corresponding to the position of light on the light receiving surface.

図８に示すとおり、スリット板７５は、鏡筒８２に取り付けられているため、ブレ補正レンズ８０の動きがスリット７６の動きとなり、ＰＳＤ７７の受光面上の光の動きとなる。従って、ＰＳＤ７７の受光面上の光の位置がブレ補正レンズ８０の位置と等価となる。ＰＳＤ７７により検出された信号は、位置信号７８としてフィードバックされる。
このような光学的なブレ補正装置は、主にカメラなどの撮影装置や双眼鏡などの光学装置に内蔵され、これらの装置が手持ちで使用されているときの使用者の手振れによる像ブレを補正するのに有効である。 As shown in FIG. 8, since the slit plate 75 is attached to the lens barrel 82, the movement of the blur correction lens 80 becomes the movement of the slit 76, and the movement of the light on the light receiving surface of the PSD 77. Therefore, the position of the light on the light receiving surface of the PSD 77 is equivalent to the position of the blur correction lens 80. The signal detected by the PSD 77 is fed back as a position signal 78.
Such an optical blur correction device is mainly incorporated in an imaging device such as a camera or an optical device such as binoculars, and corrects image blur due to a user's camera shake when these devices are used by hand. It is effective.

（従来の技術２：画像回復）
光学的なブレ補正装置の他に像ブレを補正する方法として、画像回復という方法がある。これは、ブレの情報を利用してブレを含む画像を修復して元の画像を得る手法である。以下、その原理について説明する。
今、（ｘ，ｙ）を画面上の位置座標とし、ブレのない時の画像（以下、元画像）をｏ（ｘ，ｙ）、ブレによって劣化した画像（以下、ブレ画像）をｚ（ｘ，ｙ）、ブレによって広がった点像の情報（以下、点像関数）をｐ（ｘ，ｙ）とすると、この３つは、次の関係を満たす。 (Prior art 2: Image recovery)
In addition to the optical blur correction device, there is a method called image restoration as a method for correcting image blur. This is a method of obtaining an original image by repairing an image including blur using blur information. Hereinafter, the principle will be described.
Now, let (x, y) be the position coordinates on the screen, an image without blurring (hereinafter referred to as an original image) is o (x, y), and an image degraded by blurring (hereinafter referred to as a blurred image) is z (x , Y), and point information (hereinafter referred to as point spread function) spread by blurring is p (x, y), these three satisfy the following relationship.

ここで、＊は、コンボリューション（畳み込み積分）演算を表すもので、具体的には、以下の式で表される。   Here, * represents a convolution (convolution integration) operation, and is specifically represented by the following equation.

図９は、数１，２を模式的に表した図である。
これをフーリエ変換して空間周波数（ｕ，ｖ）領域にすると、数１，２は、以下の式のようになる。 FIG. 9 is a diagram schematically showing Equations 1 and 2.
When this is Fourier-transformed into the spatial frequency (u, v) region, Equations 1 and 2 become the following equations.

ここで、Ｚ（ｕ，ｖ）、Ｏ（ｕ，ｖ）、Ｐ（ｕ，ｖ）は、それぞれｚ（ｘ，ｙ）、ｏ（ｘ，ｙ）、ｐ（ｘ，ｙ）のスペクトルである。また、数３において、Ｐ（ｕ，ｖ）は、特に空間周波数伝達関数と呼ばれている。
ここで、ブレ画像ｚ（ｘ，ｙ）に加えて、何らかの方法により点像関数ｐ（ｘ，ｙ）を知ることができれば、それぞれのスペクトルを算出し、数３を変形した以下の数４を利用することで、元画像のスペクトルＯ（ｕ，ｖ）を算出することができる。 Here, Z (u, v), O (u, v), and P (u, v) are the spectra of z (x, y), o (x, y), and p (x, y), respectively. . In Equation 3, P (u, v) is particularly called a spatial frequency transfer function.
Here, in addition to the blurred image z (x, y), if the point spread function p (x, y) can be known by some method, each spectrum is calculated, and the following equation 4 obtained by transforming equation 3 is obtained. By using this, the spectrum O (u, v) of the original image can be calculated.

数４において、１／Ｐ（ｕ，ｖ）は、特に逆フィルタと呼ばれている。数４により算出したスペクトルを逆フーリエ変換すれば、元画像ｏ（ｘ，ｙ）を求めることができる。   In Equation 4, 1 / P (u, v) is particularly called an inverse filter. If the spectrum calculated by Equation 4 is subjected to inverse Fourier transform, the original image o (x, y) can be obtained.

この原理を利用して、振れ検出センサの出力から点像関数ｐ（ｘ，ｙ）を求め、ブレ画像を回復させる技術がこれまでに公知となっている。例えば、特許文献１〜特許文献３には、磁気テープに格納したブレ情報から画像回復を行う方法が記載されている。また、特許文献４には、ブレ情報の他、シャッタの開閉に伴う開口の変化をも考慮した方法が記載されている。   A technique for recovering a blurred image by obtaining a point spread function p (x, y) from an output of a shake detection sensor using this principle has been known so far. For example, Patent Documents 1 to 3 describe a method of performing image recovery from blur information stored on a magnetic tape. Further, Patent Document 4 describes a method that takes into account the change in the opening accompanying the opening and closing of the shutter in addition to the blur information.

しかし、上述した従来の光学的なブレ補正装置及び画像回復には、以下に示す問題があった。
（光学的なブレ補正装置の問題）
前述のように、光学的なブレ補正装置は、ブレ補正レンズをアクチュエータで駆動する方式となっている。従って、アクチュエータにも電源を供給しなければならない。近年、デジタルカメラが急速に普及してきている。デジタルカメラは、その場で画像を確認できるという大きなメリットがある一方で、従来の銀塩カメラよりも電力の消費量が大きいという問題がある。そのため、光学的なブレ補正装置にまで電力を供給するのはなかなか難しい。また、デジタルカメラは、小型化が進んでおり、十分な容量を持つ大きいバッテリーを搭載することも難しい。このように、光学的なブレ補正装置は、電力供給の観点からすると、特にデジタルカメラに搭載するには困難な点が多く、電力不足により光学的なブレ補正動作を行うことができない場合が多いという問題があった。 However, the conventional optical blur correction apparatus and image restoration described above have the following problems.
(Problems with optical image stabilizer)
As described above, the optical shake correction apparatus is a system in which the shake correction lens is driven by the actuator. Therefore, power must be supplied to the actuator. In recent years, digital cameras have become widespread. While digital cameras have the great advantage of being able to check images on the spot, there is a problem that power consumption is greater than conventional silver halide cameras. For this reason, it is difficult to supply power to the optical blur correction device. Digital cameras are also becoming smaller and it is difficult to mount large batteries with sufficient capacity. As described above, from the viewpoint of power supply, the optical blur correction device has many points that are particularly difficult to be mounted on a digital camera, and in many cases, the optical blur correction operation cannot be performed due to power shortage. There was a problem.

また、角速度センサで検出した角速度を角度に変換するには、積分演算をする必要があるが、積分の際には、定数が必要になる。この定数は、角速度センサ静止時の出力を使用することが一般的であり、かつ正確に角度に変換するには、この静止時の出力を正確に知る必要がある。   Further, in order to convert the angular velocity detected by the angular velocity sensor into an angle, it is necessary to perform an integral operation, but a constant is required for the integration. As for this constant, it is common to use the output when the angular velocity sensor is stationary, and in order to accurately convert it into an angle, it is necessary to accurately know the output when the angular velocity sensor is stationary.

しかし、センサ静止時の出力値は、温度などの使用条件によって変わる（ドリフトする）ため、事前にその値を保持しておくことはできない。従って、実際にセンサが使用されるときに値を求めなければならないが、そのときには、使用者の手振れによって振動していることがほとんどである。よって、手振れの信号からセンサの静止時の出力値を求める必要が生じる。   However, since the output value when the sensor is stationary varies (drifts) depending on the use conditions such as temperature, the value cannot be held in advance. Therefore, the value must be obtained when the sensor is actually used, but at that time, it is mostly vibrated by the hand shake of the user. Therefore, it is necessary to obtain the output value when the sensor is stationary from the camera shake signal.

一般に人間の手振れは、２〜７Ｈｚ程度の周波数成分が支配的である。一方、角速度センサのドリフトの周波数成分は、手振れのそれよりも低く、概ね１Ｈｚ未満の成分が支配的である。そのため、センサ出力の低周波成分を抽出してセンサの静止時の出力としている場合が多い（以下、低周波成分を抽出したものを基準値と呼ぶ）。低周波成分を抽出するには、通常は、移動平均やローパスフィルタを用いるが、その遮断周波数を最適な値に設定することは、以下に示すように困難であった。   Generally, human hand shake is dominated by frequency components of about 2 to 7 Hz. On the other hand, the frequency component of the drift of the angular velocity sensor is lower than that of camera shake, and a component of less than 1 Hz is dominant. For this reason, in many cases, the low-frequency component of the sensor output is extracted and used as the output when the sensor is stationary (hereinafter, the low-frequency component extracted is referred to as a reference value). In order to extract a low-frequency component, a moving average or a low-pass filter is usually used. However, it is difficult to set the cutoff frequency to an optimum value as described below.

図１０は、ドリフト成分を含まない場合の角速度センサ出力，基準値の出力，像面での振れ量を示す図である。
図１１は、ドリフト成分を含む場合の角速度センサ出力，基準値の出力，像面での振れ量を示す図である。
以下、図１０及び図１１を用いて、遮断周波数を設定するときの問題点について説明する。
図１０（ａ）は、手振れによって振動しているときの角速度センサ出力とローパスフィルタによって演算した基準値の出力をグラフにしたものである。ここでは、手振れを正弦波としてあり、角速度センサ１０の静止時の出力を０としてある。図１０（ａ）において、波形Ａ０は、正弦波で手ブレが生じている時の角速度センサの出力を表している。また、波形Ａ１、Ａ２は、いずれもローパスフィルタで演算された基準値であり、波形Ａ１の遮断周波数は、波形Ａ２よりも低く設定されている。いずれの基準値（波形Ａ１，Ａ２）も若干の振動が残っているが、遮断周波数の低い波形Ａ１の方が振幅は小さくなっている。 FIG. 10 is a diagram illustrating the angular velocity sensor output, the reference value output, and the shake amount on the image plane when no drift component is included.
FIG. 11 is a diagram illustrating the angular velocity sensor output, the reference value output, and the shake amount on the image plane when the drift component is included.
Hereinafter, the problem when the cutoff frequency is set will be described with reference to FIGS. 10 and 11.
FIG. 10A is a graph showing the output of the angular velocity sensor and the reference value calculated by the low-pass filter when vibrating due to camera shake. Here, the camera shake is a sine wave, and the output when the angular velocity sensor 10 is stationary is zero. In FIG. 10A, a waveform A0 represents the output of the angular velocity sensor when camera shake occurs in a sine wave. The waveforms A1 and A2 are both reference values calculated by a low-pass filter, and the cutoff frequency of the waveform A1 is set lower than that of the waveform A2. Although any reference value (waveforms A1, A2) still has some vibration, the waveform A1 having a lower cutoff frequency has a smaller amplitude.

図１０（ｂ）は、それぞれの基準値を利用してブレ補正を行ったときの像面での振れ量をグラフにしたものである。図１０（ｂ）中の波形Ｂ０，Ｂ１，Ｂ２は、それぞれ図１０（ａ）中の波形Ａ０，Ａ１，Ａ２に対応し、波形Ｂ０は、ブレ補正を全く行わなかったときの像面のブレ量を表している。波形Ｂ１，Ｂ２を比較すると、遮断周波数の低い波形Ｂ１の方が波形Ｂ２よりも像面のブレ量は小さく、ブレ補正が良好に行われている。
以上の結果からすると、ブレ補正効果を高めるためには、ローパスフィルタの遮断周波数を下げた方がよいように見える。しかし、単に遮断周波数を下げればよいというものではない。 FIG. 10B is a graph showing the shake amount on the image plane when blur correction is performed using each reference value. Waveforms B0, B1, and B2 in FIG. 10B correspond to waveforms A0, A1, and A2 in FIG. 10A, respectively. Waveform B0 is a blur on the image plane when no blur correction is performed. Represents quantity. Comparing the waveforms B1 and B2, the amount of blur on the image plane is smaller in the waveform B1 having a lower cutoff frequency than in the waveform B2, and the blur correction is performed well.
From the above results, it seems that it is better to lower the cutoff frequency of the low-pass filter in order to increase the blur correction effect. However, it is not just a matter of lowering the cutoff frequency.

前述のように、角速度センサ１０の静止時の出力は、環境条件などにより変化する（ドリフトする）ことが多い。図１１（ａ）は、その様子を示したものである。撮影者の手振れは、図１０（ａ）と同等であると仮定しているが、角速度センサ１０がドリフトしているため時間の経過とともに振動の中心がずれていってしまっている。図中には、図１０（ａ）と同等のローパスフィルタで演算された基準値も示してある。図１１（ａ）において、波形Ｃ０は、正弦波で手ブレが生じている時のブレセンサの出力を表している。また、波形Ｃ１、Ｃ２は、いずれもローパスフィルタで演算された基準値であり、波形Ｃ１の遮断周波数は、波形Ｃ２よりも低く設定されている。この図を見る限りでは、一見すると基準値は、問題なく演算されているように見える。   As described above, the output when the angular velocity sensor 10 is stationary often changes (drifts) due to environmental conditions and the like. FIG. 11A shows the state. Although it is assumed that the camera shake of the photographer is equivalent to that in FIG. 10A, the center of vibration has shifted with the passage of time because the angular velocity sensor 10 has drifted. In the figure, a reference value calculated by a low-pass filter equivalent to that shown in FIG. In FIG. 11A, a waveform C0 represents the output of the shake sensor when camera shake occurs due to a sine wave. The waveforms C1 and C2 are both reference values calculated by a low-pass filter, and the cutoff frequency of the waveform C1 is set lower than that of the waveform C2. As far as this figure is seen, at first glance, it seems that the reference value is calculated without any problem.

図１１（ｂ）は、図１０（ｂ）のように角速度センサ出力がドリフトしているときにブレ補正をかけたときの像面のブレ量を表す図である。図１１（ｂ）中の波形Ｄ０，Ｄ１，Ｄ２は、それぞれ図１１（ａ）中の波形Ｃ０，Ｃ１，Ｃ２に対応し、波形Ｄ０は、ブレ補正を全く行わなかったときの像面のブレ量を表している。波形Ｄ１は、波形Ｄ２に比較して、低い遮断周波数の基準値Ｃ１を使用することにより、高い周波数成分はカットされているものの時間経過とともにブレ量が大きくなってしまっている。逆に波形Ｄ２は、波形Ｄ１よりも基準値の遮断周波数が高くなっているため、波形Ｄ１よりもドリフト量は小さくなっているが、手振れによる高周波成分を除くことができていない。これは、センサのドリフトの影響でセンサの静止時の出力と演算した基準値との間に所定のオフセットが加わってしまったためであり、遮断周波数の低い方が、ブレ量が大きい。従って、センサがドリフトすることを考えると、単に遮断周波数を下げればよいというものではない。   FIG. 11B is a diagram illustrating the image plane blurring amount when blurring correction is performed when the angular velocity sensor output is drifting as illustrated in FIG. Waveforms D0, D1, and D2 in FIG. 11 (b) correspond to waveforms C0, C1, and C2 in FIG. 11 (a), respectively, and waveform D0 is a blur on the image plane when no blur correction is performed. Represents quantity. Compared with the waveform D2, the waveform D1 uses a reference value C1 having a lower cutoff frequency, so that a high frequency component is cut, but the amount of blur increases with time. On the contrary, since the cutoff frequency of the reference value of the waveform D2 is higher than that of the waveform D1, the drift amount is smaller than that of the waveform D1, but a high frequency component due to camera shake cannot be removed. This is because a predetermined offset is added between the output when the sensor is stationary and the calculated reference value due to the effect of the drift of the sensor, and the blur amount is larger when the cutoff frequency is lower. Therefore, considering that the sensor drifts, it is not just a matter of lowering the cutoff frequency.

このように、ドリフトの影響を避けたければ基準値を演算するローパスフィルタの遮断周波数を上げなければならないが、そうするとブレ補正をかけた後の像面の動きに高い周波数成分が残ってしまう。逆にブレ補正をかけた後の像面の動き（特に高周波成分）を抑えようとして遮断周波数を下げてしまうと、ドリフトの影響を大きく受けてしまう。このように、フィルタを使用している以上、基準値は、手振れ波形の影響やドリフトの影響を受けてしまう。これが検出誤差となり、ブレ補正を動作させても完全に像ブレを除去することができず、ブレが残ってしまうという問題があった。   As described above, in order to avoid the influence of drift, the cutoff frequency of the low-pass filter for calculating the reference value must be increased. However, if this is done, a high frequency component remains in the movement of the image plane after blur correction is applied. On the other hand, if the cut-off frequency is lowered in order to suppress the movement of the image plane (particularly high frequency components) after the blur correction is performed, the influence of drift is greatly affected. As described above, as long as the filter is used, the reference value is affected by the hand shake waveform and the drift. This becomes a detection error, and there is a problem that image blur cannot be completely removed even if blur correction is operated, and blur remains.

さらに、光学的なブレ補正装置では、ブレ補正動作のＯＮ／ＯＦＦを切り替えるスイッチが設けられている場合が多く、その場合、このスイッチをＯＮにし忘れて撮影時にブレ補正動作しなかったために、像ブレを含む画像が撮影されてしまうという問題もあった。   In addition, optical shake correction devices often have a switch for turning on / off the shake correction operation. In this case, the camera has not been turned on and the shake correction operation was not performed at the time of shooting. There was also a problem that an image including blur was shot.

（画像回復の課題）
数４による説明においては、画像回復による手法は、一見うまくいくように見える。しかし、以下に述べるような問題があった。
図１２，図１３は、従来の画像回復を説明する図である。
ここでは、簡単のために、ブレは、図１２（ｂ）に示すように一軸（Ｘ軸）方向に一様に発生したものとする。
この点像分布関数の断面をとると、図１３（ａ）のようになる。これをフーリエ変換したものが図１３（ｂ）であり、これが図１２（ａ）に示すブレの空間周波数伝達関数である。この伝達関数で注目すべきところは、値が０となっているところが何カ所かある点である。これを逆フィルタにすると図１３（ｃ）に示すように、無限大となってしまうところが存在する。これを数４に適用すると、ある特定の空間周波数に関しては、以下に示す数５のようになってしまい、元画像のスペクトル値は不定となる。 (Issue of image restoration)
In the explanation according to Equation 4, the technique based on image restoration seems to work. However, there were problems as described below.
12 and 13 are diagrams for explaining conventional image restoration.
Here, for the sake of simplicity, it is assumed that blurring occurs uniformly in the uniaxial (X-axis) direction as shown in FIG.
A cross section of this point spread function is as shown in FIG. FIG. 13 (b) is a Fourier transform of this, which is the blur spatial frequency transfer function shown in FIG. 12 (a). What should be noted about this transfer function is that there are several places where the value is zero. If this is an inverse filter, there is a place where it becomes infinite as shown in FIG. When this is applied to Equation 4, for a specific spatial frequency, Equation 5 shown below is obtained, and the spectrum value of the original image becomes indefinite.

伝達関数が０であるということは、ブレによって伝達されない（＝情報が失われる）周波数成分が存在するということであり、この式は、失われた周波数成分は、回復できないことを示している。これは、元画像を完全に回復させることができないことを意味している。
なお、実際には、逆フィルタが無限大とならないよう、以下の式で表されるウィナーフィルタを画像回復に使用する。 A transfer function of 0 means that there is a frequency component that is not transmitted by blur (= information is lost), and this equation indicates that the lost frequency component cannot be recovered. This means that the original image cannot be completely recovered.
In practice, a Wiener filter represented by the following formula is used for image restoration so that the inverse filter does not become infinite.

図１３（ｄ）は、ウィナーフィルタをグラフにしたものである。
ウィナーフィルタにすることにより、数５のようにＯ（ｕ，ｖ）が不定となるところはなくなる。
このウィナーフィルタを用いた場合であっても、失われた周波数成分を回復させることができないことに変わりはないが、このフィルタを用いて処理した画像は、像ブレを含む画像に比べると解像が向上するので画像回復の効果を認識することができる。
しかし、フィルタには、値が大きい部分がいくつか含まれているので、画像にノイズが含まれているとそのノイズ成分を増大させてしまう。そうすると、回復画像は、図１２（ｃ）に示すように縞模様が目立ってしまい、画質が低下してしまうという場合もあった。 FIG. 13D is a graph showing the Wiener filter.
By using a Wiener filter, there is no place where O (u, v) becomes indefinite as shown in Equation 5.
Even when this Wiener filter is used, the lost frequency component cannot be recovered, but the image processed using this filter is resolved compared to an image containing image blurring. Can improve the image recovery effect.
However, since the filter includes some parts having large values, if the image contains noise, the noise component is increased. As a result, the recovered image has a noticeable stripe pattern as shown in FIG.

ただし、上述の問題は、ブレ量が大きい場合に顕著に現れるが、ブレ量が小さければそれほど大きな問題にはならない。
図１４，図１５は、ブレ量が小さい場合について図１２，１３と同様に示した図である。
図１４は、図１２と同様、Ｘ軸方向に一様にブレが発生した場合を想定したものであるが、ブレ量は、図１２よりも小さい。この点像分布関数の断面をとると、図１３（ａ）Ａのようになる。これをフーリエ変換したものが図１５（ｂ）であり、これが図１４（ａ）に示すブレの空間周波数伝達関数である。図１３（ｂ）と図１５（ｂ）とを比較すると、図１５（ｂ）の方が伝達関数＝０となる点が少なくなっていることがわかる。つまり、ブレが少ないと数５のように値が不定となる状況が発生する箇所が少なくなる分、画像回復もしやすくなる。この状況で回復を行った結果の一例が図１４（ｃ）であるが、この場合は、画質の低下はそれほど顕著ではなくなる。 However, the above-mentioned problem appears remarkably when the blur amount is large, but if the blur amount is small, the problem is not so great.
FIGS. 14 and 15 are diagrams illustrating the case where the amount of blurring is small as in FIGS.
14 assumes a case where blurring occurs uniformly in the X-axis direction, as in FIG. 12, but the blurring amount is smaller than that in FIG. A cross section of this point spread function is shown in FIG. FIG. 15 (b) is a Fourier transform of this, which is the blur spatial frequency transfer function shown in FIG. 14 (a). Comparing FIG. 13B and FIG. 15B, it can be seen that there are fewer points in FIG. 15B where the transfer function = 0. That is, when there is little blurring, image recovery is facilitated because the number of places where the situation where the value becomes indefinite as shown in Formula 5 is reduced. An example of the result of recovery in this situation is shown in FIG. 14C, but in this case, the deterioration in image quality is not so noticeable.

以上の問題をまとめると、
（１）光学的なブレ補正装置では、電力不足により光学的なブレ補正動作を行うことができない場合が多いという問題があった。
（２）また、光学的なブレ補正装置では、フィルタを使用している以上、基準値は、手振れ波形の影響やドリフトの影響を受けてしまう。これが検出誤差となり、ブレ補正を動作させても完全に像ブレを除去することができず、ブレが残ってしまうという問題があった。
（３）さらに、光学的なブレ補正装置では、ブレ補正動作のＯＮ／ＯＦＦを切り替えるスイッチが設けられている場合が多く、その場合、このスイッチをＯＮにし忘れて撮影時にブレ補正動作しなかったために、像ブレを含む画像が撮影されてしまうという問題もあった。
（４）画像回復では、ブレ量が大きいと、元画像を完全に回復させることができないという問題があった。 To summarize the above issues:
(1) The optical blur correction device has a problem that an optical blur correction operation cannot often be performed due to insufficient power.
(2) Further, in the optical blur correction apparatus, since the filter is used, the reference value is affected by the hand shake waveform and the drift. This becomes a detection error, and there is a problem that image blur cannot be completely removed even if blur correction is operated, and blur remains.
(3) Furthermore, optical shake correction apparatuses often have a switch for switching ON / OFF of the shake correction operation. In this case, the switch is not turned on and the shake correction operation is not performed at the time of shooting. In addition, there is a problem that an image including image blur is captured.
(4) In the image recovery, there is a problem that the original image cannot be completely recovered if the blur amount is large.

そこで、光学的なブレ補正と画像回復とを組み合わせて、光学的なブレ補正の動作を行うか否かにかかわらず、常に画像回復を行うことができるようにすると、上述の問題を解決することが以下のように可能となる。
（１）電力的な問題、又は、ブレ補正動作のＯＮ／ＯＦＦを切り替えるスイッチの入れ忘れにより、光学的なブレ補正動作を行うことができない場合には、画像回復を行うことによりブレを軽減した画像を得ることができる。
（２）光学的なブレ補正を行っても残ってしまう像ブレについては、さらに画像回復を行うことにより、像ブレをいっそう少なくすることができる。この場合、光学的なブレ補正によりブレ量が大幅に減っているので、上述のようにブレ量が小さい場合の画像回復に相当することが多く、より鮮明な画像回復結果を期待できる。
（３）画像回復では、ブレ量が大きいと、元画像を完全に回復させることができないという問題に対しては、電力的な問題、又は、ブレ補正動作のＯＮ／ＯＦＦを切り替えるスイッチの入れ忘れ等の特別な場合を除けば、光学的なブレ補正を行った後に、画像回復を行うので、上述のようにブレ量が小さい場合の画像回復に相当することが多く、より鮮明な画像回復結果を期待できる。 Therefore, the above-described problems can be solved by combining optical blur correction and image recovery so that image recovery can be performed regardless of whether or not optical blur correction is performed. Is possible as follows.
(1) If the optical blur correction operation cannot be performed due to power problems or forgetting to switch on / off the blur correction operation, the image is reduced by performing image restoration. Can be obtained.
(2) For image blur that remains even after optical blur correction, image blur can be further reduced by further image restoration. In this case, since the amount of blurring is greatly reduced by optical blur correction, it often corresponds to image restoration when the amount of blurring is small as described above, and a clearer image restoration result can be expected.
(3) In image restoration, if the amount of shake is large, the problem that the original image cannot be recovered completely is a power problem or forgetting to switch on / off the shake correction operation. Except for special cases, since image restoration is performed after optical blur correction, it is often equivalent to image restoration when the amount of blur is small as described above, and a clearer image restoration result is obtained. I can expect.

しかし、光学的なブレ補正動作を行うか否かにかかわらず、常に画像回復を行うことができるようにすると、画像回復の演算に使用する点像分布関数が、光学的なブレ補正動作を行うときの点像分布関数と、光学的なブレ補正動作を行わないときの点像分布関数とで異なる。具体的には、光学的なブレ補正動作を行うときには、基準値に基づいて点像分布関数を演算し、光学的なブレ補正動作を行わないときには、角速度センサ１０により検出された振れ（振動検出信号）に基づいて点像分布関数を演算する。したがって、それぞれを演算するために必要なデータを点像分布関数の演算を行うときまで保持するためには、膨大なデータを保持しなければならないという問題があった。
また、光学的なブレ補正動作を行うか否かにより、画像回復を行う対象となる画像に含まれるブレ量が大きく異なることから、同じ内容の画像回復処理を行っても、それぞれの画像に最適な画像回復処理とすることができないという問題があった。
特開平０５−３２３４４４号公報 特開平０６−１１８４６８号公報 特開平０６−２７５１２号公報 特開平０７−２２６９０５号公報 However, if image restoration can always be performed regardless of whether or not the optical blur correction operation is performed, the point spread function used for the image restoration calculation performs the optical blur correction operation. And the point spread function when the optical blur correction operation is not performed. Specifically, when an optical blur correction operation is performed, a point spread function is calculated based on the reference value, and when the optical blur correction operation is not performed, a shake (vibration detection) detected by the angular velocity sensor 10 is performed. The point spread function is calculated based on the signal. Therefore, in order to hold the data necessary for calculating each of them until the point spread function is calculated, there is a problem that a large amount of data must be held.
Also, the amount of blur included in the image to be restored differs greatly depending on whether or not an optical shake correction operation is performed, so even if the same image restoration processing is performed, it is optimal for each image. There was a problem that it was not possible to perform an image recovery process.
JP 05-323444 A Japanese Patent Laid-Open No. 06-118468 Japanese Patent Laid-Open No. 06-27512 JP 07-226905 A

本発明の課題は、光学的なブレ補正動作を行うか否かにかかわらず、常に画像回復を行うことができるようにしても、膨大なデータを保持する必要がなく、また、全ての撮影条件に最適な画像回復を行うことができるブレ補正カメラシステム、ブレ補正カメラ、画像回復装置、及び、ブレ補正プログラムを提供することである。   The problem of the present invention is that it is not necessary to store a large amount of data even if image restoration can be always performed regardless of whether or not an optical blur correction operation is performed. An image stabilization camera system, an image stabilization camera, an image recovery apparatus, and an image stabilization program capable of performing image recovery optimal for the image processing are provided.

本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施例に対応する符号を付して説明するが、これに限定されるものではない。
請求項１の発明は、振動を検出して振動検出信号を出力する振動検出部（１０）と、前記振動検出信号の基準値を演算する基準値演算部（５２）と、前記振動検出信号及び前記基準値に基づいて駆動され、像ブレを補正するブレ補正光学系（８０）と、前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部（１５０）と、前記基準値、又は、前記振動検出信号を用いて点像分布関数を演算する点像分布関数演算部（１４０）と、前記撮像部により撮像された画像に対して前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算部（１７０）と、前記点像分布関数演算部による点像分布関数の演算を前記基準値を用いて行うか、前記振動検出信号を用いて行うかを切り替える振動情報切り替え部（１３０）と、前記点像分布関数演算部が演算に使用する前記基準値又は前記振動検出信号を保存する振動情報保存部（１４５）と、を備え、前記振動情報保存部は、前記振動情報切り替え部が前記基準値を用いる側に切り替わっているときには前記基準値を保存し、振動情報切り替え部が前記振動検出信号を用いる側に切り替わっているときには前記振動検出信号を保存すること、を特徴とするブレ補正カメラシステムである。 The present invention solves the above problems by the following means. In addition, in order to make an understanding easy, although the code | symbol corresponding to the Example of this invention is attached | subjected and demonstrated, it is not limited to this.
The invention of claim 1 includes a vibration detection unit (10) that detects vibration and outputs a vibration detection signal, a reference value calculation unit (52) that calculates a reference value of the vibration detection signal, the vibration detection signal, and A blur correction optical system (80) that is driven based on the reference value and corrects image blur, an imaging unit (150) that captures an image formed by a photographing optical system including the blur correction optical system, and the reference A point spread function calculation unit (140) for calculating a point spread function using a value or the vibration detection signal, and image processing with the point spread function for an image picked up by the image pickup unit The image restoration calculation unit (170) that performs image restoration and corrects the image blur by performing the point spread function calculation by the point spread function calculation unit using the reference value, or using the vibration detection signal Switch vibration information off A replacement unit (130), and a vibration information storage unit (145) that stores the reference value or the vibration detection signal used by the point spread function calculation unit for calculation, the vibration information storage unit Storing the reference value when the vibration information switching unit is switched to the side using the reference value, and storing the vibration detection signal when the vibration information switching unit is switched to the side using the vibration detection signal; This is a feature of a camera shake correction camera system.

請求項２の発明は、振動を検出して振動検出信号を出力する振動検出部（１０）と、前記振動検出信号の基準値を演算する基準値演算部（５２）と、前記振動検出信号及び前記基準値に基づいて駆動され、像ブレを補正するブレ補正光学系（８０）と、前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部（１５０）と、前記基準値、又は、前記振動検出信号を用いて点像分布関数を演算する点像分布関数演算部（１４０）と、前記撮像部により撮像された画像に対して前記点像分布関数を使用した空間周波数フィルタにより画像回復を行い像ブレを補正する画像回復演算部（１７０）と、前記点像分布関数演算部による点像分布関数の演算を前記基準値を用いて行うか、前記振動検出信号を用いて行うかを切り替える振動情報切り替え部（１３０）と、を備え、前記画像回復演算部は、前記振動情報切り替え部が前記基準値を用いる側に切り替わっているか、前記振動検出信号を用いる側に切り替わっているかにより前記空間周波数フィルタを変更すること、を特徴とするブレ補正カメラシステムである。   The invention of claim 2 includes a vibration detection unit (10) that detects vibration and outputs a vibration detection signal, a reference value calculation unit (52) that calculates a reference value of the vibration detection signal, the vibration detection signal, and A blur correction optical system (80) that is driven based on the reference value and corrects image blur, an imaging unit (150) that captures an image formed by a photographing optical system including the blur correction optical system, and the reference A point frequency distribution function calculation unit (140) for calculating a value or a point spread function using the vibration detection signal, and a spatial frequency using the point spread function for an image picked up by the image pickup unit An image restoration calculation unit (170) that performs image restoration by a filter and corrects image blurring, and the point spread function calculation by the point spread function calculation unit is performed using the reference value, or the vibration detection signal is used. Switch what to do A motion information switching unit (130), wherein the image restoration calculation unit is configured to change the space depending on whether the vibration information switching unit is switched to the side using the reference value or the side using the vibration detection signal. An image stabilization camera system characterized by changing a frequency filter.

請求項３の発明は、請求項２に記載のブレ補正カメラシステムにおいて、前記画像回復演算部は、前記空間周波数フィルタとしてウィナーフィルタを用い、前記振動情報切り替え部が前記基準値を用いる側に切り替わっているか、前記振動検出信号を用いる側に切り替わっているかにより前記ウィナーフィルタの定数（ｃ’，ｃ”）を変更すること、を特徴とするブレ補正カメラシステムである。   According to a third aspect of the present invention, in the camera shake correction camera system according to the second aspect, the image restoration calculation unit uses a Wiener filter as the spatial frequency filter, and the vibration information switching unit switches to the side using the reference value. Or a constant (c ′, c ″) of the Wiener filter is changed depending on whether the vibration detection signal is used or not.

請求項４の発明は、請求項３に記載のブレ補正カメラシステムにおいて、前記画像回復演算部（１７０）は、前記振動情報切り替え部（１３０）が前記基準値を用いる側に切り替わっているときに用いる前記ウィナーフィルタの定数（ｃ”）よりも、前記振動情報切り替え部が前記振動検出信号を用いる側に切り替わっているときに用いる前記ウィナーフィルタの定数（ｃ’）を大きくすること、を特徴とするブレ補正カメラシステムである。   According to a fourth aspect of the present invention, in the camera shake correction camera system according to the third aspect, the image restoration calculation unit (170) is configured such that the vibration information switching unit (130) is switched to the side using the reference value. The constant (c ′) of the Wiener filter used when the vibration information switching unit is switched to the side using the vibration detection signal is larger than the constant (c ″) of the Wiener filter used. This is a camera shake correction camera system.

請求項５の発明は、請求項４に記載のブレ補正カメラシステムにおいて、前記画像回復演算部（１７０）が前記振動情報切り替え部（１３０）が前記基準値を用いる側に切り替わっているときに用いる前記ウィナーフィルタの定数（ｃ”）と前記振動情報切り替え部が前記振動検出信号を用いる側に切り替わっているときに用いる前記ウィナーフィルタの定数（ｃ’）との差は、前記ブレ補正光学系（８０）を駆動する場合のブレ補正効果が大きいほど差が大きいこと、を特徴とするブレ補正カメラシステムである。   According to a fifth aspect of the present invention, in the camera shake correction camera system according to the fourth aspect, the image restoration calculation unit (170) is used when the vibration information switching unit (130) is switched to the side using the reference value. The difference between the constant (c ″) of the Wiener filter and the constant (c ′) of the Wiener filter used when the vibration information switching unit is switched to the side using the vibration detection signal is the blur correction optical system ( 80 is a blur correction camera system characterized in that the greater the blur correction effect when driving 80), the greater the difference.

請求項６の発明は、請求項３に記載のブレ補正カメラシステムにおいて、前記画像回復演算部（１７０）は、前記ウィナーフィルタの定数（ｃ’，ｃ”）を任意に変更可能であること、を特徴とするブレ補正カメラシステムである。   According to a sixth aspect of the present invention, in the camera shake correction camera system according to the third aspect, the image restoration calculation unit (170) can arbitrarily change constants (c ′, c ″) of the Wiener filter, Is a camera shake correction camera system characterized by the above.

請求項７の発明は、請求項６に記載のブレ補正カメラシステムにおいて、前記画像回復演算部（１７０）は、画像回復後の結果に応じて何回でも前記ウィナーフィルタの定数（ｃ’，ｃ”）を任意に変更可能であること、を特徴とするブレ補正カメラシステムである。   According to a seventh aspect of the present invention, in the camera shake correction camera system according to the sixth aspect, the image restoration calculation unit (170) may determine the constants (c ′, c) of the Wiener filter as many times as the number after the image restoration. ")" Can be arbitrarily changed.

請求項８の発明は、請求項１から請求項７までのいずれか１項に記載のブレ補正カメラシステムにおいて、前記振動情報切り替え部（１３０）は、前記ブレ補正光学系（８０）によるブレ補正動作を行うか否かを切り替えるブレ補正動作設定部（１３０）の設定に応じて前記点像分布関数演算部（１４０）による点像分布関数の演算方法を切り替え、前記ブレ補正光学系によるブレ補正動作を行うときには、前記前記基準値を用いる側に切り替わり、前記ブレ補正光学系によるブレ補正動作を行わないときには、前記振動検出信号を用いる側に切り替わること、を特徴とするブレ補正カメラシステムである。   According to an eighth aspect of the present invention, in the blur correction camera system according to any one of the first to seventh aspects, the vibration information switching unit (130) is a blur correction by the blur correction optical system (80). According to the setting of the shake correction operation setting unit (130) for switching whether or not to perform the operation, the point spread function calculation unit (140) switches the calculation method of the point spread function and the shake correction by the shake correction optical system. When performing an operation, the camera is switched to the side using the reference value, and when not performing the motion compensation operation by the motion compensation optical system, the camera is switched to the side using the vibration detection signal. .

請求項９の発明は、振動を検出して振動検出信号を出力する振動検出部（１０）と、前記振動検出信号の基準値を演算する基準値演算部（５２）と、前記振動検出信号及び前記基準値に基づいて駆動され、像ブレを補正するブレ補正光学系（８０）と、前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部（１５０）と、前記基準値又は前記振動検出信号を保存する振動情報保存部（１４５）と、前記振動情報保存部に前記基準値を保存するか前記振動検出信号を保存するかを切り替える振動情報切り替え部（１３０）と、を備えるブレ補正カメラである。   The invention of claim 9 includes a vibration detection unit (10) for detecting vibration and outputting a vibration detection signal, a reference value calculation unit (52) for calculating a reference value of the vibration detection signal, the vibration detection signal, A blur correction optical system (80) that is driven based on the reference value and corrects image blur, an imaging unit (150) that captures an image formed by a photographing optical system including the blur correction optical system, and the reference A vibration information storage unit (145) that stores a value or the vibration detection signal, a vibration information switching unit (130) that switches between storing the reference value or the vibration detection signal in the vibration information storage unit, Is a camera shake correction camera.

請求項１０の発明は、外部との通信及び／又は媒体を介して原画像データを受け取るデータ入力部（２４０ａ）と、前記原画像データに対して点像分布関数を使用した空間周波数フィルタにより画像回復を行い像ブレを補正する画像回復演算部（１７０ｂ）と、を備えた画像回復装置であって、前記画像回復演算部は、前記点像分布関数が基準値を用いて演算されたか、振動検出信号を用いて演算されたかにより前記空間周波数フィルタを変更すること、を特徴とする画像回復装置（２３０）である。   According to a tenth aspect of the present invention, an image is obtained by a data input unit (240a) for receiving original image data through communication with the outside and / or a medium, and a spatial frequency filter using a point spread function for the original image data. An image restoration calculation unit (170b) that performs restoration and corrects image blur, wherein the image restoration calculation unit calculates whether the point spread function is calculated using a reference value or vibration The image restoration device (230) is characterized in that the spatial frequency filter is changed depending on whether it is calculated using a detection signal.

請求項１１の発明は、請求項１０に記載の画像回復装置において、前記画像回復演算部（１７０ｂ）は、前記空間周波数フィルタとしてウィナーフィルタを用い、前記点像分布関数が前記基準値を用いて演算されたか、前記振動検出信号を用いて演算されたかにより前記ウィナーフィルタの定数（ｃ’，ｃ”）を変更すること、を特徴とする画像回復装置（２３０）である。   According to an eleventh aspect of the present invention, in the image restoration device according to the tenth aspect, the image restoration calculation unit (170b) uses a Wiener filter as the spatial frequency filter, and the point spread function uses the reference value. The image restoration device (230) is characterized in that the constant (c ′, c ″) of the Wiener filter is changed depending on whether it has been computed or computed using the vibration detection signal.

請求項１２の発明は、請求項１１に記載の画像回復装置において、前記画像回復演算部（１７０ｂ）は、前記点像分布関数が前記基準値を用いて演算されたときに用いる前記ウィナーフィルタの定数（ｃ”）よりも、前記点像分布関数が前記振動検出信号を用いて演算されたときに用いる前記ウィナーフィルタの定数（ｃ’）を大きくすること、を特徴とする画像回復装置（２３０）である。   According to a twelfth aspect of the present invention, in the image restoration apparatus according to the eleventh aspect, the image restoration calculation unit (170b) is configured to use the Wiener filter used when the point spread function is calculated using the reference value. An image restoration device (230) characterized in that a constant (c ′) of the Wiener filter used when the point spread function is calculated using the vibration detection signal is larger than a constant (c ″). ).

請求項１３の発明は、請求項１２に記載の画像回復装置において、前記点像分布関数が前記基準値を用いて演算されたときに用いる前記ウィナーフィルタの定数（ｃ”）と前記点像分布関数が前記振動検出信号を用いて演算されたときに用いる前記ウィナーフィルタの定数（ｃ’）との差は、前記原画像を撮影したときに使用したブレ補正光学系（８０）を駆動する場合のブレ補正効果が大きいほど差が大きいこと、を特徴とする画像回復装置（２３０）である。   According to a thirteenth aspect of the present invention, in the image restoration apparatus according to the twelfth aspect, the constant (c ″) of the Wiener filter used when the point spread function is calculated using the reference value and the point spread The difference from the constant (c ′) of the Wiener filter used when the function is calculated using the vibration detection signal is to drive the blur correction optical system (80) used when the original image is taken. This is an image restoration device (230) characterized in that the greater the blur correction effect, the greater the difference.

請求項１４の発明は、請求項１１に記載の画像回復装置において、前記画像回復演算部（１７０ｂ）は、前記ウィナーフィルタの定数（ｃ’，ｃ”）を任意に変更可能であること、を特徴とする画像回復装置（２３０）である。   According to a fourteenth aspect of the present invention, in the image restoration device according to the eleventh aspect, the image restoration calculation unit (170b) can arbitrarily change the constant (c ′, c ″) of the Wiener filter. A featured image recovery device (230).

請求項１５の発明は、請求項１４に記載の画像回復装置において、前記画像回復演算部（１７０ｂ）は、画像回復後の結果に応じて何回でも前記ウィナーフィルタの定数（ｃ’，ｃ”）を任意に変更可能であること、を特徴とする画像回復装置（２３０）である。   According to a fifteenth aspect of the present invention, in the image restoration apparatus according to the fourteenth aspect, the image restoration calculation unit (170b) can determine the constant (c ′, c ″ of the Wiener filter as many times as necessary depending on the result after image restoration. ) Can be arbitrarily changed. This is an image restoration device (230).

請求項１６の発明は、コンピュータ（２３０）に、外部との通信及び／又は媒体を介して原画像データを受け取るデータ入力機能（２４０ａ）と、前記原画像データに対して点像分布関数を使用した空間周波数フィルタにより画像回復を行い像ブレを補正する画像回復演算機能（１７０ｂ）と、を実現させるためのブレ補正プログラムであって、前記画像回復演算機能は、前記点像分布関数が基準値を用いて演算されたか、振動検出信号を用いて演算されたかにより前記空間周波数フィルタを変更すること、を特徴とするブレ補正プログラム（２４０）である。   The invention of claim 16 uses a data input function (240a) for receiving original image data via external communication and / or a medium in the computer (230), and a point spread function for the original image data. An image restoration calculation function (170b) for correcting an image blur by performing image restoration by using a spatial frequency filter, wherein the point spread function has a reference value as a reference value. The blur correction program (240) is characterized in that the spatial frequency filter is changed depending on whether the calculation is performed using a vibration detection signal or a vibration detection signal.

請求項１７の発明は、請求項１６に記載のブレ補正プログラムにおいて、前記画像回復演算機能（１７０ｂ）は、前記空間周波数フィルタとしてウィナーフィルタを用い、前記点像分布関数が前記基準値を用いて演算されたか前記振動検出信号を用いて演算されたかにより前記ウィナーフィルタの定数（ｃ’，ｃ”）を変更すること、を特徴とするブレ補正プログラム（２４０）である。   According to a seventeenth aspect of the present invention, in the blur correction program according to the sixteenth aspect, the image restoration calculation function (170b) uses a Wiener filter as the spatial frequency filter, and the point spread function uses the reference value. The blur correction program (240) is characterized in that the constant (c ′, c ″) of the Wiener filter is changed depending on whether it has been calculated or calculated using the vibration detection signal.

請求項１８の発明は、請求項１７に記載のブレ補正プログラムにおいて、前記画像回復演算機能（１７０ｂ）は、前記点像分布関数が前記基準値を用いて演算されたときに用いる前記ウィナーフィルタの定数（ｃ”）よりも、前記点像分布関数が前記振動検出信号を用いて演算されたときに用いる前記ウィナーフィルタの定数（ｃ’）を大きくすること、を特徴とするブレ補正プログラム（２４０）である。   According to an eighteenth aspect of the present invention, in the blur correction program according to the seventeenth aspect, the image restoration calculation function (170b) is the Wiener filter used when the point spread function is calculated using the reference value. A blur correction program (240) characterized in that a constant (c ′) of the Wiener filter used when the point spread function is calculated using the vibration detection signal is larger than a constant (c ″). ).

請求項１９の発明は、請求項１８に記載のブレ補正プログラムにおいて、前記点像分布関数が前記基準値を用いて演算されたときに用いる前記ウィナーフィルタの定数（ｃ”）と前記点像分布関数が前記振動検出信号を用いて演算されたときに用いる前記ウィナーフィルタの定数（ｃ’）との差は、前記原画像を撮影したときに使用したブレ補正光学系（８０）を駆動する場合のブレ補正効果が大きいほど差が大きいこと、を特徴とするブレ補正プログラム（２４０）である。   According to a nineteenth aspect of the present invention, in the blur correction program according to the eighteenth aspect, the constant (c ″) of the Wiener filter used when the point spread function is calculated using the reference value and the point spread. The difference from the constant (c ′) of the Wiener filter used when the function is calculated using the vibration detection signal is to drive the blur correction optical system (80) used when the original image is taken. The blur correction program (240) is characterized in that the larger the blur correction effect is, the larger the difference is.

請求項２０の発明は、請求項１７に記載のブレ補正プログラムにおいて、前記画像回復演算機能（１７０ｂ）は、前記ウィナーフィルタの定数（ｃ’，ｃ”）を任意に変更可能であること、を特徴とするブレ補正プログラム（２４０）である。   According to a twentieth aspect of the present invention, in the blur correction program according to the seventeenth aspect, the image restoration calculation function (170b) can arbitrarily change constants (c ′, c ″) of the Wiener filter. This is a characteristic blur correction program (240).

請求項２１の発明は、請求項２０に記載のブレ補正プログラムにおいて、前記画像回復演算機能（１７０ｂ）は、画像回復後の結果に応じて何回でも前記ウィナーフィルタの定数（ｃ’，ｃ”）を任意に変更可能であること、を特徴とするブレ補正プログラム（２４０）である。   According to a twenty-first aspect of the present invention, in the blur correction program according to the twentieth aspect, the image restoration calculation function (170b) is configured such that the Wiener filter constants (c ′, c ″) are any number of times according to the result after image restoration. ) Can be arbitrarily changed. This is a shake correction program (240).

本発明によれば、以下の効果を奏することができる。
（１）振動情報保存部は、振動情報切り替え部が基準値を用いる側に切り替わっているときには基準値を保存し、振動情報切り替え部が振動検出信号を用いる側に切り替わっているときには振動検出信号を保存するので、膨大なデータを記憶することなく、常に画像回復を行うことができる。 According to the present invention, the following effects can be obtained.
(1) The vibration information storage unit stores the reference value when the vibration information switching unit is switched to the side using the reference value, and receives the vibration detection signal when the vibration information switching unit is switched to the side using the vibration detection signal. Since it is stored, image restoration can always be performed without storing a large amount of data.

（２）画像回復演算部は、振動情報切り替え部が基準値を用いる側に切り替わっているか、振動検出信号を用いる側に切り替わっているかにより空間周波数フィルタ、特にウィナーフィルタの定数を変更するので、全ての撮影条件に最適な画像回復を行うことができる。 (2) The image restoration calculation unit changes the constants of the spatial frequency filter, particularly the Wiener filter, depending on whether the vibration information switching unit is switched to the side using the reference value or the side using the vibration detection signal. It is possible to perform image restoration optimal for the shooting conditions.

（３）振動情報切り替え部が基準値を用いる側に切り替わっているときに用いるウィナーフィルタの定数よりも、振動情報切り替え部が振動検出信号を用いる側に切り替わっているときに用いるウィナーフィルタの定数を大きくし、特に、その差は、ブレ補正光学系を駆動する場合のブレ補正効果が大きいほど差が大きいこととするので、ブレ補正光学系による光学的なブレ補正動作を行うか否かによる像ブレ量の差に適したウィナーフィルタの定数とすることができ、よりよい画像回復結果を簡単に得ることができる。 (3) The constant of the Wiener filter used when the vibration information switching unit is switched to the side using the vibration detection signal, rather than the constant of the Wiener filter used when the vibration information switching unit is switched to the side using the reference value. In particular, the difference is larger as the blur correction effect when driving the blur correction optical system is larger. Therefore, the image depending on whether or not the optical blur correction operation is performed by the blur correction optical system. A constant of the Wiener filter suitable for the difference in blur amount can be obtained, and a better image restoration result can be easily obtained.

（４）画像回復演算部は、画像回復後の結果に応じて何回でもウィナーフィルタの定数を任意に変更可能であるので、より精度の高い画像回復を行うことができる。 (4) Since the image restoration calculation unit can arbitrarily change the constant of the Wiener filter any number of times according to the result after image restoration, more accurate image restoration can be performed.

（５）振動情報切り替え部は、ブレ補正光学系によるブレ補正動作を行うか否かを切り替えるブレ補正動作設定部の設定に応じて点像分布関数演算部による点像分布関数の演算方法を切り替えるので、ブレ補正光学系による光学的なブレ補正動作を行うか否かにより異なる像ブレ量に適した点像分布関数の演算を行うことができる。 (5) The vibration information switching unit switches the calculation method of the point spread function by the point spread function calculation unit according to the setting of the blur correction operation setting unit that switches whether to perform the blur correction operation by the blur correction optical system. Therefore, the point image distribution function suitable for different image blur amounts can be calculated depending on whether or not the optical blur correction operation is performed by the blur correction optical system.

光学的なブレ補正動作を行うか否かにかかわらず、常に画像回復を行うことができるようにしても、膨大なデータを保持する必要がなく、また、全ての撮影条件に最適な画像回復を行うことができるようにするという目的を、それぞれの撮影条件に適した動作を行うことにより、部品点数を増やすことなく実現した。   Regardless of whether or not an optical blur correction operation is performed, there is no need to store a large amount of data even if image recovery can always be performed, and image recovery that is optimal for all shooting conditions is possible. The purpose of being able to do this was realized without increasing the number of parts by performing an operation suitable for each shooting condition.

以下、図面等を参照しながら、本発明の実施例について、更に詳しく説明する。
図１は、本発明における光学的なブレ補正装置、画像回復部を内蔵したカメラの実施例１を示す模式図である。
角速度センサ１０は、カメラに印加された振動を角速度値で検出するセンサであり、角速度センサ１０にかかるコリオリ力を利用して角速度を検出し、検出結果を電圧信号として出力する振動検出部である。角速度センサ１０ａは、図中Ｘ軸方向の角度ブレを検出するセンサであり、角速度センサ１０ｂは、図中Ｙ軸方向の角度ブレを検出するセンサである。このように、角速度センサ１０ａ，１０ｂを互いに異なる軸方向に配置することにより、カメラの振動を２次元で検出することが可能となる。
角速度センサ１０により出力された電圧信号は、増幅部２０に送信される。なお、角速度センサ１０は、後述の電源供給部１１０より電源が供給されている間のみ、角速度の検出が可能となる。 Hereinafter, embodiments of the present invention will be described in more detail with reference to the drawings.
FIG. 1 is a schematic diagram showing an embodiment 1 of an optical blur correction apparatus and a camera incorporating an image restoration unit according to the present invention.
The angular velocity sensor 10 is a sensor that detects vibration applied to the camera by an angular velocity value, and is a vibration detection unit that detects the angular velocity using the Coriolis force applied to the angular velocity sensor 10 and outputs the detection result as a voltage signal. . The angular velocity sensor 10a is a sensor that detects angular shake in the X-axis direction in the drawing, and the angular velocity sensor 10b is a sensor that detects angular shake in the Y-axis direction in the drawing. Thus, by arranging the angular velocity sensors 10a and 10b in different axial directions, it is possible to detect camera vibrations in two dimensions.
The voltage signal output from the angular velocity sensor 10 is transmitted to the amplification unit 20. The angular velocity sensor 10 can detect the angular velocity only while power is supplied from a power supply unit 110 described later.

増幅部２０は、角速度センサ１０の出力を増幅する増幅部である。一般的に角速度センサ１０からの出力は、小さいため、そのままＡ／Ｄ変換器３０によってデジタル化してマイコン９０内で処理しようとしても、角速度値の分解能が低すぎ（１ビットあたりの角速度値が大きすぎ）て正確な振動検出をすることができず、ブレ補正の精度を上げることができない。そこで、Ａ／Ｄ変換器３０に入力する前に角速度信号を増幅しておく。そうすると、マイコン９０内での角速度値の分解能を上げる（１ビットあたりの角速度値を小さくする）ことができ、ブレ補正の精度を上げることができる。   The amplification unit 20 is an amplification unit that amplifies the output of the angular velocity sensor 10. Since the output from the angular velocity sensor 10 is generally small, even if it is digitized by the A / D converter 30 and processed in the microcomputer 90 as it is, the resolution of the angular velocity value is too low (the angular velocity value per bit is large). Too) to accurately detect vibration and to improve the accuracy of blur correction. Therefore, the angular velocity signal is amplified before being input to the A / D converter 30. Then, the resolution of the angular velocity value in the microcomputer 90 can be increased (the angular velocity value per bit is reduced), and the blur correction accuracy can be increased.

増幅部２０は、角速度センサ１０ａ，１０ｂにそれぞれ対応して増幅部２０ａ，２０ｂの２つが設けられている。また、ここでは、信号の増幅をするだけではなく、センサ出力に含まれる高周波ノイズを低減させることを目的とした、ローパスフィルタを付加してもよい。
増幅部２０により増幅した角速度信号（以下、振れ検出信号）は、Ａ／Ｄ変換器３０へ送信される。 The amplifying unit 20 includes two amplifying units 20a and 20b corresponding to the angular velocity sensors 10a and 10b, respectively. Here, a low-pass filter may be added for the purpose of reducing not only the signal amplification but also high-frequency noise included in the sensor output.
An angular velocity signal (hereinafter, shake detection signal) amplified by the amplification unit 20 is transmitted to the A / D converter 30.

Ａ／Ｄ変換器３０，４０は、アナログ信号をデジタル信号に変換する変換器である。本実施形態では、Ａ／Ｄ変換器３０ａ，３０ｂと、Ａ／Ｄ変換器４０ａ，４０ｂとが設けられている。
Ａ／Ｄ変換器３０ａ，３０ｂは、増幅部２０から送られてきたアナログの振れ検出信号を、デジタル信号に変換する変換器である。振れ検出信号をデジタル信号に変換することで、マイコン９０内での演算処理が可能となる。ここで変換された振れ検出信号は、駆動信号演算部５０ａ，５０ｂに入力される。
Ａ／Ｄ変換器４０ａ，４０ｂは、駆動部７０から送られてきたブレ補正レンズ８０の位置情報（アナログ信号）をデジタル信号に変換する変換器である。変換されたブレ補正レンズ位置情報は、駆動信号演算部５０ａ，５０ｂに送信される。 The A / D converters 30 and 40 are converters that convert an analog signal into a digital signal. In this embodiment, A / D converters 30a and 30b and A / D converters 40a and 40b are provided.
The A / D converters 30a and 30b are converters that convert an analog shake detection signal sent from the amplification unit 20 into a digital signal. By converting the shake detection signal into a digital signal, arithmetic processing in the microcomputer 90 can be performed. The shake detection signal converted here is input to the drive signal calculation units 50a and 50b.
The A / D converters 40a and 40b are converters that convert the position information (analog signal) of the blur correction lens 80 sent from the drive unit 70 into a digital signal. The converted blur correction lens position information is transmitted to the drive signal calculation units 50a and 50b.

なお、本実施例では、Ａ／Ｄ変換器３０，４０は、マイコン９０に内蔵されているものを使用することを前提にしているが、この例に限らず、マイコン９０とは別体のＡ／Ｄ変換器を用いてもよい。
また、本実施例では、増幅部２０ａ，２０ｂに対応するようにＡ／Ｄ変換器３０ａ，３０ｂの２つのＡ／Ｄ変換器を設けているが、Ａ／Ｄ変換器を１つにして変換動作を時間的に振り分けるようにしてもよい。例えば、増幅部２０ａの信号を変換した後、増幅部２０ｂの信号を変換し、その後増幅部２０ａ，増幅部２０ｂ，増幅部２０ａ・・・と変換を繰り返すようにしてもよい。これは、Ａ／Ｄ変換器４０ａ，４０ｂについても同様である。 In the present embodiment, it is assumed that the A / D converters 30 and 40 are built in the microcomputer 90. However, the present invention is not limited to this example, and the A / D converters 30 and 40 are separated from the microcomputer 90. A / D converter may be used.
In the present embodiment, two A / D converters A / D converters 30a and 30b are provided so as to correspond to the amplifying units 20a and 20b, but conversion is performed by using one A / D converter. You may make it distribute operation | movement temporally. For example, after the signal of the amplification unit 20a is converted, the signal of the amplification unit 20b may be converted, and then the conversion may be repeated with the amplification unit 20a, the amplification unit 20b, the amplification unit 20a,. The same applies to the A / D converters 40a and 40b.

駆動信号演算部５０は、Ａ／Ｄ変換器３０から送信されてきた振れ検出信号とＡ／Ｄ変換器４０から送信されてきたブレ補正レンズ位置情報とから、ブレ補正レンズ８０を駆動するための駆動信号を演算し、駆動信号を出力する演算部である。まず、振れ検出信号から基準値を演算し、その基準値を振れ検出信号値から減算する。それを積分することにより、角速度信号を角変位信号へと変換し、これに図示しない結像光学系全体の焦点距離などの諸条件を加味してブレ補正レンズ８０の目標駆動位置を演算する。
また、駆動信号演算部５０は、演算した目標駆動位置情報と駆動部７０からＡ／Ｄ変換器４０を介して送られてくるブレ補正レンズ８０の位置情報から駆動信号を演算する。 The drive signal calculation unit 50 drives the shake correction lens 80 from the shake detection signal transmitted from the A / D converter 30 and the shake correction lens position information transmitted from the A / D converter 40. It is a calculation part which calculates a drive signal and outputs a drive signal. First, a reference value is calculated from the shake detection signal, and the reference value is subtracted from the shake detection signal value. By integrating it, the angular velocity signal is converted into an angular displacement signal, and the target drive position of the blur correction lens 80 is calculated in consideration of various conditions such as the focal length of the entire imaging optical system (not shown).
Further, the drive signal calculation unit 50 calculates a drive signal from the calculated target drive position information and the position information of the shake correction lens 80 sent from the drive unit 70 via the A / D converter 40.

本実施例では、駆動信号演算部５０ａ，５０ｂの２つの駆動信号演算部が設けられている。しかし、これを１つにして駆動信号演算動作を時間的に振り分けるようにしてもよい。例えば、Ｘ軸方向の信号の駆動信号を演算した後、Ｙ軸方向の信号の駆動信号を演算し、その後Ｘ，Ｙ，Ｘ，Ｙ・・・と交互に駆動信号を演算するようにしてもよい。   In this embodiment, two drive signal calculation units, ie, drive signal calculation units 50a and 50b are provided. However, it is also possible to distribute the driving signal calculation operations in terms of time by using one unit. For example, after calculating the drive signal of the X-axis direction signal, the drive signal of the Y-axis direction signal is calculated, and then the drive signal is calculated alternately with X, Y, X, Y. Good.

Ｄ／Ａ変換器６０は、駆動信号演算部５０で演算された駆動信号（デジタル信号）をアナログ信号に変換するためのＤ／Ａ変換器である。変換されたアナログ信号は、駆動部７０に送信される。
なお、本実施例では、Ｄ／Ａ変換器６０は、マイコン９０に内蔵されているものを使用することを前提にしているが、これに限らず、マイコン９０とは別体のＤ／Ａ変換器を用いてもよい。
また、本実施例では、Ｄ／Ａ変換器６０ａ，６０ｂの２つのＤ／Ａ変換器が設けられているが、Ｄ／Ａ変換器を１つにして、変換動作を時間的に振り分けるようにしてもよい。例えば、Ｘ軸方向の信号を変換した後、Ｙ軸方向の信号を変換し、その後Ｘ，Ｙ，Ｘ，Ｙ・・・と変換するようにしてもよい。 The D / A converter 60 is a D / A converter for converting the drive signal (digital signal) calculated by the drive signal calculation unit 50 into an analog signal. The converted analog signal is transmitted to the drive unit 70.
In this embodiment, it is assumed that the D / A converter 60 is built in the microcomputer 90. However, the present invention is not limited to this, and the D / A conversion is separate from the microcomputer 90. A vessel may be used.
In this embodiment, two D / A converters 60a and 60b are provided. However, the conversion operation is divided in time by using one D / A converter. May be. For example, after the signal in the X-axis direction is converted, the signal in the Y-axis direction may be converted and then converted into X, Y, X, Y.

駆動部７０は、Ｄ／Ａ変換器６０から送信されてきた駆動信号（アナログ信号）を基に、ブレ補正レンズ８０を駆動する駆動部である。駆動部７０は、ブレ補正レンズ８０を駆動するためのアクチュエータや、ブレ補正レンズ８０の位置を検出する位置検出センサ等を有している。位置検出センサの出力は、Ａ／Ｄ変換器４０を経由して駆動信号演算部５０に送信される。
ブレ補正レンズ８０を２次元方向で駆動する必要があるため、この駆動部７０は、駆動部７０ａ，７０ｂの２つ設ける必要がある。 The drive unit 70 is a drive unit that drives the shake correction lens 80 based on the drive signal (analog signal) transmitted from the D / A converter 60. The drive unit 70 includes an actuator for driving the shake correction lens 80, a position detection sensor for detecting the position of the shake correction lens 80, and the like. The output of the position detection sensor is transmitted to the drive signal calculation unit 50 via the A / D converter 40.
Since it is necessary to drive the blur correction lens 80 in a two-dimensional direction, it is necessary to provide two driving units 70, ie, driving units 70a and 70b.

ブレ補正レンズ８０は、撮影装置のレンズ鏡筒１９０に内蔵された図示しない結像光学系の一部であり、光軸Ｉと略直交する平面内を動くことができる単レンズ又は複数枚のレンズより構成されるブレ補正光学系である。ブレ補正レンズ８０は、駆動部７０によって光軸Ｉと略直交する方向に駆動され、結像光学系の光軸Ｉを偏向させる。   The blur correction lens 80 is a part of an imaging optical system (not shown) built in the lens barrel 190 of the photographing apparatus, and is a single lens or a plurality of lenses that can move in a plane substantially orthogonal to the optical axis I. A blur correction optical system. The blur correction lens 80 is driven by the drive unit 70 in a direction substantially orthogonal to the optical axis I, and deflects the optical axis I of the imaging optical system.

写真等の像のブレは、手振れ等のカメラに加えられる振動により、露光中に結像面の像が動いてしまうことにより発生する。しかし、図１に示すようなブレ補正カメラにおいては、角速度センサ１０などの振動検出センサが内蔵されており、その振動検出センサにより、カメラに加えられた振動を検出することができる。そして、カメラに加えられた振動が検出されれば、その振動による結像面の像の動きを知ることができるので、結像面上の像の動きが止まるようにブレ補正レンズ８０を動かすことによって、結像面上の像の動き、すなわち像ブレを補正することができる。   Blur of an image such as a photograph occurs when an image on the imaging plane moves during exposure due to vibration applied to the camera such as camera shake. However, the shake correction camera as shown in FIG. 1 has a built-in vibration detection sensor such as the angular velocity sensor 10, and the vibration applied to the camera can be detected by the vibration detection sensor. If the vibration applied to the camera is detected, the movement of the image on the imaging plane due to the vibration can be known. Therefore, the blur correction lens 80 is moved so that the movement of the image on the imaging plane stops. Thus, the movement of the image on the image plane, that is, the image blur can be corrected.

マイコン９０は、Ａ／Ｄ変換器３０，４０、駆動信号演算部５０、Ｄ／Ａ変換器６０等が組み込まれているマイコンである。ここで説明した動作のほかに、不図示のオートフォーカス駆動などの制御も、このマイコン９０が行うようにしてもよい。   The microcomputer 90 is a microcomputer in which the A / D converters 30 and 40, the drive signal calculation unit 50, the D / A converter 60, and the like are incorporated. In addition to the operations described here, the microcomputer 90 may also perform control such as auto focus driving (not shown).

半押しタイマ１００は、半押しスイッチＳＷ１がＯＮとなったと同時にＯＮとなり、半押しスイッチＳＷ１がＯＮの間は、ＯＮのままであり、また、半押しスイッチＳＷ１がＯＦＦとなってからも、一定時間は、ＯＮのままとなっているタイマである。この半押しタイマ１００は、ＯＮと同時にカウントを開始し、ＯＮの間は、カウントを継続する。   The half-press timer 100 is turned on at the same time as the half-push switch SW1 is turned on, remains on while the half-push switch SW1 is turned on, and is constant even after the half-push switch SW1 is turned off. Time is a timer that remains ON. The half-press timer 100 starts counting as soon as it is turned on, and continues counting while it is on.

電源供給部１１０は、カメラの各部、ここでは、角速度センサ１０に電源を供給する部分であり、カメラの半押タイマ１００がＯＮの間、角速度センサ１０を始め、カメラシステム内で電源が必要とされるところに電源を供給し続ける。また、半押しタイマ１００がＯＦＦのとき、電源供給部１１０は、角速度センサ１０等への電源の供給を停止する。従って、カメラの半押しタイマ１００がＯＮの間に限り、角速度センサ１０によるカメラの振動検出が可能となる。   The power supply unit 110 is a part that supplies power to each part of the camera, here, the angular velocity sensor 10, and requires power within the camera system including the angular velocity sensor 10 while the half-press timer 100 of the camera is ON. Continue to supply power where it is. When the half-press timer 100 is OFF, the power supply unit 110 stops supplying power to the angular velocity sensor 10 and the like. Therefore, the camera vibration can be detected by the angular velocity sensor 10 only while the camera half-press timer 100 is ON.

露光時間制御部１２０は、不図示のコマンドダイヤルなどで設定された露光時間の設定値から、イメージセンサへの露光時間を制御する部分である。露光時間情報や露光の開始及び終了のタイミング情報は、点像関数演算部１４０に送信される。   The exposure time control unit 120 is a part that controls the exposure time to the image sensor from the set value of the exposure time set by a command dial (not shown). The exposure time information and exposure start / end timing information are transmitted to the point spread function calculation unit 140.

ブレ補正動作切り替えスイッチ（ＶＲＳＷ）１３０は、光学的なブレ補正動作のＯＮ／ＯＦＦを切り替えるブレ補正動作設定部であり、レンズ鏡筒１９０の外周部に設けられている。ＶＲＳＷ１３０がＯＮの場合は、ブレ補正レンズ８０を駆動させて光学的なブレ補正動作を行う。一方、ＶＲＳＷ１３０がＯＦＦの場合は、ブレ補正レンズ８０の駆動を停止し、光学的なブレ補正動作は行わない。
ＶＲＳＷ１３０の設定状態は、点像関数演算部１４０及び画像回復演算部１７０に送信される。これにより、後述する信号流れ制御部１４２が連携して働き、点像関数演算部１４０による点像分布関数の演算を基準値を用いて行うか、目標駆動位置の信号（振動検出信号）を用いて行うかを切り替えるので、ＶＲＳＷ１３０は、振動情報切り替え部としての機能も有している。 A shake correction operation changeover switch (VRSW) 130 is a shake correction operation setting unit that switches ON / OFF of an optical shake correction operation, and is provided on the outer peripheral portion of the lens barrel 190. When the VRSW 130 is ON, the blur correction lens 80 is driven to perform an optical blur correction operation. On the other hand, when the VRSW 130 is OFF, the driving of the blur correction lens 80 is stopped and the optical blur correction operation is not performed.
The setting state of the VRSW 130 is transmitted to the point spread function calculation unit 140 and the image restoration calculation unit 170. As a result, the signal flow control unit 142 described later works in cooperation, and the point spread function calculation unit 140 performs the calculation of the point spread function using the reference value, or the target drive position signal (vibration detection signal) is used. Therefore, the VRSW 130 also has a function as a vibration information switching unit.

点像関数演算部１４０は、駆動信号演算部５０、露光時間制御部１２０から得た情報を基に露光中の点像関数（点像分布関数）を演算する点像分布関数演算部である。本実施例における点像関数演算部１４０は、ＶＲＳＷ１３０の設定状態に応じて演算方法を以下のように変更する。   The point spread function calculation unit 140 is a point spread function calculation unit that calculates a point spread function (point spread function) during exposure based on information obtained from the drive signal calculation unit 50 and the exposure time control unit 120. The point spread function calculation unit 140 in the present embodiment changes the calculation method as follows according to the setting state of the VRSW 130.

（光学的なブレ補正動作ＯＮの場合）
光学的なブレ補正動作ＯＮの場合には、駆動信号演算部５０内で演算された基準値と露光時間制御部１２０から得た露光タイミング情報に基づいて点像関数を演算する。
光学的なブレ補正動作ＯＮの場合には、ブレ補正レンズ８０による補正が完全であれば点像関数は、一点となるが、実際のブレ補正動作は、完全でないため、点像関数は、一点にはならない。つまり、ブレ補正レンズ８０によって補正しきれないブレ（ブレ補正残差）が残る。光学的なブレ補正動作ＯＮの場合に点像関数演算部１４０により算出する点像関数は、ブレ補正レンズ８０で補正しきれずに像面に残ったブレ補正残差を画像処理によって補正するためのものである。 (When optical shake correction operation is ON)
When the optical blur correction operation is ON, the point spread function is calculated based on the reference value calculated in the drive signal calculation unit 50 and the exposure timing information obtained from the exposure time control unit 120.
When the optical shake correction operation is ON, the point spread function is one point if the correction by the shake correction lens 80 is complete. However, since the actual shake correction operation is not perfect, the point spread function is one point. It will not be. That is, a blur (blur correction residual) that cannot be corrected by the blur correction lens 80 remains. The point spread function calculated by the point spread function calculation unit 140 when the optical shake correction operation is ON is for correcting the shake correction residual remaining on the image plane by the image processing without being corrected by the shake correction lens 80. Is.

（光学的なブレ補正動作ＯＦＦの場合）
光学的なブレ補正動作ＯＦＦの場合には、駆動信号演算部５０内で演算された角変位信号、及び、露光時間制御部１２０から得た露光タイミング情報に基づいて点像関数を演算する。
光学的なブレ補正動作ＯＦＦの場合には、カメラに加えられた振動がそのまま像ブレとなる。本実施例では、角速度センサ１０の出力を利用して点像関数を演算することにより、ブレ補正レンズ８０を駆動しなかった場合でも画像回復によって像ブレを軽減することが可能となる。
光学的なブレ補正動作ＯＮ／ＯＦＦいずれの場合であっても、点像関数演算部１４０において演算された点像関数は、画像回復演算部１７０へ送信される。
なお、点像関数演算部１４０の具体的な動作については、後に説明する。 (When optical blur correction operation is OFF)
When the optical blur correction operation is OFF, the point spread function is calculated based on the angular displacement signal calculated in the drive signal calculation unit 50 and the exposure timing information obtained from the exposure time control unit 120.
When the optical blur correction operation is OFF, the vibration applied to the camera becomes image blur as it is. In this embodiment, by calculating a point spread function using the output of the angular velocity sensor 10, it is possible to reduce image blur by image restoration even when the blur correction lens 80 is not driven.
Regardless of whether the optical blur correction operation is ON or OFF, the point spread function calculated by the point spread function calculation unit 140 is transmitted to the image restoration calculation unit 170.
A specific operation of the point spread function calculation unit 140 will be described later.

イメージセンサ１５０は、不図示の結像光学系によって結像された画像を光電変換して撮像する撮像部である。イメージセンサ１５０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）タイプでもＣ−ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）タイプでもよい。   The image sensor 150 is an imaging unit that performs photoelectric conversion on an image formed by an imaging optical system (not shown). The image sensor 150 may be a CCD (Charge Coupled Devices) type or a C-MOS (Complementary Metal Oxide Semiconductor) type.

画像保存部１６０は、イメージセンサ１５０で得た画像を保存しておく画像記録部である。保存したデータは、必要に応じて画像回復演算部１７０に送信される。
また、画像保存部１６０は、メモリカード等の外部記憶媒体に画像等のデータを保存することもできる。
なお、本実施例における画像保存部１６０は、マイコン９０とは別に設けているが、マイコン９０内に組み込んでもよい。 The image storage unit 160 is an image recording unit that stores an image obtained by the image sensor 150. The stored data is transmitted to the image restoration calculation unit 170 as necessary.
The image storage unit 160 can also store data such as images on an external storage medium such as a memory card.
The image storage unit 160 in this embodiment is provided separately from the microcomputer 90, but may be incorporated in the microcomputer 90.

画像回復演算部１７０は、画像保存部１６０から送られてきた画像データと点像関数演算部１４０から送られてきた点像関数情報、ＶＲＳＷ１３０から送られてきたＶＲＳＷ１３０の設定状態（光学的なブレ補正を行うか否か）とから画像に含まれるブレを取り除く画像回復演算を行う部分である。画像回復演算部１７０により行われる処理の内容については、後に詳しく説明する。
なお、本実施例における画像回復演算部１７０は、マイコン９０とは別に設けているが、マイコン９０内に組み込んでもよい。 The image restoration calculation unit 170 receives the image data sent from the image storage unit 160, the point spread function information sent from the point spread function calculation unit 140, and the setting state (optical blurring) of the VRSW 130 sent from the VRSW 130. This is a part for performing an image restoration calculation to remove blur included in the image from whether or not correction is performed. The contents of the processing performed by the image restoration calculation unit 170 will be described in detail later.
The image restoration calculation unit 170 in this embodiment is provided separately from the microcomputer 90, but may be incorporated in the microcomputer 90.

モニタ１８０は、撮影者が撮影した画像、及び、画像回復した後の画像等を確認する表示部である。
カメラボディ２００は、撮影部を有し、レンズ鏡筒１９０を交換可能な一眼レフカメラのカメラ本体である。 The monitor 180 is a display unit for confirming an image taken by the photographer, an image after image restoration, and the like.
The camera body 200 is a camera body of a single-lens reflex camera having a photographing unit and capable of replacing the lens barrel 190.

半押しスイッチＳＷ１は、不図示のレリーズボタンの半押し動作に連動してＯＮとなるスイッチである。この半押しスイッチＳＷ１がＯＮとなることにより、不図示の測光部による測光演算、オートフォーカス駆動など一連の撮影準備動作を開始する。また、半押しタイマ１００がＯＦＦであった場合には、この半押しスイッチＳＷ１のＯＮに同期して半押しタイマ１００がＯＮとなる。   The half-press switch SW1 is a switch that is turned on in conjunction with a half-press operation of a release button (not shown). When the half-press switch SW1 is turned on, a series of photographing preparation operations such as photometry calculation by an unillustrated photometry unit and autofocus drive are started. If the half-press timer 100 is OFF, the half-press timer 100 is turned ON in synchronization with the half-press switch SW1 being turned ON.

全押しスイッチＳＷ２は、前記レリーズボタンを更に押し込む全押し動作に連動してＯＮとなるスイッチである。このスイッチがＯＮとなることにより、図示しないシャッタ機構によるシャッタの開閉、イメージセンサによる画像の取り込みなど一連の撮影動作が行われる。   The full push switch SW2 is a switch that is turned on in conjunction with a full push operation of further pushing the release button. When this switch is turned on, a series of photographing operations such as opening / closing of a shutter by a shutter mechanism (not shown) and capturing of an image by an image sensor are performed.

図２は、本実施例におけるカメラの動作の流れを示すフローチャートである。
以下、図２に示したフローチャートに従い、本実施例におけるカメラの動作の流れについて説明する。
なお、これ以降に説明する内容は、Ｘ方向Ｙ方向ともに共通の内容であるため、特に方向に関しては、明記せずに説明を行う。
ステップ（以下、Ｓとする）１０では、半押しスイッチＳＷ１がＯＮとなっているか否かを判定する。半押しスイッチＳＷ１がＯＮならばＳ２０へ進み、半押しスイッチＳＷ１がＯＦＦならばＳ１４０に進む。 FIG. 2 is a flowchart showing the flow of the operation of the camera in this embodiment.
Hereinafter, the flow of the operation of the camera in the present embodiment will be described with reference to the flowchart shown in FIG.
In addition, since the content demonstrated after this is the content common to X direction Y direction, it demonstrates without specifying especially about a direction.
In step (hereinafter referred to as S) 10, it is determined whether or not the half-press switch SW1 is ON. If the half-press switch SW1 is ON, the process proceeds to S20, and if the half-press switch SW1 is OFF, the process proceeds to S140.

Ｓ２０では、カウンタＴｓｗ１をリセットし、カウント値を０とする。カウンタＴｓｗ１は、半押しスイッチＳＷ１がＯＦＦになってからの経過時間を計測するためのカウンタであり、カウント値は整数である。このカウンタは、半押しスイッチＳＷ１がＯＮの間は０のままで、半押しスイッチＳＷ１がＯＦＦで、かつ半押しタイマ１００がＯＮの間のみ動作する。   In S20, the counter Tsw1 is reset and the count value is set to zero. The counter Tsw1 is a counter for measuring an elapsed time after the half-press switch SW1 is turned OFF, and the count value is an integer. This counter remains 0 while the half-press switch SW1 is ON, and operates only while the half-press switch SW1 is OFF and the half-press timer 100 is ON.

Ｓ３０では、半押しタイマ１００がＯＦＦであるか否かを判定する。半押しタイマ１００がＯＦＦであればＳ４０へ進み、半押しタイマ１００がＯＮであればＳ１７０へ進む。
Ｓ４０では、カウンタｔをリセットし、カウント値を０とする。カウンタｔは、半押しタイマ１００がＯＮとなっている時間を計測するためのカウンタである。このカウンタは、整数値カウンタであり、半押しタイマ１００がＯＮとなったと同時にカウント動作を開始し、半押しタイマ１００がＯＮの間は、カウント動作を続ける。 In S30, it is determined whether or not the half-press timer 100 is OFF. If the half-press timer 100 is OFF, the process proceeds to S40, and if the half-press timer 100 is ON, the process proceeds to S170.
In S40, the counter t is reset and the count value is set to zero. The counter t is a counter for measuring the time during which the half-press timer 100 is ON. This counter is an integer counter, and starts counting as soon as the half-press timer 100 is turned ON. The count operation continues while the half-press timer 100 is ON.

Ｓ５０では、半押しタイマ１００をＯＮにする。
Ｓ６０では、角速度センサ１０をＯＮとし、振動の検出を開始する。この他、Ａ／Ｄ変換器３０による変換動作もここで開始される。
Ｓ７０では、角速度センサ１０からの出力に基づいて基準値の演算を開始する。
Ｓ８０では、ブレ補正レンズ８０を駆動するための駆動信号の演算を開始する。
Ｓ９０では、ＶＲＳＷ１３０がＯＮに設定されているか否かを判定する。ＶＲＳＷ１３０がＯＮに設定されている場合は、ブレ補正レンズ８０を駆動させるためにＳ１００に進む。一方、ＶＲＳＷ１３０がＯＦＦに設定されている場合は、Ｓ１３０へ進む。 In S50, the half-press timer 100 is turned on.
In S60, the angular velocity sensor 10 is turned on and vibration detection is started. In addition, the conversion operation by the A / D converter 30 is also started here.
In S <b> 70, the calculation of the reference value is started based on the output from the angular velocity sensor 10.
In S80, calculation of a drive signal for driving the blur correction lens 80 is started.
In S90, it is determined whether the VRSW 130 is set to ON. When the VRSW 130 is set to ON, the process proceeds to S100 in order to drive the blur correction lens 80. On the other hand, if the VRSW 130 is set to OFF, the process proceeds to S130.

Ｓ１００では、ブレ補正レンズ８０の駆動を開始する。
Ｓ１１０では、露光動作、画像回復動作を行う。この動作の詳細については、後に図４を用いて説明する。
Ｓ１２０では、半押しタイマ１００のカウンタｔを１つ進める。
Ｓ１３０では、ブレ補正レンズ８０の駆動を停止する。なお、このステップに進んだ時点でブレ補正レンズ８０の駆動が既に停止していた場合は、そのまま停止状態を継続する。 In S100, driving of the blur correction lens 80 is started.
In S110, an exposure operation and an image restoration operation are performed. Details of this operation will be described later with reference to FIG.
In S120, the counter t of the half-press timer 100 is advanced by one.
In S130, the driving of the blur correction lens 80 is stopped. If the driving of the vibration reduction lens 80 has already stopped at the time of proceeding to this step, the stopped state is continued as it is.

Ｓ１４０では、半押しタイマ１００がＯＮであるか否かを判定する。半押しタイマ１００がＯＮならばＳ１５０へ進み、半押しタイマ１００がＯＦＦならばＳ１０へ戻り、半押しスイッチＳＷ１の検出を続行する。
Ｓ１５０では、このステップに進んだ時点では、カメラは半押しスイッチＳＷ１がＯＦＦで半押しタイマ１００がＯＮの状態になっており、この状態が継続している時間を計測するため、カウンタＴｓｗ１を１つ進める。 In S140, it is determined whether or not the half-press timer 100 is ON. If the half-press timer 100 is ON, the process proceeds to S150. If the half-press timer 100 is OFF, the process returns to S10, and the detection of the half-press switch SW1 is continued.
In S150, when the process proceeds to this step, the camera is in the state where the half-press switch SW1 is OFF and the half-press timer 100 is ON, and the counter Tsw1 is set to 1 to measure the time during which this state continues. Go forward.

Ｓ１６０では、カウンタＴｓｗ１の値がしきい値Ｔ＿ＳＷ１よりも小さいか否かを判定する。ここで、しきい値Ｔ＿ＳＷ１は、カウンタＴｓｗ１の上限を決めるための定数であり、半押しスイッチＳＷ１がＯＦＦとなってから半押しタイマ１００がＯＦＦとなるまでの時間を決めるものである。
カウンタＴｓｗ１がしきい値Ｔ＿ＳＷ１に満たない場合、すなわち肯定判定の場合は、半押しタイマ１００はＯＦＦとせず、Ｓ１７０に進む。一方、カウンタＴｓｗ１がこのしきい値Ｔ＿ＳＷ１と等しくなった場合、すなわちこのステップで否定判定となった場合は、Ｓ２２０に進み、半押しタイマ１００をＯＦＦにする処理、及び、半押しタイマ１００がＯＦＦになったときに伴う処理を行う。 In S160, it is determined whether the value of the counter Tsw1 is smaller than the threshold value T_SW1. Here, the threshold value T_SW1 is a constant for determining the upper limit of the counter Tsw1, and determines the time from when the half-press switch SW1 is turned off until the half-press timer 100 is turned off.
If the counter Tsw1 is less than the threshold value T_SW1, that is, if the determination is affirmative, the half-press timer 100 is not turned off and the process proceeds to S170. On the other hand, when the counter Tsw1 becomes equal to the threshold value T_SW1, that is, when a negative determination is made in this step, the process proceeds to S220, the process of turning off the half-press timer 100, and the half-press timer 100 is turned off. Performs the process associated with

Ｓ１７０では、角速度センサ１０がＯＮの状態を継続し、振れの検出を行う。また、Ａ／Ｄ変換器３０による変換動作も継続する。
Ｓ１８０では、基準値の演算を継続する。
Ｓ１９０では、角速度センサ１０の出力とＳ１８０で演算した基準値からブレ補正レンズ８０を駆動するための駆動信号の演算を継続する。
Ｓ２００では、ＶＲＳＷ１３０がＯＮに設定されているか否かを判定する。ＶＲＳＷ１３０がＯＮに設定されている場合は、ブレ補正レンズ８０の駆動を継続させるためにＳ２１０に進む。ＶＲＳＷ１３０がＯＦＦに設定されている場合は、Ｓ１３０へ進む。 In S170, the angular velocity sensor 10 continues to be in the ON state, and shake is detected. The conversion operation by the A / D converter 30 is also continued.
In S180, the calculation of the reference value is continued.
In S190, the calculation of the drive signal for driving the blur correction lens 80 is continued from the output of the angular velocity sensor 10 and the reference value calculated in S180.
In S200, it is determined whether the VRSW 130 is set to ON. If the VRSW 130 is set to ON, the process proceeds to S210 in order to continue driving the blur correction lens 80. If the VRSW 130 is set to OFF, the process proceeds to S130.

Ｓ２１０では、ブレ補正レンズ８０の駆動を継続する。
Ｓ２２０では、ブレ補正レンズ８０の駆動を停止する。
Ｓ２３０では、基準値の演算を停止する。
Ｓ２４０では、角速度センサ１０への電源の供給をストップし、角速度センサ１０をＯＦＦとする。
Ｓ２５０では、半押しタイマ１００をＯＦＦにしてＳ１０に戻り、半押しスイッチＳＷ１の状態検出を行う。 In S210, the drive of the blur correction lens 80 is continued.
In S220, the driving of the blur correction lens 80 is stopped.
In S230, the calculation of the reference value is stopped.
In S240, the supply of power to the angular velocity sensor 10 is stopped, and the angular velocity sensor 10 is turned off.
In S250, the half-press timer 100 is turned off, and the process returns to S10 to detect the state of the half-press switch SW1.

図３は、図１の駆動信号演算部５０、及び、画像回復を行うための各演算部の構成を示す図である。
基準値演算部５２は、Ａ／Ｄ変換器３０より送信されてきたセンサ出力信号から、駆動信号演算のための基準値を演算する部分である。通常の振れでの基準値は、角速度センサ１０が完全に静止している状態での出力（以下、ゼロ出力）値とすればよい。しかし、このゼロ出力値は、ドリフトや温度などの環境条件で変動してしまうため、基準値を固定値とすることができない。従って、実際に使用されている状態、つまり撮影者の手振れの信号から基準値を演算し、ゼロ出力を求めなければならない。
基準値演算の一例を以下に示す。 FIG. 3 is a diagram illustrating a configuration of the drive signal calculation unit 50 of FIG. 1 and each calculation unit for performing image restoration.
The reference value calculation unit 52 is a part that calculates a reference value for calculating a drive signal from the sensor output signal transmitted from the A / D converter 30. The reference value for normal shake may be an output value (hereinafter referred to as zero output) when the angular velocity sensor 10 is completely stationary. However, since this zero output value fluctuates due to environmental conditions such as drift and temperature, the reference value cannot be a fixed value. Therefore, it is necessary to calculate the reference value from the actual use state, that is, the camera shake signal of the photographer to obtain the zero output.
An example of the reference value calculation is shown below.

ここで、ωは、振れ検出信号であり、ω₀ は、振れの基準値である。また、これらの変数に付いているサフィックスｔは、経過時間（サンプリング：整数値）を表す変数である。この数７は、振れ検出信号の移動平均を表すものである。
角速度センサ１０のゼロ出力信号の周波数は、人間の手振れのそれに比べるとずっと低い。よって、基準値は、振れ検出信号の低周波成分を抽出すればよい。そこで、振れ検出信号、すなわち手振れの移動平均を演算して手振れ検出信号の基準値を演算している。そして、なるべく低い周波数成分のみを抽出するため、移動平均に使用するデータの数を多くしている。 Here, ω is a shake detection signal, and ω ₀ is a shake reference value. The suffix t attached to these variables is a variable representing elapsed time (sampling: integer value). This equation 7 represents the moving average of the shake detection signal.
The frequency of the zero output signal of the angular velocity sensor 10 is much lower than that of human hand shake. Therefore, the reference value may be extracted from the low frequency component of the shake detection signal. Therefore, the reference value of the shake detection signal is calculated by calculating the shake detection signal, that is, the moving average of the shake. In order to extract only the lowest frequency components as much as possible, the number of data used for the moving average is increased.

振れの基準値は、角速度センサ１０のゼロ出力値に近い値であることが望ましく、ゼロ出力値と基準値とに相違がある場合は、それがブレ補正レンズ８０で補正しきれないブレとして画像に残ってしまう。
なお、基準値の演算は、数７のような移動平均に限らず、ＦＩＲフィルタやＩＩＲフィルタなどのローパスフィルタを用いてもよい。 The reference value of the shake is preferably a value close to the zero output value of the angular velocity sensor 10. If there is a difference between the zero output value and the reference value, the image is regarded as a shake that cannot be corrected by the shake correction lens 80. Will remain.
Note that the calculation of the reference value is not limited to the moving average shown in Equation 7, but a low-pass filter such as an FIR filter or an IIR filter may be used.

積分演算部５４は、振れ検出信号（角速度）を積分して振れ角度情報に変換し、さらにブレ補正レンズの目標駆動位置を演算する演算部である。積分演算部５４が行う演算の一例を以下に示す。   The integral calculation unit 54 is a calculation unit that integrates the shake detection signal (angular velocity) and converts it into shake angle information, and further calculates the target drive position of the shake correction lens. An example of the calculation performed by the integration calculation unit 54 is shown below.

数８中の各記号は、θ（ｔ）：目標駆動位置，ω（ｔ）：振れ検出信号，ω₀ （ｔ）：基準値，t：時間（整数値）であり、Ｃは、レンズの焦点距離等の条件によって決まる定数である。なお、この積分演算部５４により演算された目標駆動位置の信号は、駆動信号算出部５８及び信号流れ制御部１４２へ送信される。 Symbols in Equation 8 are θ (t): target drive position, ω (t): shake detection signal, ω ₀ (t): reference value, t: time (integer value), and C is the lens It is a constant determined by conditions such as focal length. The signal of the target drive position calculated by the integration calculation unit 54 is transmitted to the drive signal calculation unit 58 and the signal flow control unit 142.

駆動信号算出部５８は、積分演算部５４で演算した目標駆動位置と駆動部７０からＡ／Ｄ変換器４０を経由して送信されてきたブレ補正レンズ８０の位置から、ブレ補正レンズ８０を駆動するための信号を算出する部分である。
駆動信号の演算は、目標駆動位置とブレ補正レンズ８０の位置との偏差を求め、偏差に比例する項、偏差の積分に比例する項、偏差の微分に比例する項を加算して駆動信号を演算するＰＩＤ制御が一般的である。なお、駆動信号の演算方法は、ＰＩＤ制御に限らず、他の方法でもよい。 The drive signal calculation unit 58 drives the shake correction lens 80 from the target drive position calculated by the integration calculation unit 54 and the position of the shake correction lens 80 transmitted from the drive unit 70 via the A / D converter 40. It is a part which calculates the signal for doing.
In the calculation of the drive signal, the deviation between the target drive position and the position of the shake correction lens 80 is obtained, and a term proportional to the deviation, a term proportional to the integral of the deviation, and a term proportional to the derivative of the deviation are added to obtain the drive signal. The PID control to calculate is common. The driving signal calculation method is not limited to PID control, and other methods may be used.

点像関数演算部１４０には、信号流れ制御部１４２と点像関数変換演算部１４４と振動情報保存部１４５とが設けられている。
信号流れ制御部１４２は、ＶＲＳＷ１３０の状態により、点像関数演算部１４０へ送信するデータを切り替える部分である。ＶＲＳＷ１３０がＯＮの状態では、基準値演算部５２により演算された基準値を点像関数演算部１４０へ送信する。一方、ＶＲＳＷ１３０がＯＦＦの状態では、積分演算部５４から出力された目標駆動位置信号を点像関数演算部１４０へ送信する。 The point spread function calculation unit 140 includes a signal flow control unit 142, a point spread function conversion calculation unit 144, and a vibration information storage unit 145.
The signal flow control unit 142 is a part that switches data to be transmitted to the point spread function calculation unit 140 according to the state of the VRSW 130. When the VRSW 130 is ON, the reference value calculated by the reference value calculation unit 52 is transmitted to the point spread function calculation unit 140. On the other hand, when the VRSW 130 is OFF, the target drive position signal output from the integration calculation unit 54 is transmitted to the point spread function calculation unit 140.

点像関数変換演算部１４４は、信号流れ制御部１４２から送信されてきた振れ検出信号、又は、基準値を露光中の点像関数に変換する演算を行う部分である。この点像関数変換演算部１４４が行う処理は、ＶＲＳＷ１３０の状態に応じて以下のように異なっている。
振動情報保存部１４５は、点像関数を演算するためのデータを蓄積する部分であり、ＶＲＳＷ１３０がＯＦＦの状態では、積分演算部５４の出力である目標駆動位置を蓄積し、ＶＲＳＷ１３０がＯＮの状態では、基準値演算部５２の出力を蓄積する。画像回復に利用する点像関数は、露光時間中のものである必要があるため、データの蓄積は、露光開始と同時に開始し、露光の終了と同時に終了する。ここで蓄積した振動情報を基にして点像関数変換演算部１４４は、点像関数の演算を行う。 The point image function conversion operation unit 144 is a part that performs an operation of converting the shake detection signal transmitted from the signal flow control unit 142 or the reference value into a point image function during exposure. The processing performed by the point spread function conversion calculation unit 144 differs as follows according to the state of the VRSW 130.
The vibration information storage unit 145 stores data for calculating a point spread function. When the VRSW 130 is in an OFF state, the target drive position that is an output of the integral calculation unit 54 is stored, and the VRSW 130 is in an ON state. Then, the output of the reference value calculation unit 52 is accumulated. Since the point spread function used for image recovery needs to be the one during the exposure time, data accumulation starts at the start of exposure and ends at the end of exposure. Based on the vibration information accumulated here, the point spread function conversion calculation unit 144 calculates a point spread function.

（光学的なブレ補正動作ＯＮの場合）
図１０及び図１１で説明したように、光学的なブレ補正動作を実行してもブレを補正しきれず、若干のブレが画像に残ってしまう（ブレ補正残差）場合がある。このようなブレ補正残差が発生する原因は、主に基準値によるところが大きい。そのため、この点像関数変換演算部１４４では基準値を基にしてブレ補正残差の点像関数に変換する。ここで変換した点像関数は、画像回復演算部１７０に送信される。画像回復演算部１７０は、その点像関数に基づいて画像回復演算を行い、光学的なブレ補正動作では補正しきれなかった像ブレの補正を行う。 (When optical shake correction operation is ON)
As described with reference to FIGS. 10 and 11, even when the optical blur correction operation is executed, the blur cannot be completely corrected, and a slight blur may remain in the image (blur correction residual). The cause of the occurrence of such a blur correction residual is largely due to the reference value. For this reason, the point spread function conversion calculation unit 144 converts the point spread function into a point spread function of the blur correction residual based on the reference value. The point spread function converted here is transmitted to the image restoration calculation unit 170. The image recovery calculation unit 170 performs image recovery calculation based on the point spread function, and corrects image blur that cannot be corrected by the optical blur correction operation.

図１３及び図１５により説明したように、ブレが大きくなるほど伝達されない周波数成分が増えるため、画像の回復が難しくなる。従来の画像回復装置の例では、光学的なブレ補正装置を備えていないカメラに角速度センサを内蔵し、センサ出力から点像関数を求めて画像回復を行う例がほとんどであった。しかし、光学的なブレ補正装置を備えていないことから、画像のブレが大きくなってしまうので、前述の理由により画像回復をしても画質が改善されなかったりするという問題があった。
そこで、本発明では、画像回復を光学的なブレ補正装置と組み合わせ、まず光学的なブレ補正装置により画像のブレをある程度軽減する。そうすると、この場合の点像関数、空間周波数伝達関数、逆フィルタ、ウィナーフィルタは、例えば図１５（ａ）〜（ｄ）のようになる。これと図１３を比較すると、図１５（ｂ）の空間周波数伝達関数が０になっている点が図１３（ｂ）のそれよりも少なくなっていることがわかる。これは、伝達されない周波数成分を減らしていることになるので、画像回復を効果的に行うことができることを示している。
ここで、画像回復を行うための点像関数を基準値から求める演算の一例を示す。
まず、基準値の総平均値を求める。 As described with reference to FIGS. 13 and 15, since the frequency component that is not transmitted increases as blurring increases, it becomes difficult to recover the image. Most examples of conventional image restoration devices include an angular velocity sensor in a camera that does not include an optical shake correction device, and performs image restoration by obtaining a point spread function from the sensor output. However, since an optical blur correction device is not provided, image blurring increases, and there is a problem in that the image quality is not improved even if the image is restored for the above-described reason.
Therefore, in the present invention, image restoration is combined with an optical blur correction device, and first, the blur of the image is reduced to some extent by the optical blur correction device. Then, the point spread function, the spatial frequency transfer function, the inverse filter, and the Wiener filter in this case are as shown in FIGS. 15A to 15D, for example. Comparing this with FIG. 13, it can be seen that the point where the spatial frequency transfer function of FIG. 15B is 0 is smaller than that of FIG. 13B. This indicates that frequency components that are not transmitted are reduced, so that image restoration can be performed effectively.
Here, an example of a calculation for obtaining a point spread function for performing image restoration from a reference value is shown.
First, the total average value of the reference values is obtained.

ここで、Ｎは、平均の演算に使用した基準値の数（＝時間）であり、例えば基準値演算のサンプリング周波数が１ｋＨｚの時、１秒分の基準値の平均をとる場合は、Ｎ＝１０００となる。ここでは、全押しスイッチがＯＮとなった時間から１秒〜数秒程度前までのデータを使用する。
次にこの平均値を使用して、露光時間の間だけ基準値の積分を行う。 Here, N is the number of reference values (= time) used for the average calculation. For example, when the sampling frequency of the reference value calculation is 1 kHz, N = 1000. In this case, data from 1 second to several seconds before the time when the full push switch is turned on is used.
The average value is then used to integrate the reference value only during the exposure time.

これらの演算をそれぞれＸ方向、Ｙ方向について行い、それらをＸ−Ｙ平面に展開することにより、点像分布関数が得られる。
なお、以上の点像分布関数の演算手法は一例であり、演算には他の方法を利用しても良い。 By performing these operations in the X direction and Y direction, respectively, and developing them in the XY plane, a point spread function can be obtained.
The above point spread function calculation method is merely an example, and other methods may be used for the calculation.

（光学的なブレ補正動作ＯＦＦの場合）
光学的なブレ補正動作がＯＦＦの場合は、ブレ補正レンズ８０を駆動しないので、カメラの振動によるブレは、全く軽減されることはない。しかし、図１に示すカメラは、角速度センサ１０を内蔵し、カメラに加えられる信号を検出しているので、それを利用することにより点像分布関数を演算する。ここで算出した点像分布関数は、画像回復演算部１７０に送信され、画像回復演算に用いられる。
そうすると、バッテリー不足やスイッチの入れ忘れなどでブレ補正レンズを駆動しなかった場合（光学的なブレ補正動作がＯＦＦの場合）であっても、画像回復処理によってブレのない画像を得ることができる。 (When optical blur correction operation is OFF)
When the optical blur correction operation is OFF, the blur correction lens 80 is not driven, so that blur due to camera vibration is not alleviated. However, since the camera shown in FIG. 1 incorporates an angular velocity sensor 10 and detects a signal applied to the camera, a point spread function is calculated by using the detected signal. The point spread function calculated here is transmitted to the image restoration calculation unit 170 and used for the image restoration calculation.
Then, even when the blur correction lens is not driven due to battery shortage or forgetting to turn on the switch (when the optical blur correction operation is OFF), an image without blur can be obtained by the image restoration process.

ここで、画像回復演算部１７０により行われる処理の内容について説明する。
画像回復演算部１７０では、点像関数演算部１４０で演算された点像分布関数を利用して画像保存部に保存された画像のブレを取り除く演算を行う。この演算は、ＶＲＳＷ１３０の設定により処理内容が変更される。
（光学的なブレ補正動作ＯＮの場合） Here, the contents of the processing performed by the image restoration calculation unit 170 will be described.
The image restoration calculation unit 170 performs calculation to remove the blurring of the image stored in the image storage unit using the point spread function calculated by the point spread function calculation unit 140. In this calculation, the processing content is changed according to the setting of the VRSW 130.
(When optical shake correction operation is ON)

（光学的なブレ補正動作ＯＦＦの場合） (When optical blur correction operation is OFF)

前述したように、ブレが大きくなると空間周波数伝達関数Ｐ（ｕ）＝０となる点が増えるため、ウィナーフィルタを使用して画像回復を行うと特定の周波数成分を強調してしまい、縞模様が発生するという問題があった。そこで、本実施例では、像のブレが大きくなるブレ補正ＯＦＦ時は、ウィナーフィルタの定数ｃ’を小さく（１／ｃ’を大きく）して特定の周波数成分の強調を抑えるようにしている。一方、像ブレが小さくなるブレ補正ＯＮ時は、ウィナーフィルタの定数ｃ”を大きく（１／ｃ”を小さく）して回復画像の再現性を高めている。   As described above, when blurring increases, the number of points where the spatial frequency transfer function P (u) = 0 is increased. Therefore, when image restoration is performed using a Wiener filter, a specific frequency component is emphasized, and a striped pattern is generated. There was a problem that occurred. Therefore, in this embodiment, when blur correction is turned off, which causes image blurring, the Wiener filter constant c 'is decreased (1 / c' is increased) to suppress enhancement of a specific frequency component. On the other hand, when blur correction is turned on to reduce image blur, the Wiener filter constant c ″ is increased (1 / c ″ is decreased) to improve the reproducibility of the recovered image.

ここで、ウィナーフィルタの定数ｃ’及びｃ”の決め方について説明する。
前述したように、光学的なブレ補正動作をＯＮとするかＯＦＦとするかにより、撮影される像に残るブレ量が大きく変わる。
図１３及び図１５で比較すると、ブレ量が大きい図１３では、ブレ量が少ない図１５に比べて、空間周波数伝達関数Ｐ（ｕ）がゼロとなるポイントの数が、ブレ量に比例して多くなっている。すなわち、図１３（ｂ）で見ると、ブレ量が大きくなるほど交差する数が増えることとなる。よって、ウィナーフィルタの定数ｃ’及びｃ”は、ブレ量の大きさに略比例した量だけ変えるとよい。
光学的なブレ補正動作を行うか否かにより変わるブレ量は、カメラの振れ量が同じであるならば、光学的なブレ補正の効果により変わることとなる。この光学的なブレ補正の効果は、製品ごとに異なるものであるが、例えば、光学的なブレ補正を行うか否かにより、シャッタースピードで３段（２³ ＝８倍）程度の効果が期待できる製品であるとすると、ｃ”≒８×ｃ’とするとよい。 Here, how to determine the constants c ′ and c ″ of the Wiener filter will be described.
As described above, the amount of blur remaining in the captured image varies greatly depending on whether the optical blur correction operation is turned ON or OFF.
Compared with FIGS. 13 and 15, in FIG. 13 where the amount of blur is large, the number of points at which the spatial frequency transfer function P (u) is zero is proportional to the amount of blur compared to FIG. 15 where the amount of blur is small. It is increasing. That is, as viewed in FIG. 13B, the number of intersections increases as the amount of blur increases. Therefore, the constants c ′ and c ″ of the Wiener filter may be changed by an amount that is approximately proportional to the amount of blurring.
If the camera shake amount is the same, the amount of blur that varies depending on whether or not the optical blur correction operation is performed varies depending on the effect of optical blur correction. The effect of this optical blur correction varies depending on the product. For example, an effect of about 3 steps (2 ³ = 8 times) at the shutter speed is expected depending on whether or not optical blur correction is performed. If it is a possible product, it is better to set c ″ ≈8 × c ′.

図４は、本発明におけるカメラの露光動作、画像回復動作の詳細を示すフローチャートである。
Ｓ５００では、全押しスイッチＳＷ２がＯＮか否かを判定する。全押しスイッチＳＷ２がＯＮの場合は、Ｓ５１０へ進み、全押しスイッチＳＷ２がＯＦＦの場合は、Ｓ５２０へ進む。
Ｓ５１０では、露光開始の処理が済んでいるか否かを判定する。露光開始処理が済んでいる場合は、Ｓ５２０へ進み、済んでいない場合は、Ｓ５３０へ進む。全押しスイッチＳＷ２は、露光動作のきっかけとなるスイッチである。このスイッチがＯＮとなったときに露光が開始されていなければここで露光を開始し、既に露光が開始されていれば露光の制御を行うようにする。 FIG. 4 is a flowchart showing details of the exposure operation and image restoration operation of the camera according to the present invention.
In S500, it is determined whether or not the full push switch SW2 is ON. When the full push switch SW2 is ON, the process proceeds to S510, and when the full push switch SW2 is OFF, the process proceeds to S520.
In S510, it is determined whether or not the exposure start process has been completed. If the exposure start process has been completed, the process proceeds to S520. If not, the process proceeds to S530. The full push switch SW2 is a switch that triggers an exposure operation. If the exposure is not started when this switch is turned on, the exposure is started here. If the exposure has already been started, the exposure is controlled.

Ｓ５２０では、露光中であるかどうかを判定する。露光中であればＳ５４０へ進み、そうでなければＳ５７０へ進む。
Ｓ５３０では、ミラーのアップ、シャッターを開ける等の露光開始のための処理を行う。
Ｓ５４０では、ＶＲＳＷ１３０がＯＮになっているか否かを判定する。ＶＲＳＷ１３０がＯＮとなっていればＳ５５０へ進み、ＶＲＳＷ１３０がＯＦＦであればＳ５６０へ進む。
Ｓ５５０では、基準値の積分を行う。これは、光学的なブレ補正装置によって補正しきれなかった像のブレを演算するものと等価である。積分した値はメモリ（振動情報保存部１４５）に蓄積しておき、露光後の点像分布関数の演算に利用する。その後、Ｓ５００へ戻る。 In S520, it is determined whether exposure is in progress. If exposure is in progress, the process proceeds to S540; otherwise, the process proceeds to S570.
In step S530, processing for starting exposure, such as raising the mirror and opening the shutter, is performed.
In S540, it is determined whether the VRSW 130 is ON. If the VRSW 130 is ON, the process proceeds to S550, and if the VRSW 130 is OFF, the process proceeds to S560.
In S550, the reference value is integrated. This is equivalent to the calculation of image blur that could not be corrected by an optical blur correction device. The integrated value is stored in a memory (vibration information storage unit 145) and used for calculation of a point spread function after exposure. Thereafter, the process returns to S500.

Ｓ５６０では、目標駆動位置信号をカメラの振れに関する情報（振動検出信号）として読み込み、メモリ（振動情報保存部１４５）に蓄積しておく。これを利用して露光終了後に点像分布関数の演算を行う。なお、本実施例では、目標駆動位置信号を記憶することとしているが、角速度センサ１０から得られる信号を直接記憶するようにしてもよい。その後、Ｓ５００へ戻る。
このようにＳ５４０において、ＶＲＳＷ１３０の状態を判断し、その結果に応じて、メモリに記憶するものを基準値とするか目標駆動位置信号とするのかを切り替える（Ｓ５５０，Ｓ５６０）ことにより、その後の点像分布関数の演算のために記憶するデータ量を最小限とすることができる。 In S560, the target drive position signal is read as information about camera shake (vibration detection signal) and stored in the memory (vibration information storage unit 145). Using this, the point spread function is calculated after the exposure is completed. In this embodiment, the target drive position signal is stored. However, the signal obtained from the angular velocity sensor 10 may be stored directly. Thereafter, the process returns to S500.
As described above, in S540, the state of the VRSW 130 is determined, and depending on the result, switching between the reference value and the target drive position signal is made based on the result stored in the memory (S550, S560), and the subsequent points. The amount of data stored for calculating the image distribution function can be minimized.

Ｓ５７０では、露光を終了させるための処理が完了しているか否かを判定する。露光終了処理が完了している場合には、Ｓ５９０へ進み、露光終了処理が完了していない場合には、Ｓ５８０へ進む。
Ｓ５８０では、ミラーのダウン、シャッターを閉じる等の露光終了のための処理を行う。その後、Ｓ５００へ戻る。
Ｓ５９０では、点像分布関数の演算が終了しているか否かを判定する。点像分布関数の演算が終了していればＳ６１０へ進み、点像分布関数の演算が終了していなければＳ６００へ進む。 In S570, it is determined whether or not the process for ending the exposure has been completed. If the exposure end process has been completed, the process proceeds to S590. If the exposure end process has not been completed, the process proceeds to S580.
In S580, processing for completing the exposure, such as mirror down and shutter closing, is performed. Thereafter, the process returns to S500.
In S590, it is determined whether or not the calculation of the point spread function has been completed. If the calculation of the point spread function has been completed, the process proceeds to S610, and if the calculation of the point spread function has not been completed, the process proceeds to S600.

Ｓ６００では、点像分布関数の演算を開始、又は、継続する。このステップに来た時点で点像分布関数の演算が開始されていなければ演算を開始し、既に演算が開始されていたらその演算を継続する。その後、Ｓ５００へ戻る。
Ｓ６１０では、画像回復に使用する演算式（ウィナーフィルタ）が設定されていないかどうかを判定する。演算式が未設定の場合は、Ｓ６２０へ進み、既に設定されている場合は、Ｓ６５０へ進む。
Ｓ６２０では、ＶＲＳＷ１３０がＯＮになっているか否かを判定する。ＶＲＳＷ１３０がＯＮとなっていればＳ６３０へ進み、ＶＲＳＷ１３０がＯＦＦであればＳ６４０へ進む。
Ｓ６３０では、数１１に示したウィナーフィルタを画像回復演算に使用するものとして設定する。
Ｓ６４０では、数１２に示したウィナーフィルタを画像回復演算に使用するものとして設定する。
Ｓ６５０では、 画像回復の演算が終了しているか否かを判定する。終了していればＳ１２０へ戻り、終了していなければＳ６６０へ進む。
Ｓ６６０では、画像回復の演算を開始、又は、継続する。このステップに来た時点で画像回復の演算が開始されていなければ演算を開始し、既に演算が開始されていたらその演算を継続する。その後、Ｓ５００へ戻る。 In S600, the calculation of the point spread function is started or continued. If the calculation of the point spread function has not started at the time of this step, the calculation is started, and if the calculation has already started, the calculation is continued. Thereafter, the process returns to S500.
In S610, it is determined whether an arithmetic expression (Wiener filter) used for image restoration is not set. If the arithmetic expression is not set, the process proceeds to S620, and if it is already set, the process proceeds to S650.
In S620, it is determined whether the VRSW 130 is ON. If the VRSW 130 is ON, the process proceeds to S630, and if the VRSW 130 is OFF, the process proceeds to S640.
In S630, the Wiener filter shown in Equation 11 is set to be used for image restoration calculation.
In S640, the Wiener filter shown in Equation 12 is set to be used for the image restoration calculation.
In S650, it is determined whether the image restoration calculation has been completed. If completed, the process returns to S120, and if not completed, the process proceeds to S660.
In S660, the image restoration calculation is started or continued. If the image restoration calculation is not started at the time of this step, the calculation is started. If the calculation has already been started, the calculation is continued. Thereafter, the process returns to S500.

図５は、本実施例において、光学的なブレ補正を行っていないときの画像回復の状態を示す図である。
図５と従来の画像回復の例である図１３とを比較する。図５（ｄ）は、光学的なブレ補正を行っていないときのウィナーフィルタを示しているが、本実施例では、数１２におけるｃ’を小さくしたことによりフィルタの値が抑えられていることが図５（ｄ）と図１３（ｄ）との比較により判る。こうすることにより、特定の周波数成分が著しく強調されることがなくなる。そうすると、従来問題になっていた回復画像の縞模様を低減することができる。
図６は、本実施例における画像回復の一例を示す図である。
図６は、図１２と同じ画像及び同じ点像分布関数として示しているが、回復結果の画像である図６（ｃ），図１２（ｃ）を比較すると、本実施例による画像回復結果のほうが、縞模様が目立たなくなっていることが確認できる。 FIG. 5 is a diagram showing a state of image restoration when optical blur correction is not performed in this embodiment.
FIG. 5 is compared with FIG. 13, which is an example of conventional image restoration. FIG. 5D shows a Wiener filter when optical blur correction is not performed. In this embodiment, the filter value is suppressed by reducing c ′ in Equation 12. Can be seen by comparing FIG. 5 (d) and FIG. 13 (d). By doing so, specific frequency components are not significantly emphasized. As a result, the stripe pattern of the recovered image, which has been a problem in the past, can be reduced.
FIG. 6 is a diagram illustrating an example of image restoration in the present embodiment.
FIG. 6 shows the same image and the same point spread function as those in FIG. 12. However, when FIG. 6 (c) and FIG. It can be confirmed that the striped pattern is less noticeable.

以上説明したように、本発明のカメラでは、光学的なブレ補正動作ＯＦＦの場合には、角速度センサの出力から点像関数を演算し、撮影後の画像回復処理によってブレを軽減することができる。
また、光学的なブレ補正動作ＯＮの場合には、基準値出力から点像関数を演算するようにし、ブレ補正レンズで補正しきれなかったブレを画像回復処理によって軽減することができる。
さらに、光学的なブレ補正動作のＯＮ時とＯＦＦ時のそれぞれに対して、ウィナーフィルタのパラメータ（ｃ’，ｃ”）を適切な値に設定することにより、それぞれの状況で回復画像の質を向上させることができる。 As described above, in the camera of the present invention, when the optical shake correction operation is OFF, the point spread function is calculated from the output of the angular velocity sensor, and the shake can be reduced by the image restoration process after shooting. .
When the optical blur correction operation is ON, a point spread function is calculated from the reference value output, and blur that cannot be corrected by the blur correction lens can be reduced by image restoration processing.
Furthermore, the quality of the recovered image can be improved in each situation by setting the parameters (c ′, c ″) of the Wiener filter to appropriate values for each of when the optical blur correction operation is ON and OFF. Can be improved.

さらにまた、ＶＲＳＷ１３０の状態を判断し、その結果に応じて、メモリに記憶するものを基準値とするか目標駆動位置信号とするのかを切り替えることにより、膨大なデータを保持することなく、光学的なブレ補正動作のＯＮ時とＯＦＦ時のそれぞれに対して最適な点像分布関数を演算することができる。
以上のことから、バッテリー不足、スイッチの入れ忘れなど、何らかの傷害によりブレ補正レンズが動作しない場合でも画像回復処理によってブレを軽減させることができる。また、補正レンズを動作させた（光学的なブレ補正動作を行う）場合は、画像回復処理をさらに行うことによって、よりブレ補正効果を高めることができる。 Furthermore, the state of the VRSW 130 is determined, and depending on the result, switching between what is stored in the memory as a reference value or a target drive position signal is possible without holding a huge amount of data. It is possible to calculate an optimal point spread function for each of when the blur correction operation is ON and when it is OFF.
From the above, even if the blur correction lens does not operate due to some injury such as battery shortage or forgetting to switch on, blur can be reduced by image restoration processing. When the correction lens is operated (optical blur correction operation is performed), the blur correction effect can be further enhanced by further performing image restoration processing.

実施例１では、画像回復演算部は、カメラに内蔵されていた。しかし、現在のデジタル写真の用途から考えると、後からパソコン等により処理することが好ましい場合もある。実施例２は、実施例１における画像回復演算部１７０に相当する機能を、パソコン等に搭載されるアプリケーションソフト（ブレ補正プログラム）により実現させるようにした例である。   In the first embodiment, the image recovery calculation unit is built in the camera. However, considering the current application of digital photography, it may be preferable to process the image later with a personal computer or the like. The second embodiment is an example in which a function corresponding to the image restoration calculation unit 170 in the first embodiment is realized by application software (blur correction program) installed in a personal computer or the like.

図７は、実施例２における光学的なブレ補正装置を内蔵したカメラ、及び、画像回復システムの概要を示す図である。
実施例２の説明においては、図１と共通する部分の説明は、適宜省略する。
本実施例では、カメラ内で画像回復演算を行うのではなく、画像と点像関数をパソコン等に転送し、パソコン等により画像回復を行うようにしている。従って、画像回復演算部１７０ｂは、カメラに内蔵されず、また画像保存部１６０と点像関数演算部１４０は、接続コネクタ２１０と接続されている。 FIG. 7 is a diagram illustrating an overview of a camera and an image recovery system in which an optical shake correction apparatus according to the second embodiment is incorporated.
In the description of the second embodiment, the description of the parts common to FIG.
In this embodiment, the image recovery calculation is not performed in the camera, but the image and the point spread function are transferred to a personal computer or the like, and the personal computer or the like performs the image recovery. Therefore, the image restoration calculation unit 170b is not built in the camera, and the image storage unit 160 and the point spread function calculation unit 140 are connected to the connection connector 210.

接続コネクタ２１０は、画像保存部１６０に保存された画像と、点像関数演算部１４０で演算された点像関数とをカメラ外部に送信するためのコネクタである。接続コネクタ２１０には、接続ケーブル２２０が接続可能な構成になっており、接続ケーブル２２０を介してパソコンなどにデータを転送することができる。   The connection connector 210 is a connector for transmitting the image stored in the image storage unit 160 and the point spread function calculated by the point spread function calculation unit 140 to the outside of the camera. A connection cable 220 can be connected to the connection connector 210, and data can be transferred to a personal computer or the like via the connection cable 220.

接続ケーブル２２０は、カメラボディ２００の接続コネクタ２１０とパソコン２３０の通信ポートとを接続するケーブルであり、このケーブルを介してカメラとパソコンとの間でデータの送受信を行う。
なお、接続コネクタ２１０及び接続ケーブル２２０からなる通信手段は、例えば、ＲＳ−２３２Ｃ、ＵＳＢ、パラレルポート、ＩＥＥＥ１３９４等どのような規格を用いてもよいが、パソコン２３０側の対応する規格に合わせて、複数種類を用意してもよい。 The connection cable 220 is a cable that connects the connection connector 210 of the camera body 200 and the communication port of the personal computer 230, and transmits and receives data between the camera and the personal computer via this cable.
The communication means including the connection connector 210 and the connection cable 220 may use any standard such as RS-232C, USB, parallel port, IEEE 1394, etc., but according to the corresponding standard on the personal computer 230 side, Multiple types may be prepared.

パソコン２３０は、ディスプレイ、通信ポート等を備えた通常のコンピュータであり、別途供給される画像処理ソフト２４０を組み込む（インストール）することにより、本実施例における外部装置として利用可能となる。パソコン２３０は、接続ケーブル２２０によりカメラボディ２００と接続されており、接続ケーブル２２０を介してカメラボディ２００と通信を行うことにより、撮影した画像の表示や処理を行う。   The personal computer 230 is a normal computer having a display, a communication port, and the like, and can be used as an external device in this embodiment by installing (installing) separately supplied image processing software 240. The personal computer 230 is connected to the camera body 200 via the connection cable 220, and displays and processes captured images by communicating with the camera body 200 via the connection cable 220.

画像処理ソフト２４０は、接続ケーブル２２０を介してカメラボディ２００から画像データなどをパソコン２３０に転送して入力するデータ入力部（データ入力機能）２４０ａを含む他、パソコン２３０側からカメラの設定などを行うことができるプログラムである。画像処理ソフト２４０は、ＣＤ−ＲＯＭ等の媒体に格納されており、パソコン２３０にインストールして使用する。
また、画像処理ソフト２４０には、点像関数を読み込み、画像データと点像関数から画像回復演算を行う画像回復演算部１７０ｂ（画像回復演算機能）も含まれている。したがって、画像処理ソフト２４０をパソコン２３０上で実行することにより、パソコン２３０上で画像回復処理を行うことができるようになる。 The image processing software 240 includes a data input unit (data input function) 240a for transferring and inputting image data and the like from the camera body 200 to the personal computer 230 via the connection cable 220, as well as setting the camera from the personal computer 230 side. It is a program that can be performed. The image processing software 240 is stored in a medium such as a CD-ROM, and is installed in the personal computer 230 for use.
The image processing software 240 also includes an image restoration calculation unit 170b (image restoration calculation function) that reads a point spread function and performs an image restoration calculation from the image data and the point spread function. Therefore, by executing the image processing software 240 on the personal computer 230, the image restoration process can be performed on the personal computer 230.

本実施例では、画像回復演算部１７０ｂでは、ウィナーフィルタの定数ｃ’又はｃ”を任意の値に変更することができる。本実施例では、とりあえず既定のウィナーフィルタの定数ｃ’又はｃ”により画像回復処理を実行してみて、その結果を確認した後に、ウィナーフィルタの定数ｃ’又はｃ”の変更をすることができ、この変更は、何度でも行うことができる。
このように、パソコン２３０上で画像回復処理を行うようにすれば、その効果を確認しながら処理を行うことができ、処理後の結果が気に入らない場合には、処理をキャンセルすることもできる。また、画像回復処理の効き具合を調整してブレ補正の効果を調整することもできる。 In the present embodiment, the image restoration calculating unit 170b can change the constant c ′ or c ″ of the Wiener filter to an arbitrary value. In this embodiment, the constant c ′ or c ″ of the predetermined Wiener filter is used for the time being. After executing the image restoration process and confirming the result, it is possible to change the constant c ′ or c ″ of the Wiener filter, and this change can be performed any number of times.
As described above, if the image restoration process is performed on the personal computer 230, the process can be performed while confirming the effect, and if the result after the process is not liked, the process can be canceled. It is also possible to adjust the effect of blur correction by adjusting the effectiveness of the image restoration process.

本実施例によれば、画像回復演算部１７０ｂを外部装置であるパソコンなどに搭載することにより、カメラ内のマイコンよりも演算能力が勝るパソコンで演算させることができ、処理を高速に行うことができると共に、カメラの消費電力を抑えることができる。また、パソコンのディスプレイを使用することで、より効率よく、かつ詳細に画像回復の結果を確認することができる。
特に、光学的なブレ補正動作を行わない場合には、画像回復後にかえって画質の劣化を生じてしまう場合があるが、本実施例によれば、画像回復後の結果を十分に確認することができ、必要に応じてウィナーフィルタの定数の変更も行うことができるので、より確実に高画質な画像を得ることができる。
（変形例） According to the present embodiment, by installing the image restoration calculation unit 170b in a personal computer or the like as an external device, it is possible to perform calculation on a personal computer that has higher calculation capability than the microcomputer in the camera, and to perform processing at high speed. In addition, the power consumption of the camera can be reduced. Further, by using a display of a personal computer, it is possible to confirm the result of image restoration more efficiently and in detail.
In particular, when the optical blur correction operation is not performed, the image quality may be deteriorated after image restoration. According to this embodiment, the result after image restoration can be sufficiently confirmed. In addition, the constant of the Wiener filter can be changed as necessary, so that a high-quality image can be obtained more reliably.
(Modification)

以上説明した実施例に限定されることなく、種々の変形や変更が可能であって、それらも本発明の均等の範囲内である。
（１）各実施例において、画像回復には、数６に示したウィナーフィルタを使用する例を示したが、これに限らず他の手法を用いてもよい。 The present invention is not limited to the embodiments described above, and various modifications and changes are possible, and these are also within the equivalent scope of the present invention.
(1) In each embodiment, the example of using the Wiener filter shown in Equation 6 is shown for image restoration. However, the present invention is not limited to this, and other methods may be used.

（２）各実施例において、カメラは、一眼レフカメラである例を示したが、これに限らず、例えば、コンパクトカメラのような、レンズ非交換式でもよい。 (2) In each embodiment, the camera is an example of a single-lens reflex camera. However, the present invention is not limited to this.

（３）実施例２において、接続ケーブル２２０を介して点像関数等をパソコン２３０へ伝える例を示したが、これに限らず、例えば、記憶媒体を介して伝えるようにしてもよいし、無線通信により伝えるようにしてもよい。 (3) In the second embodiment, the point image function or the like is transmitted to the personal computer 230 via the connection cable 220. However, the present invention is not limited to this. For example, the point image function may be transmitted via a storage medium or wirelessly. You may make it tell by communication.

（４）実施例２において、一般的なパソコンを利用して画像回復を行うようにした例を示したが、これに限らず、例えば、専用の画像処理装置等、他の外部装置であってもよい。 (4) In the second embodiment, an example in which image restoration is performed using a general personal computer has been described. However, the present invention is not limited to this, and other external devices such as a dedicated image processing device may be used. Also good.

（５）実施例２において、パソコンへは、画像及び点像関数を入力する例を示したが、これに限らず、例えば、パソコンへ画像及び点像関数を演算するために必要な基準値又は振れ検出信号を入力し、パソコン側で点像関数の演算を行ってもよい。 (5) In the second embodiment, an example in which an image and a point spread function are input to a personal computer has been shown. However, the present invention is not limited to this. For example, a reference value or a reference value necessary for calculating an image and a point spread function to a personal computer A point detection function may be calculated on the personal computer side by inputting a shake detection signal.

本発明における光学的なブレ補正装置、画像回復部を内蔵したカメラの実施例１を示す模式図である。1 is a schematic diagram illustrating an optical blur correction device according to the present invention and a camera having a built-in image recovery unit according to a first embodiment. 実施例１におけるカメラの動作の流れを示すフローチャートである。3 is a flowchart illustrating a flow of operation of the camera in Embodiment 1. 図１の駆動信号演算部５０、及び、画像回復を行うための各演算部の構成を示す図である。It is a figure which shows the structure of the drive signal calculating part 50 of FIG. 1, and each calculating part for performing image restoration. 本発明におけるカメラの露光動作、画像回復動作の詳細を示すフローチャートである。3 is a flowchart showing details of an exposure operation and an image restoration operation of the camera in the present invention. 実施例１において、光学的なブレ補正を行っていないときの画像回復の状態を示す図である。In Example 1, it is a figure which shows the state of an image restoration when optical blurring correction is not performed. 実施例１における画像回復の一例を示す図である。FIG. 6 is a diagram illustrating an example of image restoration in the first embodiment. 実施例２における光学的なブレ補正装置を内蔵したカメラ、及び、画像回復システムの概要を示す図である。It is a figure which shows the outline | summary of the camera which incorporated the optical blurring correction apparatus in Example 2, and an image recovery system. 振れ検出装置を含んだ光学的なブレ補正装置の基本的な構成を示すブロック図である。It is a block diagram which shows the basic composition of the optical blurring correction apparatus containing a shake detection apparatus. 数１，２を模式的に表した図である。It is the figure which represented number 1,2 typically. ドリフト成分を含まない場合の角速度センサ出力，基準値の出力，像面での振れ量を示す図である。It is a figure which shows the angular velocity sensor output in case a drift component is not included, the output of a reference value, and the shake amount in an image surface. ドリフト成分を含む場合の角速度センサ出力，基準値の出力，像面での振れ量を示す図である。It is a figure which shows the angular velocity sensor output in case a drift component is included, the output of a reference value, and the shake amount in an image surface. 従来の画像回復を説明する図である。It is a figure explaining the conventional image restoration. 従来の画像回復を説明する図である。It is a figure explaining the conventional image restoration. ブレ量が小さい場合について図１２と同様に示した図である。It is the figure shown similarly to FIG. 12 about the case where blurring amount is small. ブレ量が小さい場合について図１３と同様に示した図である。It is the figure shown similarly to FIG. 13 about the case where blurring amount is small.

符号の説明Explanation of symbols

１０ 角速度センサ
２０ 増幅部
３０，４０ Ａ／Ｄ変換器
５０ 駆動信号演算部
５２ 基準値演算部
５４ 積分演算部
５８ 駆動信号算出部
５９ 信号流れ制御部
６０ Ｄ／Ａ変換器
７０ 駆動部
８０ ブレ補正レンズ
９０ マイコン
１００ 半押しタイマ
１１０ 電源供給部
１２０ 露光時間制御部
１３０ ブレ補正動作切り替えスイッチ（ＶＲＳＷ）
１４０ 点像関数演算部
１４２ 信号流れ制御部
１４４ 点像関数変換演算部
１５０ イメージセンサ
１６０ 画像保存部
１７０ 画像回復演算部
１８０ モニタ
１９０ レンズ鏡筒
２００ カメラボディ
２１０ 接続コネクタ
２２０ 接続ケーブル
２３０ パソコン
２４０ 画像処理ソフト
ＳＷ１ 半押しスイッチ
ＳＷ２ 全押しスイッチ
DESCRIPTION OF SYMBOLS 10 Angular velocity sensor 20 Amplifying part 30,40 A / D converter 50 Drive signal calculating part 52 Reference value calculating part 54 Integral calculating part 58 Drive signal calculating part 59 Signal flow control part 60 D / A converter 70 Drive part 80 Shake correction Lens 90 Microcomputer 100 Half-press timer 110 Power supply unit 120 Exposure time control unit 130 Shake correction operation changeover switch (VRSW)
140 Point image function calculation unit 142 Signal flow control unit 144 Point image function conversion calculation unit 150 Image sensor 160 Image storage unit 170 Image recovery calculation unit 180 Monitor 190 Lens barrel 200 Camera body 210 Connector 220 Connection cable 230 Personal computer 240 Image processing Software SW1 half push switch SW2 full push switch

Claims (21)

振動を検出して振動検出信号を出力する振動検出部と、
前記振動検出信号の基準値を演算する基準値演算部と、
前記振動検出信号及び前記基準値に基づいて駆動され、像ブレを補正するブレ補正光学系と、
前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、
前記基準値、又は、前記振動検出信号を用いて点像分布関数を演算する点像分布関数演算部と、
前記撮像部により撮像された画像に対して前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算部と、
前記点像分布関数演算部による点像分布関数の演算を前記基準値を用いて行うか、前記振動検出信号を用いて行うかを切り替える振動情報切り替え部と、
前記点像分布関数演算部が演算に使用する前記基準値又は前記振動検出信号を保存する振動情報保存部と、
を備え、
前記振動情報保存部は、前記振動情報切り替え部が前記基準値を用いる側に切り替わっているときには前記基準値を保存し、振動情報切り替え部が前記振動検出信号を用いる側に切り替わっているときには前記振動検出信号を保存すること、
を特徴とするブレ補正カメラシステム。 A vibration detector that detects vibration and outputs a vibration detection signal;
A reference value calculation unit for calculating a reference value of the vibration detection signal;
A blur correction optical system that is driven based on the vibration detection signal and the reference value and corrects image blur;
An imaging unit that captures an image formed by an imaging optical system including the blur correction optical system;
A point spread function calculation unit for calculating a point spread function using the reference value or the vibration detection signal;
An image restoration calculation unit that performs image restoration by performing image processing with the point spread function on an image taken by the imaging unit and corrects image blur;
A vibration information switching unit that switches whether the calculation of the point spread function by the point spread function calculation unit is performed using the reference value or the vibration detection signal;
A vibration information storage unit that stores the reference value or the vibration detection signal used by the point spread function calculation unit;
With
The vibration information storage unit stores the reference value when the vibration information switching unit is switched to the side using the reference value, and the vibration information storage unit is switched to the side using the vibration detection signal. Storing the detection signal,
An anti-shake camera system characterized by 振動を検出して振動検出信号を出力する振動検出部と、
前記振動検出信号の基準値を演算する基準値演算部と、
前記振動検出信号及び前記基準値に基づいて駆動され、像ブレを補正するブレ補正光学系と、
前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、
前記基準値、又は、前記振動検出信号を用いて点像分布関数を演算する点像分布関数演算部と、
前記撮像部により撮像された画像に対して前記点像分布関数を使用した空間周波数フィルタにより画像回復を行い像ブレを補正する画像回復演算部と、
前記点像分布関数演算部による点像分布関数の演算を前記基準値を用いて行うか、前記振動検出信号を用いて行うかを切り替える振動情報切り替え部と、
を備え、
前記画像回復演算部は、前記振動情報切り替え部が前記基準値を用いる側に切り替わっているか、前記振動検出信号を用いる側に切り替わっているかにより前記空間周波数フィルタを変更すること、
を特徴とするブレ補正カメラシステム。 A vibration detector that detects vibration and outputs a vibration detection signal;
A reference value calculation unit for calculating a reference value of the vibration detection signal;
A blur correction optical system that is driven based on the vibration detection signal and the reference value and corrects image blur;
An imaging unit that captures an image formed by an imaging optical system including the blur correction optical system;
A point spread function calculation unit for calculating a point spread function using the reference value or the vibration detection signal;
An image restoration calculation unit that performs image restoration on the image taken by the imaging unit using a spatial frequency filter that uses the point spread function and corrects image blur;
A vibration information switching unit that switches whether the calculation of the point spread function by the point spread function calculation unit is performed using the reference value or the vibration detection signal;
With
The image restoration calculation unit changes the spatial frequency filter depending on whether the vibration information switching unit is switched to the side using the reference value or the side using the vibration detection signal,
An anti-shake camera system characterized by 請求項２に記載のブレ補正カメラシステムにおいて、
前記画像回復演算部は、前記空間周波数フィルタとしてウィナーフィルタを用い、前記振動情報切り替え部が前記基準値を用いる側に切り替わっているか、前記振動検出信号を用いる側に切り替わっているかにより前記ウィナーフィルタの定数を変更すること、
を特徴とするブレ補正カメラシステム。 The camera shake correction camera system according to claim 2,
The image restoration calculation unit uses a Wiener filter as the spatial frequency filter, and the image information of the Wiener filter is switched depending on whether the vibration information switching unit is switched to the side using the reference value or the side using the vibration detection signal. Changing the constant,
An anti-shake camera system characterized by 請求項３に記載のブレ補正カメラシステムにおいて、
前記画像回復演算部は、前記振動情報切り替え部が前記基準値を用いる側に切り替わっているときに用いる前記ウィナーフィルタの定数よりも、前記振動情報切り替え部が前記振動検出信号を用いる側に切り替わっているときに用いる前記ウィナーフィルタの定数を大きくすること、
を特徴とするブレ補正カメラシステム。 The camera shake correction camera system according to claim 3,
The image restoration calculation unit is configured such that the vibration information switching unit is switched to the side using the vibration detection signal rather than the constant of the Wiener filter used when the vibration information switching unit is switched to the side using the reference value. Increasing the constant of the Wiener filter used when
An anti-shake camera system characterized by 請求項４に記載のブレ補正カメラシステムにおいて、
前記画像回復演算部が前記振動情報切り替え部が前記基準値を用いる側に切り替わっているときに用いる前記ウィナーフィルタの定数と前記振動情報切り替え部が前記振動検出信号を用いる側に切り替わっているときに用いる前記ウィナーフィルタの定数との差は、前記ブレ補正光学系を駆動する場合のブレ補正効果が大きいほど差が大きいこと、
を特徴とするブレ補正カメラシステム。 The blur correction camera system according to claim 4, wherein
When the image restoration calculation unit is switched to the side using the reference value and the constant of the Wiener filter used when the vibration information switching unit is switched to the side using the reference value, and when the vibration information switching unit is switched to the side using the vibration detection signal The difference from the constant of the Wiener filter to be used is such that the greater the blur correction effect when driving the blur correction optical system, the greater the difference.
An anti-shake camera system characterized by 請求項３に記載のブレ補正カメラシステムにおいて、
前記画像回復演算部は、前記ウィナーフィルタの定数を任意に変更可能であること、
を特徴とするブレ補正カメラシステム。 The camera shake correction camera system according to claim 3,
The image restoration calculation unit can arbitrarily change the constant of the Wiener filter,
An anti-shake camera system characterized by 請求項６に記載のブレ補正カメラシステムにおいて、
前記画像回復演算部は、画像回復後の結果に応じて何回でも前記ウィナーフィルタの定数を任意に変更可能であること、
を特徴とするブレ補正カメラシステム。 The camera shake correction camera system according to claim 6,
The image restoration calculation unit can arbitrarily change the constant of the Wiener filter any number of times according to the result after image restoration,
An anti-shake camera system characterized by 請求項１から請求項７までのいずれか１項に記載のブレ補正カメラシステムにおいて、
前記振動情報切り替え部は、前記ブレ補正光学系によるブレ補正動作を行うか否かを切り替えるブレ補正動作設定部の設定に応じて前記点像分布関数演算部による点像分布関数の演算方法を切り替え、前記ブレ補正光学系によるブレ補正動作を行うときには、前記前記基準値を用いる側に切り替わり、前記ブレ補正光学系によるブレ補正動作を行わないときには、前記振動検出信号を用いる側に切り替わること、
を特徴とするブレ補正カメラシステム。 In the camera shake correction camera system according to any one of claims 1 to 7,
The vibration information switching unit switches a calculation method of the point spread function by the point spread function calculation unit according to a setting of a blur correction operation setting unit that switches whether to perform a blur correction operation by the blur correction optical system. When the shake correction operation by the shake correction optical system is performed, the reference value is used, and when the shake correction operation by the shake correction optical system is not performed, the vibration detection signal is used.
An anti-shake camera system characterized by 振動を検出して振動検出信号を出力する振動検出部と、
前記振動検出信号の基準値を演算する基準値演算部と、
前記振動検出信号及び前記基準値に基づいて駆動され、像ブレを補正するブレ補正光学系と、
前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、
前記基準値又は前記振動検出信号を保存する振動情報保存部と、
前記振動情報保存部に前記基準値を保存するか前記振動検出信号を保存するかを切り替える振動情報切り替え部と、
を備えるブレ補正カメラ。 A vibration detector that detects vibration and outputs a vibration detection signal;
A reference value calculation unit for calculating a reference value of the vibration detection signal;
A blur correction optical system that is driven based on the vibration detection signal and the reference value and corrects image blur;
An imaging unit that captures an image formed by an imaging optical system including the blur correction optical system;
A vibration information storage unit for storing the reference value or the vibration detection signal;
A vibration information switching unit for switching whether to store the reference value or the vibration detection signal in the vibration information storage unit;
An image stabilization camera with 外部との通信及び／又は媒体を介して原画像データを受け取るデータ入力部と、
前記原画像データに対して点像分布関数を使用した空間周波数フィルタにより画像回復を行い像ブレを補正する画像回復演算部と、
を備えた画像回復装置であって、
前記画像回復演算部は、前記点像分布関数が基準値を用いて演算されたか、振動検出信号を用いて演算されたかにより前記空間周波数フィルタを変更すること、
を特徴とする画像回復装置。 A data input unit for receiving original image data via communication with outside and / or a medium;
An image restoration calculation unit that performs image restoration and corrects image blur by a spatial frequency filter using a point spread function for the original image data;
An image recovery device comprising:
The image restoration calculation unit changes the spatial frequency filter depending on whether the point spread function is calculated using a reference value or a vibration detection signal,
An image restoration apparatus characterized by the above. 請求項１０に記載の画像回復装置において、
前記画像回復演算部は、前記空間周波数フィルタとしてウィナーフィルタを用い、前記点像分布関数が前記基準値を用いて演算されたか、前記振動検出信号を用いて演算されたかにより前記ウィナーフィルタの定数を変更すること、
を特徴とする画像回復装置。 The image recovery device according to claim 10.
The image restoration calculation unit uses a Wiener filter as the spatial frequency filter, and determines a constant of the Wiener filter depending on whether the point spread function is calculated using the reference value or the vibration detection signal. Changing,
An image restoration apparatus characterized by the above. 請求項１１に記載の画像回復装置において、
前記画像回復演算部は、前記点像分布関数が前記基準値を用いて演算されたときに用いる前記ウィナーフィルタの定数よりも、前記点像分布関数が前記振動検出信号を用いて演算されたときに用いる前記ウィナーフィルタの定数を大きくすること、
を特徴とする画像回復装置。 The image recovery device according to claim 11.
The image restoration calculation unit is configured such that when the point spread function is calculated using the vibration detection signal rather than a constant of the Wiener filter used when the point spread function is calculated using the reference value. Increasing the constant of the Wiener filter used in
An image restoration apparatus characterized by the above. 請求項１２に記載の画像回復装置において、
前記点像分布関数が前記基準値を用いて演算されたときに用いる前記ウィナーフィルタの定数と前記点像分布関数が前記振動検出信号を用いて演算されたときに用いる前記ウィナーフィルタの定数との差は、前記原画像を撮影したときに使用したブレ補正光学系を駆動する場合のブレ補正効果が大きいほど差が大きいこと、
を特徴とする画像回復装置。 The image restoration device according to claim 12,
A constant of the Wiener filter used when the point spread function is calculated using the reference value and a constant of the Wiener filter used when the point spread function is calculated using the vibration detection signal. The difference is that the greater the blur correction effect when driving the blur correction optical system used when the original image was taken, the greater the difference,
An image restoration apparatus characterized by the above. 請求項１１に記載の画像回復装置において、
前記画像回復演算部は、前記ウィナーフィルタの定数を任意に変更可能であること、
を特徴とする画像回復装置。 The image recovery device according to claim 11.
The image restoration calculation unit can arbitrarily change the constant of the Wiener filter,
An image restoration apparatus characterized by the above. 請求項１４に記載の画像回復装置において、
前記画像回復演算部は、画像回復後の結果に応じて何回でも前記ウィナーフィルタの定数を任意に変更可能であること、
を特徴とする画像回復装置。 The image recovery device according to claim 14.
The image restoration calculation unit can arbitrarily change the constant of the Wiener filter any number of times according to the result after image restoration,
An image restoration apparatus characterized by the above. コンピュータに、
外部との通信及び／又は媒体を介して原画像データを受け取るデータ入力機能と、
前記原画像データに対して点像分布関数を使用した空間周波数フィルタにより画像回復を行い像ブレを補正する画像回復演算機能と、
を実現させるためのブレ補正プログラムであって、
前記画像回復演算機能は、前記点像分布関数が基準値を用いて演算されたか、振動検出信号を用いて演算されたかにより前記空間周波数フィルタを変更すること、
を特徴とするブレ補正プログラム。 On the computer,
A data input function for receiving original image data via communication with outside and / or a medium;
An image restoration calculation function for performing image restoration and correcting image blur by a spatial frequency filter using a point spread function for the original image data;
An image stabilization program for realizing
The image restoration calculation function is to change the spatial frequency filter depending on whether the point spread function is calculated using a reference value or a vibration detection signal.
An image stabilization program characterized by 請求項１６に記載のブレ補正プログラムにおいて、
前記画像回復演算機能は、前記空間周波数フィルタとしてウィナーフィルタを用い、前記点像分布関数が前記基準値を用いて演算されたか前記振動検出信号を用いて演算されたかにより前記ウィナーフィルタの定数を変更すること、
を特徴とするブレ補正プログラム。 The blur correction program according to claim 16, wherein
The image restoration calculation function uses a Wiener filter as the spatial frequency filter, and changes a constant of the Wiener filter depending on whether the point spread function is calculated using the reference value or the vibration detection signal. To do,
An image stabilization program characterized by 請求項１７に記載のブレ補正プログラムにおいて、
前記画像回復演算機能は、前記点像分布関数が前記基準値を用いて演算されたときに用いる前記ウィナーフィルタの定数よりも、前記点像分布関数が前記振動検出信号を用いて演算されたときに用いる前記ウィナーフィルタの定数を大きくすること、
を特徴とするブレ補正プログラム。 In the blur correction program according to claim 17,
The image restoration calculation function is obtained when the point spread function is calculated using the vibration detection signal rather than a constant of the Wiener filter used when the point spread function is calculated using the reference value. Increasing the constant of the Wiener filter used in
An image stabilization program characterized by 請求項１８に記載のブレ補正プログラムにおいて、
前記点像分布関数が前記基準値を用いて演算されたときに用いる前記ウィナーフィルタの定数と前記点像分布関数が前記振動検出信号を用いて演算されたときに用いる前記ウィナーフィルタの定数との差は、前記原画像を撮影したときに使用したブレ補正光学系を駆動する場合のブレ補正効果が大きいほど差が大きいこと、
を特徴とするブレ補正プログラム。 The blur correction program according to claim 18,
A constant of the Wiener filter used when the point spread function is calculated using the reference value and a constant of the Wiener filter used when the point spread function is calculated using the vibration detection signal. The difference is that the greater the blur correction effect when driving the blur correction optical system used when the original image was taken, the greater the difference,
An image stabilization program characterized by 請求項１７に記載のブレ補正プログラムにおいて、
前記画像回復演算機能は、前記ウィナーフィルタの定数を任意に変更可能であること、
を特徴とするブレ補正プログラム。 In the blur correction program according to claim 17,
The image restoration calculation function can arbitrarily change the constant of the Wiener filter,
An image stabilization program characterized by 請求項２０に記載のブレ補正プログラムにおいて、
前記画像回復演算機能は、画像回復後の結果に応じて何回でも前記ウィナーフィルタの定数を任意に変更可能であること、
を特徴とするブレ補正プログラム。

The blur correction program according to claim 20,
The image restoration calculation function can arbitrarily change the constant of the Wiener filter any number of times according to the result after image restoration,
An image stabilization program characterized by