JP2008236289A - Image sensing device - Google Patents

Image sensing device Download PDF

Info

Publication number
JP2008236289A
JP2008236289A JP2007071918A JP2007071918A JP2008236289A JP 2008236289 A JP2008236289 A JP 2008236289A JP 2007071918 A JP2007071918 A JP 2007071918A JP 2007071918 A JP2007071918 A JP 2007071918A JP 2008236289 A JP2008236289 A JP 2008236289A
Authority
JP
Japan
Prior art keywords
image
correction
blur
shutter button
camera shake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007071918A
Other languages
Japanese (ja)
Inventor
Yasuhiro Iijima
靖博 飯島
Haruo Hatanaka
晴雄 畑中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2007071918A priority Critical patent/JP2008236289A/en
Publication of JP2008236289A publication Critical patent/JP2008236289A/en
Pending legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To optimize blur correction processing in response to a depressed shutter button. <P>SOLUTION: In an image sensing device with a plurality of the shutter buttons, the blur correction processing is varied in response to the depression of any shutter button. The image sensing device adopts an addition type blur correction obtaining one image reducing a blur by continuously photographing a plurality of divided exposed images and adding and synthesizing each divided exposed image by an alignment. When the shutter button (SB1) assuming the comparative increase of the quantity of the blur is depressed in this case, the number of an exposure and a division is increased and a division exposure time is shortened comparatively, and the reduction of the quantity of the blur per one is preferred. Then, when the shutter button (SB2) assuming the comparative decrease of the quantity of the blur is depressed, the number of the exposure and the division is decreased and the division exposure time is lengthened comparatively, and a change into a high brightness of each divided exposed image is preferred. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、撮影した画像内のぶれを補正するぶれ補正機能を備えた撮像装置に関する。   The present invention relates to an imaging apparatus having a blur correction function for correcting blur in a captured image.

デジタルスチルカメラ、デジタルビデオカメラなどの撮像装置においては、近年、小型化及び軽量化が進み、誰もが手軽に撮影を行えるようになっている。一方、その反面、様々なカメラ姿勢及び把持状態で撮影が行われるため、カメラの筐体を確実に把持及び固定しないまま撮影を行うと、手ぶれにより得られた画像にぼけが生じる場合がある。このような手ぶれに由来する撮影の失敗を防止するための手ぶれ補正技術が様々に提案されている。   In recent years, imaging devices such as digital still cameras and digital video cameras have been reduced in size and weight, and anyone can easily perform shooting. On the other hand, since shooting is performed in various camera postures and gripping states, if shooting is performed without securely gripping and fixing the camera casing, an image obtained by camera shake may be blurred. Various camera shake correction techniques have been proposed in order to prevent shooting failures caused by such camera shake.

手ぶれ補正技術は、カメラ撮影における手ぶれを軽減する技術であり、デジタルカメラの差別化技術として重要視されている。手ぶれ補正技術は、補正対象が静止画像であるか動画像であるかに関わらず、手ぶれを検出する要素技術と、その検出結果に基づいて画像を補正する要素技術と、に分けて考えることができる。   The image stabilization technique is a technique for reducing camera shake in camera shooting, and is regarded as important as a differentiation technique for digital cameras. Regardless of whether the image to be corrected is a still image or a moving image, the image stabilization technology can be divided into an element technology that detects camera shake and an element technology that corrects an image based on the detection result. it can.

手ぶれを検出する方法には、センサ（角速度センサ等）を用いる方法と、画像を解析して検出する電子式の方法とがある。画像の補正には、光学系又は撮像素子の駆動により補正を行う光学式手ぶれ補正と、画像処理により補正を行う電子式手ぶれ補正とがある。   Methods for detecting camera shake include a method using a sensor (such as an angular velocity sensor) and an electronic method for analyzing and detecting an image. Image correction includes optical camera shake correction that performs correction by driving an optical system or an image sensor, and electronic camera shake correction that performs correction by image processing.

静止画像に対して手ぶれ補正を行う方法として、センサで手ぶれを検出しその検出結果に基づいて「光学式手ぶれ補正」を行う方法と、センサで手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法と、画像を解析して手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法と、がある。   As a method for correcting camera shake for still images, a method for detecting camera shake using a sensor and performing “optical camera shake correction” based on the detection result, and a method for detecting camera shake using a sensor and electronic camera shake based on the detection result are used. There are a method for performing correction and a method for detecting camera shake by analyzing an image and performing electronic camera shake correction based on the detection result.

電子式手ぶれ補正の１つとして、撮影後の画像に含まれるぼけを見積もって、そのぼけを画像処理によって除去する「復元式手ぶれ補正」がある。この画像処理は、画像復元処理とも呼ばれる。   As one type of electronic camera shake correction, there is “restoration type camera shake correction” in which blur included in an image after photographing is estimated and the blur is removed by image processing. This image processing is also called image restoration processing.

また、他の電子式手ぶれ補正として、「加算式手ぶれ補正」が実用化されている。加算式手ぶれ補正では、１回の露光で１枚の画像を得るための一括露光の露光時間を複数個に分割し、分割露光時間にて複数の分割露光画像を連続撮影する。そして、各分割露光画像の画像特徴に基づいて各分割露光画像間の動き検出を行い、その動き検出結果に従って各分割露光画像間の動きが打ち消されるように各分割露光画像を位置合わせして加算合成することにより、画像のぶれが低減された１枚の静止画像を生成する。   As another electronic image stabilization, “addition-type image stabilization” has been put into practical use. In addition-type image stabilization, the exposure time of batch exposure for obtaining one image in one exposure is divided into a plurality of images, and a plurality of divided exposure images are continuously photographed with the divided exposure time. Then, motion detection is performed between the divided exposure images based on the image characteristics of the divided exposure images, and the divided exposure images are aligned and added so that the motion between the divided exposure images is canceled according to the motion detection result. By synthesizing, one still image with reduced image blur is generated.

ところで、近年、様々なカメラ姿勢及び把持状態での撮影を可能とするべく、複数のシャッタボタンを備えたデジタルカメラも出現している。これらの複数のシャッタボタンは、様々なカメラ姿勢や把持状態に応じて操作しやすい位置に設けられており、ユーザが複数のシャッタボタンを状況に応じて使い分ける。ユーザが、複数のシャッタボタンの内の何れか１つを押下すると、デジタルカメラは手ぶれ補正機能を動作させて手ぶれを低減した画像をユーザに提供する。   By the way, in recent years, digital cameras having a plurality of shutter buttons have appeared to enable photographing with various camera postures and gripping states. The plurality of shutter buttons are provided at positions that are easy to operate according to various camera postures and gripping states, and the user uses the plurality of shutter buttons depending on the situation. When the user presses any one of the plurality of shutter buttons, the digital camera operates the camera shake correction function to provide the user with an image with reduced camera shake.

複数のシャッタボタンが存在する場合、各シャッタボタンの配置位置の相違等に由来して、通常、押下されるシャッタボタンが異なれば撮影時に生じる手ぶれの方向や大きさも異なってくる。このため、或るシャッタボタンの押下時に行われる手ぶれ補正が他のシャッタボタンの押下時に行われる手ぶれ補正として最適でないことも多い。しかしながら、従来は、何れのシャッタボタンが押下された場合でも一律に同じ手ぶれ補正処理を行っていた。これは、手ぶれ補正の効果、処理時間または消費電力の観点から望ましいものとは言えない。   In the case where there are a plurality of shutter buttons, the direction and size of camera shake generated at the time of shooting differ depending on the shutter button to be pressed, usually due to the difference in the position of each shutter button. For this reason, camera shake correction performed when a certain shutter button is pressed is often not optimal as camera shake correction performed when another shutter button is pressed. However, conventionally, the same camera shake correction processing is performed uniformly regardless of which shutter button is pressed. This is not desirable from the viewpoint of camera shake correction effect, processing time, or power consumption.

尚、下記特許文献１には、２つのシャッタボタン（レリーズボタン）を備えたカメラが開示されている。このカメラでは、どのシャッタボタンが押下されたかを判断することにより撮影モードを判断して、撮影時及び再生時に画像を自然な姿勢で表示するようにしている。また、下記特許文献２には、２つのシャッタボタン（レリーズボタン）を備え、それらの双方に触れた時にシャッタを駆動するようにしたカメラが開示されている。また、下記特許文献３には、１つのシャッタボタンを備え、撮影条件に応じて分割露光撮影モードと一括露光撮影モードとを切り替えるカメラが開示されている。   Patent Document 1 listed below discloses a camera including two shutter buttons (release buttons). In this camera, a shooting mode is determined by determining which shutter button is pressed, and an image is displayed in a natural posture during shooting and playback. Patent Document 2 below discloses a camera that includes two shutter buttons (release buttons) and drives the shutters when both of them are touched. Patent Document 3 below discloses a camera that includes one shutter button and switches between a divided exposure shooting mode and a batch exposure shooting mode according to shooting conditions.

また、復元式手ぶれ補正を採用した技術として、例えば、下記特許文献４〜６に記載された技術がある。例えば、下記特許文献４では、ぶれによる点広がり関数（Point Spread Function）の逆特性を有する補正関数を用いて、画像を復元している。   Moreover, as a technique which employ | adopted decompression | restoration type camera-shake correction, there exists a technique described in the following patent documents 4-6, for example. For example, in Patent Document 4 below, an image is restored using a correction function having a reverse characteristic of a point spread function due to blurring.

特開平５−１２２５７５号公報JP-A-5-122575 特開平１１−１６０７７６号公報Japanese Patent Laid-Open No. 11-160776 特開２００４−２２１９９２号公報JP 2004-221992 A 特開昭６２−１２７９７６号公報Japanese Patent Laid-Open No. 62-127976 特開２００４−８８５６７号公報JP 2004-88567 A 特開２００６−１２９２３６号公報JP 2006-129236 A

そこで本発明は、手ぶれ補正の効果向上、処理時間短縮又は消費電力削減に寄与する撮像装置を提供することを目的とする。   SUMMARY OF THE INVENTION An object of the present invention is to provide an imaging apparatus that contributes to improving the effect of camera shake correction, reducing processing time, or reducing power consumption.

本発明に係る第１の撮像装置は、静止画像の撮影を指示するための撮影指示操作を受けるシャッタボタンを複数備えた撮像装置において、前記静止画像に含まれうるぶれを低減するためのぶれ補正を実施してぶれ補正画像を生成するぶれ補正装置を備え、前記ぶれ補正装置は、前記複数のシャッタボタンの内、何れのシャッタボタンに対して前記撮影指示操作がなされたかを検出する撮影指示検出手段と、前記ぶれ補正を実現するための処理を制御するぶれ補正制御手段と、を備え、前記ぶれ補正制御手段は、前記撮影指示検出手段の検出結果に応じて前記処理を変更することを特徴とする。   According to a first imaging apparatus of the present invention, in an imaging apparatus including a plurality of shutter buttons that receive a shooting instruction operation for instructing shooting of a still image, blur correction for reducing blur that may be included in the still image is provided. And a camera shake correction device for generating a camera shake correction image, wherein the camera shake correction device detects which shutter button among the plurality of shutter buttons is operated to perform the shooting instruction. And a shake correction control means for controlling a process for realizing the shake correction, wherein the shake correction control means changes the process according to a detection result of the photographing instruction detection means. And

これにより、撮影指示操作がなされたシャッタボタンに応じたぶれ補正を実行可能となる。結果、手ぶれ補正の効果向上、処理時間短縮又は消費電力削減への寄与が期待される。   As a result, it is possible to perform blur correction according to the shutter button on which the photographing instruction operation has been performed. As a result, it is expected to contribute to improving the effect of camera shake correction, reducing processing time, or reducing power consumption.

具体的には例えば、前記複数のシャッタボタンは、第１及び第２のシャッタボタンを含み、前記ぶれ補正制御手段は、前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合と前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合とで、前記処理を変更する。   Specifically, for example, the plurality of shutter buttons include a first shutter button and a second shutter button, and the blur correction control unit includes a case where the photographing instruction operation is performed on the first shutter button and the case where the photographing instruction operation is performed. The processing is changed when the shooting instruction operation is performed on the second shutter button.

また具体的には例えば、前記ぶれ補正装置は、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、前記合成画像が、前記ぶれ補正を施された前記ぶれ補正画像であり、前記ぶれ補正制御手段による変更の対象は、前記分割露光画像の枚数及び各分割露光画像の露光時間である。   More specifically, for example, the blur correction apparatus includes an exposure control unit that controls an imaging unit in the imaging apparatus so that a plurality of divided exposure images are sequentially captured according to the imaging instruction operation, and an image of each divided exposure image. Composite image generation means for generating a composite image by aligning and summing each divided exposure image based on data, and the composite image is the shake correction image subjected to the blur correction The objects to be changed by the shake correction control means are the number of divided exposure images and the exposure time of each divided exposure image.

これにより、撮影指示操作がなされたシャッタボタンに応じて分割露光時間の枚数を最適化することが可能となる。   As a result, the number of divided exposure times can be optimized in accordance with the shutter button on which the shooting instruction operation has been performed.

また具体的には例えば、前記ぶれ補正装置は、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の並進方向の動き検出を行う並進方向動き検出手段と、各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の回転方向の動き検出を行う回転方向動き検出手段と、前記並進方向及び前記回転方向の動き検出結果に基づいて、又は、前記並進方向の動き検出結果に基づいて、各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、前記ぶれ補正制御手段による変更の対象は、前記位置合わせに用いる動き検出結果であり、前記合成画像が、前記ぶれ補正が施された前記ぶれ補正画像であり、前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記並進方向及び前記回転方向の動き検出結果に基づく前記合成画像を前記ぶれ補正画像とし、前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記回転方向動き検出手段に依存しない、前記並進方向の動き検出結果に基づく前記合成画像を前記ぶれ補正画像とする。   More specifically, for example, the blur correction apparatus includes an exposure control unit that controls an imaging unit in the imaging apparatus so that a plurality of divided exposure images are sequentially captured according to the imaging instruction operation, and an image of each divided exposure image. Translation direction motion detection means for detecting motion in the translation direction between different divided exposure images based on data, and rotation for detecting motion in the rotation direction between different divided exposure images based on image data of each divided exposure image Based on the direction motion detection means and the motion detection result in the translation direction and the rotation direction, or based on the motion detection result in the translation direction, the divided exposure images are aligned and added and synthesized. A target image to be changed by the blur correction control means is a motion detection result used for the alignment, The resultant image is the shake-corrected image that has been subjected to the shake correction. Under the control of the shake correction control unit, the shake correction device has performed the shooting instruction operation on the first shutter button. In this case, the synthesized image based on the motion detection results in the translation direction and the rotation direction is used as the shake correction image, and when the shooting instruction operation is performed on the second shutter button, the rotation direction motion detection unit The synthesized image based on the motion detection result in the translation direction that does not depend is set as the shake correction image.

シャッタボタンによっては回転方向のぶれが殆ど生じない場合もある。これを考慮して上述の如く構成する。これは、処理時間の短縮等に寄与する。   Depending on the shutter button, there may be almost no blurring in the rotational direction. Considering this, the configuration is as described above. This contributes to shortening the processing time.

また具体的には例えば、前記ぶれ補正装置は、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の動き検出を行う動き検出手段と、前記動き検出手段による動き検出結果に基づいて、各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、前記合成画像が、前記ぶれ補正が施された前記ぶれ補正画像であり、前記ぶれ補正制御手段による変更の対象は、前記動き検出手段による動きの検出可能範囲である。   More specifically, for example, the blur correction apparatus includes an exposure control unit that controls an imaging unit in the imaging apparatus so that a plurality of divided exposure images are sequentially captured according to the imaging instruction operation, and an image of each divided exposure image. A motion detection unit that detects motion between different divided exposure images based on data, and a combined image is generated by aligning and combining the respective divided exposure images based on the motion detection result by the motion detection unit A composite image generating means for performing the motion compensation, and the composite image is the motion compensation image subjected to the motion compensation, and the object of change by the motion compensation control means is a motion detectable range by the motion sensing means. It is.

撮影指示操作がなされるシャッタボタンによって、想定される分割露光画像間の動き量は異なり、必要な動き検出可能範囲も異なる。これを考慮して上述の如く構成する。これは、動き検出の処理時間の短縮等に寄与する。   The amount of motion between the assumed divided exposure images differs depending on the shutter button on which the photographing instruction operation is performed, and the necessary motion detectable range is also different. Considering this, the configuration is as described above. This contributes to shortening the processing time for motion detection.

また具体的には例えば、前記ぶれ補正装置は、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、前記複数の分割露光画像の内の何れか１つを基準画像とし且つ他を非基準画像とし、前記基準画像に定義された動き検出領域内の画像と前記非基準画像に定義された動き検出領域内の画像とを対比することにより、前記基準画像と前記非基準画像との間の位置ずれを評価し、評価された前記位置ずれに応じて各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、前記合成画像が、前記ぶれ補正が施された前記ぶれ補正画像であり、前記ぶれ補正制御手段による変更の対象は、前記基準画像内における前記動き検出領域と前記非基準画像内における前記動き検出領域との相対位置である。   More specifically, for example, the shake correction apparatus includes an exposure control unit that controls an imaging unit in the imaging apparatus so that a plurality of divided exposure images are sequentially captured according to the shooting instruction operation, and the plurality of divided exposure images. One of the images is set as a reference image and the other is set as a non-reference image, and an image in the motion detection area defined in the reference image is compared with an image in the motion detection area defined in the non-reference image. Thus, the positional deviation between the reference image and the non-reference image is evaluated, and the divided exposure images are aligned and added and synthesized according to the evaluated positional deviation to generate a composite image. Composite image generation means, wherein the composite image is the shake correction image subjected to the shake correction, and the change target by the shake correction control means is the motion in the reference image It said an area out a relative position of the motion detection area in the non-reference image.

撮影指示操作がなされるシャッタボタンによって、想定される分割露光画像間の動きの方向等が異なる。これを考慮して上述の如く構成する。これにより、より大きなぶれに対応することも可能となる。   The direction of movement between the assumed divided exposure images differs depending on the shutter button on which the shooting instruction operation is performed. Considering this, the configuration is as described above. As a result, it is possible to deal with a larger shake.

また具体的には例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段を備えて、前記静止画像の露光期間中に前記駆動手段を用いることによって前記ぶれ補正を実現するように構成され、前記ぶれ補正制御手段による変更の対象は、前記駆動手段の駆動対象である前記補正用光学部材又は前記撮像素子の、前記露光期間中における初期状態である。   More specifically, for example, the shake correction device is a correction optical member or an image pickup device of an optical system in an image pickup means provided in the image pickup device based on a detection result of a shake detection sensor that detects a shake of the image pickup device. A driving unit that drives the element, and is configured to realize the blur correction by using the driving unit during an exposure period of the still image, and an object to be changed by the blur correction control unit is the driving unit It is the initial state during the exposure period of the optical member for correction or the image sensor that is the driving target.

これによっても、より大きなぶれに対応することが可能となる。   This also makes it possible to deal with larger shakes.

また具体的には例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動することにより、前記ぶれ補正の１つとしての光学式ぶれ補正を実現する光学式ぶれ補正手段と、前記撮像素子の出力信号に基づく撮影画像に含まれるぶれに応じた復元フィルタを生成し、該復元フィルタを用いて前記撮影画像に対して前記ぶれ補正の１つとしての復元式ぶれ補正を施す復元式ぶれ補正手段と、を備え、前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記光学式ぶれ補正と前記復元式ぶれ補正の双方を実行可能とし、前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記光学式ぶれ補正と前記復元式ぶれ補正の何れか一方を実行する。   More specifically, for example, the shake correction device is a correction optical member or an image pickup device of an optical system in an image pickup means provided in the image pickup device based on a detection result of a shake detection sensor that detects a shake of the image pickup device. Optical blur correction means for realizing optical blur correction as one of the blur correction by driving the element, and a restoration filter corresponding to the blur included in the photographed image based on the output signal of the image sensor And a restoration type blur correction unit that performs restoration type blur correction as one of the blur corrections on the photographed image using the restoration filter, and the blur is controlled under the control of the blur correction control unit. The correction device can execute both the optical blur correction and the restoration blur correction when the photographing instruction operation is performed on the first shutter button, and the second shutter button When said capturing instruction operation is performed, performing one of the restored blur correction and the optical blur correction on.

或いは例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて又は前記ぶれ検出センサの検出結果に基づいて各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像内のぶれを低減し、このぶれが低減された各分割露光画像に基づく前記合成画像を前記ぶれ補正画像とし、前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記撮像手段に１枚の画像を撮影させることにより前記ぶれ補正を実現して該１枚の画像を前記ぶれ補正画像とする。   Alternatively, for example, the shake correction device drives a correction optical member or an image pickup device of an optical system in an image pickup unit provided in the image pickup device based on a detection result of a shake detection sensor that detects a shake of the image pickup device. A drive unit; an exposure control unit that controls the imaging unit in the imaging apparatus so that a plurality of divided exposure images are sequentially captured according to the imaging instruction operation; and the blur detection sensor based on image data of each divided exposure image And a combined image generating means for generating a combined image by aligning and combining the divided exposure images based on the detection result of the image, and under the control of the shake correction control means, When the photographing instruction operation is performed on the first shutter button, the plurality of divided exposure images are sequentially photographed using the driving unit, and each divided exposure is performed. The driving is performed when blur in the image is reduced, the composite image based on each divided exposure image in which the blur is reduced is the blur correction image, and the shooting instruction operation is performed on the second shutter button. The blur correction is realized by causing the imaging unit to capture one image while using the unit, and the single image is used as the blur correction image.

或いは例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて又は前記ぶれ検出センサの検出結果に基づいて各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像内のぶれを低減し、このぶれが低減された各分割露光画像に基づく前記合成画像を前記ぶれ補正画像とし、前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段による前記補正用光学部材又は前記撮像素子の駆動を停止した状態で前記複数の分割露光画像を順次撮影させて前記合成画像を生成し、この合成画像を前記ぶれ補正画像とする。   Alternatively, for example, the shake correction device drives a correction optical member or an image pickup device of an optical system in an image pickup unit provided in the image pickup device based on a detection result of a shake detection sensor that detects a shake of the image pickup device. A drive unit; an exposure control unit that controls the imaging unit in the imaging apparatus so that a plurality of divided exposure images are sequentially captured according to the imaging instruction operation; and the blur detection sensor based on image data of each divided exposure image And a combined image generating means for generating a combined image by aligning and combining the divided exposure images based on the detection result of the image, and under the control of the shake correction control means, When the photographing instruction operation is performed on the first shutter button, the plurality of divided exposure images are sequentially photographed using the driving unit, and each divided exposure is performed. The driving is performed when blur in the image is reduced, the composite image based on each divided exposure image in which the blur is reduced is the blur correction image, and the shooting instruction operation is performed on the second shutter button. The composite image is generated by sequentially taking the plurality of divided exposure images in a state where driving of the correction optical member or the image sensor by means is stopped, and this composite image is used as the shake correction image.

或いは例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の動き検出を行う動き検出手段と、を備え、前記動き検出には、互いに異なる分割露光画像間の回転方向の動き検出が含まれ、前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像内のぶれを低減し、このぶれが低減された各分割露光画像を前記動き検出手段の動き検出結果に基づいて位置合わせして加算合成することにより前記ぶれ補正画像としての合成画像を生成し、前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記撮像手段に１枚の画像を撮影させることにより前記ぶれ補正を実現して該１枚の画像を前記ぶれ補正画像とする。   Alternatively, for example, the shake correction device drives a correction optical member or an image pickup device of an optical system in an image pickup unit provided in the image pickup device based on a detection result of a shake detection sensor that detects a shake of the image pickup device. Driving means, exposure control means for controlling the imaging means in the imaging apparatus so that a plurality of divided exposure images are sequentially taken in accordance with the shooting instruction operation, and different divided exposure images based on image data of each divided exposure image Motion detection means for performing motion detection between, and the motion detection includes motion detection in a rotational direction between different divided exposure images, and the motion compensation device is under the control of the motion compensation control means. When the shooting instruction operation is performed on the first shutter button, the plurality of divided exposure images are sequentially shot using the driving unit, and each divided exposure image is shot. Blur in the image is reduced, and each divided exposure image in which this blur is reduced is aligned based on the motion detection result of the motion detection means and added and synthesized to generate a synthesized image as the blur-corrected image. When the shooting instruction operation is performed on the second shutter button, the blur correction is realized by causing the imaging unit to capture a single image while using the driving unit, thereby realizing the single image. Is the blur-corrected image.

或いは例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の動き検出を行う動き検出手段と、を備え、前記動き検出には、互いに異なる分割露光画像間の回転方向の動き検出が含まれ、前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記動き検出手段の動き検出結果に基づいて各分割露光画像を位置合わせして加算合成することにより前記ぶれ補正画像としての合成画像を生成し、前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記撮像手段に１枚の画像を撮影させることにより前記ぶれ補正を実現して該１枚の画像を前記ぶれ補正画像とする。   Alternatively, for example, the shake correction device drives a correction optical member or an image pickup device of an optical system in an image pickup unit provided in the image pickup device based on a detection result of a shake detection sensor that detects a shake of the image pickup device. Driving means, exposure control means for controlling the imaging means in the imaging apparatus so that a plurality of divided exposure images are sequentially taken in accordance with the shooting instruction operation, and different divided exposure images based on image data of each divided exposure image Motion detection means for performing motion detection between, and the motion detection includes motion detection in a rotational direction between different divided exposure images, and the motion compensation device is under the control of the motion compensation control means. When the shooting instruction operation is performed on the first shutter button, each divided exposure image is aligned based on the motion detection result of the motion detection means. By adding and synthesizing a composite image as the blur-corrected image, and when the photographing instruction operation is performed on the second shutter button, one image is displayed on the imaging unit using the driving unit. The blur correction is realized by photographing and the one image is set as the blur correction image.

これらにより、処理時間の短縮及び／又は消費電力の低減が図られる。   As a result, the processing time can be shortened and / or the power consumption can be reduced.

また例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの出力信号を増幅する増幅手段及び前記増幅手段の出力信号をＡ／Ｄ変換するＡ／Ｄ変換手段を有するぶれ検出手段を備え、前記ぶれ検出手段は、前記Ａ／Ｄ変換によって得られた信号をぶれ検出信号として出力し、前記ぶれ補正装置は、前記ぶれ検出信号に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動することにより前記ぶれ補正の１つとしての光学式ぶれ補正を実現し、前記ぶれ補正制御手段による変更の対象は、前記増幅手段の増幅率である。   Further, for example, the blur correction device includes an amplifying unit that amplifies an output signal of a blur detection sensor that detects a blur of the imaging device, and an A / D conversion unit that A / D converts the output signal of the amplifying unit. And the shake detection means outputs a signal obtained by the A / D conversion as a shake detection signal, and the shake correction apparatus is provided with the imaging means based on the shake detection signal. An optical blur correction as one of the blur corrections is realized by driving a correction optical member or an image sensor of an optical system in the optical system, and the change target by the blur correction control means is an amplification factor of the amplification means It is.

これにより、ぶれの検出感度をシャッタボタンごとに個別に最適化することも可能となる。   As a result, it is possible to individually optimize the blur detection sensitivity for each shutter button.

また例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの出力信号を増幅する増幅手段及び設定されたゼロ点を基準として前記増幅手段の出力信号をＡ／Ｄ変換するＡ／Ｄ変換手段を有するぶれ検出手段を備え、前記ぶれ検出手段は、前記Ａ／Ｄ変換によって得られた信号をぶれ検出信号として出力し、前記ぶれ補正装置は、前記ぶれ検出信号に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動することにより前記ぶれ補正の１つとしての光学式ぶれ補正を実現し、前記ぶれ補正制御手段による変更の対象は、前記ゼロ点である。   Further, for example, the shake correction device includes an amplifying unit that amplifies an output signal of a shake detection sensor that detects a shake of the imaging device, and an A / D converter that converts the output signal of the amplifying unit based on a set zero point. A shake detection means having a / D conversion means, wherein the shake detection means outputs a signal obtained by the A / D conversion as a shake detection signal, and the shake correction device is configured to output the signal based on the shake detection signal. Optical blur correction as one of the blur corrections is realized by driving an optical member for correction of an optical system or an image sensor in an imaging unit provided in an imaging device, and an object to be changed by the blur correction control unit Is the zero point.

これにより、手ぶれの検出可能範囲を実質的に拡大することも可能となる。   As a result, it is possible to substantially expand the camera shake detectable range.

また例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動することにより、前記ぶれ補正の１つとしての光学式ぶれ補正を実現する光学式ぶれ補正手段を備え、前記複数のシャッタボタンの内、一部のシャッタボタンに対して前記撮影指示操作がなされた場合にのみ、前記光学式ぶれ補正手段に依存したぶれ補正を行い、前記撮像装置に対する駆動電力の投入後の所定期間内において、前記一部のシャッタボタンによる撮影指示を禁止する。   Further, for example, the shake correction device drives a correction optical member or an image sensor of an optical system in an image pickup unit provided in the image pickup device based on a detection result of a shake detection sensor that detects a shake of the image pickup device. In this case, an optical blur correction unit that realizes optical blur correction as one of the blur corrections is provided, and among the plurality of shutter buttons, the shooting instruction operation is performed on some shutter buttons. Only, the camera shake correction depending on the optical camera shake correction means is performed, and the shooting instruction by the partial shutter button is prohibited within a predetermined period after the driving power is supplied to the image pickup apparatus.

これにより、信頼性が比較的低いぶれ補正の実施を防止することができる。   As a result, it is possible to prevent the shake correction having a relatively low reliability.

また例えば、前記撮像装置は、前記撮像装置に備えられた複数のボタンの内の一部を選択する操作を受け付ける選択操作受付手段を備え、前記操作に従って選択された一部のボタンを前記複数のシャッタボタンとして機能させる。   In addition, for example, the imaging apparatus includes a selection operation reception unit that receives an operation of selecting a part of the plurality of buttons provided in the imaging apparatus, and the selected buttons are selected according to the operation. It functions as a shutter button.

本発明に係る第２の撮像装置は、静止画像の撮影を指示するための撮影指示操作を受けるシャッタボタンを複数備えた撮像装置において、前記静止画像に含まれうるぶれを低減するためのぶれ補正を実行可能なぶれ補正装置を備え、前記ぶれ補正装置は、前記複数のシャッタボタンの内、何れのシャッタボタンに対して前記撮影指示操作がなされたかを検出する撮影指示検出手段と、前記撮影指示検出手段の検出結果に基づいて前記ぶれ補正の実行可否を決定するぶれ補正制御手段と、を備えたことを特徴とする。   According to another aspect of the present invention, there is provided a second image pickup apparatus including a plurality of shutter buttons that receive a shooting instruction operation for instructing a still image to be taken, and a shake correction for reducing shake that may be included in the still image. A shake correction device that can execute the shooting instruction detection unit that detects which shutter button among the plurality of shutter buttons is operated for the shooting instruction, and the shooting instruction. And a shake correction control means for determining whether or not to execute the shake correction based on a detection result of the detection means.

これにより、ぶれが少ないと想定されるシャッタボタンに対して撮影指示操作がなされた場合はぶれ補正を実行しない、といった制御が可能となる。これにより、処理時間短縮又は消費電力削減を図ることが可能となる。   As a result, it is possible to perform control such that blur correction is not executed when a shooting instruction operation is performed on a shutter button that is assumed to have little blur. Thereby, it is possible to shorten the processing time or reduce the power consumption.

本発明によれば、手ぶれ補正の効果向上、処理時間短縮又は消費電力削減に寄与する撮像装置を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the imaging device which contributes to the effect improvement of camera shake correction, shortening of processing time, or power consumption reduction can be provided.

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。   The significance or effect of the present invention will become more apparent from the following description of embodiments. However, the following embodiment is merely one embodiment of the present invention, and the meaning of the term of the present invention or each constituent element is not limited to that described in the following embodiment. .

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第１３実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。   Hereinafter, embodiments of the present invention will be specifically described with reference to the drawings. In each of the drawings to be referred to, the same part is denoted by the same reference numeral, and redundant description regarding the same part is omitted in principle. The first to thirteenth embodiments will be described later. First, matters common to the embodiments or matters referred to in the embodiments will be described.

図１（ａ）に、本発明の実施形態に係る撮像装置としてのデジタルカメラ１の外観図を示す。図１（ｂ）に、デジタルカメラ１を支持する手をも併せて示したデジタルカメラ１の使用状況例を示す。   FIG. 1A shows an external view of a digital camera 1 as an imaging apparatus according to an embodiment of the present invention. FIG. 1B shows an example of a usage situation of the digital camera 1 that also shows a hand that supports the digital camera 1.

デジタルカメラ１は、静止画像のみを撮影可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影可能なデジタルビデオカメラである。デジタルカメラ１は、静止画像の撮影を指示するためのシャッタボタンを複数備えている。具体的には、図１（ａ）及び（ｂ）に示す如く、デジタルカメラ１は２つのシャッタボタンＳＢ１及びＳＢ２を備えて構成される。シャッタボタンＳＢ１又はＳＢ２を押下することにより、静止画像の撮影がなされる。シャッタボタンＳＢ１又はＳＢ２に対する押下は、静止画像の撮影を指示するための操作（撮影指示操作）である。シャッタボタンＳＢ１及びＳＢ２の夫々は、例えば押しボタンスイッチであり、ユーザがそれに外力を与えることによって押し下げられて静止画像の撮影が指示される。   The digital camera 1 is a digital still camera that can shoot only still images or a digital video camera that can shoot still images and moving images. The digital camera 1 includes a plurality of shutter buttons for instructing to capture a still image. Specifically, as shown in FIGS. 1A and 1B, the digital camera 1 includes two shutter buttons SB1 and SB2. By pressing the shutter button SB1 or SB2, a still image is taken. Pressing the shutter button SB1 or SB2 is an operation (shooting instruction operation) for instructing shooting of a still image. Each of the shutter buttons SB1 and SB2 is, for example, a push button switch, and is depressed by the user applying an external force to instruct to take a still image.

デジタルカメラ１は、丸みを帯びた直方体状の筐体２と板状の筐体３とを連結部を介して接合して形成される。筐体３には、表示装置としてのモニタ１７が備え付けられている。筐体２に対して筐体３は自在に開閉可能なように取り付けらており、筐体２に対する筐体３の相対位置は可変となっている。図１（ａ）及び（ｂ）は、筐体３が開いている状態を示している。筐体３を閉じている状態で筐体２を固定しつつ筐体３に所定方向の外力を作用させると筐体３が開き、ユーザがモニタ１７を視認できる状態となる。筐体３を開いている状態で筐体２を固定しつつ筐体３に所定方向の外力を作用させると筐体３が閉じ、ユーザがモニタ１７を視認できない状態となる。   The digital camera 1 is formed by joining a rounded rectangular parallelepiped casing 2 and a plate-shaped casing 3 via a connecting portion. The housing 3 is provided with a monitor 17 as a display device. The housing 3 is attached to the housing 2 so that it can be freely opened and closed, and the relative position of the housing 3 with respect to the housing 2 is variable. 1A and 1B show a state where the housing 3 is open. When an external force in a predetermined direction is applied to the housing 3 while the housing 2 is fixed while the housing 3 is closed, the housing 3 is opened and the user can visually recognize the monitor 17. When an external force in a predetermined direction is applied to the housing 3 while the housing 2 is fixed while the housing 3 is open, the housing 3 is closed and the user cannot see the monitor 17.

ユーザは、通常、筐体３を開いてモニタ１７に表示されるスルー画像を確認しつつ、シャッタボタンＳＢ１又はＳＢ２に対する操作を行って静止画像の撮影を行う。以下の全ての説明は、筐体３が開いている状態を想定するものとする。   The user normally takes a still image by opening the housing 3 and confirming a through image displayed on the monitor 17 while operating the shutter button SB1 or SB2. All the following descriptions assume a state in which the housing 3 is open.

シャッタボタンＳＢ１は筐体２に設けられ、シャッタボタンＳＢ２は筐体３に設けられている。シャッタボタンＳＢ１は、主として第１支持状態にて操作されることを想定しており、シャッタボタンＳＢ２は、主として第２支持状態にて操作されることを想定している。第１支持状態は、筐体２を片手で把持することによって筐体２及び３の全体を支持する状態である。第２支持状態は、筐体２を主たる把持手で把持すると共に筐体３を従たる把持手で補佐的に把持している状態である（即ち、両手で筐体２及び３の全体を支持している状態である）。本実施形態において、第１支持状態における片手は右手を想定しており、第２支持状態における主たる把持手及び従たる把持手はそれぞれ右手及び左手を想定している。尚、図１（ｂ）は、第１支持状態において右手親指にてシャッタボタンＳＢ１を操作する直前の状態を示している。   The shutter button SB1 is provided on the housing 2, and the shutter button SB2 is provided on the housing 3. The shutter button SB1 is assumed to be operated mainly in the first support state, and the shutter button SB2 is assumed to be operated mainly in the second support state. The first support state is a state in which the entire housings 2 and 3 are supported by holding the housing 2 with one hand. The second support state is a state in which the housing 2 is gripped by the main gripping hand and the housing 3 is auxiliaryly gripped by the secondary gripping hand (that is, the entire housings 2 and 3 are supported by both hands). Is in a state of being). In the present embodiment, the one hand in the first support state is assumed to be the right hand, and the main gripping hand and the subordinate gripping hand in the second support state are assumed to be the right hand and the left hand, respectively. FIG. 1B shows a state immediately before operating the shutter button SB1 with the right thumb in the first support state.

次に、シャッタボタンとの関係において手ぶれ特性を説明する。デジタルカメラ１のように、複数のシャッタボタンを備える場合、何れかのシャッタボタンの操作によって撮影を行うかで手ぶれの方向や大きさなどが異なる。   Next, camera shake characteristics in relation to the shutter button will be described. When a plurality of shutter buttons are provided as in the digital camera 1, the direction and size of camera shake differ depending on which of the shutter buttons is used for shooting.

具体的には、第１支持状態にてシャッタボタンＳＢ１を押下する場合よりも、第２支持状態にてシャッタボタンＳＢ２を押下する場合の方が、通常、ヨー方向、ピッチ方向、ロール方向の全てにおいて手ぶれ量（手ぶれの大きさ）が小さい。また、第１支持状態にてシャッタボタンＳＢ１を押下する場合、ヨー方向及びピッチ方向の各手ぶれ量に比べ、ロール方向の手ぶれ量が大きくなる傾向がある。   Specifically, in the case where the shutter button SB2 is pressed in the second support state, the yaw direction, the pitch direction, and the roll direction are all normal compared to the case where the shutter button SB1 is pressed in the first support state. The amount of camera shake (the size of camera shake) is small. Further, when the shutter button SB1 is pressed in the first support state, the amount of camera shake in the roll direction tends to be larger than the amount of camera shake in the yaw direction and the pitch direction.

ここで、ヨー方向とは、筐体２の長手方向に平行であって且つ筐体２内を通る所定の軸３０１を回転軸として、デジタルカメラ１を回転させる方向である。軸３０１及びヨー方向は、夫々、デジタルカメラ１の光軸３００に対して直交する。ピッチ方向とは、光軸３００及び軸３０１に対して直交し且つ筐体２内を通る所定の軸３０２を回転軸として、デジタルカメラ１を回転させる方向である。ヨー方向とピッチ方向は、互いに直交する。ロール方向とは、光軸３００を回転軸として、デジタルカメラ１を回転させる方向である。軸３０１及び３０２はデジタルカメラ１の撮像素子（後述の撮像素子１２）の撮像面に平行であり、光軸３００はその撮像面に直交し、光軸３００並びに軸３０１及び３０２は、その撮像面の中心で交わる。以下の説明は、軸３０１を鉛直方向に一致させた状態を想定するものとする。   Here, the yaw direction is a direction in which the digital camera 1 is rotated about a predetermined axis 301 that is parallel to the longitudinal direction of the housing 2 and passes through the housing 2. The axis 301 and the yaw direction are orthogonal to the optical axis 300 of the digital camera 1, respectively. The pitch direction is a direction in which the digital camera 1 is rotated about a predetermined axis 302 that is orthogonal to the optical axis 300 and the axis 301 and passes through the housing 2. The yaw direction and the pitch direction are orthogonal to each other. The roll direction is a direction in which the digital camera 1 is rotated about the optical axis 300 as a rotation axis. The axes 301 and 302 are parallel to the imaging surface of the imaging device of the digital camera 1 (an imaging device 12 described later), the optical axis 300 is orthogonal to the imaging surface, and the optical axis 300 and the axes 301 and 302 are the imaging surface. At the center of In the following description, it is assumed that the shaft 301 is in the vertical direction.

デジタルカメラ１にヨー方向のぶれを与えれば、デジタルカメラ１の光軸は水平面に平行な面上で回転し、デジタルカメラ１にピッチ方向のぶれを与えれば、デジタルカメラ１の光軸は鉛直面に平行な面上で回転する。デジタルカメラ１は手ぶれ補正機能を備え、後述するように様々な手ぶれ補正が実現されるが、手ぶれ補正を行わない場合、ヨー方向の手ぶれによってデジタルカメラ１の撮像素子上に結像する像は左右方向（撮像素子の水平方向）に移動し、ピッチ方向の手ぶれによってデジタルカメラ１の撮像素子上に結像する像は上下方向（撮像素子の垂直方向）に移動し、ロール方向の手ぶれによってデジタルカメラ１の撮像素子上に結像する像は撮像素子上で回転する。   If the digital camera 1 is shaken in the yaw direction, the optical axis of the digital camera 1 rotates on a plane parallel to the horizontal plane. If the digital camera 1 is shaken in the pitch direction, the optical axis of the digital camera 1 is vertical. Rotate on a plane parallel to. The digital camera 1 has a camera shake correction function, and various camera shake corrections are realized as will be described later. However, when camera shake correction is not performed, an image formed on the image sensor of the digital camera 1 due to camera shake in the yaw direction is left and right. The image formed on the image pickup device of the digital camera 1 by moving in the direction (horizontal direction of the image pickup device) and moving on the image pickup device of the digital camera 1 by camera shake in the pitch direction moves in the vertical direction (vertical direction of the image pickup device). An image formed on one image sensor rotates on the image sensor.

また、第１支持状態にてシャッタボタンＳＢ１を押下する場合、ヨー方向における手ぶれは、デジタルカメラ１の操作面側から見て右方向が支配的になる（即ち、この場合、通常、ヨー方向における手ぶれ方向は右方向である）。一方、第２支持状態にてシャッタボタンＳＢ２を押下する場合、ヨー方向における手ぶれは、デジタルカメラ１の操作面側から見て左方向が支配的になる（即ち、この場合、通常、ヨー方向における手ぶれ方向は左方向である）。シャッタボタンＳＢ１はデジタルカメラ１の操作面に配置され、シャッタボタンＳＢ２も該操作面に平行な面に配置されている。   Further, when the shutter button SB1 is pressed in the first support state, the camera shake in the yaw direction is dominant in the right direction when viewed from the operation surface side of the digital camera 1 (that is, in this case, usually in the yaw direction). The camera shake direction is to the right). On the other hand, when the shutter button SB2 is pressed in the second support state, camera shake in the yaw direction is dominant in the left direction when viewed from the operation surface side of the digital camera 1 (that is, in this case, usually in the yaw direction). The camera shake direction is to the left). The shutter button SB1 is disposed on the operation surface of the digital camera 1, and the shutter button SB2 is also disposed on a surface parallel to the operation surface.

また、第１支持状態にてシャッタボタンＳＢ１を押下する場合も第２支持状態にてシャッタボタンＳＢ２を押下する場合も、ピッチ方向における手ぶれは、デジタルカメラ１の操作面側から見て下方向（鉛直下方）が支配的になる（即ち、双方の場合とも、通常、ピッチ方向における手ぶれ方向は下方向である）。   Further, whether the shutter button SB1 is pressed in the first support state or the shutter button SB2 is pressed in the second support state, camera shake in the pitch direction is downward (see from the operation surface side of the digital camera 1). (Vertically below) becomes dominant (that is, in both cases, the camera shake direction in the pitch direction is usually downward).

シャッタボタンＳＢ１は第２支持状態で操作されることもあるが、本実施形態では、シャッタボタンＳＢ１が第１支持状態にて操作されることを想定する。以下の全ての説明では、シャッタボタンＳＢ１は第１支持状態にて押下され、シャッタボタンＳＢ２は第２支持状態にて押下されることを想定する。   Although the shutter button SB1 may be operated in the second support state, in the present embodiment, it is assumed that the shutter button SB1 is operated in the first support state. In all the descriptions below, it is assumed that the shutter button SB1 is pressed in the first support state and the shutter button SB2 is pressed in the second support state.

静止画像の撮影を指示するための操作を与えた時に生じることが想定される手ぶれの方向及び大きさを、手ぶれ特性という。そして、上述のような、シャッタボタンＳＢ１及びＳＢ２にとっての手ぶれ特性を、以下、特に「手ぶれ特性α」と呼ぶことにする。この手ぶれ特性αは、実験などを介して導出される。   The direction and size of camera shake that is assumed to occur when an operation for instructing to capture a still image is given is referred to as camera shake characteristics. The camera shake characteristics for the shutter buttons SB1 and SB2 as described above are hereinafter specifically referred to as “camera shake characteristics α”. This camera shake characteristic α is derived through experiments and the like.

デジタルカメラ１は、シャッタボタンＳＢ１とＳＢ２の何れによって静止画像の撮影指示がなされたかに応じて、自動的に手ぶれ補正を実現するための処理の変更等を行う。以下に、デジタルカメラ１の具体的な処理内容を説明する実施例として、第１〜第１３実施例を説明する。図１９に、各実施例の概要を列記する。   The digital camera 1 automatically changes processing for realizing camera shake correction, depending on which one of the shutter buttons SB1 and SB2 is used to instruct still image shooting. Below, the 1st-13th Example is described as an Example explaining the specific processing content of the digital camera 1. FIG. FIG. 19 lists the outline of each embodiment.

また、手ぶれ補正を施すことによって得られた手ぶれ補正後の画像を、「ぶれ補正画像」と呼ぶ。   In addition, an image after camera shake correction obtained by performing camera shake correction is referred to as a “camera corrected image”.

＜＜第１実施例＞＞
まず、第１実施例について説明する。第１実施例では、手ぶれ補正として、加算式手ぶれ補正を採用する。 << First Example >>
First, the first embodiment will be described. In the first embodiment, addition type image stabilization is adopted as image stabilization.

加算式手ぶれ補正では、１回の露光で１枚の画像を得るための一括露光の露光時間をＮ個（Ｎは２以上の整数）に分割し、分割露光時間にてＮ枚の分割露光画像を連続撮影する。そして、各分割露光画像の画像特徴に基づいて各分割露光画像間の動き検出を行い、その動き検出結果に従って各分割露光画像間の動きが打ち消されるように各分割露光画像を位置合わせして加算合成することにより画像のぶれが低減された１枚の静止画像を得る。分割露光時間は、一括露光の露光時間のＮ分の１とされる。つまり、「（分割露光時間）＝（一括露光の露光時間）／（露光分割数）」の関係が成り立つ。Ｎは、露光分割数を表すと共に分割露光画像の枚数（分割枚数）を表す。   In addition-type image stabilization, the exposure time of batch exposure for obtaining one image in one exposure is divided into N (N is an integer of 2 or more), and N divided exposure images are obtained in the divided exposure time. Shoot continuously. Then, motion detection is performed between the divided exposure images based on the image characteristics of the divided exposure images, and the divided exposure images are aligned and added so that the motion between the divided exposure images is canceled according to the motion detection result. By combining the images, one still image with reduced image blur is obtained. The division exposure time is set to 1 / N of the exposure time for batch exposure. That is, the relationship of “(divided exposure time) = (exposure time for batch exposure) / (number of exposure divisions)” is established. N represents the number of exposure divisions and the number of divided exposure images (divided number).

加算式手ぶれ補正を用いる場合、露光分割数（即ち、Ｎの数値）を大きくすれば１枚当たりの手ぶれ量は小さくなる。しかしながら、１枚当たりの手ぶれ量を小さくするために露光分割数を大きくし過ぎると、１枚当たりの露光時間が短くなって低輝度画像しか得られなくなり、撮影後の位置合わせが困難となる。   In the case of using addition type image stabilization, if the number of exposure divisions (that is, the numerical value of N) is increased, the amount of camera shake per sheet is decreased. However, if the number of exposure divisions is increased too much in order to reduce the amount of camera shake per sheet, the exposure time per sheet is shortened and only a low-luminance image can be obtained, making it difficult to align after shooting.

従って、分割露光時間と露光分割数を特定するＮの数値は、撮影時の手ぶれ量に応じて最適化されることが望ましい。即ち、１枚当たりの手ぶれ量が大きくなりすぎないように且つ各分割露光画像の輝度が低くなりすぎなように、それらを設定すべきである。   Therefore, it is desirable that the numerical value of N specifying the division exposure time and the number of exposure divisions is optimized according to the amount of camera shake at the time of shooting. That is, they should be set so that the amount of camera shake per sheet does not become too large and the brightness of each divided exposure image does not become too low.

本実施例では、上述の手ぶれ特性αに基づいて、分割露光時間と露光分割数を最適化する。具体的には、図２に示す如く、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合は、手ぶれ量が比較的多いことを考慮して１枚当たりの手ぶれ量低減を優先すべく、分割露光時間を比較的短くし且つ露光分割数を比較的多くする。具体的には、分割露光時間をｔ１とし且つ露光分割数Ｎを４とする。   In this embodiment, the division exposure time and the number of exposure divisions are optimized based on the above-described camera shake characteristic α. Specifically, as shown in FIG. 2, when a shooting instruction is issued by pressing the shutter button SB1, divided exposure is performed in order to give priority to reducing the amount of camera shake per sheet in consideration of the relatively large amount of camera shake. The time is relatively short and the number of exposure divisions is relatively large. Specifically, the division exposure time is t1, and the exposure division number N is four.

これに対し、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合は、手ぶれ量がシャッタボタンＳＢ１の押下時と比べて小さいことから、露光分割数を少なくして１枚当たりの露光時間を長く設定する。これにより、撮影後の位置合わせが容易となる共に、より輝度の高い分割露光画像から分割露光画像間の動き検出を行うことができるようになるため動き検出（動きベクトル）の信頼性を高めることができる。結果、手ぶれ補正効果の向上（より正確な手ぶれ補正）が見込める。また、画像合成に必要な分割露光画像の枚数も少なくなるため、処理時間の短縮効果も見込める。具体的には、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合は、分割露光時間をｔ２とし且つ露光分割数Ｎを３とする。ここで、（ｔ１×４）と（ｔ２×３）は共に一括露光の露光時間に等しいため、ｔ１＜ｔ２である。   On the other hand, when a shooting instruction is issued by pressing the shutter button SB2, the amount of camera shake is smaller than when the shutter button SB1 is pressed, so the number of exposure divisions is reduced and the exposure time per sheet is set longer. To do. This facilitates alignment after shooting and increases the reliability of motion detection (motion vector) because it enables motion detection between split exposure images from brighter split exposure images. Can do. As a result, an improvement in the camera shake correction effect (more accurate camera shake correction) can be expected. In addition, since the number of divided exposure images required for image synthesis is reduced, an effect of shortening the processing time can be expected. Specifically, when a shooting instruction is issued by pressing the shutter button SB2, the division exposure time is set to t2 and the exposure division number N is set to three. Here, since both (t1 × 4) and (t2 × 3) are equal to the exposure time for batch exposure, t1 <t2.

このように、本実施例では、押下されたシャッタボタンに応じて分割露光時間と露光分割数を変更し、最適な手ぶれ補正を実現する。   As described above, in the present embodiment, the division exposure time and the number of exposure divisions are changed according to the pressed shutter button, and the optimum camera shake correction is realized.

図３に、上述の加算式手ぶれ補正を実現する、本実施例のデジタルカメラの全体ブロック図を示す。図３は、図１のデジタルカメラ１の電気的な一構成例を示すものであるため、図３のデジタルカメラも符号１によって参照することとする。図３のデジタルカメラ１は、符号１１〜２３及び３０にて参照される各部位と、シャッタボタンＳＢ１及びＳＢ２を備える。符号３０にて参照される加算式手ぶれ補正回路は、輝度調節回路３１、動き検出回路３２、座標変換回路３３、画像加算回路３４及び画像メモリ３５を備えている。座標変換回路３３と画像加算回路３４と画像メモリ３５は画像合成回路３６を形成している。光学系１１と撮像素子１２は、撮影を行う撮像部（撮像手段）を形成する。   FIG. 3 shows an overall block diagram of the digital camera of the present embodiment that realizes the above-described addition-type image stabilization. 3 shows an example of an electrical configuration of the digital camera 1 of FIG. 1, so the digital camera of FIG. The digital camera 1 shown in FIG. 3 includes parts referred to by reference numerals 11 to 23 and 30 and shutter buttons SB1 and SB2. The addition type image stabilization circuit referred to by reference numeral 30 includes a luminance adjustment circuit 31, a motion detection circuit 32, a coordinate conversion circuit 33, an image addition circuit 34, and an image memory 35. The coordinate conversion circuit 33, the image addition circuit 34, and the image memory 35 form an image composition circuit 36. The optical system 11 and the imaging device 12 form an imaging unit (imaging means) that performs imaging.

ＣＣＤ（Charge Coupled Devices）或いはＣ−ＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor）等から成る撮像素子１２は、複数のレンズを含む光学系１１を通して入射した光学像を光電変換し、該光学像を電気信号として出力する。撮像素子１２の出力信号は、例えばＲＧＢ信号によって表され、該出力信号はＣＤＳ（Correlated Double Sampling）回路とＡＧＣ(Auto Gain Control)回路とを備えたカメラ回路１３に送られる。カメラ回路１３において、撮像素子１２の出力信号は、ＣＤＳ回路で相関二重サンプリング処理された後、ＡＧＣ回路で最適な振幅にゲイン調整される。カメラ回路１３の出力信号は、Ａ／Ｄ変換器１４によってデジタル映像信号としての画像データに変換される。Ａ／Ｄ変換器１４からの画像データは、画像メモリ１５に書き込まれる。撮影制御回路２１は、被写体の明るさを測定する測光回路（不図示）から得られた明るさの情報に基づいて、撮像素子１２の最適な露光時間を設定する。   An image sensor 12 composed of a CCD (Charge Coupled Devices) or a C-MOS image sensor (Complementary Metal Oxide Semiconductor) or the like photoelectrically converts an optical image incident through an optical system 11 including a plurality of lenses, and converts the optical image into an electrical signal. Output as. The output signal of the image sensor 12 is represented by, for example, an RGB signal, and the output signal is sent to a camera circuit 13 having a CDS (Correlated Double Sampling) circuit and an AGC (Auto Gain Control) circuit. In the camera circuit 13, the output signal of the image sensor 12 is subjected to correlated double sampling processing by the CDS circuit and then gain adjusted to an optimum amplitude by the AGC circuit. The output signal of the camera circuit 13 is converted into image data as a digital video signal by the A / D converter 14. Image data from the A / D converter 14 is written into the image memory 15. The imaging control circuit 21 sets an optimal exposure time for the image sensor 12 based on brightness information obtained from a photometric circuit (not shown) that measures the brightness of the subject.

画像メモリ１５は、メモリ制御回路２２を介してマイクロコンピュータ（以下、「マイコン」という）２０によって制御される。マイコン２０は、手ぶれ補正制御部としても機能する。尚、この手ぶれ補正制御部が、マイコン２０の外部に備えられていると考えても構わない。撮影制御回路２１は、マイコン２０（又は手ぶれ補正制御部）によって制御される。   The image memory 15 is controlled by a microcomputer (hereinafter referred to as “microcomputer”) 20 via a memory control circuit 22. The microcomputer 20 also functions as a camera shake correction control unit. Note that this camera shake correction control unit may be considered to be provided outside the microcomputer 20. The imaging control circuit 21 is controlled by the microcomputer 20 (or camera shake correction control unit).

シャッタボタン検出部２３は、シャッタボタンＳＢ１又はＳＢ２が押下げられたか否かを監視し、シャッタボタンＳＢ１又はＳＢ２が押下げられたか否かを表すシャッタボタン検出信号をマイコン２０に送る。シャッタボタン検出信号には、シャッタボタンＳＢ１とＳＢ２の内、何れのシャッタボタンが押下されたかを特定する情報も含まれている。   The shutter button detection unit 23 monitors whether the shutter button SB1 or SB2 has been pressed, and sends a shutter button detection signal indicating whether the shutter button SB1 or SB2 has been pressed to the microcomputer 20. The shutter button detection signal includes information for specifying which of the shutter buttons SB1 and SB2 is pressed.

デジタルカメラ１の撮影時の動作モードには、「通常撮影モード」と「手ぶれ補正撮影モード」とが含まれる。手ぶれ補正ＯＮ／ＯＦＦスイッチ（不図示）に対する操作に応じて、「通常撮影モード」と「手ぶれ補正撮影モード」の切替え設定が行われる。   The operation mode at the time of shooting of the digital camera 1 includes “normal shooting mode” and “camera shake correction shooting mode”. In accordance with an operation on a camera shake correction ON / OFF switch (not shown), switching between “normal shooting mode” and “camera shake correction shooting mode” is performed.

まず、通常撮影モードにおけるデジタルカメラ１の動作について説明する。シャッタボタンＳＢ１及びＳＢ２の何れもが押下げられていない場合には、一定間隔（例えば１／６０秒）の撮影によって得られた画像データが、画像メモリ１５に書き込まれた後、ＮＴＳＣ（National Television Standards Committee）エンコーダ１６によりＮＴＳＣ信号に変換されて、液晶ディスプレイ等から成るモニタ１７に送られる。これにより、各画像データによって表される画像がモニタ１７に表示される。このような、画像メモリ１５に書き込まれた画像データをそのままＮＴＳＣエンコーダ１６に送ることによる表示を、「スルー表示」という。   First, the operation of the digital camera 1 in the normal shooting mode will be described. When neither of the shutter buttons SB1 and SB2 is pressed, image data obtained by shooting at a constant interval (for example, 1/60 seconds) is written in the image memory 15, and then NTSC (National Television Standards Committee) An NTSC signal is converted by an encoder 16 and sent to a monitor 17 comprising a liquid crystal display or the like. As a result, an image represented by each image data is displayed on the monitor 17. Such display by sending the image data written in the image memory 15 to the NTSC encoder 16 as it is is called “through display”.

シャッタボタンＳＢ１又はＳＢ２が押下げられると、静止画像の撮影を開始し、そのタイミングの撮影によって得られた画像データが画像メモリ１５に書き込まれる。その後、該画像データにて表される画像がモニタ１７に表示されると共に、該画像データは画像圧縮回路１８によってＪＰＥＧ（Joint Photographic Experts Group）などの所定の圧縮データ形式にエンコードされ、画像ファイルとしてメモリカード１９に保存される。   When the shutter button SB1 or SB2 is pressed, still image shooting is started, and image data obtained by shooting at that timing is written into the image memory 15. Thereafter, an image represented by the image data is displayed on the monitor 17, and the image data is encoded into a predetermined compressed data format such as JPEG (Joint Photographic Experts Group) by the image compression circuit 18 as an image file. It is stored in the memory card 19.

次に、手ぶれ補正撮影モードにおけるデジタルカメラ１の動作について説明する。以下の全ての説明は、特に記述しない限り、手ぶれ補正撮影モードにおける動作の説明である（第２実施例以降についても同様）。   Next, the operation of the digital camera 1 in the camera shake correction shooting mode will be described. Unless otherwise specified, all the following descriptions are operations in the camera shake correction photographing mode (the same applies to the second and subsequent embodiments).

手ぶれ補正撮影モードにおいては、画像メモリ１５に書き込まれた画像データは、加算式手ぶれ補正回路３０に転送される。   In the camera shake correction shooting mode, the image data written in the image memory 15 is transferred to the addition type camera shake correction circuit 30.

シャッタボタンＳＢ１及びＳＢ２の何れもが押下げられていない場合には、一定間隔（例えば１／６０秒）の撮影によって得られた画像データが、画像メモリ１５に書き込まれた後、加算式手ぶれ補正回路３０に転送される。この場合において加算式手ぶれ補正回路３０に転送された画像データは、ＮＴＳＣエンコーダ１６を介してモニタ１７に送られてスルー表示がなされると共に、輝度調節回路３１に送られる。輝度調節回路３１は、分割露光画像を模擬するべく、入力された画像（画像データ）の輝度が分割露光画像の輝度と同程度となるように入力された画像データの輝度レベルを低下させ、輝度レベル低下後の画像データを動き検出回路３２に出力する。   When neither of the shutter buttons SB1 and SB2 is pressed, image data obtained by shooting at a constant interval (for example, 1/60 seconds) is written in the image memory 15 and then added type image stabilization. It is transferred to the circuit 30. In this case, the image data transferred to the addition-type image stabilization circuit 30 is sent to the monitor 17 via the NTSC encoder 16 for through display and also sent to the brightness adjustment circuit 31. In order to simulate the divided exposure image, the luminance adjustment circuit 31 reduces the luminance level of the input image data so that the luminance of the input image (image data) is approximately the same as the luminance of the divided exposure image. The image data after the level reduction is output to the motion detection circuit 32.

動き検出回路３２は、入力された、異なる画像間の動きベクトルの算出及び算出した動きベクトルの有効／無効判定を行う。シャッタボタンＳＢ１及びＳＢ２の何れもが押下げられていない場合には、動き検出回路３２は、前回に入力された画像データにて表される画像と今回に入力された画像データにて表される画像との間における動きベクトルの算出及び算出した動きベクトルの有効／無効判定を行う。尚、シャッタボタンＳＢ１及びＳＢ２の何れもが押下されていない時において順次算出される動きベクトルは、後述の第１３実施例における図２６のステップＳ４８の処理（パン・チルト状態判定処理）などに利用することができる。   The motion detection circuit 32 calculates a motion vector between different input images and determines whether the calculated motion vector is valid / invalid. When neither of the shutter buttons SB1 and SB2 is pressed, the motion detection circuit 32 is represented by an image represented by the image data input last time and the image data input this time. The motion vector between the image and the calculated motion vector is determined to be valid / invalid. Note that the motion vector sequentially calculated when neither of the shutter buttons SB1 and SB2 is pressed is used for the processing in step S48 (pan / tilt state determination processing) in FIG. can do.

シャッタボタンＳＢ１又はＳＢ２が押下げられた場合、何れのシャッタボタンが押下げられたかを表すシャッタボタン検出信号に基づいて、マイコン２０は、撮影制御回路２１に対して上記の最適な露光時間を複数個に分割して露光するように指示する。最適な露光時間を分割して得られる各露光時間が、上述の分割露光時間であり、１つの分割露光時間の露光によって撮影される画像が、上述の分割露光画像である。具体的には、最適な露光時間をＴOとした場合、シャッタボタンＳＢ１が押下された時は、ＴO／４の分割露光時間で次々と４枚の分割露光画像を連続撮影する。一方、シャッタボタンＳＢ２が押下された時は、ＴO／３の分割露光時間で次々と３枚の分割露光画像を連続撮影する。以下、分割露光画像を表す画像データを、特に「分割露光画像データ」ともいう。 When the shutter button SB1 or SB2 is pressed, the microcomputer 20 sets a plurality of optimum exposure times for the photographing control circuit 21 based on a shutter button detection signal indicating which shutter button is pressed. Instructs to divide into pieces and expose. Each exposure time obtained by dividing the optimum exposure time is the above-described divided exposure time, and an image taken by exposure for one divided exposure time is the above-described divided exposure image. Specifically, if the set to T O optimal exposure time, when the shutter button SB1 is pressed, the continuous shooting one after another four divided exposure image divided exposure time T O / 4. On the other hand, when the shutter button SB2 is pressed, three divided exposure images are successively photographed one after another with a division exposure time of T O / 3. Hereinafter, the image data representing the divided exposure image is also referred to as “divided exposure image data”.

分割露光によって得られた複数の分割露光画像データは、それぞれ画像メモリ１５に記憶され、順次、加算式手ぶれ補正回路３０に転送される。具体的には、各分割露光画像データは、順次、加算式手ぶれ補正回路３０内の動き検出回路３２および座標変換回路３３に送られる。   A plurality of divided exposure image data obtained by the divided exposure is stored in the image memory 15 and sequentially transferred to the addition type image stabilization circuit 30. Specifically, each divided exposure image data is sequentially sent to the motion detection circuit 32 and the coordinate conversion circuit 33 in the addition type image stabilization circuit 30.

動き検出回路３２では、分割露光によって得られた複数の分割露光画像の内の、最初に入力された１番目の分割露光画像と、それ以降に入力される各分割露光画像との間の動きベクトルが順次算出されるとともに、算出された動きベクトルが有効か無効かも順次判定される。画像間の動きを表すベクトルとしてある程度信頼できると判断された動きベクトルは有効とされ、信頼できないと判断された動きベクトルは無効とされる。有効／無効の判定手法として、後述の第１３実施例に記載の手法を用いることができる。   In the motion detection circuit 32, a motion vector between the first divided exposure image input first among the plurality of divided exposure images obtained by the divided exposure and each divided exposure image input thereafter. Are sequentially calculated, and it is also sequentially determined whether the calculated motion vector is valid or invalid. A motion vector determined to be reliable to some extent as a vector representing motion between images is valid, and a motion vector determined to be unreliable is invalid. As a valid / invalid determination method, the method described in a thirteenth example described later can be used.

尚、ここにおける動きベクトルは、画像全体の動きベクトル（後述する「全体動きベクトル」）を意味している。また、動き検出回路３２は、マイコン２０によって制御され、動き検出回路３２にて算出された各値は必要に応じてマイコン２０に送られる。   Here, the motion vector means a motion vector of the entire image (an “overall motion vector” to be described later). The motion detection circuit 32 is controlled by the microcomputer 20, and each value calculated by the motion detection circuit 32 is sent to the microcomputer 20 as necessary.

動きベクトル（全体動きベクトル）が有効と判定された場合、２番目以降に加算式手ぶれ補正回路３０に入力された各分割露光画像は、１番目の分割露光画像との間の動きベクトルに基づいて、１番目の分割露光画像とのずれがなくなるように、座標変換回路３３で１番目の分割露光画像の座標に座標変換される（即ち、１番目の分割露光画像を基準として位置合わせされる）。そして、画像加算回路３４において、座標変換された各分割露光画像の各画素値は、１番目の分割露光画像又はそれまでに合成された画像の各画素値に対して加算され、その加算結果が画像メモリ３５に記憶される。つまり、分割露光画像間の位置ずれを補正した上で加算合成することにより得られる合成画像が画像メモリ３５に格納される。   When it is determined that the motion vector (overall motion vector) is valid, each of the divided exposure images input to the addition-type image stabilization circuit 30 from the second onward is based on the motion vector between the first divided exposure image. The coordinate conversion circuit 33 performs coordinate conversion to the coordinates of the first divided exposure image so that there is no deviation from the first divided exposure image (that is, alignment is performed with reference to the first divided exposure image). . Then, in the image addition circuit 34, each pixel value of each divided exposure image subjected to coordinate conversion is added to each pixel value of the first divided exposure image or the image synthesized so far, and the addition result is obtained. Stored in the image memory 35. That is, a composite image obtained by adding and combining after correcting the positional deviation between the divided exposure images is stored in the image memory 35.

尚、１番目の分割露光画像と位置合わせ後の２番目以降の分割露光画像を単純に加算することによって合成画像を生成するようにしてもよいし、動きベクトルの信頼度を評価し、その信頼度に応じた比率で１番目の分割露光画像と位置合わせ後の２番目以降の分割露光画像を加重加算することによって合成画像を生成するようにしてもよい。信頼度の評価手法としては、後述の第１３実施例に記載の手法を用いることができる。   Note that a composite image may be generated by simply adding the first divided exposure image and the second and subsequent divided exposure images after alignment, or the reliability of the motion vector is evaluated and the reliability thereof is evaluated. The composite image may be generated by weighted addition of the first divided exposure image and the second and subsequent divided exposure images after alignment at a ratio according to the degree. As a reliability evaluation method, the method described in a thirteenth example described later can be used.

各分割露光画像は、露光時間が通常露光の１／Ｎと短いため、手ぶれ量も通常露光の１／Ｎとなる（Ｎは３又は４）。そして、分割露光画像間の位置ずれが補正された後に分割露光画像が加算合成されるので、合成画像の手ぶれ量は、通常露光の１／Ｎに低減される。生成された合成画像は、シャッタボタンＳＢ１又はＳＢ２の押下に応じて撮影されたぶれ補正画像としての１枚の静止画像を表している。ぶれ補正画像としての合成画像は、ＮＴＳＣエンコーダ１６を介してモニタ１７に表示されると共に画像圧縮回路１８を介してメモリカード１９に保存される。   Since each divided exposure image has an exposure time as short as 1 / N of normal exposure, the amount of camera shake is also 1 / N of normal exposure (N is 3 or 4). Since the divided exposure images are added and synthesized after the positional deviation between the divided exposure images is corrected, the amount of camera shake in the synthesized image is reduced to 1 / N of the normal exposure. The generated composite image represents one still image as a shake correction image photographed in response to pressing of the shutter button SB1 or SB2. The synthesized image as the blur-corrected image is displayed on the monitor 17 via the NTSC encoder 16 and stored in the memory card 19 via the image compression circuit 18.

一方、動きベクトル（全体動きベクトル）が無効と判定された場合、２番目以降に加算式手ぶれ補正回路３０に入力された各分割露光画像に対して、座標変換回路３３での位置ずれ補正は行われない。そして、位置ずれ補正が施されていない各分割露光画像は、画像加算回路３４で１番目の分割露光画像またはそれまでに合成された画像に加算合成される。このように加算合成することで、信頼性のない動きベクトルで位置合わせしたことに由来する画像のぶれの増加を抑制することが可能となる。   On the other hand, when it is determined that the motion vector (overall motion vector) is invalid, the position shift correction by the coordinate conversion circuit 33 is performed for each divided exposure image input to the addition-type image stabilization circuit 30 for the second and subsequent times. I will not. Then, the respective divided exposure images that have not been subjected to the positional deviation correction are added and synthesized by the image addition circuit 34 to the first divided exposure image or the images synthesized so far. By adding and synthesizing in this way, it is possible to suppress an increase in blurring of an image resulting from alignment with motion vectors having no reliability.

尚、或る画像に関し、画素値とは、その画像を形成する画素に対する映像信号の値（例えば、輝度信号の値、色差信号の値）を表す。   For a certain image, the pixel value represents a value of a video signal (for example, a value of a luminance signal or a value of a color difference signal) with respect to pixels forming the image.

［動き検出回路］
動き検出回路３２による動きベクトルの検出手法について詳細に説明する。動き検出回路３２は、代表点マッチング法に基づいて動きベクトルを検出する。代表点マッチング法そのものについては周知である。動き検出回路３２には次々と画像（画像データ）が入力されるが、基準画像と非基準画像との間の動きベクトルを検出する場合を例にとって、代表点マッチング法について説明する。典型的には例えば、基準画像は、上述の１番目の分割露光画像であり、非基準画像は、上述の２番目以降の各分割露光画像である。 [Motion detection circuit]
A method for detecting a motion vector by the motion detection circuit 32 will be described in detail. The motion detection circuit 32 detects a motion vector based on the representative point matching method. The representative point matching method itself is well known. Images (image data) are successively input to the motion detection circuit 32. The representative point matching method will be described by taking as an example a case where a motion vector between a reference image and a non-reference image is detected. Typically, for example, the reference image is the above-described first divided exposure image, and the non-reference image is the above-described second and subsequent divided exposure images.

図４に、動き検出回路３２に与えられる画像データによって表される画像３１０を示す。画像３１０は、上記の基準画像又は非基準画像を表す。画像３１０内に、複数の動きベクトル検出領域が設けられる。以下、動きベクトル検出領域を、単に、「検出領域」と略記する。説明の具体化のため、９つの検出領域Ｅ1〜Ｅ9が設けられている場合を考える。各検出領域Ｅ1〜Ｅ9の大きさは同じであり、各検出領域Ｅ1〜Ｅ9は画像３１０内の互いに異なる位置に設けられる。 FIG. 4 shows an image 310 represented by the image data given to the motion detection circuit 32. An image 310 represents the above-described reference image or non-reference image. A plurality of motion vector detection areas are provided in the image 310. Hereinafter, the motion vector detection region is simply abbreviated as “detection region”. For the sake of concrete explanation, let us consider a case where nine detection areas E 1 to E 9 are provided. The detection areas E 1 to E 9 have the same size, and the detection areas E 1 to E 9 are provided at different positions in the image 310.

検出領域Ｅ1〜Ｅ9の夫々は、更に、複数の小領域（検出ブロック）ｅに分割されている。図４に示す例では、各検出領域が、４８個の小領域ｅに分割されている（垂直方向に６分割され且つ水平方向に８分割されている）。各小領域ｅは、例えば、３２×３２の画素（垂直方向に３２画素且つ水平方向に３２画素の二次元配列された画素）で構成される。そして、図５に示すように、各小領域ｅに、複数のサンプリング点Ｓと１つの代表点Ｒが設定される。或る１つの小領域ｅに関し、複数のサンプリング点Ｓは、例えば当該小領域ｅを構成する画素の全てに対応する（但し、代表点Ｒを除く）。 Each of the detection areas E 1 to E 9 is further divided into a plurality of small areas (detection blocks) e. In the example shown in FIG. 4, each detection area is divided into 48 small areas e (divided into 6 in the vertical direction and 8 in the horizontal direction). Each small region e is composed of, for example, 32 × 32 pixels (two-dimensionally arranged pixels of 32 pixels in the vertical direction and 32 pixels in the horizontal direction). As shown in FIG. 5, a plurality of sampling points S and one representative point R are set in each small region e. For a certain small region e, a plurality of sampling points S correspond to, for example, all of the pixels constituting the small region e (except for the representative point R).

非基準画像における小領域ｅ内の各サンプリング点Ｓの輝度値と、基準画像における対応する小領域ｅ内の代表点Ｒの輝度値との差の絶対値（各サンプリング点Ｓにおける相関値）が、各検出領域Ｅ1〜Ｅ9ごとに、全ての小領域ｅに対して求められる。そして、各検出領域Ｅ1 〜Ｅ9 ごとに、検出領域内の全ての小領域ｅ間において、代表点Ｒに対する偏移が同じサンプリング点Ｓ同士の相関値が累積加算される（本実施例では、４８個の相関値が累積加算される）。換言すれば、各検出領域Ｅ1 〜Ｅ9 において、各小領域ｅ内の同じ位置（小領域内座標における同じ位置）の画素について求めた輝度差の絶対値が４８個の小領域ｅ分、累積加算される。この累積加算によって得られる値を、「累積相関値」とよぶ。累積相関値は、一般に、マッチング誤差とも呼ばれる。各検出領域Ｅ1 〜Ｅ9 ごとに、１つの小領域ｅ内のサンプリング点Ｓの個数と同じ個数の複数の累積相関値が求められることになる。各検出領域Ｅ1 〜Ｅ9 ごとに、複数の累積装置値の内の最小値が特定され、累積相関値が最小となるサンプリング点Ｓが特定される。 An absolute value (correlation value at each sampling point S) between the luminance value of each sampling point S in the small region e in the non-reference image and the luminance value of the representative point R in the corresponding small region e in the reference image is For each of the detection areas E 1 to E 9 , it is obtained for all the small areas e. Then, for each of the detection areas E 1 to E 9 , the correlation values of the sampling points S having the same deviation with respect to the representative point R are cumulatively added between all the small areas e in the detection area (in this embodiment). 48 correlation values are cumulatively added). In other words, in each of the detection areas E 1 to E 9 , the absolute value of the luminance difference obtained for the pixels at the same position in each small area e (the same position in the coordinates within the small area) is 48 small areas e. Cumulative addition. A value obtained by this cumulative addition is referred to as a “cumulative correlation value”. The cumulative correlation value is generally called a matching error. For each of the detection areas E 1 to E 9 , a plurality of cumulative correlation values equal to the number of sampling points S in one small area e are obtained. For each of the detection areas E 1 to E 9 , the minimum value among the plurality of cumulative device values is specified, and the sampling point S at which the cumulative correlation value is minimum is specified.

そして、各検出領域Ｅ1 〜Ｅ9ごとに、代表点Ｒと累積相関値が最小となるサンプリング点Ｓとの偏移、すなわち相関性が最も高い偏移が検出される。その偏移を表すベクトルを当該検出領域の動きベクトルとして取り扱うことができる。このように、或る検出領域に関し、代表点マッチング法に基づいて算出される累積相関値は、基準画像に対して非基準画像に所定の偏移（基準画像と非基準画像との間における位置ずれ）を加えた時の、基準画像内の検出領域の画像と非基準画像内の検出領域の画像との相関（類似性）を表し、その値は該相関が高くなるに従って小さくなる。 Then, for each of the detection regions E 1 to E 9 , a deviation between the representative point R and the sampling point S at which the cumulative correlation value is minimum, that is, a deviation having the highest correlation is detected. A vector representing the shift can be handled as a motion vector of the detection area. As described above, the cumulative correlation value calculated based on the representative point matching method with respect to a certain detection region has a predetermined shift (a position between the reference image and the non-reference image) to the non-reference image with respect to the reference image. This indicates the correlation (similarity) between the image of the detection area in the reference image and the image of the detection area in the non-reference image, and the value decreases as the correlation increases.

そして、単純には例えば、検出領域ごとに検出された合計９つの動きベクトルの平均ベクトルを、基準画像と非基準画像との間における画像全体の動きベクトルとする。画像全体の動きベクトルは、基準画像と非基準画像との間における、画像全体の動きの向き及び大きさを特定する。画像全体の動きベクトルと検出領域ごとに算出される動きベクトルとを区別するべく、前者を特に全体動きベクトルといい、後者を特に領域動きベクトルということもある。   For example, an average vector of a total of nine motion vectors detected for each detection area is used as the motion vector of the entire image between the reference image and the non-reference image. The motion vector of the entire image specifies the direction and magnitude of the motion of the entire image between the reference image and the non-reference image. In order to distinguish between the motion vector of the entire image and the motion vector calculated for each detection region, the former is particularly referred to as an overall motion vector, and the latter is particularly referred to as a region motion vector.

＜＜第２実施例＞＞
次に、第２実施例について説明する。第２実施例も、手ぶれ補正として加算式手ぶれ補正を採用する。第２実施例に係るデジタルカメラ１の全体ブロック図は、図３に示すそれと同様であるため、重複する図示を省略する。本実施例のデジタルカメラ１について、特に記述しない部分は、第１実施例におけるそれと同様とすることができ、第１実施例に記載した事項は、矛盾なき限り本実施例にも適用される。 << Second Example >>
Next, a second embodiment will be described. The second embodiment also employs addition type image stabilization as image stabilization. Since the entire block diagram of the digital camera 1 according to the second embodiment is the same as that shown in FIG. 3, overlapping illustration is omitted. Regarding the digital camera 1 of the present embodiment, portions not particularly described can be the same as those in the first embodiment, and the matters described in the first embodiment are applied to the present embodiment as long as there is no contradiction.

第１実施例との比較において、第２実施例では、動き検出回路３２及び画像合成回路３６に追加的機能が備えられる。本実施例にて以下に述べられる動き検出回路３２及び画像合成回路３６は、第２実施例における動き検出回路３２及び画像合成回路３６と解釈される。   In comparison with the first embodiment, in the second embodiment, the motion detection circuit 32 and the image synthesis circuit 36 are provided with additional functions. The motion detection circuit 32 and the image composition circuit 36 described below in this embodiment are interpreted as the motion detection circuit 32 and the image composition circuit 36 in the second embodiment.

具体的には、動き検出回路３２は、画像メモリ１５から送られてくる各分割露光画像データに基づいて、互いに異なる分割露光画像間の並進方向の動き検出及び回転方向の動き検出を実行可能に形成されている。そして、画像合成回路３６は、並進方向の動き検出結果及び回転方向の動き検出結果に基づいて、又は、並進方向の動き検出結果のみに基づいて、各分割露光画像を位置合わせして加算合成することにより手ぶれ補正がなされたぶれ補正画像としての合成画像を生成する。   Specifically, the motion detection circuit 32 can execute motion detection in the translational direction and motion detection in the rotational direction between the different exposure exposure images based on the respective exposure exposure image data sent from the image memory 15. Is formed. Then, the image synthesis circuit 36 aligns and synthesizes the divided exposure images based on the translational motion detection result and the rotational motion detection result, or based only on the translational motion detection result. Thus, a composite image is generated as a shake-corrected image that has been subjected to camera shake correction.

位置合わせに用いる動き検出結果は、押下されたシャッタボタンに応じて変更される。より具体的に説明する。   The motion detection result used for alignment is changed according to the pressed shutter button. This will be described more specifically.

シャッタボタンＳＢ１又はＳＢ２が押下げられた場合、何れのシャッタボタンが押下げられたかを表すシャッタボタン検出信号に基づいて、マイコン２０は、撮影制御装置１１に対して上記の最適な露光時間を複数個に分割して露光するように指示する。これにより、複数の分割露光画像が画像メモリ１５に順次格納される。画像メモリ１５に格納された各分割露光画像は、順次、動き検出回路３２及び画像合成回路３６に送られる。尚、露光分割の際、第１実施例と同様にシャッタボタン検出信号に基づいて分割露光時間及び露光分割数を変更するようにしてもよいし、変更しなくてもよい。また、マイコン２０は、シャッタボタン検出信号に基づいて、動き検出回路３２及び画像合成回路３６の処理内容を指定する。   When the shutter button SB1 or SB2 is pressed, the microcomputer 20 sets a plurality of the above optimal exposure times for the photographing control device 11 based on the shutter button detection signal indicating which shutter button is pressed. Instructs to divide into pieces and expose. Thereby, a plurality of divided exposure images are sequentially stored in the image memory 15. Each divided exposure image stored in the image memory 15 is sequentially sent to the motion detection circuit 32 and the image composition circuit 36. In the exposure division, the division exposure time and the number of exposure divisions may or may not be changed based on the shutter button detection signal as in the first embodiment. Further, the microcomputer 20 designates processing contents of the motion detection circuit 32 and the image composition circuit 36 based on the shutter button detection signal.

まず、ロール方向の手ぶれ量が比較的大きくなるシャッタボタンＳＢ１が押下された場合の処理について説明する。この場合、動き検出回路３２が、互いに異なる分割露光画像間の並進方向の動き検出及び回転方向の動き検出を行う。   First, a process when the shutter button SB1 with a relatively large amount of camera shake in the roll direction is pressed will be described. In this case, the motion detection circuit 32 performs motion detection in the translation direction and motion detection in the rotation direction between the different divided exposure images.

複数の分割露光画像の露光期間中におけるデジタルカメラ１のヨー方向及びピッチ方向のぶれは、互いに異なる分割露光画像間の並進方向の動きとなって表れる。互いに異なる分割露光画像間の並進方向の動きは、その分割露光画像間の水平方向及び垂直方向の位置ずれを表しており、それを、その分割露光画像間の並進方向の全体動きベクトルにて表現することができる。   The shake in the yaw direction and the pitch direction of the digital camera 1 during the exposure period of a plurality of divided exposure images appears as a translational movement between different divided exposure images. The translational movement between different divided exposure images represents the horizontal and vertical misalignment between the divided exposure images, which is expressed by the overall motion vector in the translation direction between the divided exposure images. can do.

複数の分割露光画像の露光期間中におけるデジタルカメラ１のロール方向のぶれは、互いに異なる分割露光画像間の回転方向の動きとなって表れる。互いに異なる分割露光画像間の回転方向の動きは、その分割露光画像間の回転方向の位置ずれを表しており、それを、その分割露光画像間の回転方向の全体動きベクトルにて表現することができる。   The shake in the roll direction of the digital camera 1 during the exposure period of a plurality of divided exposure images appears as a movement in the rotational direction between different divided exposure images. The movement in the rotational direction between the different divided exposure images represents the positional deviation in the rotational direction between the divided exposure images, and this can be expressed by the overall motion vector in the rotational direction between the divided exposure images. it can.

並進方向の動き検出及び回転方向の動き検出とは、上記の並進方向の全体動きベクトル及び回転方向の全体動きベクトルを求めることに相当する。実際には、複数の分割露光画像の内の１つを基準画像とし且つ他を非基準画像とし、基準画像と各非基準画像との間における並進方向及び回転方向の全体動きベクトルを検出する。   The motion detection in the translation direction and the motion detection in the rotation direction correspond to obtaining the overall motion vector in the translation direction and the overall motion vector in the rotation direction. Actually, one of the plurality of divided exposure images is set as a reference image and the other is set as a non-reference image, and an overall motion vector in the translation direction and the rotation direction between the reference image and each non-reference image is detected.

基準画像と非基準画像との間における並進方向の全体動きベクトルの検出手法は公知であり、それの検出に任意の公知の手法を用いることができる。単純には例えば、第１実施例で述べたように、図４の検出領域ごとに検出された合計９つの領域動きベクトルの平均ベクトルを基準画像と非基準画像との間における並進方向の全体動きベクトルとすればよい。或いは、図４の検出領域ごとに検出された合計９つの領域動きベクトルの中から信頼性の高い複数の領域動きベクトルを抽出し、その複数の領域動きベクトルの平均ベクトルを、基準画像と非基準画像との間における並進方向の全体動きベクトルとして取り扱うようにしてもよい。   A method of detecting the entire motion vector in the translation direction between the reference image and the non-reference image is known, and any known method can be used for the detection. Simply, for example, as described in the first embodiment, the average motion vector of a total of nine area motion vectors detected for each detection area in FIG. 4 is used as the overall motion in the translation direction between the reference image and the non-reference image. It can be a vector. Alternatively, a plurality of region motion vectors having high reliability are extracted from a total of nine region motion vectors detected for each detection region in FIG. 4, and an average vector of the plurality of region motion vectors is determined as a reference image and a non-reference You may make it handle as a whole motion vector of the translation direction between images.

基準画像と非基準画像との間における回転方向の全体動きベクトルの検出手法も公知であり、それの検出に任意の公知の手法（例えば、特開平１１−１９５１２５号公報に記載の手法）を用いることができる。例えば、基準画像の露光期間と非基準画像の露光期間の間にデジタルカメラ１がロール方向にぶれた時、検出領域Ｅ1とＥ9について検出された２つの領域動きベクトルは、図６（ａ）に示す如く、回転成分を持つことになる。このような回転成分を抽出することによって、回転方向の全体動きベクトルを検出すればよい。より具体的には、特開平１１−１９５１２５号公報に記載の如く、各検出領域（Ｅ1〜Ｅ9）について検出された領域動きベクトルから並進方向の全体動きベクトルを減算することによって、動きの水平及び垂直成分が除去された回転成分のみを持つ複数の領域動きベクトルを検出する。そして、図６（ｂ）に示すような、回転成分のみを持つ複数の領域動きベクトルから、基準画像と非基準画像との間における画像全体の回転角（及び回転中心）を算出し、算出値から回転方向の全体動きベクトルを特定すればよい。 A method for detecting the entire motion vector in the rotation direction between the reference image and the non-reference image is also known, and any known method (for example, the method described in JP-A-11-195125) is used for the detection. be able to. For example, when the digital camera 1 is shaken in the roll direction between the exposure period of the reference image and the exposure period of the non-reference image, the two area motion vectors detected for the detection areas E 1 and E 9 are shown in FIG. ), It has a rotation component. It is only necessary to detect the entire motion vector in the rotation direction by extracting such a rotation component. More specifically, as described in JP-A-11-195125, the motion of the motion is subtracted by subtracting the total motion vector in the translation direction from the region motion vector detected for each detection region (E 1 to E 9 ). A plurality of region motion vectors having only the rotation component from which the horizontal and vertical components are removed are detected. Then, the rotation angle (and rotation center) of the entire image between the reference image and the non-reference image is calculated from a plurality of region motion vectors having only a rotation component as shown in FIG. From this, the entire motion vector in the rotation direction may be specified.

そして、２番目以降に加算式手ぶれ補正回路３０に入力された各分割露光画像（即ち、各非基準画像）は、１番目の分割露光画像（即ち、基準画像）との間における並進方向及び回転方向の全体動きベクトルに基づいて、１番目の分割露光画像とのずれがなくなるように、座標変換回路３３で１番目の分割露光画像の座標に座標変換される（即ち、１番目の分割露光画像を基準として位置合わせされる）。そして、画像加算回路３４において、座標変換された各分割露光画像の各画素値は、１番目の分割露光画像又はそれまでに合成された画像の各画素値に対して加算され、その加算結果が画像メモリ３５に記憶される。つまり、分割露光画像間の並進方向及び回転方向の位置ずれを補正した上で加算合成することにより得られる合成画像が画像メモリ３５に格納される。   Then, each divided exposure image (that is, each non-reference image) input to the addition-type image stabilization circuit 30 after the second is translated and rotated with respect to the first divided exposure image (that is, the reference image). Based on the overall motion vector in the direction, the coordinate conversion circuit 33 performs coordinate conversion to the coordinates of the first divided exposure image so that there is no deviation from the first divided exposure image (that is, the first divided exposure image). Are aligned with respect to). Then, in the image addition circuit 34, each pixel value of each divided exposure image subjected to coordinate conversion is added to each pixel value of the first divided exposure image or the image synthesized so far, and the addition result is obtained. Stored in the image memory 35. That is, a combined image obtained by adding and combining after correcting the positional deviation in the translation direction and the rotation direction between the divided exposure images is stored in the image memory 35.

次に、シャッタボタンＳＢ２が押下された場合の処理について説明する。シャッタボタンＳＢ２が押下された場合は、通常、ロール方向の手ぶれ量が比較的小さい。従って、ロール方向の手ぶれ補正を省略する。即ち、シャッタボタンＳＢ２が押下された場合は、動き検出回路３２に互いに異なる分割露光画像間の並進方向の動き検出のみを行わせ、回転方向の動き検出及び手ぶれ補正を省略する。   Next, processing when the shutter button SB2 is pressed will be described. When the shutter button SB2 is pressed, the amount of camera shake in the roll direction is usually relatively small. Therefore, the camera shake correction in the roll direction is omitted. That is, when the shutter button SB2 is pressed, the motion detection circuit 32 only performs motion detection in the translation direction between different divided exposure images, and omits motion detection in the rotational direction and camera shake correction.

この場合、２番目以降に加算式手ぶれ補正回路３０に入力された各分割露光画像（即ち、各非基準画像）は、１番目の分割露光画像（即ち、基準画像）との間における並進方向の全体動きベクトルに基づいて、１番目の分割露光画像とのずれがなくなるように、座標変換回路３３で１番目の分割露光画像の座標に座標変換される（即ち、１番目の分割露光画像を基準として位置合わせされる）。そして、画像加算回路３４において、座標変換された各分割露光画像の各画素値は、１番目の分割露光画像又はそれまでに合成された画像の各画素値に対して加算され、その加算結果が画像メモリ３５に記憶される。つまり、分割露光画像間の並進方向の位置ずれのみを補正した上で加算合成することにより得られる合成画像が画像メモリ３５に格納される。   In this case, each divided exposure image (that is, each non-reference image) input to the addition-type image stabilization circuit 30 after the second is translated in the translation direction with respect to the first divided exposure image (that is, the reference image). Based on the entire motion vector, the coordinate conversion circuit 33 performs coordinate conversion to the coordinates of the first divided exposure image so that there is no deviation from the first divided exposure image (that is, the first divided exposure image is used as a reference). As aligned). Then, in the image addition circuit 34, each pixel value of each divided exposure image subjected to coordinate conversion is added to each pixel value of the first divided exposure image or the image synthesized so far, and the addition result is obtained. Stored in the image memory 35. That is, a composite image obtained by adding and compositing after correcting only the positional deviation in the translation direction between the divided exposure images is stored in the image memory 35.

何れの合成画像も、ＮＴＳＣエンコーダ１６を介してモニタ１７に表示されると共に画像圧縮回路１８を介してメモリカード１９に保存される。   Any composite image is displayed on the monitor 17 via the NTSC encoder 16 and stored in the memory card 19 via the image compression circuit 18.

上述のように処理することにより、ロール方向の手ぶれ量が比較的小さいと推測される場合には、ロール方向の手ぶれ補正が省略されるため、加算合成に要する処理時間の低減効果及び消費電力の削減効果が得られる。   When it is estimated that the amount of camera shake in the roll direction is relatively small by performing the processing as described above, since the camera shake correction in the roll direction is omitted, the effect of reducing the processing time required for addition synthesis and the power consumption can be reduced. Reduction effect is obtained.

＜＜第３実施例＞＞
次に、第３実施例について説明する。第３実施例も、手ぶれ補正として加算式手ぶれ補正を採用する。第３実施例に係るデジタルカメラ１の全体ブロック図は、図３に示すそれと同様であるため、重複する図示を省略する。本実施例のデジタルカメラ１について、特に記述しない部分は、第１実施例におけるそれと同様とすることができ、第１実施例に記載した事項は、矛盾なき限り本実施例にも適用される。 << Third Example >>
Next, a third embodiment will be described. The third embodiment also employs addition-type image stabilization as image stabilization. The overall block diagram of the digital camera 1 according to the third embodiment is the same as that shown in FIG. Regarding the digital camera 1 of the present embodiment, portions not particularly described can be the same as those in the first embodiment, and the matters described in the first embodiment are applied to the present embodiment as long as there is no contradiction.

第１実施例との比較において、第３実施例では、動き検出回路３２に追加的機能が備えられる。本実施例にて以下に述べられる動き検出回路３２は、第３実施例における動き検出回路３２と解釈される。   In comparison with the first embodiment, in the third embodiment, the motion detection circuit 32 is provided with an additional function. The motion detection circuit 32 described below in this embodiment is interpreted as the motion detection circuit 32 in the third embodiment.

動き検出回路３２は、第１実施例にて図４及び図５を参照して説明したように、代表点マッチング法を用いて、領域動きベクトルを検出領域（Ｅ1〜Ｅ9）ごとに検出する。そして、各検出領域を形成する各小領域ｅ（検出ブロック）は、原則、３２×３２の画素にて構成され、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合は、原則どおり、各小領域ｅを３２×３２の画素にて形成されるようにする。これにより、画像の上下左右の夫々の方向において、最大１６画素分の手ぶれを検出することが可能となる。 As described with reference to FIGS. 4 and 5 in the first embodiment, the motion detection circuit 32 detects the region motion vector for each detection region (E 1 to E 9 ) using the representative point matching method. To do. Each small region e (detection block) forming each detection region is basically composed of 32 × 32 pixels. When a shooting instruction is issued by pressing the shutter button SB1, each small region e is detected according to the principle. e is formed by 32 × 32 pixels. As a result, camera shake for up to 16 pixels can be detected in each of the top, bottom, left, and right directions of the image.

一方、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合は、小領域ｅを２４×２４の画素（垂直方向に２４画素且つ水平方向に２４画素の二次元配列された画素）にて形成されるようにする。これにより、画像の上下左右の夫々の方向において、最大１２画素分の手ぶれまでしか検出できないことになるが、シャッタボタンＳＢ２の押下時における手ぶれ量は小さいと考えられるため、問題は生じがたく、画像合成回路３６における良好な位置合わせ及び画像合成は維持される。   On the other hand, when a shooting instruction is issued by pressing the shutter button SB2, the small area e is formed of 24 × 24 pixels (24 pixels in the vertical direction and 24 pixels in the horizontal direction, which are two-dimensionally arranged). Like that. As a result, only up to 12 pixels of camera shake can be detected in each of the top, bottom, left, and right directions of the image, but since the amount of camera shake at the time of pressing the shutter button SB2 is considered to be small, the problem hardly occurs. Good alignment and image composition in the image composition circuit 36 is maintained.

このように、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合は、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合よりも、小領域ｅの画像サイズを小さくする（これに伴って、各検出領域の画像サイズも小さくなる）。これにより、動き検出の処理時間の短縮効果及び消費電力の削減効果が得られる。また、より狭い領域で累積加算処理が行われるため、動きベクトルの誤検出率が低下して位置合わせの精度の向上も見込める（より狭い領域で累積加算処理が行えば、類似模様などの存在に由来する動きベクトルの誤検出が発生しにくくなる）   As described above, when the shooting instruction is given by pressing the shutter button SB2, the image size of the small area e is made smaller than when the shooting instruction is given by pressing the shutter button SB1 (according to this, each detection is detected). The image size of the area is also reduced). Thereby, the effect of shortening the processing time of motion detection and the effect of reducing power consumption can be obtained. In addition, since the cumulative addition process is performed in a narrower area, the false detection rate of the motion vector can be reduced and the alignment accuracy can be improved (if the cumulative addition process is performed in a narrower area, a similar pattern or the like may exist. (The false detection of the derived motion vector is less likely to occur)

尚、動き検出回路３２による動き検出の原理から理解されるように、小領域ｅの画像サイズを減少させることは、互いに異なる分割露光画像間の動きの検出可能範囲を減少させることに相当する（上述の例では、上下左右に最大１６画素分の動きの検出可能範囲が最大１２画素分にまで減少）。また、マイコン２０が、何れのシャッタボタンが押下げられたかを表すシャッタボタン検出信号に基づいて動き検出回路３２を制御することにより、各小領域ｅの画像サイズを可変設定する。   As can be understood from the principle of motion detection by the motion detection circuit 32, reducing the image size of the small region e corresponds to reducing the motion detectable range between different divided exposure images ( In the above-described example, the motion detectable range for up to 16 pixels in the vertical and horizontal directions is reduced to a maximum of 12 pixels). Further, the microcomputer 20 controls the motion detection circuit 32 based on a shutter button detection signal indicating which shutter button is pressed, thereby variably setting the image size of each small region e.

＜＜第４実施例＞＞
次に、第４実施例について説明する。第４実施例も、手ぶれ補正として加算式手ぶれ補正を採用する。第４実施例に係るデジタルカメラ１の全体ブロック図は、図３に示すそれと同様であるため、重複する図示を省略する。本実施例のデジタルカメラ１について、特に記述しない部分は、第１実施例におけるそれと同様とすることができ、第１実施例に記載した事項は、矛盾なき限り本実施例にも適用される。 << 4th Example >>
Next, a fourth embodiment will be described. The fourth embodiment also employs addition-type image stabilization as image stabilization. Since the entire block diagram of the digital camera 1 according to the fourth embodiment is the same as that shown in FIG. 3, overlapping illustration is omitted. Regarding the digital camera 1 of the present embodiment, portions not particularly described can be the same as those in the first embodiment, and the matters described in the first embodiment are applied to the present embodiment as long as there is no contradiction.

第１実施例との比較において、第４実施例では、動き検出回路３２に追加的機能が備えられる。本実施例にて以下に述べられる動き検出回路３２は、第４実施例における動き検出回路３２と解釈される。   In comparison with the first embodiment, the motion detection circuit 32 is provided with an additional function in the fourth embodiment. The motion detection circuit 32 described below in this embodiment is interpreted as the motion detection circuit 32 in the fourth embodiment.

動き検出回路３２は、第１実施例にて図４及び図５を参照して説明したように、代表点マッチング法を用いて領域動きベクトルを検出領域（Ｅ1〜Ｅ9）ごとに検出する。通常は、図４に示す如く、水平及び垂直方向に３つずつ均等な配置で各分割露光画像内に検出領域Ｅ1〜Ｅ9が定義される。このような検出領域Ｅ1〜Ｅ9の配置位置を基準配置位置と呼ぶ。本実施例では、何れのシャッタボタンが押下されたかに応じて、基準画像内に定義される検出領域Ｅ1〜Ｅ9の位置を、予想される手ぶれ方向の逆方向にシフトさせる。 As described with reference to FIGS. 4 and 5 in the first embodiment, the motion detection circuit 32 detects the region motion vector for each detection region (E 1 to E 9 ) using the representative point matching method. . Usually, as shown in FIG. 4, detection areas E 1 to E 9 are defined in each divided exposure image in a uniform arrangement of three in the horizontal and vertical directions. Such arrangement positions of the detection areas E 1 to E 9 are referred to as reference arrangement positions. In this embodiment, the positions of the detection areas E 1 to E 9 defined in the reference image are shifted in the direction opposite to the expected camera shake direction depending on which shutter button is pressed.

シャッタボタンＳＢ１の押下によって撮影指示がなされた場合を説明する。連続撮影されるＮ枚の分割露光画像の内、１番目の分割露光画像（１番目に撮影された分割露光画像）が基準画像とされ、２番目以降の各分割露光画像が非基準画像として取り扱われる。シャッタボタンＳＢ１の押下によって撮影指示がなされた場合、上述したようにヨー方向における手ぶれはデジタルカメラ１の操作面側から見て右方向が支配的であるため、図７に示す如く、基準画像に現れる像との対比において非基準画像に現れる像は通常右方向にシフトする。   A case where a shooting instruction is issued by pressing the shutter button SB1 will be described. Of the N divided exposure images taken continuously, the first divided exposure image (the first divided exposure image taken) is the reference image, and the second and subsequent divided exposure images are treated as non-reference images. It is. When a shooting instruction is issued by pressing the shutter button SB1, as described above, camera shake in the yaw direction is dominant in the right direction when viewed from the operation surface side of the digital camera 1, and as shown in FIG. The image appearing in the non-reference image in contrast to the appearing image usually shifts to the right.

従って、この場合は、図８（ａ）に示す如く、基準画像内に定義される検出領域Ｅ1〜Ｅ9の配置位置を基準配置位置から左方向にシフトさせる。シフトさせる量は、上記手ぶれ特性αに応じて予め設定しておくことができる。非基準画像内に定義される検出領域Ｅ1〜Ｅ9の配置位置は、図８（ｂ）に示す如く、基準配置位置と同じとする。基準画像と非基準画像との間において、検出領域そのものは同じである、例えば、各検出領域は、図４及び図５を参照して説明したように４８個の小領域ｅに分割され、各小領域ｅは３２×３２の画素にて構成される。 Therefore, in this case, as shown in FIG. 8A, the arrangement positions of the detection areas E 1 to E 9 defined in the reference image are shifted leftward from the reference arrangement position. The amount to be shifted can be set in advance according to the camera shake characteristic α. As shown in FIG. 8B, the arrangement positions of the detection areas E 1 to E 9 defined in the non-reference image are the same as the reference arrangement positions. The detection area itself is the same between the reference image and the non-reference image. For example, each detection area is divided into 48 small areas e as described with reference to FIGS. The small area e is composed of 32 × 32 pixels.

図９は、検出領域Ｅ1の左隅に位置する１つの小領域ｅに着目し、基準画像における着目小領域と非基準画像における着目小領域を重ね合わせて示した図である。図９において、実線四角枠３２０は基準画像における着目小領域を表し、破線四角枠３２１は非基準画像における着目小領域を表し、点３２２は基準画像における着目小領域に定義された代表点を表している。また、図９におけるΔは、基準画像内に定義される検出領域Ｅ1〜Ｅ9の配置位置を基準配置位置から左方向にシフトさせた量を表している。 FIG. 9 is a diagram in which one small region e located at the left corner of the detection region E 1 is focused and the target small region in the reference image and the target small region in the non-reference image are overlapped. In FIG. 9, a solid square frame 320 represents a target small region in the reference image, a dashed square frame 321 represents a target small region in the non-reference image, and a point 322 represents a representative point defined in the target small region in the reference image. ing. Further, Δ in FIG. 9 represents an amount obtained by shifting the arrangement positions of the detection areas E 1 to E 9 defined in the reference image leftward from the reference arrangement position.

この状態で、第１実施例で説明したように、各検出領域Ｅ1 〜Ｅ9 ごとに複数の累積相関値を求めて各検出領域Ｅ1 〜Ｅ9 ごとに複数の累積相関値の内の最小値を特定する。そして、各検出領域Ｅ1 〜Ｅ9ごとに代表点Ｒと累積相関値に最小値を与えるサンプリング点Ｓとの偏移、すなわち相関性が最も高い偏移を検出して、その偏移を表すベクトルを当該検出領域の領域動きベクトルとして検出する。領域動きベクトルが検出された後の動作は、第１実施例と同様である。図９を参照した場合、代表点３２２を始点とし破線四角枠３２１内の任意の点を終点とするベクトルが、検出可能な領域動きベクトルである。従って、ベクトル３２３のような、右方向の大きさの大きい領域動きベクトルも検出可能となる。 In this state, as described in the first embodiment, among the detection areas E 1 to E more accumulated correlation value calculated a plurality of accumulated correlation values in each of the detection areas E 1 to E 9 each 9 Specify the minimum value. For each detection region E 1 to E 9 , a deviation between the representative point R and the sampling point S that gives the minimum value to the accumulated correlation value, that is, a deviation having the highest correlation is detected, and the deviation is represented. A vector is detected as a region motion vector of the detection region. The operation after the region motion vector is detected is the same as in the first embodiment. When referring to FIG. 9, a vector having a representative point 322 as a start point and an end point at an arbitrary point in a broken-line square frame 321 is a detectable region motion vector. Therefore, it is possible to detect a region motion vector having a large size in the right direction, such as the vector 323.

代表点マッチング法を用いて、基準画像に定義された検出領域内の画像と各非基準画像に定義された検出領域内の画像とを対比し、これによって、手ぶれに由来する基準画像と各非基準画像との間の位置ずれ（動きベクトル）を評価するのであるが、上述のような検出領域のシフト処理を行うことにより、検出可能な右方向の位置ずれ量を増大させることができる。即ち、露光期間中に生じる手ぶれに対して追従できる範囲が実質的に広くなり、より大きな手ぶれに対しても適切な手ぶれ補正を実行することが可能となる。   Using the representative point matching method, the image in the detection area defined in the reference image is compared with the image in the detection area defined in each non-reference image. The positional deviation (motion vector) with respect to the reference image is evaluated. By performing the detection region shift process as described above, the detectable rightward positional deviation amount can be increased. That is, the range that can follow camera shake occurring during the exposure period is substantially widened, and it is possible to perform appropriate camera shake correction even for larger camera shake.

また、上述のシフト処理において重要なのは、基準画像に定義された検出領域と各非基準画像に定義された検出領域との相対位置であるので、シフト対象を上述と逆にしてもよい。即ち、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合、基準画像内に定義される検出領域Ｅ1〜Ｅ9の配置位置を基準配置位置と一致させ、且つ、各非基準画像内に定義される検出領域Ｅ1〜Ｅ9の配置位置を基準配置位置から右方向にシフトさせるようにしてもよい。 In addition, what is important in the above-described shift processing is the relative position between the detection area defined in the reference image and the detection area defined in each non-reference image, so the shift target may be reversed from the above. That is, when a shooting instruction is issued by pressing the shutter button SB1, the arrangement positions of the detection areas E 1 to E 9 defined in the reference image are made to coincide with the reference arrangement position, and are defined in each non-reference image. The arrangement positions of the detection areas E 1 to E 9 may be shifted to the right from the reference arrangement position.

シャッタボタンＳＢ２の押下によって撮影指示がなされた場合も、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合と同様に処理することができる。シャッタボタンＳＢ２が押下された場合、上述したようにヨー方向における手ぶれはデジタルカメラ１の操作面側から見て左方向が支配的である。このため、基準画像内に定義される検出領域Ｅ1〜Ｅ9の配置位置を基準配置位置から右方向にシフトさせればよい。シフトさせる量は、上記手ぶれ特性αに応じて予め設定しておくことができるが、シャッタボタンＳＢ２の押下時の方が手ぶれ量が小さいことに鑑み、シャッタボタンＳＢ２の押下時における右方向のシフト量を、シャッタボタンＳＢ１の押下時における左方向のシフト量（Δ）よりも小さくしてもよい。 Even when a shooting instruction is issued by pressing the shutter button SB2, processing can be performed in the same manner as when a shooting instruction is issued by pressing the shutter button SB1. When the shutter button SB2 is pressed, camera shake in the yaw direction is dominant in the left direction when viewed from the operation surface side of the digital camera 1 as described above. For this reason, the arrangement positions of the detection areas E 1 to E 9 defined in the reference image may be shifted to the right from the reference arrangement position. The amount of shift can be set in advance according to the above-mentioned camera shake characteristic α. However, in view of the fact that the amount of camera shake is smaller when the shutter button SB2 is pressed, the rightward shift when the shutter button SB2 is pressed The amount may be smaller than the shift amount (Δ) in the left direction when the shutter button SB1 is pressed.

また、シャッタボタンＳＢ２の押下時における手ぶれの絶対量は小さいので、検出領域のシフトを行わないようにしてもよい。つまり、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合、基準画像内に定義される検出領域Ｅ1〜Ｅ9の配置位置及び各非基準画像内に定義される検出領域Ｅ1〜Ｅ9の配置位置を共に基準配置位置とするようにしてもよい。 Further, since the absolute amount of camera shake when the shutter button SB2 is pressed is small, the detection area may not be shifted. That is, when made shooting instruction by pressing the shutter button SB2 is, the detection region E 1 to E 9 are defined in position and in each non-reference image of the detection region E 1 to E 9 are defined in the reference image Both of the arrangement positions may be set as the reference arrangement position.

尚、マイコン２０が、何れのシャッタボタンが押下げられたかを表すシャッタボタン検出信号に基づいて動き検出回路３２を制御することにより、検出領域Ｅ1〜Ｅ9の配置位置を可変設定する。 The microcomputer 20 controls the motion detection circuit 32 based on the shutter button detection signal indicating which shutter button is pressed, thereby variably setting the arrangement positions of the detection areas E 1 to E 9 .

＜＜第５実施例＞＞
次に、第５実施例について説明する。第５実施例では、手ぶれ補正として光学式手ぶれ補正を採用する。 << 5th Example >>
Next, a fifth embodiment will be described. In the fifth embodiment, optical camera shake correction is employed as camera shake correction.

図１０に、本実施例のデジタルカメラの全体ブロック図を示す。図１０は、図１のデジタルカメラ１の電気的な一構成例を示すものであるため、図１０のデジタルカメラも符号１によって参照することとする。図１０のデジタルカメラ１は、符号１１ａ、１２〜１９、２０ａ、２２、２３、２５及び２６にて参照される各部位と、シャッタボタンＳＢ１及びＳＢ２を備える。光学系１１ａと撮像素子１２は、撮影を行う撮像部（撮像手段）を形成する。   FIG. 10 shows an overall block diagram of the digital camera of this embodiment. FIG. 10 shows an example of the electrical configuration of the digital camera 1 in FIG. 1, so the digital camera in FIG. The digital camera 1 shown in FIG. 10 includes parts referred to by reference numerals 11a, 12 to 19, 20a, 22, 23, 25, and 26, and shutter buttons SB1 and SB2. The optical system 11a and the imaging element 12 form an imaging unit (imaging means) that performs imaging.

撮像素子１２は、複数のレンズを含む光学系１１ａを通して入射した光学像を光電変換し、該光学像を電気信号として出力する。撮像素子１２、カメラ回路１３、Ａ／Ｄ変換器１４、画像メモリ１５の機能は、図３におけるそれらと同じである。撮像素子１２の出力信号に基づく画像データは、画像メモリ１５に書き込まれる。尚、被写体の明るさを測定する測光回路（不図示）から得られた明るさの情報に基づいて、撮像素子１２の最適な露光時間は設定される。   The image sensor 12 photoelectrically converts an optical image incident through an optical system 11a including a plurality of lenses, and outputs the optical image as an electrical signal. The functions of the image sensor 12, the camera circuit 13, the A / D converter 14, and the image memory 15 are the same as those in FIG. Image data based on the output signal of the image sensor 12 is written in the image memory 15. Note that the optimum exposure time of the image sensor 12 is set based on the brightness information obtained from a photometric circuit (not shown) that measures the brightness of the subject.

画像メモリ１５は、メモリ制御回路２２を介してマイコン２０ａによって制御される。マイコン２０ａは、手ぶれ補正制御部としても機能する。尚、この手ぶれ補正制御部が、マイコン２０ａの外部に備えられていると考えても構わない。シャッタボタン検出部２３は、上述のシャッタボタン検出信号をマイコン２０ａに出力する。   The image memory 15 is controlled by the microcomputer 20 a via the memory control circuit 22. The microcomputer 20a also functions as a camera shake correction control unit. Note that this camera shake correction control unit may be considered to be provided outside the microcomputer 20a. The shutter button detection unit 23 outputs the shutter button detection signal described above to the microcomputer 20a.

シャッタボタンＳＢ１及びＳＢ２の何れもが押下げられていない場合には、一定間隔（例えば１／６０秒）の撮影によって得られた画像データが、画像メモリ１５に書き込まれる。画像メモリ１５に書き込まれた画像データは、ＮＴＳＣエンコーダ１６を介してモニタ１７に送られてスルー表示がなされる。   When neither of the shutter buttons SB1 and SB2 is pressed, image data obtained by photographing at a constant interval (for example, 1/60 seconds) is written in the image memory 15. The image data written in the image memory 15 is sent to the monitor 17 via the NTSC encoder 16 and is displayed through.

シャッタボタンＳＢ１又はＳＢ２が押下された場合には、その押下に従って撮影されるべき１枚の静止画像の露光期間中において、センサ部２６からの手ぶれ検出信号に基づき、マイコン２０ａが駆動部２５を制御して光学式手ぶれ補正を実現する。   When the shutter button SB1 or SB2 is pressed, the microcomputer 20a controls the driving unit 25 based on the camera shake detection signal from the sensor unit 26 during the exposure period of one still image to be photographed according to the pressing. This realizes optical image stabilization.

センサ部２６は、図１１に示す如く、２つのセンサユニット５０及び６０を備える。センサユニット５０は、デジタルカメラ１のヨー方向の角速度を検出するための角速度センサ５１を有し、センサユニット６０は、デジタルカメラ１のピッチ方向の角速度を検出するための角速度センサ６１を有している。センサユニット５０と６０は、角速度を検出する方向が異なるだけで、内部構成は同様である。従って、センサユニット５０についてのみ詳細な説明を行い、センサユニット６０に対する説明を割愛する。   The sensor unit 26 includes two sensor units 50 and 60 as shown in FIG. The sensor unit 50 has an angular velocity sensor 51 for detecting the angular velocity of the digital camera 1 in the yaw direction, and the sensor unit 60 has an angular velocity sensor 61 for detecting the angular velocity of the digital camera 1 in the pitch direction. Yes. The sensor units 50 and 60 have the same internal configuration except for the direction in which the angular velocity is detected. Accordingly, only the sensor unit 50 will be described in detail, and the description of the sensor unit 60 will be omitted.

図１２に示す如く、センサユニット５０は、角速度センサ５１、フィルタ回路５２、増幅率５３及びＡ／Ｄ変換器５４を備える。角速度センサ５１は、所定のサンプリング周期ｄｔにてデジタルカメラ１のヨー方向の角速度を計測して、そのサンプリング周期ｄｔにおけるヨー方向の角速度を表すアナログ信号（以下、「センサ信号」という）を出力する。角速度センサ５１からのセンサ信号は、フィルタ回路５２を介して増幅器５３に与えられ、増幅器５３は、与えられたセンサ信号を増幅して出力する。増幅器５３の出力信号を増幅センサ信号という。Ａ／Ｄ変換器５４は、増幅器５３からのアナログの増幅センサ信号をデジタル信号に変換する。このデジタル信号から、サンプリング周期ｄｔにおけるデジタルカメラ１のヨー方向の角速度が求められる。Ａ／Ｄ変換器５４から、サンプリング周期ｄｔにて順次デジタル信号が出力される。   As shown in FIG. 12, the sensor unit 50 includes an angular velocity sensor 51, a filter circuit 52, an amplification factor 53, and an A / D converter 54. The angular velocity sensor 51 measures the angular velocity in the yaw direction of the digital camera 1 at a predetermined sampling cycle dt, and outputs an analog signal (hereinafter referred to as “sensor signal”) representing the angular velocity in the yaw direction in the sampling cycle dt. . The sensor signal from the angular velocity sensor 51 is given to the amplifier 53 via the filter circuit 52, and the amplifier 53 amplifies the given sensor signal and outputs it. The output signal of the amplifier 53 is referred to as an amplified sensor signal. The A / D converter 54 converts the analog amplified sensor signal from the amplifier 53 into a digital signal. From this digital signal, the angular velocity in the yaw direction of the digital camera 1 in the sampling period dt is obtained. Digital signals are sequentially output from the A / D converter 54 at the sampling period dt.

フィルタ回路５２は、例えば、所定のカットオフ周波数以下の信号成分を減衰させるハイパスフィルタである。角速度センサ５１の出力信号には、周辺温度等に依存してドリフトするオフセット成分が含まれるが、ドリフトは低周波であるため、フィルタ回路５２によって、角速度センサ５１の出力信号から該オフセット成分（ドリフト成分）が除去される。尚、フィルタ回路５２を省略する構成も採用可能であり、その場合、角速度センサ５１の出力信号は、そのまま増幅器５３に与えられる。   The filter circuit 52 is, for example, a high-pass filter that attenuates signal components below a predetermined cutoff frequency. The output signal of the angular velocity sensor 51 includes an offset component that drifts depending on the ambient temperature or the like. However, since the drift is a low frequency, the filter circuit 52 causes the offset component (drift to be generated) from the output signal of the angular velocity sensor 51. Component) is removed. A configuration in which the filter circuit 52 is omitted may be employed. In this case, the output signal of the angular velocity sensor 51 is supplied to the amplifier 53 as it is.

センサユニット６０もセンサユニット５０と同様に構成され、センサユニット６０は、サンプリング周期ｄｔにおけるデジタルカメラ１のピッチ方向の角速度を表すデジタル信号を順次出力する。センサユニット５０と６０からの各デジタル信号は、「手ぶれ検出信号」としてマイコン２０ａに伝達される。   The sensor unit 60 is also configured in the same manner as the sensor unit 50, and the sensor unit 60 sequentially outputs digital signals representing the angular velocity in the pitch direction of the digital camera 1 in the sampling period dt. The digital signals from the sensor units 50 and 60 are transmitted to the microcomputer 20a as “camera shake detection signals”.

図１３に、光学系１１ａの内部構成を撮像素子１２と共に示す。光学系１１ａは、ズームレンズやフォーカスレンズの他、補正レンズＬＣを含む複数枚のレンズを備えて構成される。補正レンズＬＣは、光軸に直交する２次元平面上を移動可能なように光学系１１ａ内に設置され、その移動は、図１０の駆動部２５によって実現される。補正レンズＬＣを光軸に直交する２次元平面上で移動させることにより、撮像素子１２に結像する像が、撮像素子１２上で２次元方向に移動する。   FIG. 13 shows the internal configuration of the optical system 11 a together with the image sensor 12. The optical system 11a includes a plurality of lenses including a correction lens LC in addition to a zoom lens and a focus lens. The correction lens LC is installed in the optical system 11a so as to be movable on a two-dimensional plane orthogonal to the optical axis, and the movement is realized by the driving unit 25 in FIG. By moving the correction lens LC on a two-dimensional plane orthogonal to the optical axis, an image formed on the image sensor 12 moves in a two-dimensional direction on the image sensor 12.

シャッタボタンＳＢ１又はＳＢ２が押下された際、マイコン２０ａは、手ぶれが除去された１枚の静止画像（ぶれ補正画像）が得られるようにデジタルカメラ１内の各部位を制御する。手ぶれが除去される対象の画像を補正対象画像とよぶ。   When the shutter button SB1 or SB2 is pressed, the microcomputer 20a controls each part in the digital camera 1 so that one still image (blur correction image) from which camera shake is removed is obtained. The target image from which camera shake is removed is called a correction target image.

具体的には、補正対象画像の露光期間中における手ぶれ検出信号に基づき、その露光期間中において、手ぶれに由来する撮像素子１２上の光学像のぶれが打ち消されるように駆動部２５を用いて補正レンズＬＣを駆動する。つまり、補正対象画像の露光期間中、実空間内で固定された被写体が補正レンズＬＣの屈折によって常に撮像素子１２の同じ位置に結像するよう、補正レンズＬＣを移動させる。これにより、手ぶれ補正が実現され、手ぶれ補正が施された静止画像が得られる。この手ぶれ補正は、一般的に光学式手ぶれ補正と呼ばれる。得られた静止画像を表す画像データは図１０の画像メモリ１５に格納された後、ＮＴＳＣエンコーダ１６を介してモニタ１７に表示されると共に画像圧縮回路１８を介してメモリカード１９に保存される。   Specifically, based on the camera shake detection signal during the exposure period of the correction target image, correction is performed using the drive unit 25 so that the blur of the optical image on the image sensor 12 due to the camera shake is canceled during the exposure period. The lens LC is driven. That is, during the exposure period of the correction target image, the correction lens LC is moved so that the subject fixed in the real space always forms an image at the same position of the image sensor 12 due to the refraction of the correction lens LC. Thereby, camera shake correction is realized, and a still image subjected to camera shake correction is obtained. This camera shake correction is generally called optical camera shake correction. The obtained image data representing the still image is stored in the image memory 15 of FIG. 10, then displayed on the monitor 17 via the NTSC encoder 16 and saved in the memory card 19 via the image compression circuit 18.

そして、本実施例では、何れのシャッタボタンが押下されたかに応じて、シャッタボタンの押下に従って取得されるべき静止画像（補正対象画像）の露光期間の開始時における補正レンズＬＣの位置（以下、初期位置という）を設定する。この初期位置の設定は、マイコン２０ａがシャッタボタン検出信号に基づいて行う。   In this embodiment, the position of the correction lens LC at the start of the exposure period of a still image (correction target image) to be acquired according to the pressing of the shutter button (hereinafter, referred to as “shutter button”) Set the initial position. The initial position is set by the microcomputer 20a based on the shutter button detection signal.

例えば、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合、上述したようにヨー方向における手ぶれはデジタルカメラ１の操作面側から見て右方向が支配的である。このため、補正対象画像の露光期間中において補正レンズＬＣは、その右方向の手ぶれを打ち消す方向に移動させられる可能性が高い。従って、この場合は、補正レンズＬＣの初期位置を、その右方向の手ぶれを打ち消す方向の逆方向にシフトさせておく。つまり、補正レンズＬＣの初期位置を、補正レンズＬＣの可動範囲の中心位置を基準として、その右方向の手ぶれを打ち消す方向の逆方向に所定の第１シフト量だけシフトさせた位置とする。   For example, when a shooting instruction is issued by pressing the shutter button SB1, as described above, camera shake in the yaw direction is dominant in the right direction when viewed from the operation surface side of the digital camera 1. For this reason, there is a high possibility that the correction lens LC is moved in a direction to cancel the camera shake in the right direction during the exposure period of the correction target image. Therefore, in this case, the initial position of the correction lens LC is shifted in the direction opposite to the direction in which the right hand shake is canceled. In other words, the initial position of the correction lens LC is set to a position shifted by a predetermined first shift amount in the direction opposite to the direction in which the right hand shake is canceled with reference to the center position of the movable range of the correction lens LC.

一方、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合、上述したようにヨー方向における手ぶれはデジタルカメラ１の操作面側から見て左方向が支配的である。このため、補正対象画像の露光期間中において補正レンズＬＣは、その左方向の手ぶれを打ち消す方向に移動させられる可能性が高い。従って、この場合は、補正レンズＬＣの初期位置を、その左方向の手ぶれを打ち消す方向の逆方向にシフトさせておく。つまり、補正レンズＬＣの初期位置を、補正レンズＬＣの可動範囲の中心位置を基準として、その左方向の手ぶれを打ち消す方向の逆方向に所定の第２シフト量だけシフトさせた位置とする。   On the other hand, when a shooting instruction is issued by pressing the shutter button SB2, camera shake in the yaw direction is dominant in the left direction when viewed from the operation surface side of the digital camera 1 as described above. For this reason, there is a high possibility that the correction lens LC is moved in the direction of canceling the camera shake in the left direction during the exposure period of the correction target image. Therefore, in this case, the initial position of the correction lens LC is shifted in the direction opposite to the direction in which the camera shake in the left direction is canceled. That is, the initial position of the correction lens LC is set to a position shifted by a predetermined second shift amount in the direction opposite to the direction in which the left hand shake is canceled with reference to the center position of the movable range of the correction lens LC.

また、上述の手ぶれ特性αを考慮し、第１シフト量を第２シフト量よりも大きくしておくことが望ましい。また、シャッタボタンＳＢ２の押下時における手ぶれの絶対量は小さいので、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合は、上述のシフトを行わないようにしてもよい（即ち、第２シフト量をゼロとしてもよい）。また、補正レンズＬＣの初期位置への移動は、補正対象画像の露光期間の開始前に実施される。   In addition, it is desirable that the first shift amount be larger than the second shift amount in consideration of the above-described camera shake characteristic α. In addition, since the absolute amount of camera shake when the shutter button SB2 is pressed is small, the above-described shift may not be performed when the shooting instruction is given by pressing the shutter button SB2 (that is, the second shift amount is set to be smaller). It may be zero). Further, the movement of the correction lens LC to the initial position is performed before the start of the exposure period of the correction target image.

上述のような補正レンズＬＣのシフト処理を行うことにより、露光期間中に生じる手ぶれに対して追従できる範囲が実質的に広くなり、より大きな手ぶれに対しても適切な手ぶれ補正を実行することが可能となる。   By performing the shift process of the correction lens LC as described above, the range that can follow camera shake that occurs during the exposure period is substantially widened, and appropriate camera shake correction can be performed even for larger camera shake. It becomes possible.

また、駆動部２５によって撮像素子１２を光軸に直交する２次元平面上で移動させることができるように構成しておいてもよい。この撮像素子１２の移動によって補正レンズＬＣを移動させた場合と同様の作用が得られる（即ち、光学式手ぶれ補正が実現される）ことが知られている。従って、補正レンズＬＣではなく駆動部２５によって撮像素子１２を駆動することにより、上述と同様の処理を行うようにしてもよい。つまり、補正対象画像の露光期間中における手ぶれ検出信号に基づき、その露光期間中において、手ぶれに由来する撮像素子１２上の光学像のぶれが打ち消されるように撮像素子１２を移動させるようにしてもよい。   Moreover, you may comprise so that the image pick-up element 12 can be moved on the two-dimensional plane orthogonal to an optical axis by the drive part 25. FIG. It is known that the same action as when the correction lens LC is moved by the movement of the image pickup device 12 is obtained (that is, optical camera shake correction is realized). Therefore, the same processing as described above may be performed by driving the image sensor 12 by the driving unit 25 instead of the correction lens LC. In other words, based on the camera shake detection signal during the exposure period of the correction target image, the image sensor 12 may be moved so that the blur of the optical image on the image sensor 12 due to camera shake is canceled during the exposure period. Good.

この場合、撮像素子１２の初期位置を、撮像素子１２の可動範囲の中心位置を基準として、手ぶれを打ち消す方向の逆方向にシフトさせた位置とする。手ぶれを打ち消す方向は、補正レンズＬＣを移動させる場合と同様、手ぶれ特性αから推定され、シャッタボタンＳＢ１の押下時とシャッタボタンＳＢ２の押下時とで異なるし、そのシフト量もシャッタボタンＳＢ１の押下時とシャッタボタンＳＢ２の押下時とで異なりうる。撮像素子１２の初期位置とは、補正対象画像の露光期間の開始時における撮像素子１２の位置である。   In this case, the initial position of the image sensor 12 is set to a position shifted in the direction opposite to the direction in which camera shake is canceled with the center position of the movable range of the image sensor 12 as a reference. The direction in which camera shake is canceled is estimated from the camera shake characteristic α, as in the case of moving the correction lens LC, and is different between when the shutter button SB1 is pressed and when the shutter button SB2 is pressed, and the amount of shift is also determined when the shutter button SB1 is pressed. And when the shutter button SB2 is pressed. The initial position of the image sensor 12 is the position of the image sensor 12 at the start of the exposure period of the correction target image.

また、補正レンズＬＣの代わりに、バリアングルプリズム（不図示）を用いてもよい。バリアングルプリズムは、２枚の板ガラスの間に高い屈折率を持つ液体を封入した構造を有し、一方または双方の板ガラスを傾けることで自身に入射する光の屈折方向を変えることができる。この場合、被写体からの光は、バリアングルプリズムを含む光学系を介して撮像素子１２に入射する。   Further, a vari-angle prism (not shown) may be used instead of the correction lens LC. The vari-angle prism has a structure in which a liquid having a high refractive index is sealed between two plate glasses. By tilting one or both plate glasses, the refraction direction of light incident thereon can be changed. In this case, light from the subject enters the image sensor 12 via an optical system including a vari-angle prism.

このバリアングルプリズムを駆動（即ち、板ガラスを駆動）することによって補正レンズＬＣを移動させた場合と同様の作用が得られる（即ち、光学式手ぶれ補正が実現される）ことが知られている。従って、補正レンズＬＣではなく駆動部２５によってバリアングルプリズムを駆動することにより、上述と同様の処理を行うようにしてもよい。つまり、補正対象画像の露光期間中における手ぶれ検出信号に基づき、その露光期間中において、手ぶれに由来する撮像素子１２上の光学像のぶれが打ち消されるようにバリアングルプリズムを駆動（即ち、板ガラスを駆動）させるようにしてもよい。   It is known that by driving this vari-angle prism (that is, driving the plate glass), the same action as that obtained when the correction lens LC is moved can be obtained (that is, optical camera shake correction is realized). Therefore, the same processing as described above may be performed by driving the vari-angle prism by the driving unit 25 instead of the correction lens LC. That is, based on the camera shake detection signal during the exposure period of the correction target image, the variangle prism is driven so that the blur of the optical image on the image sensor 12 due to the camera shake is canceled during the exposure period (that is, the plate glass is moved). Drive).

この場合、バリアングルプリズムの初期状態を、バリアングルプリズムの状態可変範囲の中心を基準として、手ぶれを打ち消す方向の逆方向にシフトさせた状態とする。手ぶれを打ち消す方向は、補正レンズＬＣを移動させる場合と同様、手ぶれ特性αから推定され、シャッタボタンＳＢ１の押下時とシャッタボタンＳＢ２の押下時とで異なるし、そのシフト量もシャッタボタンＳＢ１の押下時とシャッタボタンＳＢ２の押下時とで異なりうる。バリアングルプリズムの状態とは、バリアングルプリズムを入射する光の屈折方向を特定する、２枚の板ガラスの傾き状態であり、バリアングルプリズムの初期状態とは、補正対象画像の露光期間の開始時におけるバリアングルプリズムの状態である。   In this case, the initial state of the vari-angle prism is shifted to a direction opposite to the direction in which camera shake is canceled with the center of the state variable range of the vari-angle prism as a reference. The direction in which camera shake is canceled is estimated from the camera shake characteristic α, as in the case of moving the correction lens LC, and is different between when the shutter button SB1 is pressed and when the shutter button SB2 is pressed, and the amount of shift is also determined when the shutter button SB1 is pressed. And when the shutter button SB2 is pressed. The vari-angle prism state is the tilt state of the two glass plates that specify the refraction direction of the light incident on the vari-angle prism. The initial state of the vari-angle prism is the start of the exposure period of the correction target image. Is the state of the vari-angle prism.

＜＜第６実施例＞＞
次に、第６実施例について説明する。第６実施例では、手ぶれ補正として光学式手ぶれ補正と復元式手ぶれ補正を採用する。 << Sixth Example >>
Next, a sixth embodiment will be described. In the sixth embodiment, optical camera shake correction and restoration type camera shake correction are employed as camera shake correction.

図１４に、本実施例のデジタルカメラの全体ブロック図を示す。図１４は、図１のデジタルカメラ１の電気的な一構成例を示すものであるため、図１４のデジタルカメラも符号１によって参照することとする。図１４のデジタルカメラ１は、符号１１ａ、１２〜１９、２０ｂ、２２、２３、２５、２６及び７０にて参照される各部位と、シャッタボタンＳＢ１及びＳＢ２を備える。光学系１１ａと撮像素子１２は、撮影を行う撮像部（撮像手段）を形成する。   FIG. 14 is an overall block diagram of the digital camera of this embodiment. FIG. 14 shows an example of the electrical configuration of the digital camera 1 in FIG. 1, so the digital camera in FIG. The digital camera 1 shown in FIG. 14 includes respective parts referred to by reference numerals 11a, 12-19, 20b, 22, 23, 25, 26 and 70, and shutter buttons SB1 and SB2. The optical system 11a and the imaging element 12 form an imaging unit (imaging means) that performs imaging.

撮像素子１２は、複数のレンズを含む光学系１１ａを通して入射した光学像を光電変換し、該光学像を電気信号として出力する。撮像素子１２、カメラ回路１３、Ａ／Ｄ変換器１４、画像メモリ１５の機能は、図３におけるそれらと同じである。撮像素子１２の出力信号に基づく画像データは、画像メモリ１５に書き込まれる。尚、被写体の明るさを測定する測光回路（不図示）から得られた明るさの情報に基づいて、撮像素子１２の最適な露光時間は設定される。   The image sensor 12 photoelectrically converts an optical image incident through an optical system 11a including a plurality of lenses, and outputs the optical image as an electrical signal. The functions of the image sensor 12, the camera circuit 13, the A / D converter 14, and the image memory 15 are the same as those in FIG. Image data based on the output signal of the image sensor 12 is written in the image memory 15. Note that the optimum exposure time of the image sensor 12 is set based on the brightness information obtained from a photometric circuit (not shown) that measures the brightness of the subject.

画像メモリ１５は、メモリ制御回路２２を介してマイコン２０ｂによって制御される。マイコン２０ｂは、手ぶれ補正制御部としても機能する。尚、この手ぶれ補正制御部が、マイコン２０ｂの外部に備えられていると考えても構わない。シャッタボタン検出部２３は、上述のシャッタボタン検出信号をマイコン２０ｂに出力する。   The image memory 15 is controlled by the microcomputer 20 b via the memory control circuit 22. The microcomputer 20b also functions as a camera shake correction control unit. Note that this camera shake correction control unit may be considered to be provided outside the microcomputer 20b. The shutter button detection unit 23 outputs the shutter button detection signal described above to the microcomputer 20b.

シャッタボタンＳＢ１及びＳＢ２の何れもが押下げられていない場合には、一定間隔（例えば１／６０秒）の撮影によって得られた画像データが、画像メモリ１５に書き込まれる。画像メモリ１５に書き込まれた画像データは、ＮＴＳＣエンコーダ１６を介してモニタ１７に送られてスルー表示がなされる。   When neither of the shutter buttons SB1 and SB2 is pressed, image data obtained by photographing at a constant interval (for example, 1/60 seconds) is written in the image memory 15. The image data written in the image memory 15 is sent to the monitor 17 via the NTSC encoder 16 and is displayed through.

シャッタボタンＳＢ１又はＳＢ２が押下された際、マイコン２０ｂは、手ぶれが除去された１枚の静止画像（ぶれ補正画像）が得られるようにデジタルカメラ１内の各部位を制御する。手ぶれが除去される対象の画像を補正対象画像とよぶ。   When the shutter button SB1 or SB2 is pressed, the microcomputer 20b controls each part in the digital camera 1 so that one still image (blur correction image) from which camera shake is removed is obtained. The target image from which camera shake is removed is called a correction target image.

マイコン２０ｂは、補正対象画像に対して、光学式手ぶれ補正と復元式手ぶれ補正の双方を行うか、或いは、復元式手ぶれ補正のみを行うかを、シャッタボタン検出信号に基づき選択制御する。具体的には、シャッタボタンＳＢ１が押下された際は、光学式手ぶれ補正と復元式手ぶれ補正の双方を行い、シャッタボタンＳＢ２が押下された際は、復元式手ぶれ補正のみを行うようにする。光学式手ぶれ補正と復元式手ぶれ補正の双方を行う手ぶれ補正を、以下、「光学／復元ハイブリッド補正」という。   The microcomputer 20b selects and controls, based on the shutter button detection signal, whether to perform both the optical camera shake correction and the restoration camera shake correction or only to perform the restoration camera shake correction on the correction target image. Specifically, when the shutter button SB1 is pressed, both optical camera shake correction and restoration type camera shake correction are performed, and when the shutter button SB2 is pressed, only restoration type camera shake correction is performed. Hereinafter, the camera shake correction that performs both the optical camera shake correction and the restoration type camera shake correction is referred to as “optical / restoration hybrid correction”.

まず、手ぶれ補正として復元式手ぶれ補正のみを行う場合の動作を説明する。復元式手ぶれ補正は、撮像素子１２にて取得された画像に含まれるぼけ（手ぶれに由来するぼけ）を除去する画像処理を実行することによって実現され、この画像処理は画像復元処理とも呼ばれる。画像復元の原理自体は公知である。復元式手ぶれ補正のみを行う場合は、例えば上記特許文献４〜６の何れかに記載の手法を用いればよい。画像復元処理は、マイコン２０ｂの制御の下、画像復元部７０によって実行される。   First, the operation in the case where only the restoration-type camera shake correction is performed as the camera shake correction will be described. Restoration type image stabilization is realized by executing image processing that removes blur (blurring caused by camera shake) included in an image acquired by the image sensor 12, and this image processing is also called image restoration processing. The principle of image restoration itself is known. In the case where only restoration-type image stabilization is performed, for example, the method described in any of Patent Documents 4 to 6 may be used. The image restoration process is executed by the image restoration unit 70 under the control of the microcomputer 20b.

具体的には、画像メモリ１５に格納された、補正対象画像を表す画像データを画像復元部７０に入力する。画像復元部７０は、補正対象画像の露光期間中における手ぶれ検出信号に基づき、補正対象画像の露光期間中における手ぶれの軌跡を求める。手ぶれ検出信号によって、サンプリング周期ｄｔごとのデジタルカメラ１のヨー方向及びピッチ方向の角速度が特定される。従って、特定された各角速度を、手ぶれに由来する画像の動きを表す情報、即ち、動きベクトルに変換することが可能である。補正対象画像の露光期間中における各動きベクトルを繋ぎ合わせることにより、補正対象画像の露光期間中における手ぶれの軌跡を求めることができる。   Specifically, the image data representing the correction target image stored in the image memory 15 is input to the image restoration unit 70. The image restoration unit 70 obtains the locus of camera shake during the exposure period of the correction target image based on the camera shake detection signal during the exposure period of the correction target image. The angular velocity in the yaw direction and pitch direction of the digital camera 1 for each sampling period dt is specified by the camera shake detection signal. Therefore, it is possible to convert each specified angular velocity into information representing the motion of an image derived from camera shake, that is, a motion vector. By connecting the motion vectors during the exposure period of the correction target image, it is possible to obtain the locus of camera shake during the exposure period of the correction target image.

画像復元部７０は、画像上における手ぶれの軌跡から、点広がり関数（Point Spread Function）を作成する。点広がり関数を、以下、ＰＳＦと記述する。図１５を参照する。手ぶれは、空間フィルタを使って表すことができる。図１５の符号４０１は、手ぶれの軌跡、即ち、理想的な点像がデジタルカメラ１のぶれによって画像上で描く軌跡（画像のぶれの軌跡）を表す。この手ぶれの軌跡にあわせてオペレータの要素に重みを加えた空間フィルタを形成し、この空間フィルタを用いてフィルタ処理を行うと、フィルタリング過程において各画素の濃淡値が手ぶれの軌跡に応じた近傍画素の濃淡値のみを考慮するようになる。つまり、この空間フィルタを用いて、手ぶれの影響を受けた画像を作成することができる。   The image restoration unit 70 creates a point spread function from the locus of camera shake on the image. The point spread function is hereinafter referred to as PSF. Refer to FIG. Camera shake can be represented using a spatial filter. Reference numeral 401 in FIG. 15 represents a camera shake trajectory, that is, a trajectory drawn by an ideal point image on the image due to the camera shake (image blur trajectory). When a spatial filter is formed by adding weights to the operator's elements in accordance with the camera shake trajectory, and the filter processing is performed using this spatial filter, the gray value of each pixel in the filtering process is a neighboring pixel corresponding to the camera shake trajectory. Only the gray value of is considered. That is, an image affected by camera shake can be created using this spatial filter.

この手ぶれの軌跡にあわせて重み付けがなされたオペレータ或るいは空間フィルタは、ＰＳＦと呼ばれ、手ぶれの数学モデルとして使用される。ＰＳＦの或る要素の重みは、その要素を手ぶれの軌跡が通過する時間に比例した値とされる（但し、各要素の重みの総和が１になるように正規化される）。即ち、重みは、動きベクトルの大きさの逆数に比例した値とされる。手ぶれが画像に与える影響を考えたとき、より遅い動きに対応する要素には、より大きな影響が与えられるからである。   An operator or a spatial filter weighted in accordance with the hand movement trajectory is called PSF, and is used as a mathematical model of hand movement. The weight of a certain element of the PSF is set to a value proportional to the time during which the hand movement trajectory passes through the element (however, the weight of each element is normalized so that the sum of the weights of the elements becomes 1). That is, the weight is a value proportional to the reciprocal of the magnitude of the motion vector. This is because, when the influence of camera shake on an image is considered, a larger influence is given to an element corresponding to a slower movement.

図１５の符号４０２は、手ぶれの動きが等速であると仮定した場合のＰＳＦを表し、図１５の符号４０３は、実際の手ぶれの動きの大きさを考慮した場合のＰＳＦを表している。符合４０３で表されるＰＳＦにおいて、重みの比較的小さい（動きベクトルの大きさが比較的大きい）要素を比較的黒く表示し、重みの比較的大きい（動きベクトルの大きさが比較的小さい）要素を比較的白く表示している。   Reference numeral 402 in FIG. 15 represents the PSF when it is assumed that the movement of the hand movement is constant speed, and reference numeral 403 in FIG. 15 represents the PSF when the magnitude of the actual movement of the hand movement is taken into consideration. In the PSF represented by reference numeral 403, an element having a relatively small weight (the size of the motion vector is relatively large) is displayed in black, and an element having a relatively large weight (the size of the motion vector is relatively small) Is displayed relatively white.

手ぶれ検出信号から求められる動きベクトルによって、手ぶれの軌跡と手ぶれの速度（即ち、手ぶれの軌跡を描く速度）とが特定される。ＰＳＦを作成するには、まず、手ぶれの軌跡からＰＳＦの重みをかける要素（即ち、０ではない有意な重みが付与される要素）を決定する。そして、手ぶれの速度から、ＰＳＦの要素にかける重みを決定する。手ぶれの軌跡からＰＳＦの重みをかける要素を決定する手法、及び、ＰＳＦの要素にかける重みを決定する手法については、周知であるため、説明を割愛する。例えば、特許文献６に記載の手法を用いればよい。   Based on the motion vector obtained from the camera shake detection signal, the camera shake trajectory and the camera shake speed (that is, the speed at which the camera shake trajectory is drawn) are specified. To create a PSF, first, an element to which a PSF weight is applied (that is, an element to which a significant weight other than 0 is given) is determined from the locus of camera shake. Then, the weight applied to the element of the PSF is determined from the speed of camera shake. Since the technique for determining the element to which the PSF weight is applied from the locus of camera shake and the technique for determining the weight to be applied to the PSF element are well known, the description thereof is omitted. For example, the method described in Patent Document 6 may be used.

比較的速い手ぶれの速度に対応する要素には比較的小さな重みが付与され、比較的遅い手ぶれの速度に対応する要素には比較的大きな重みが付与される。或る要素に付与される重みは、その要素に対応する動きベクトルの大きさの逆数に概ね比例する。上述の如く、各要素についての重みを決定することにより、画像劣化関数としてのＰＳＦが生成される。   A relatively small weight is applied to an element corresponding to a relatively fast camera shake speed, and a relatively large weight is applied to an element corresponding to a relatively slow camera shake speed. The weight given to an element is roughly proportional to the reciprocal of the magnitude of the motion vector corresponding to that element. As described above, by determining the weight for each element, a PSF as an image degradation function is generated.

ＰＳＦは、ぼけのない画像からぼけのある画像を生成するための空間フィルタであるので、このＰＳＦの逆特性を有する補正関数を求めれば、この補正関数を用いてぼけのある画像からぼけを除去することができる。この補正関数は、復元フィルタとして表現することができる。ＰＳＦから補正関数としての復元フィルタを生成する手法も公知であり、その手法として、例えば特許文献６に記載の手法を用いることができる。   Since the PSF is a spatial filter for generating a blurred image from a non-blurred image, if a correction function having an inverse characteristic of the PSF is obtained, the blur is removed from the blurred image using this correction function. can do. This correction function can be expressed as a restoration filter. A method for generating a restoration filter as a correction function from the PSF is also known, and for example, a method described in Patent Document 6 can be used.

シャッタボタンＳＢ２が押下された際は復元式手ぶれ補正のみが行われるので、シャッタボタンＳＢ２の押下に従って撮影され、画像メモリ１５内に格納された画像が補正対象画像となる。この補正対象画像の露光期間中には、駆動部２５による補正レンズＬＣ等の駆動は行われない。画像復元部７０は、補正対象画像の露光期間中における手ぶれ検出信号から、補正対象画像の露光期間中における手ぶれの軌跡を表すＰＳＦを作成し、このＰＳＦから復元フィルタを生成する。そして、画像メモリ１５内に格納された補正対象画像の各画素に対して復元フィルタを適用することによって、補正対象画像に含まれるぼけが除去或いは低減されたぶれ補正画像を生成する。このぶれ補正画像は、ＮＴＳＣエンコーダ１６を介してモニタ１７に表示されると共に画像圧縮回路１８を介してメモリカード１９に保存される。   When the shutter button SB2 is pressed, only restoration-type image stabilization is performed. Therefore, an image that is shot according to the pressing of the shutter button SB2 and is stored in the image memory 15 becomes a correction target image. During the exposure period of the correction target image, the driving unit 25 does not drive the correction lens LC or the like. The image restoration unit 70 creates a PSF representing the locus of camera shake during the exposure period of the correction target image from the camera shake detection signal during the exposure period of the correction target image, and generates a restoration filter from the PSF. Then, by applying a restoration filter to each pixel of the correction target image stored in the image memory 15, a blur correction image in which the blur included in the correction target image is removed or reduced is generated. This blur-corrected image is displayed on the monitor 17 via the NTSC encoder 16 and stored in the memory card 19 via the image compression circuit 18.

また、変形例として、シャッタボタンＳＢ２が押下された際は、光学式手ぶれ補正のみを行うようにしてもよい。この変形例を採用する場合において、シャッタボタンＳＢ２が押下された時、補正対象画像の露光期間中において、センサ部２６からの手ぶれ検出信号に基づきマイコン２０ｂは、駆動部２５を制御し、第５実施例で説明したのと同様、補正レンズＬＣ（図１３）、撮像素子１２又はバリアングルプリズムを駆動することにより、光学式手ぶれ補正を実現する。この場合は、光学式手ぶれ補正を実行しつつ撮影された画像メモリ１５内の画像が、手ぶれ補正済みの静止画像となり、この静止画像は、ＮＴＳＣエンコーダ１６を介してモニタ１７に表示されると共に画像圧縮回路１８を介してメモリカード１９に保存される。   As a modification, when the shutter button SB2 is pressed, only optical camera shake correction may be performed. In the case of adopting this modification, when the shutter button SB2 is pressed, the microcomputer 20b controls the drive unit 25 based on the camera shake detection signal from the sensor unit 26 during the exposure period of the correction target image, and As described in the embodiment, the optical camera shake correction is realized by driving the correction lens LC (FIG. 13), the image sensor 12 or the vari-angle prism. In this case, the image in the image memory 15 taken while performing optical image stabilization becomes a still image that has been subjected to image stabilization, and this still image is displayed on the monitor 17 via the NTSC encoder 16 and image. The data is stored in the memory card 19 via the compression circuit 18.

次に、光学／復元ハイブリッド補正を実施する場合の動作について説明する。シャッタボタンＳＢ１が押下された時、補正対象画像の露光期間中において、センサ部２６からの手ぶれ検出信号に基づきマイコン２０ｂは、駆動部２５を制御し、第５実施例で説明したのと同様、補正レンズＬＣ（図１３）、撮像素子１２又はバリアングルプリズムを駆動することにより光学式手ぶれ補正を実現し、光学式手ぶれ補正が施された画像は画像メモリ１５に格納される。この光学式手ぶれ補正によって、概ね手ぶれによる画像のぶれが除去されるのであるが、複数の要因により、一部のぶれが残存する。この複数の要因には、第１の要因と第２の要因が含まれる。第１の要因に由来する残存ぶれと第２の要因に由来する残存ぶれの双方を除去することも可能であるが、以下、両者を画像復元によって個別に除去する手法を説明する。   Next, an operation when performing optical / restoration hybrid correction will be described. When the shutter button SB1 is pressed, during the exposure period of the correction target image, the microcomputer 20b controls the drive unit 25 based on the camera shake detection signal from the sensor unit 26, and as described in the fifth embodiment. Optical camera shake correction is realized by driving the correction lens LC (FIG. 13), the image sensor 12 or the vari-angle prism, and the image subjected to the optical camera shake correction is stored in the image memory 15. This optical camera shake correction generally eliminates camera shake due to camera shake, but some camera shake remains due to a plurality of factors. The plurality of factors include a first factor and a second factor. Although it is possible to remove both the residual blur derived from the first factor and the residual blur derived from the second factor, a method of individually removing both by image restoration will be described below.

まず、第１の要因に関する説明を行う。第１の要因は、センサ部２６の角速度センサ５１及び６１（図１１参照）の各出力側に設けられたフィルタ回路による信号減衰である。説明の具体化のため、角速度センサ５１及び６１の内、角速度センサ５１に着目する。図１２に示す如く、角速度センサ５１の出力側にはフィルタ回路５２が設けられ、角速度センサ５１の出力信号中における特定の周波数成分は増幅器５３の到達前にフィルタ回路５２によって減衰する。このため、角速度センサ５１の出力信号中における特定の周波数成分はマイコン２０ｂに完全には伝達されず、結果、その特定の周波数成分に対応する手ぶれは光学式手ぶれ補正では完全に除去されない。   First, the first factor will be described. The first factor is signal attenuation by a filter circuit provided on each output side of the angular velocity sensors 51 and 61 (see FIG. 11) of the sensor unit 26. For the sake of concrete explanation, attention is paid to the angular velocity sensor 51 among the angular velocity sensors 51 and 61. As shown in FIG. 12, a filter circuit 52 is provided on the output side of the angular velocity sensor 51, and a specific frequency component in the output signal of the angular velocity sensor 51 is attenuated by the filter circuit 52 before reaching the amplifier 53. For this reason, the specific frequency component in the output signal of the angular velocity sensor 51 is not completely transmitted to the microcomputer 20b. As a result, the camera shake corresponding to the specific frequency component is not completely removed by the optical camera shake correction.

一方、フィルタ回路５２の入出力特性（フィルタ回路５２における入力信号と出力信号との関係）はデジタルカメラ１にとって既知であるため、実際にセンサ部２６から出力された手ぶれ検出信号を参照すれば、事後的に、フィルタ回路５２において、どのような信号減衰が起こったかを特定可能である。つまり、角速度センサ５１の出力信号中、手ぶれ検出信号に反映されなかった信号成分（但し、オフセット成分を除く）を特定可能である。角速度センサ６１についても同様である。角速度センサ５１及び６１の出力信号中、手ぶれ検出信号に反映されなかった信号成分（但し、オフセット成分を除く）を、残存ぶれ信号成分とよぶ。また、残存ぶれ信号成分がない場合を基準として考えた場合、残存ぶれ信号成分によって画像が動くことになる。従って、残存ぶれ信号成分を画像の動きベクトルに変換して考えることができる。残存ぶれ信号成分は、例えばマイコン２０ｂによって算出される。光学式手ぶれ補正が施された後の画像メモリ１５内の画像には、この残存ぶれ信号成分に応じた残存ぶれが含まれる。   On the other hand, since the input / output characteristics of the filter circuit 52 (the relationship between the input signal and the output signal in the filter circuit 52) are known to the digital camera 1, referring to the camera shake detection signal actually output from the sensor unit 26, After the fact, it is possible to specify what signal attenuation has occurred in the filter circuit 52. That is, in the output signal of the angular velocity sensor 51, it is possible to specify signal components that are not reflected in the camera shake detection signal (excluding the offset component). The same applies to the angular velocity sensor 61. In the output signals of the angular velocity sensors 51 and 61, signal components that are not reflected in the camera shake detection signal (excluding the offset component) are called residual shake signal components. Further, when a case where there is no residual blur signal component is considered as a reference, an image is moved by the residual blur signal component. Therefore, the residual blur signal component can be converted into an image motion vector. The remaining blur signal component is calculated by, for example, the microcomputer 20b. The image in the image memory 15 after the optical camera shake correction is performed includes a remaining shake corresponding to the remaining shake signal component.

画像復元部７０は、補正対象画像の露光期間中における残存ぶれ信号成分に基づき、残存ぶれを含む画像に対して復元式手ぶれ補正を実施する。具体的には、手ぶれ検出信号からＰＳＦを求めたのと同様、画像復元部７０は、残存ぶれ信号成分（その残存ぶれ信号成分に応じた動きベクトル）に基づき残存ぶれを含む画像の露光期間中における残存ぶれの軌跡を求め、その残存ぶれの軌跡に応じたＰＳＦを算出する。そして、そのＰＳＦから、残存ぶれを除去するための復元フィルタを生成し、残存ぶれを含む画像に対して該復元フィルタを適用することにより残存ぶれを除去する。残存ぶれが除去された画像は、最終的なぶれ補正画像としてＮＴＳＣエンコーダ１６を介してモニタ１７に表示されると共に画像圧縮回路１８を介してメモリカード１９に保存される。   The image restoration unit 70 performs restoration-type image stabilization on an image including residual blur based on the residual blur signal component during the exposure period of the correction target image. Specifically, as in the case of obtaining the PSF from the camera shake detection signal, the image restoration unit 70 performs the exposure period of the image including the remaining shake based on the remaining shake signal component (the motion vector corresponding to the remaining shake signal component). The trajectory of the remaining blur at is obtained, and the PSF corresponding to the trajectory of the remaining blur is calculated. Then, a restoration filter for removing the residual blur is generated from the PSF, and the residual blur is removed by applying the restoration filter to the image including the residual blur. The image from which the remaining blur is removed is displayed on the monitor 17 via the NTSC encoder 16 as a final blur-corrected image and is also saved in the memory card 19 via the image compression circuit 18.

次に、第２の要因に関する説明を行う。第２の要因は、駆動部２５による、補正レンズＬＣ（図１３）、撮像素子１２又はバリアングルプリズムの駆動遅れである。説明の具体化のため、補正レンズＬＣを駆動することにより光学式手ぶれ補正を実現する場合を考える。手ぶれ検出信号に基づき各タイミングにおける理想的な補正レンズＬＣの位置は特定されるのであるが、補正レンズＬＣの駆動には駆動機構の特性に依存する駆動遅れが存在するため、各タイミングにおける理想的な補正レンズＬＣの位置と実際の補正レンズＬＣの位置との間には位置誤差が生じる。この位置誤差に応じたぶれ成分は、光学式手ぶれ補正では除去されないことになる。   Next, the second factor will be described. The second factor is the drive delay of the correction lens LC (FIG. 13), the image sensor 12 or the vari-angle prism by the drive unit 25. For the sake of concrete explanation, consider a case where optical camera shake correction is realized by driving the correction lens LC. Although the ideal position of the correction lens LC at each timing is specified based on the camera shake detection signal, there is a driving delay depending on the characteristics of the driving mechanism in driving the correction lens LC. A position error occurs between the position of the correct correction lens LC and the actual position of the correction lens LC. The blur component corresponding to the position error is not removed by the optical camera shake correction.

一方、理想的な補正レンズＬＣの位置は手ぶれ検出信号から特定されるため、ホールセンサ（不図示）等の位置検出センサを用いて各タイミングにおける実際の補正レンズＬＣの位置を検出すれば、事後的に、位置誤差を特定可能である。また、位置誤差がない場合を基準として考えた場合、位置誤差によって画像が動くことになる。従って、位置誤差を画像の動きベクトルに変換して考えることができる。補正対象画像の露光期間中の各タイミングにおける位置誤差は、例えばマイコン２０ｂによって算出される。光学式手ぶれ補正が施された後の画像メモリ１５内の画像には、この位置誤差に応じた残存ぶれが含まれる。   On the other hand, since the ideal position of the correction lens LC is specified from the camera shake detection signal, if the actual position of the correction lens LC at each timing is detected using a position detection sensor such as a Hall sensor (not shown), the posterior In particular, the position error can be specified. In addition, when the case where there is no position error is considered as a reference, the image moves due to the position error. Therefore, the position error can be considered by converting it into an image motion vector. The position error at each timing during the exposure period of the correction target image is calculated by, for example, the microcomputer 20b. The image in the image memory 15 after the optical camera shake correction is performed includes a remaining shake corresponding to this position error.

画像復元部７０は、補正対象画像の露光期間中における位置誤差に基づき、残存ぶれを含む画像に対して復元式手ぶれ補正を実施する。具体的には、手ぶれ検出信号からＰＳＦを求めたのと同様、画像復元部７０は、求めた位置誤差（その位置誤差に応じた動きベクトル）に基づき残存ぶれを含む画像の露光期間中における残存ぶれの軌跡を求め、その残存ぶれの軌跡に応じたＰＳＦを算出する。そして、そのＰＳＦから、残存ぶれを除去するための復元フィルタを生成し、残存ぶれを含む画像に対して該復元フィルタを適用することにより残存ぶれを除去する。残存ぶれが除去された画像は、最終的なぶれ補正画像としてＮＴＳＣエンコーダ１６を介してモニタ１７に表示されると共に画像圧縮回路１８を介してメモリカード１９に保存される。   The image restoration unit 70 performs restoration-type image stabilization on an image including residual blur based on the position error during the exposure period of the correction target image. Specifically, in the same manner as obtaining the PSF from the camera shake detection signal, the image restoration unit 70 maintains the remaining image during the exposure period of the image including the remaining shake based on the obtained position error (motion vector corresponding to the position error). A blur trajectory is obtained, and a PSF corresponding to the remaining blur trajectory is calculated. Then, a restoration filter for removing the residual blur is generated from the PSF, and the residual blur is removed by applying the restoration filter to the image including the residual blur. The image from which the remaining blur is removed is displayed on the monitor 17 via the NTSC encoder 16 as a final blur-corrected image and is also saved in the memory card 19 via the image compression circuit 18.

補正レンズＬＣを駆動することによって光学式手ぶれ補正を実施する場合を例にとり、第２の要因に由来する残存ぶれを画像復元によって除去する手法を説明したが、撮像素子１２又はバリアングルプリズムを駆動することによって光学式手ぶれ補正を実施する場合も同様に処理できる。   Taking the case where optical camera shake correction is performed by driving the correction lens LC as an example, the method for removing the residual blur caused by the second factor by image restoration has been described, but the image sensor 12 or vari-angle prism is driven. Thus, the same processing can be performed when the optical image stabilization is performed.

尚、画像復元による手ぶれ補正（画像復元部７０による復元式手ぶれ補正）を、補正対象画像の撮影終了後に必ず行うようにしても良いし、所定の指示操作が与えられた時にのみ行うようにしても良い。この所定の指示操作は、デジタルカメラ１に備えられた図示されない画像復元ＯＮ／ＯＦＦ選択ボタンに対して行われる。また、以下のように処理しても良い。シャッタボタンＳＢ１の押下により撮影指示が成された場合は、画像復元ＯＮ／ＯＦＦ選択ボタンに対する操作内容に関わらず必ず画像復元による手ぶれ補正を行うようにし、シャッタボタンＳＢ２の押下により撮影指示が成された場合は、上記指示操作が与えられた時にのみ画像復元による手ぶれ補正を行うようにする。   It should be noted that camera shake correction by image restoration (restoration type camera shake correction by the image restoration unit 70) may be always performed after the photographing of the correction target image is completed, or may be performed only when a predetermined instruction operation is given. Also good. This predetermined instruction operation is performed on an image restoration ON / OFF selection button (not shown) provided in the digital camera 1. Moreover, you may process as follows. When a shooting instruction is issued by pressing the shutter button SB1, camera shake correction is always performed by image restoration regardless of the operation content of the image restoration ON / OFF selection button, and a shooting instruction is issued by pressing the shutter button SB2. In such a case, camera shake correction by image restoration is performed only when the instruction operation is given.

上述の如く、光学／復元ハイブリッド補正を実現可能に構成されている場合において、手ぶれ特性αに応じ、手ぶれ補正方法を変更する。手ぶれ量が比較的大きいシャッタボタンにより撮影した場合は光学／復元ハイブリッド補正を実施して大きな手ぶれに対応する。一方、手ぶれ量が比較的小さいシャッタボタンにより撮影した場合は、復元式手ぶれ補正のみ或いは光学式手ぶれ補正のみを行う。復元式手ぶれ補正のみを行うようにすれば、補正レンズＬＣ等の駆動に要する電力消費が削減される。光学式手ぶれ補正のみを行うようにすれば、画像復元に必要な処理時間が削減されると共に画像復元に要する電力消費が削減される。   As described above, when the optical / restoration hybrid correction can be realized, the camera shake correction method is changed according to the camera shake characteristic α. When shooting with a shutter button having a relatively large amount of camera shake, optical / restoration hybrid correction is performed to cope with a large camera shake. On the other hand, when shooting is performed with a shutter button having a relatively small amount of camera shake, only restoration type camera shake correction or optical camera shake correction is performed. If only restoration type image stabilization is performed, power consumption required for driving the correction lens LC and the like is reduced. If only optical camera shake correction is performed, the processing time required for image restoration is reduced and the power consumption required for image restoration is reduced.

＜＜第７実施例＞＞
次に、第７実施例について説明する。第７実施例では、手ぶれ補正として光学式手ぶれ補正と加算式手ぶれ補正を採用する。 << Seventh Embodiment >>
Next, a seventh embodiment will be described. In the seventh embodiment, optical camera shake correction and addition camera shake correction are employed as camera shake correction.

図１６に、本実施例のデジタルカメラの全体ブロック図を示す。図１６は、図１のデジタルカメラ１の電気的な一構成例を示すものであるため、図１６のデジタルカメラも符号１によって参照することとする。図１６のデジタルカメラ１は、符号１１ａ、１２〜１９、２０ｃ、２１〜２３、２５、２６及び３０にて参照される各部位と、シャッタボタンＳＢ１及びＳＢ２を備える。即ち、図１６のデジタルカメラ１は、図３のそれと図１０のそれを組み合わせたような構成を採用している。マイコン２０ｃは、図３のマイコン２０と図１０のマイコン２０ａの双方の機能の実現可能である。   FIG. 16 shows an overall block diagram of the digital camera of this embodiment. FIG. 16 shows an example of the electrical configuration of the digital camera 1 in FIG. 1, so the digital camera in FIG. The digital camera 1 shown in FIG. 16 includes parts referred to by reference numerals 11a, 12-19, 20c, 21-23, 25, 26, and 30, and shutter buttons SB1 and SB2. That is, the digital camera 1 of FIG. 16 employs a configuration in which that of FIG. 3 is combined with that of FIG. The microcomputer 20c can realize the functions of both the microcomputer 20 in FIG. 3 and the microcomputer 20a in FIG.

撮像素子１２は、複数のレンズを含む光学系１１ａを通して入射した光学像を光電変換し、該光学像を電気信号として出力する。撮像素子１２、カメラ回路１３、Ａ／Ｄ変換器１４、画像メモリ１５の機能は、図３におけるそれらと同じである。撮像素子１２の出力信号に基づく画像データは、画像メモリ１５に書き込まれる。尚、被写体の明るさを測定する測光回路（不図示）から得られた明るさの情報に基づいて、撮像素子１２の最適な露光時間は設定される。   The image sensor 12 photoelectrically converts an optical image incident through an optical system 11a including a plurality of lenses, and outputs the optical image as an electrical signal. The functions of the image sensor 12, the camera circuit 13, the A / D converter 14, and the image memory 15 are the same as those in FIG. Image data based on the output signal of the image sensor 12 is written in the image memory 15. Note that the optimum exposure time of the image sensor 12 is set based on the brightness information obtained from a photometric circuit (not shown) that measures the brightness of the subject.

画像メモリ１５は、メモリ制御回路２２を介してマイコン２０ｃによって制御される。マイコン２０ｃは、手ぶれ補正制御部としても機能する。尚、この手ぶれ補正制御部が、マイコン２０ｃの外部に備えられていると考えても構わない。シャッタボタン検出部２３は、上述のシャッタボタン検出信号をマイコン２０ｃに出力する。   The image memory 15 is controlled by the microcomputer 20 c via the memory control circuit 22. The microcomputer 20c also functions as a camera shake correction control unit. In addition, you may think that this camera-shake correction control part is provided outside the microcomputer 20c. The shutter button detection unit 23 outputs the shutter button detection signal described above to the microcomputer 20c.

シャッタボタンＳＢ１及びＳＢ２の何れもが押下げられていない場合における図１６のデジタルカメラ１の動作は、図３又は図１０のそれと同様である。   The operation of the digital camera 1 in FIG. 16 when neither of the shutter buttons SB1 and SB2 is pressed is the same as that in FIG. 3 or FIG.

シャッタボタンＳＢ１又はＳＢ２が押下された場合には、図１６のデジタルカメラ１は、光学式手ぶれ補正のみに基づく手ぶれ補正、加算式手ぶれ補正のみに基づく手ぶれ補正、或いは、光学式手ぶれ補正と加算式手ぶれ補正を組み合わせた手ぶれ補正を、選択的に実施することができる。   When the shutter button SB1 or SB2 is pressed, the digital camera 1 shown in FIG. 16 performs the camera shake correction based only on the optical camera shake correction, the camera shake correction based only on the addition type camera shake correction, or the optical camera shake correction and the addition type. Camera shake correction combined with camera shake correction can be selectively performed.

光学式手ぶれ補正のみに基づく手ぶれ補正を実施する場合は、第５実施例におけるデジタルカメラ（図１０）と同様にして、光学式手ぶれ補正のみが施される。即ち、この場合、マイコン２０ｃは、１枚の補正対象画像の露光期間中にセンサ部２６からの手ぶれ検出信号に基づいて駆動部２５を介して補正レンズＬＣ等の駆動を行い、これによって補正対象画像に対する光学式手ぶれ補正を実施する。この際、図１６の加算式手ぶれ補正回路３０は機能しない。この光学式手ぶれ補正が施された、画像メモリ１５内の１枚の画像がぶれ補正画像となる。   When camera shake correction based only on optical camera shake correction is performed, only optical camera shake correction is performed in the same manner as the digital camera (FIG. 10) in the fifth embodiment. That is, in this case, the microcomputer 20c drives the correction lens LC and the like via the drive unit 25 based on the camera shake detection signal from the sensor unit 26 during the exposure period of one correction target image, thereby correcting the correction target. Perform optical image stabilization on images. At this time, the addition type image stabilization circuit 30 of FIG. 16 does not function. One image in the image memory 15 to which this optical camera shake correction has been performed becomes a camera shake corrected image.

加算式手ぶれ補正のみに基づく手ぶれ補正を実施する場合は、第１〜４実施例の何れかにおけるデジタルカメラ（図３）と同様にして、加算式手ぶれ補正のみが施される。即ち、この場合、マイコン２０ｃは、撮影制御回路２１を介して複数の分割露光画像の撮影を指示し、図１６の加算式手ぶれ補正回路３０が第１〜４実施例の何れかにおけるそれと同様に機能することで、複数の分割露光画像から位置合わせ及び加算合成を介して合成画像が生成される。この合成画像が、加算式手ぶれ補正がなされたぶれ補正画像となる。加算式手ぶれ補正のみを施す場合、複数の分割露光画像の撮影中において、図１６の駆動部２５による補正レンズＬＣ等の駆動は行われない。   When camera shake correction based only on addition-type image stabilization is performed, only addition-type camera shake correction is performed in the same manner as the digital camera (FIG. 3) in any of the first to fourth embodiments. That is, in this case, the microcomputer 20c instructs to shoot a plurality of divided exposure images via the shooting control circuit 21, and the addition type image stabilization circuit 30 in FIG. 16 is similar to that in any of the first to fourth embodiments. By functioning, a composite image is generated from a plurality of divided exposure images through alignment and addition synthesis. This composite image is a shake-corrected image that has undergone addition-type image stabilization. When only addition-type image stabilization is performed, the driving of the correction lens LC and the like by the driving unit 25 in FIG. 16 is not performed during shooting of a plurality of divided exposure images.

光学式手ぶれ補正と加算式手ぶれ補正を組み合わせた手ぶれ補正（以下、「光学／加算ハイブリッド補正」という）を、図１７を参照して説明する。今、加算式手ぶれ補正における露光分割数（上述のＮの数値）が４であるとする。連続撮影される４枚の分割露光画像を、第１、第２、第３及び第４の分割露光画像と呼ぶ。第１、第２、第３及び第４の分割露光画像の順に連続撮影が行われる。今、第ｉの分割露光画像の露光の開始タイミング及び終了タイミングを夫々ＴiA及びＴiBとする（ここで、ｉは１、２、３又は４）。ＴiA−ＴiB間は、第ｉの分割露光画像の露光期間を表す。 Camera shake correction (hereinafter referred to as “optical / addition hybrid correction”) that combines optical camera shake correction and additive camera shake correction will be described with reference to FIG. Now, it is assumed that the number of exposure divisions (the numerical value of N described above) in the addition-type image stabilization is 4. The four divided exposure images that are continuously shot are referred to as first, second, third, and fourth divided exposure images. Continuous shooting is performed in the order of the first, second, third, and fourth divided exposure images. Now, let the start timing and end timing of exposure of the i-th divided exposure image be T iA and T iB (where i is 1, 2, 3, or 4), respectively. Between T iA and T iB represents the exposure period of the i-th divided exposure image.

４枚の分割露光画像は連続撮影されるものの、分割露光のオーバーヘッドにより、時間的に隣接する２つの分割露光画像の露光期間の間には有限な時間が存在する。例えば、第１の分割露光画像の露光の終了タイミングＴ1Bから、ゼロではない所定の時間（Ｔ1B−Ｔ2A間の時間）が経過した後に、第２の分割露光画像の露光の開始タイミングＴ2Aが訪れる。 Although four divided exposure images are continuously photographed, a finite time exists between the exposure periods of two temporally adjacent divided exposure images due to the overhead of divided exposure. For example, after a predetermined non-zero time (time between T 1B and T 2A ) has elapsed from the exposure end timing T 1B of the first divided exposure image, the exposure start timing T of the second divided exposure image is reached. 2A visits.

光学／加算ハイブリッド補正を行う場合、第１、第２、第３及び第４の分割露光画像の各露光期間（Ｔ1A−Ｔ1B等）において、光学式手ぶれ補正を実施する。即ち、各分割露光画像の露光期間における手ぶれ検出信号に基づいて、各分割露光画像の露光期間中、マイコン２０ｃは、駆動部２５を制御し、第５実施例で説明したのと同様、補正レンズＬＣ（図１３）を駆動することにより光学式手ぶれ補正を実現する。補正レンズＬＣの代わりに、撮像素子１２又はバリアングルプリズムを駆動することによって光学式手ぶれ補正を実現しても良い。これにより、各分割露光画像の露光期間中の手ぶれに由来する各分割露光画像内のぶれが低減される。 When optical / additional hybrid correction is performed, optical camera shake correction is performed in each exposure period (such as T 1A -T 1B ) of the first, second, third, and fourth divided exposure images. That is, based on the camera shake detection signal in the exposure period of each divided exposure image, the microcomputer 20c controls the drive unit 25 during the exposure period of each divided exposure image, and corrects the lens as described in the fifth embodiment. Optical image stabilization is realized by driving the LC (FIG. 13). Optical camera shake correction may be realized by driving the image sensor 12 or the vari-angle prism instead of the correction lens LC. Thereby, the shake in each division | segmentation exposure image resulting from the camera shake in the exposure period of each division | segmentation exposure image is reduced.

また、より大きな手ぶれに対応するべく、Ｔ1B−Ｔ2A間、Ｔ2B−Ｔ3A間及びＴ3B−Ｔ4A間において、補正レンズＬＣの位置を補正レンズＬＣの可動範囲の中心位置に戻すようにする。光学式手ぶれ補正を実現するために撮像素子１２を駆動する場合は、Ｔ1B−Ｔ2A間、Ｔ2B−Ｔ3A間及びＴ3B−Ｔ4A間において、撮像素子１２の位置を撮像素子１２の可動範囲の中心位置に戻すようにする。光学式手ぶれ補正を実現するためにバリアングルプリズムを駆動する場合は、Ｔ1B−Ｔ2A間、Ｔ2B−Ｔ3A間及びＴ3B−Ｔ4A間において、バリアングルプリズムの状態をバリアングルプリズムの状態可変範囲の中心に戻すようにする。 Further, in order to deal with larger camera shake, the position of the correction lens LC is returned to the center position of the movable range of the correction lens LC between T 1B and T 2A, between T 2B and T 3A, and between T 3B and T 4A. To. When the image pickup device 12 is driven to realize optical image stabilization, the position of the image pickup device 12 is set to the position of the image pickup device 12 between T 1B and T 2A, between T 2B and T 3A, and between T 3B and T 4A . Return to the center of the movable range. When driving a vari-angle prism to achieve optical image stabilization, the vari-angle prism state is changed between T 1B and T 2A, between T 2B and T 3A, and between T 3B and T 4A . Return to the center of the state variable range.

これらに代えて、各分割露光画像の夫々に対して第５実施例で述べた技術内容（即ち、シフト処理）を適用するようにしても良い。つまり例えば、補正レンズＬＣがシフト処理の対象であり且つシャッタボタンＳＢ１の押下によって撮影指示がなされた場合、右方向の手ぶれが支配的であるから、タイミングＴ1A、Ｔ2A、Ｔ3A及びＴ4Aの夫々における補正レンズＬＣの位置を、補正レンズＬＣの可動範囲の中心位置を基準として、その右方向の手ぶれを打ち消す方向の逆方向に所定の第１シフト量だけシフトさせた位置とする。このような補正レンズＬＣの配置位置を実現するための補正レンズＬＣの駆動は、タイミングＴ1A以前、Ｔ1B−Ｔ2A間、Ｔ2B−Ｔ3A間及びＴ3B−Ｔ4A間の夫々において実施される。撮像素子１２又はバリアングルプリズムがシフト処理の対象である場合も同様である。このようなシフト処理を行うことにより、１つの分割露光時間当たりの補正可能手ぶれ量が増え、通常であれば露光分割数を増やさざるを得ないような大きな手ぶれが想定される場合でも、露光分割数を少なく抑えることが可能となる。結果、１つの分割露光時間を長くすることができるようになり、輝度の高い画像に基づく加算合成処理を実施することが可能となる。 Instead of these, the technical contents described in the fifth embodiment (that is, shift processing) may be applied to each of the divided exposure images. That is, for example, when the correction lens LC is an object of shift processing and a shooting instruction is given by pressing the shutter button SB1, the right hand shake is dominant, so the timings T 1A , T 2A , T 3A and T 4A The position of the correction lens LC in each of the above is a position shifted by a predetermined first shift amount in a direction opposite to the direction in which the right hand shake is canceled with reference to the center position of the movable range of the correction lens LC. The driving of the correction lens LC for realizing the arrangement position of the correction lens LC is performed before the timing T 1A , between T 1B and T 2A, between T 2B and T 3A, and between T 3B and T 4A. Is done. The same applies to the case where the image sensor 12 or the vari-angle prism is the target of the shift process. By performing such a shift process, the amount of camera shake that can be corrected per division exposure time is increased, and even in the case where a large amount of camera shake that would normally have to increase the number of exposure divisions is assumed, exposure division It becomes possible to keep the number small. As a result, it becomes possible to lengthen one division exposure time, and it becomes possible to perform an addition synthesis process based on an image with high luminance.

補正レンズＬＣ等の駆動を行いつつ得られた第１〜第４の分割露光画像は、順次、画像メモリ１５に格納される。図１６の加算式手ぶれ補正回路３０は、第１〜４実施例の何れかに記載された手法と同様にして、画像メモリ１５に格納された各分割露光画像を位置合わせして加算合成することにより、光学／加算ハイブリッド補正が施された合成画像を生成する。光学／加算ハイブリッド補正を用いれば、大きな手ぶれに対応可能である。   The first to fourth divided exposure images obtained while driving the correction lens LC and the like are sequentially stored in the image memory 15. The addition-type image stabilization circuit 30 of FIG. 16 aligns and synthesizes the divided exposure images stored in the image memory 15 in the same manner as described in any of the first to fourth embodiments. Thus, a composite image subjected to the optical / addition hybrid correction is generated. If optical / additional hybrid correction is used, a large amount of camera shake can be dealt with.

実際には、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合に、光学／加算ハイブリッド補正を実施して、光学／加算ハイブリッド補正が施された合成画像を最終的なぶれ補正画像として生成する。シャッタボタンＳＢ１による撮影は手ぶれ量が大きいが、光学／加算ハイブリッド補正を用いることにより、大きな補正効果を得ることができる。   Actually, when a shooting instruction is issued by pressing the shutter button SB1, optical / addition hybrid correction is performed, and a composite image subjected to the optical / addition hybrid correction is generated as a final shake correction image. Although shooting with the shutter button SB1 has a large amount of camera shake, a large correction effect can be obtained by using optical / addition hybrid correction.

一方、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合には、例えば、光学式手ぶれ補正のみに基づく手ぶれ補正を実施して、光学式手ぶれ補正のみが施された画像メモリ１５内の１枚の画像を、最終的なぶれ補正画像とする。これにより、加算合成に要する処理時間が削減されると共に加算合成に要する電力消費が削減される。加算式手ぶれ補正は、撮影時の拘束時間（撮影開始から撮影終了までに必要な時間）が、一括露光を行う場合よりも長くなってしまうというデメリットを有するが、シャッタボタンＳＢ２にて撮影をおこなった場合は、このような拘束時間の延長がなくなる。   On the other hand, when a shooting instruction is issued by pressing the shutter button SB2, for example, the camera shake correction based only on the optical camera shake correction is performed, and one image memory 15 in which only the optical camera shake correction is performed is performed. The image is set as a final blur correction image. As a result, the processing time required for addition synthesis is reduced and the power consumption required for addition synthesis is reduced. Additive image stabilization has the demerit that the restraint time during shooting (the time required from the start of shooting to the end of shooting) becomes longer than when performing batch exposure, but shooting is performed with the shutter button SB2. In such a case, there is no longer such restriction time extension.

これに代えて、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合には、加算式手ぶれ補正のみに基づく手ぶれ補正を実施して、加算式手ぶれ補正のみが施された合成画像を最終的なぶれ補正画像として生成するようにしてもよい。これにより、補正レンズＬＣ等の駆動に要する電力消費が削減される。尚、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合とシャッタボタンＳＢ２の押下によって撮影指示がなされた場合とで、分割露光時間及び露光分割数を第１実施例の如く異ならせても良いし、それらを一致させても良い。   Instead, when a shooting instruction is issued by pressing the shutter button SB2, camera shake correction based only on the addition type camera shake correction is performed, and the combined image subjected only to the addition type camera shake correction is subjected to final blurring. It may be generated as a corrected image. Thereby, power consumption required for driving the correction lens LC and the like is reduced. Note that the division exposure time and the number of exposure divisions may be different as in the first embodiment, depending on whether a shooting instruction is issued by pressing the shutter button SB1 or a shooting instruction is issued by pressing the shutter button SB2. You may want to match them.

何れのぶれ補正画像も、ＮＴＳＣエンコーダ１６を介してモニタ１７に表示されると共に画像圧縮回路１８を介してメモリカード１９に保存される。   Any blur-corrected image is displayed on the monitor 17 via the NTSC encoder 16 and stored in the memory card 19 via the image compression circuit 18.

尚、加算式手ぶれ補正を行うために必要な、分割露光画像間の位置合わせのための動きベクトルは、第１実施例で述べたように動き検出回路３２にて算出することができる。但し、図１６のデジタルカメラ１の場合、センサ部２６が設けられているため、手ぶれ検出信号から位置合わせのための動きベクトルを求めることも可能である。即ち、図１７に示す例の場合、Ｔ1B−Ｔ2A間、Ｔ2B−Ｔ3A間及びＴ3B−Ｔ4A間における手ぶれ検出信号からＴ1B−Ｔ2A間、Ｔ2B−Ｔ3A間及びＴ3B−Ｔ4A間における動きベクトル、即ち、第１と第２の分割露光画像間の全体動きベクトル、第２と第３の分割露光画像間の全体動きベクトル及び第３と第４の分割露光画像間の全体動きベクトルを求め、それらの全体動きベクトルを用いて第１〜第４の分割露光画像を位置合わせして加算合成することにより、ぶれ補正画像としての合成画像を生成することも可能である。 Note that the motion vector for alignment between the divided exposure images, which is necessary for performing addition-type image stabilization, can be calculated by the motion detection circuit 32 as described in the first embodiment. However, in the case of the digital camera 1 of FIG. 16, since the sensor unit 26 is provided, it is also possible to obtain a motion vector for alignment from a camera shake detection signal. That is, in the case of the example shown in FIG. 17, camera shake detection signals between T 1B and T 2A, between T 2B and T 3A, and between T 3B and T 4A are between T 1B and T 2A, between T 2B and T 3A, and T 3B - T4A motion vector, that is, the entire motion vector between the first and second divided exposure images, the entire motion vector between the second and third divided exposure images, and the third and fourth divided exposure images It is also possible to generate a composite image as a blur-corrected image by obtaining an overall motion vector between them, aligning and synthesizing the first to fourth divided exposure images using the overall motion vector. is there.

＜＜第８実施例＞＞
ところで、ヨー方向及びピッチ方向の手ぶれに対しては、角速度センサを有するセンサ部２６を用いた光学式手ぶれ補正にて対応することができる。角速度センサを用いることによってロール方向の手ぶれを検出することもできるのであるが、角速度センサの出力だけで回転の中心を判別することはできないので、角速度センサの出力のみに基づいてロール方向の手ぶれを補正することは困難である。一方、第２実施例で述べたように、画像処理を用いればロール方向のぶれ（即ち、回転方向の動き）を容易に検出することができる。 << Eighth Example >>
Incidentally, camera shake in the yaw direction and the pitch direction can be dealt with by optical camera shake correction using the sensor unit 26 having an angular velocity sensor. Although the camera shake in the roll direction can be detected by using the angular velocity sensor, the center of rotation cannot be determined only by the output of the angular velocity sensor, so the camera shake in the roll direction is determined based only on the output of the angular velocity sensor. It is difficult to correct. On the other hand, as described in the second embodiment, if the image processing is used, the shake in the roll direction (that is, the movement in the rotation direction) can be easily detected.

そこで、光学式手ぶれ補正と加算式手ぶれ補正とを組み合わせる場合、加算式手ぶれ補正にロール方向の手ぶれ補正を担わせるとよい。但し、シャッタボタンによってはロール方向の手ぶれは小さくなるので、ロール方向の手ぶれ補正を行うことによる負荷を考慮してロール方向の手ぶれ補正の実施／不実施を決定することが望ましい。   Therefore, when the optical camera shake correction and the addition camera shake correction are combined, it is preferable that the camera shake correction in the roll direction is performed in the addition camera shake correction. However, since the camera shake in the roll direction is small depending on the shutter button, it is desirable to determine whether or not to perform the camera shake correction in the roll direction in consideration of the load caused by performing the camera shake correction in the roll direction.

これらを考慮した実施例として、第８実施例について説明する。第８実施例も、第７実施例と同様、手ぶれ補正として光学式手ぶれ補正と加算式手ぶれ補正を採用する。第８実施例に係るデジタルカメラ１の全体ブロック図は、図１６に示すそれと同様であるため、重複する図示を省略する。本実施例のデジタルカメラ１について、特に記述しない部分は、第７実施例におけるそれと同様とすることができ、第７実施例に記載した事項は、矛盾なき限り本実施例にも適用される。   An eighth embodiment will be described as an embodiment that takes these into consideration. Similarly to the seventh embodiment, the eighth embodiment also employs optical camera shake correction and addition type camera shake correction as camera shake correction. Since the entire block diagram of the digital camera 1 according to the eighth embodiment is the same as that shown in FIG. 16, overlapping illustration is omitted. Regarding the digital camera 1 of the present embodiment, portions not particularly described can be the same as those in the seventh embodiment, and the matters described in the seventh embodiment are applied to the present embodiment as long as there is no contradiction.

但し、第８実施例では、「センサ部２６がヨー方向とピッチ方向のみの手ぶれを検出可能に構成されている」と特に限定して考える。尚、本実施例以外の他の実施例において光学式手ぶれ補正を実現する場合、デジタルカメラ１のロール方向のぶれを検出して該ロール方向のぶれを光学的に補正することも可能である。例えば、本実施例以外の他の実施例において、センサ部２６にデジタルカメラ１のロール方向のぶれを検出する周知の回転センサを設けると共に撮像素子１２を光軸を回転軸として回転可能に構成しておき、その回転センサの検出結果に基づいて撮像素子１２を回転させることによって、ロール方向のぶれを光学的に補正するようにしてもよい。   However, in the eighth embodiment, it is particularly limited that “the sensor unit 26 is configured to be capable of detecting camera shake only in the yaw direction and the pitch direction”. In the case of realizing the optical camera shake correction in other embodiments other than the present embodiment, it is also possible to detect the shake in the roll direction of the digital camera 1 and optically correct the shake in the roll direction. For example, in other embodiments other than the present embodiment, the sensor unit 26 is provided with a known rotation sensor that detects the shake in the roll direction of the digital camera 1 and the image pickup device 12 is configured to be rotatable about the optical axis as a rotation axis. The shake in the roll direction may be optically corrected by rotating the imaging device 12 based on the detection result of the rotation sensor.

第８実施例は、光学式手ぶれ補正と加算式手ぶれ補正の双方を実現可能なデジタルカメラ１に関して、特にロール方向の手ぶれ補正に着目した実施例であり、第８実施例の内容の一部は第７実施例の内容の一部と重複する。   The eighth embodiment relates to the digital camera 1 capable of realizing both the optical camera shake correction and the addition camera shake correction, and particularly focuses on the camera shake correction in the roll direction, and part of the contents of the eighth embodiment is as follows. This overlaps with a part of the contents of the seventh embodiment.

シャッタボタンＳＢ１又はＳＢ２が押下された場合には、第７実施例と同様、本実施例のデジタルカメラ１は、光学式手ぶれ補正のみに基づく手ぶれ補正、加算式手ぶれ補正のみに基づく手ぶれ補正或いは光学／加算ハイブリッド補正を選択的に実施し、これによってぶれ補正画像を生成する。ぶれ補正画像は、ＮＴＳＣエンコーダ１６を介してモニタ１７に表示されると共に画像圧縮回路１８を介してメモリカード１９に保存される。手ぶれ補正の選択手法の具体例として以下に第１選択例と第２選択例を挙げる。   When the shutter button SB1 or SB2 is pressed, as in the seventh embodiment, the digital camera 1 according to the present embodiment performs camera shake correction based only on optical camera shake correction, camera shake correction based on only addition type camera shake correction, or optical. / Additional hybrid correction is selectively performed, thereby generating a blur-corrected image. The blur-corrected image is displayed on the monitor 17 via the NTSC encoder 16 and stored in the memory card 19 via the image compression circuit 18. As specific examples of the camera shake correction selection method, a first selection example and a second selection example will be given below.

［第１選択例］
まず第１選択例を説明する。第１選択例では、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合は、ロール方向の手ぶれが大きいと予想されることに鑑み、光学／加算ハイブリッド補正を実施する。これにより、ロール方向の手ぶれに適正に対応できる。 [First selection example]
First, a first selection example will be described. In the first selection example, when a shooting instruction is given by pressing the shutter button SB1, optical / addition hybrid correction is performed in view of the fact that camera shake in the roll direction is expected to be large. Accordingly, it is possible to appropriately deal with camera shake in the roll direction.

即ち、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合は、第７実施例で述べた光学／加算ハイブリッド補正を実施することによって、複数の分割露光画像からぶれ補正画像としての合成画像を得る。この際、各分割露光画像の露光期間における補正レンズＬＣ等の駆動により、各分割露光画像のヨー方向及びピッチ方向のぶれは低減される。光学的にヨー方向及びピッチ方向のぶれが低減された各分割露光画像は、画像メモリ１５に格納される。そして、動き検出回路３２が、この画像メモリ１５に格納された複数の分割露光画像の内の１枚を基準画像とし且つ他を非基準画像とし、第２実施例と同様、各分割露光画像の画像データに基づいて基準画像と各非基準画像との間における並進方向及び回転方向の全体動きベクトルを検出する。その後、並進方向及び回転方向の全体動きベクトルに基づいて、各分割露光画像が位置合わせして加算合成され、ぶれ補正画像としての合成画像が得られる。   In other words, when a shooting instruction is issued by pressing the shutter button SB1, the composite image as a shake correction image is obtained from the plurality of divided exposure images by performing the optical / addition hybrid correction described in the seventh embodiment. At this time, the blurring in the yaw direction and the pitch direction of each divided exposure image is reduced by driving the correction lens LC and the like during the exposure period of each divided exposure image. Each divided exposure image in which the blurring in the yaw direction and the pitch direction is optically reduced is stored in the image memory 15. Then, the motion detection circuit 32 uses one of the plurality of divided exposure images stored in the image memory 15 as a reference image and the other as a non-reference image, and similarly to the second embodiment, Based on the image data, an overall motion vector in the translation direction and the rotation direction between the reference image and each non-reference image is detected. Thereafter, based on the overall motion vectors in the translation direction and the rotation direction, the respective divided exposure images are aligned and added and synthesized to obtain a synthesized image as a shake correction image.

尚、並進方向の全体動きベクトルに関しては、第７実施例でも述べたように、手ぶれ検出信号から検出することも可能である。   Note that the overall motion vector in the translation direction can also be detected from the camera shake detection signal as described in the seventh embodiment.

一方、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合は、ロール方向の手ぶれが小さいと予想されることに鑑み、光学式手ぶれ補正のみを実施するようにする。これにより、加算合成に要する処理時間が削減されると共に加算合成に要する電力消費が削減される。また、撮影時の拘束時間も短くて済む。   On the other hand, when a shooting instruction is issued by pressing the shutter button SB2, only optical camera shake correction is performed in view of the fact that camera shake in the roll direction is expected to be small. As a result, the processing time required for addition synthesis is reduced and the power consumption required for addition synthesis is reduced. In addition, the restraint time at the time of shooting can be shortened.

即ち、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合は、光学式手ぶれ補正のみを実施して、光学式手ぶれ補正のみが施された画像メモリ１５内の１枚の画像を、最終的なぶれ補正画像とする。   That is, when a shooting instruction is issued by pressing the shutter button SB2, only optical camera shake correction is performed, and one image in the image memory 15 subjected to only optical camera shake correction is subjected to final camera shake. Let it be a corrected image.

［第２選択例］
次に第２選択例を説明する。第２選択例では、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合は、ロール方向の手ぶれが大きいと予想されることに鑑み、加算式手ぶれ補正のみを実施する。これにより、ロール方向の手ぶれに適正に対応できる。また、補正レンズＬＣ等の駆動に要する電力消費が削減される。 [Second selection example]
Next, a second selection example will be described. In the second selection example, when a shooting instruction is issued by pressing the shutter button SB1, only addition-type image stabilization is performed in view of the fact that camera shake in the roll direction is expected to be large. Accordingly, it is possible to appropriately deal with camera shake in the roll direction. Further, power consumption required for driving the correction lens LC and the like is reduced.

即ち、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合は、駆動部２５による補正レンズＬＣ等の駆動を停止した状態で加算式手ぶれ補正を行うための複数の分割露光画像を連続撮影する。そして、第２実施例と同様、複数の分割露光画像の内の１枚を基準画像とし且つ他を非基準画像とし、動き検出回路３２が、各分割露光画像の画像データに基づいて基準画像と各非基準画像との間における並進方向及び回転方向の全体動きベクトルを検出する。その後、並進方向及び回転方向の全体動きベクトルに基づいて、各分割露光画像が位置合わせして加算合成され、ぶれ補正画像としての合成画像が得られる。   That is, when a shooting instruction is issued by pressing the shutter button SB1, a plurality of divided exposure images for performing addition-type image stabilization are continuously shot while driving of the correction lens LC and the like by the drive unit 25 is stopped. As in the second embodiment, one of the plurality of divided exposure images is set as a reference image and the other is set as a non-reference image, and the motion detection circuit 32 determines the reference image based on the image data of each divided exposure image. The entire motion vector in the translation direction and the rotation direction between each non-reference image is detected. Thereafter, based on the overall motion vectors in the translation direction and the rotation direction, the respective divided exposure images are aligned and added and synthesized to obtain a synthesized image as a shake correction image.

一方、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合は、ロール方向の手ぶれが小さいと予想されることに鑑み、光学式手ぶれ補正のみを実施するようにする。これにより、加算合成に要する処理時間が削減されると共に加算合成に要する電力消費が削減される。また、撮影時の拘束時間も短くて済む。   On the other hand, when a shooting instruction is issued by pressing the shutter button SB2, only optical camera shake correction is performed in view of the fact that camera shake in the roll direction is expected to be small. As a result, the processing time required for addition synthesis is reduced and the power consumption required for addition synthesis is reduced. In addition, the restraint time at the time of shooting can be shortened.

即ち、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合は、光学式手ぶれ補正のみを実施して、光学式手ぶれ補正のみが施された画像メモリ１５内の１枚の画像を、最終的なぶれ補正画像とする。   That is, when a shooting instruction is issued by pressing the shutter button SB2, only optical camera shake correction is performed, and one image in the image memory 15 subjected to only optical camera shake correction is subjected to final camera shake. Let it be a corrected image.

＜＜第９実施例＞＞
次に、手ぶれ補正として光学式手ぶれ補正を採用する場合に適用可能な手法を、第９実施例として説明する。第９実施例に記載の内容は、光学式手ぶれ補正を含む手ぶれ補正を実現する他の実施例（第５実施例等）に適用可能である。説明の具体化のため、第９実施例に係るデジタルカメラの全体ブロック図は、図１０と同じであるものとする。第９実施例では、図１１のセンサ部２６に関する技術内容を述べる。第９実施例は、第１具体例と第２具体例に細分化される。以下、両者を個別に説明する。 << Ninth Embodiment >>
Next, a technique that can be applied when optical camera shake correction is employed as camera shake correction will be described as a ninth embodiment. The contents described in the ninth embodiment can be applied to other embodiments (such as the fifth embodiment) that realize camera shake correction including optical camera shake correction. For the sake of concrete explanation, it is assumed that the overall block diagram of the digital camera according to the ninth embodiment is the same as FIG. In the ninth embodiment, the technical contents related to the sensor unit 26 in FIG. 11 will be described. The ninth embodiment is subdivided into a first specific example and a second specific example. Hereinafter, both will be described individually.

［第１具体例］
まず、第１具体例について説明する。第１具体例では、角速度センサの出力信号を増幅する増幅器の増幅率を可変とし、何れのシャッタボタンが押されたかに応じて増幅率を変更する。図１１のセンサ部２６には、２つのセンサユニット５０及び６０が備えられているが、説明の具体化のため、センサユニット５０に着目して、この増幅率の可変設定手法を説明する。 [First example]
First, a first specific example will be described. In the first specific example, the amplification factor of the amplifier that amplifies the output signal of the angular velocity sensor is made variable, and the amplification factor is changed according to which shutter button is pressed. The sensor unit 26 of FIG. 11 includes two sensor units 50 and 60. For the sake of concrete explanation, the variable setting method of the amplification factor will be described by focusing on the sensor unit 50.

図１２を参照する。角速度センサ５１の出力信号を増幅する増幅器５３の増幅率を変更可能としておく。増幅器５３の増幅率は、シャッタボタン検出信号に基づき、図１０のマイコン２０ａによって設定される。   Please refer to FIG. The amplification factor of the amplifier 53 that amplifies the output signal of the angular velocity sensor 51 can be changed. The amplification factor of the amplifier 53 is set by the microcomputer 20a in FIG. 10 based on the shutter button detection signal.

増幅器５３の増幅率は、補正しようとする範囲内の手ぶれ量に対して増幅器５３の出力及びＡ／Ｄ変換器５４の出力が飽和しないように設定されるべきである。一方において、増幅器５３の増幅率を低くしすぎると、手ぶれ検出感度が悪くなる。即ち、想定される手ぶれ量に対して適正な増幅率を設定することが望まれる。仮に、手ぶれ量が比較的多くなるシャッタボタンＳＢ１を基準にして増幅率を設定し、それと同じ増幅率をシャッタボタンＳＢ２に対しても適用すると、出力飽和までに過剰な余裕が生じることになる。つまり、シャッタボタンＳＢ２にとっての手ぶれ検出感度が最適化されず、検出可能範囲が有効に活用されない。シャッタボタンＳＢ１とＳＢ２とで想定される手ぶれ量が異なるため、両者にとって適正な増幅率を個別に設定してやれば、手ぶれ検出感度を個別に最適化することが可能となる。   The amplification factor of the amplifier 53 should be set so that the output of the amplifier 53 and the output of the A / D converter 54 do not saturate with respect to the amount of camera shake within the range to be corrected. On the other hand, if the amplification factor of the amplifier 53 is too low, the camera shake detection sensitivity deteriorates. That is, it is desirable to set an appropriate amplification factor for the assumed amount of camera shake. If the amplification factor is set with reference to the shutter button SB1 in which the amount of camera shake is relatively large, and the same amplification factor is applied to the shutter button SB2, an excessive margin is generated until the output is saturated. That is, the camera shake detection sensitivity for the shutter button SB2 is not optimized, and the detectable range is not effectively used. Since the amount of camera shake assumed between the shutter buttons SB1 and SB2 is different, the camera shake detection sensitivity can be individually optimized if the amplification factors appropriate for both are set individually.

具体的には、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合、マイコン２０ａは、増幅器５３の増幅率をＫ1とする。一方、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合、マイコン２０ａは、増幅器５３の増幅率をＫ1よりも大きなＫ2とする。 Specifically, if the imaging instruction by pressing the shutter button SB1 is performed, the microcomputer 20a is the amplification factor of the amplifier 53 and K 1. On the other hand, when a shooting instruction is issued by pressing the shutter button SB2, the microcomputer 20a sets the amplification factor of the amplifier 53 to K 2 larger than K 1 .

尚、センサユニット５０に着目した説明を行ったが、センサユニット６０に対しても同様の処理が可能である。センサユニット５０と６０の間で、増幅率の設定値を同じにしてもよいし異ならせてもよい。   Note that the description has been given focusing on the sensor unit 50, but the same processing can be performed on the sensor unit 60. The set value of the amplification factor may be the same between the sensor units 50 and 60, or may be different.

［第２具体例］
次に、第２具体例について説明する。第２具体例では、Ａ／Ｄ変換器のデジタル値のゼロ点を、予想される手ぶれ方向の逆方向にシフトさせる。これを、図１２を参照し、センサユニット５０に着目して詳細に説明する。 [Second specific example]
Next, a second specific example will be described. In the second specific example, the zero point of the digital value of the A / D converter is shifted in the direction opposite to the expected camera shake direction. This will be described in detail with a focus on the sensor unit 50 with reference to FIG.

Ａ／Ｄ変換器５４の出力信号は、例えば、１０ビットのデジタル値で表現され、１０２４段階に量子化された整数値をとる。この整数値の単位は［step］である。増幅器５３の出力信号の電圧値をＶａ［mv］とし、Ａ／Ｄ変換器５４におけるＡ／Ｄ変換係数をＬAD［mv/step］とすると、Ａ／Ｄ変換器５４の出力信号におけるデジタル値ＤLは、ＤL＝（Ｖａ／ＬAD）＋ＤO、にて表すことができる（但し、量子化誤差を無視）。そして、デジタル値ＤLは、−５１２＜ＤL≦５１２、を満たす整数値をとる。ＤOはデジタル値ＤLにおけるゼロ点であり、ゼロ点ＤOの単位はデジタル値ＤLと同じく［step］である。 The output signal of the A / D converter 54 is expressed by, for example, a 10-bit digital value and takes an integer value quantized in 1024 stages. The unit of this integer value is [step]. When the voltage value of the output signal of the amplifier 53 is Va [mv] and the A / D conversion coefficient in the A / D converter 54 is L AD [mv / step], the digital value in the output signal of the A / D converter 54 D L can be expressed as D L = (Va / L AD ) + D O (however, the quantization error is ignored). The digital value D L takes an integer value that satisfies −512 <D L ≦ 512. D O is the zero point in the digital value D L, the unit of the zero point D O which is also [step] and the digital value D L.

電圧値Ｖａはヨー方向の角速度に比例し、ヨー方向の角速度がゼロである時、Ｖａ＝０である。図１の軸３０１を鉛直方向に平行とした状態でのヨー方向のぶれは、水平方向のぶれとなる。水平方向は右方向と左方向に分類される。デジタルカメラ１の操作面側から見て右方向のぶれが生じたとき、Ｖａが正の電圧値をとり、左方向のぶれが生じたとき、Ｖａが負の電圧値をとるものとする。   The voltage value Va is proportional to the angular velocity in the yaw direction, and Va = 0 when the angular velocity in the yaw direction is zero. The shake in the yaw direction when the axis 301 in FIG. 1 is parallel to the vertical direction is a shake in the horizontal direction. The horizontal direction is classified into a right direction and a left direction. It is assumed that Va takes a positive voltage value when a shake in the right direction as viewed from the operation surface side of the digital camera 1 occurs, and Va takes a negative voltage value when a shake in the left direction occurs.

一般的には、ＤO＝０［step］とされ、この場合、左方向と右方向の手ぶれ検出可能範囲は同じとなる。第２具体例では、上述の手ぶれ特性αに鑑み、マイコン２０ａが、シャッタボタン検出信号に基づいてゼロ点ＤOを可変設定する。 In general, it is a D O = 0 [step], in this case, camera shake detection range of the left and right directions are the same. In the second specific example, in view of the above-described camera shake characteristic α, the microcomputer 20a variably sets the zero point D O based on the shutter button detection signal.

具体的には、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合、右方向の手ぶれが大きいと予想されるため、マイコン２０ａは、ＤO＝ＤO1＜０とする。例えば、ＤO1＝−５０［step］とする。これにより、右方向の手ぶれの検出可能範囲が拡大される。一方、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合、左方向の手ぶれが大きいと予想されるため、マイコン２０ａは、ＤO＝ＤO2＞０とする。例えば、ＤO2＝＋５０［step］とする。これにより、左方向の手ぶれの検出可能範囲が拡大される。尚、シャッタボタンＳＢ２の押下による手ぶれの絶対量は比較的小さいため、｜ＤO1｜＞｜ＤO2｜、が成立するようにゼロ点を可変設定してもよい。 Specifically, when a shooting instruction is issued by pressing the shutter button SB1, it is expected that the camera shake in the right direction is large. Therefore, the microcomputer 20a sets D O = D O1 <0. For example, D O1 = −50 [step]. Thereby, the detectable range of camera shake in the right direction is expanded. On the other hand, when a shooting instruction is issued by pressing the shutter button SB2, it is expected that camera shake in the left direction is large. Therefore, the microcomputer 20a sets D O = D O2 > 0. For example, D O2 = + 50 [step]. As a result, the detectable range of camera shake in the left direction is expanded. Since the absolute amount of camera shake caused by pressing the shutter button SB2 is relatively small, the zero point may be variably set so that | D O1 |> | D O2 |

ピッチ方向に対応するセンサユニット６０に対しても同様の処理が可能である。但し、シャッタボタンＳＢ１とＳＢ２の何れとも、ピッチ方向の支配的なぶれ方向は同一（下方向）であるため、ゼロ点は同一方向にシフトされる（例えば、双方の場合において、＋５０［step］）。   Similar processing is possible for the sensor unit 60 corresponding to the pitch direction. However, since the dominant blur direction in the pitch direction is the same (downward) in both the shutter buttons SB1 and SB2, the zero point is shifted in the same direction (for example, +50 [step] in both cases). ).

このように、何れのシャッタボタンが押下されたかに応じ、手ぶれ特性αを考慮してＡ／Ｄ変換器のゼロ点を変更する。これにより、出力飽和を回避しつつ、手ぶれの検出可能範囲を実質的に拡大することが可能となる。   As described above, the zero point of the A / D converter is changed in consideration of the camera shake characteristic α depending on which shutter button is pressed. As a result, it is possible to substantially expand the detectable range of camera shake while avoiding output saturation.

第１又は第２具体例を採用して得られた手ぶれ検出信号は、マイコン２０ａに送られ、該手ぶれ検出信号に基づき、第５実施例等で説明した光学式手ぶれ補正が実施される。   The camera shake detection signal obtained by adopting the first or second specific example is sent to the microcomputer 20a, and the optical camera shake correction described in the fifth embodiment or the like is performed based on the camera shake detection signal.

＜＜第１０実施例＞＞
次に、手ぶれ補正として光学式手ぶれ補正を採用する場合に適用可能な手法を、第１０実施例として説明する。第１０実施例に記載の内容は、光学式手ぶれ補正を含み且つ復元式手ぶれ補正又は加算式手ぶれ補正を含む手ぶれ補正を実現する他の実施例（第６〜８実施例など）に適用可能である。 << Tenth Embodiment >>
Next, a technique that can be applied when optical camera shake correction is employed as camera shake correction will be described as a tenth embodiment. The contents described in the tenth embodiment can be applied to other embodiments (such as the sixth to eighth embodiments) that include optical image stabilization and realize image stabilization including restoration-type image stabilization or addition-type image stabilization. is there.

手ぶれ補正として光学式手ぶれ補正を用いる場合、図１１に示されるセンサ部２６が用いられる。センサ部２６に角速度センサなどの手ぶれ検出センサを用いる場合、その手ぶれ検出センサの出力信号には、周辺温度等に依存してドリフトするオフセット成分が含まれる。このドリフトの周波数は低い。従って、図１２のようなハイパスフィルタ等から成るフィルタ回路５２にて、オフセット成分（ドリフト成分）を除去することができる。   When using optical camera shake correction as camera shake correction, a sensor unit 26 shown in FIG. 11 is used. When a camera shake detection sensor such as an angular velocity sensor is used for the sensor unit 26, the output signal of the camera shake detection sensor includes an offset component that drifts depending on the ambient temperature or the like. The frequency of this drift is low. Therefore, the offset component (drift component) can be removed by the filter circuit 52 including a high-pass filter as shown in FIG.

但し、ハイパスフィルタを設けた場合において、カットオフ周波数を小さくすると信号の時定数が大きくなり、カメラ起動時からフィルタ回路の出力信号が安定するまでに大きな時間が必要となる。フィルタ回路の出力信号を早く安定させようとしてカットオフ周波数を大きくすると信号の時定数が小さくなり、検出すべき手ぶれ成分まで除去されてしまって正確な手ぶれ検出ができなくなる。これらを総合的に勘案してフィルタ回路は設計されるのであるが、カメラ起動直後におけるセンサ部２６の出力の信頼性はどうしても低くなりがちである。   However, when a high-pass filter is provided, if the cut-off frequency is reduced, the time constant of the signal increases, and a long time is required until the output signal of the filter circuit is stabilized after the camera is activated. If the cutoff frequency is increased in order to quickly stabilize the output signal of the filter circuit, the time constant of the signal is reduced, and even the shake component to be detected is removed, and accurate shake detection cannot be performed. Although the filter circuit is designed considering these comprehensively, the reliability of the output of the sensor unit 26 immediately after the camera is started tends to be lowered.

そこで、カメラ起動直後は、光学式手ぶれ補正が必要となるシャッタボタンの撮影指示を禁止する。   Therefore, immediately after the camera is activated, a shutter button shooting instruction that requires optical image stabilization is prohibited.

これをより具体的に説明する。デジタルカメラ１には、図示されない電源スイッチが設けられている。デジタルカメラ１を構成する各部位に駆動電力が供給されてない状態において電源スイッチが押下されると、デジタルカメラ１を構成する各部位（センサ部２６を含む）に対して、図示されない電力源（二次電池など）から駆動電力が供給されてデジタルカメラ１を構成する各部位が動作可能な状態となる。マイコン（２０ｂ又は２０ｃ）は、デジタルカメラ１を構成する各部位に駆動電力が供給されてない状態からデジタルカメラ１を構成する各部位が動作可能な状態に遷移したタイミングを起算点とし、該起算点からの経過時間を計測する。そして、その経過時間が所定の基準時間に達するまで、光学式手ぶれ補正が必要となるシャッタボタンの撮影指示を禁止する。上記経過時間が上記基準時間に達するまでの期間を、「禁止期間」という。この禁止期間外では、シャッタボタンＳＢ１でもＳＢ２でも撮影指示を許可する。つまり、禁止期間外での動作は、上述の各実施例に記載の動作と同じである。尚、禁止期間内であっても、スルー表示は行われる。   This will be described more specifically. The digital camera 1 is provided with a power switch (not shown). When the power switch is pressed in a state where drive power is not supplied to each part constituting the digital camera 1, a power source (not shown) is provided to each part (including the sensor unit 26) constituting the digital camera 1. Driving power is supplied from a secondary battery or the like, and each part constituting the digital camera 1 becomes operable. The microcomputer (20b or 20c) starts from the timing at which each part of the digital camera 1 transitions from a state in which drive power is not supplied to each part of the digital camera 1 to an operable state. Measure the elapsed time from the point. Then, until the elapsed time reaches a predetermined reference time, a shutter button shooting instruction that requires optical camera shake correction is prohibited. A period until the elapsed time reaches the reference time is referred to as a “prohibited period”. Outside this prohibition period, a shooting instruction is permitted with either the shutter button SB1 or SB2. That is, the operation outside the prohibition period is the same as the operation described in each of the above embodiments. Note that through display is performed even within the prohibited period.

例えば第６実施例に示したように、シャッタボタンＳＢ１の押下時に光学／復元ハイブリッド補正が行われ且つシャッタボタンＳＢ２の押下時に復元式手ぶれ補正のみが行われる場合、上記禁止期間内では、シャッタボタンＳＢ１の押下による撮影指示を禁止してシャッタボタンＳＢ２の押下による撮影指示を許可する。即ち、上記禁止期間内に、シャッタボタンＳＢ１が押下されたとしても、その押下に従った静止画像の撮影及び該静止画像のメモリカード１９への記録を行わない。他方、上記期間期間内であってもシャッタボタンＳＢ２が押下されたならば、その押下に従った静止画像の撮影、手ぶれ補正及び手ぶれ補正後の静止画像のメモリカード１９への記録を実施する。   For example, as shown in the sixth embodiment, when the optical / restoration hybrid correction is performed when the shutter button SB1 is pressed and only the restoration-type camera shake correction is performed when the shutter button SB2 is pressed, the shutter button is within the prohibited period. A shooting instruction by pressing SB1 is prohibited, and a shooting instruction by pressing shutter button SB2 is permitted. That is, even if the shutter button SB1 is pressed within the prohibited period, the still image is not taken and recorded in the memory card 19 according to the press. On the other hand, if the shutter button SB2 is pressed even within the above-described period, still image shooting according to the pressing, camera shake correction, and recording of the still image after camera shake correction to the memory card 19 are performed.

第７又は第８実施例に適用する場合も同様である。例えば、第７実施例に示したように、シャッタボタンＳＢ１の押下時に光学／加算ハイブリッド補正が行われ且つシャッタボタンＳＢ２の押下時に加算式手ぶれ補正のみが行われる場合、上記禁止期間内では、シャッタボタンＳＢ１の押下による撮影指示を禁止してシャッタボタンＳＢ２の押下による撮影指示を許可する。また例えば、第８実施例に示したように、シャッタボタンＳＢ１の押下時に加算式手ぶれ補正のみが行われ且つシャッタボタンＳＢ２の押下時に光学式手ぶれ補正のみが行われる場合、上記禁止期間内では、シャッタボタンＳＢ２の押下による撮影指示を禁止してシャッタボタンＳＢ１の押下による撮影指示を許可する。   The same applies when applied to the seventh or eighth embodiment. For example, as shown in the seventh embodiment, when the optical / addition hybrid correction is performed when the shutter button SB1 is pressed and only the addition-type camera shake correction is performed when the shutter button SB2 is pressed, the shutter is moved within the prohibition period. The shooting instruction by pressing the button SB1 is prohibited, and the shooting instruction by pressing the shutter button SB2 is permitted. Further, for example, as shown in the eighth embodiment, when only the addition type camera shake correction is performed when the shutter button SB1 is pressed and only the optical camera shake correction is performed when the shutter button SB2 is pressed, A shooting instruction by pressing the shutter button SB2 is prohibited, and a shooting instruction by pressing the shutter button SB1 is permitted.

また、上記禁止期間内において、撮影指示が禁止されているシャッタボタンが押下された場合は、モニタ１７による映像表示や音声出力部（不図示）による音声出力で、そのシャッタボタンが使用できない旨をユーザに報知する。   In addition, when a shutter button for which a shooting instruction is prohibited is pressed during the prohibited period, the shutter button cannot be used for video display by the monitor 17 or audio output by an audio output unit (not shown). Inform the user.

上述のように処理することにより、フィルタ回路の出力信号が安定しない期間でも有効な手ぶれ補正がなされた撮影を実施することができる。また、信頼性の低い手ぶれ補正の実施が避けられる。   By performing the processing as described above, it is possible to perform photographing with effective camera shake correction even during a period when the output signal of the filter circuit is not stable. In addition, it is possible to avoid camera shake correction with low reliability.

尚、以下のように処理することも可能である。シャッタボタンＳＢ１の押下時には、光学式手ぶれ補正、光学／復元ハイブリッド補正又は光学／加算ハイブリッド補正が行われ、且つ、シャッタボタンＳＢ２の押下時には、復元式手ぶれ補正又は加算式手ぶれ補正が行われるか或いは手ぶれ補正そのものが行われないようにしておく。そして、上記禁止期間内では、シャッタボタンＳＢ１の押下による撮影指示を禁止してシャッタボタンＳＢ２の押下による撮影指示を許可する。   The following processing is also possible. When the shutter button SB1 is pressed, optical camera shake correction, optical / restoration hybrid correction, or optical / addition hybrid correction is performed, and when the shutter button SB2 is pressed, restoration camera shake correction or addition camera shake correction is performed. Prevent camera shake correction itself. During the prohibition period, a shooting instruction by pressing the shutter button SB1 is prohibited and a shooting instruction by pressing the shutter button SB2 is permitted.

＜＜第１１実施例＞＞
上述の各実施例では、シャッタボタンＳＢ１の押下時とシャッタボタンＳＢ２の押下時とで手ぶれ補正の処理（処理内容や処理条件）を変更しているが、シャッタボタンＳＢ２の押下による手ぶれ量が小さいことに鑑みれば、シャッタボタンＳＢ２の押下時には、そもそも手ぶれ補正を行わないといったことも可能であり、そのようにしても実質的な弊害は少ないといえる。 << Eleventh embodiment >>
In each of the above-described embodiments, the camera shake correction processing (processing contents and processing conditions) is changed depending on whether the shutter button SB1 is pressed or the shutter button SB2 is pressed. However, the amount of camera shake caused by pressing the shutter button SB2 is small. In view of this, it is possible to not perform camera shake correction when the shutter button SB2 is pressed, and even if so, it can be said that there is little substantial adverse effect.

即ち、デジタルカメラ１を、図３、図１０、図１４又は図１６の全体ブロック図で表されるように構成する。そして、シャッタボタンＳＢ１が押下された場合には、上述の各実施例で説明したような、加算式手ぶれ補正のみ、光学式手ぶれ補正のみ、復元式手ぶれ補正のみ、光学／復元ハイブリッド補正及び光学／加算ハイブリッド補正の何れかを実施することによって、ぶれ補正画像を生成し、これをＮＴＳＣエンコーダ１６を介してモニタ１７に表示すると共に画像圧縮回路１８を介してメモリカード１９に保存する。これに対し、シャッタボタンＳＢ２が押下された場合には、手ぶれ補正を一切行うことなく、撮像素子１２の出力信号に基づく画像メモリ１５内の画像を、ＮＴＳＣエンコーダ１６を介してモニタ１７に表示すると共に画像圧縮回路１８を介してメモリカード１９に保存する。   That is, the digital camera 1 is configured as shown in the overall block diagram of FIG. 3, FIG. 10, FIG. 14, or FIG. When the shutter button SB1 is pressed, as described in the above embodiments, only the addition-type image stabilization, only the optical image stabilization, only the restoration-type image stabilization, only the optical / restoration hybrid correction, and the optical / By performing one of the addition hybrid corrections, a blur-corrected image is generated and displayed on the monitor 17 via the NTSC encoder 16 and stored in the memory card 19 via the image compression circuit 18. On the other hand, when the shutter button SB2 is pressed, the image in the image memory 15 based on the output signal of the image sensor 12 is displayed on the monitor 17 via the NTSC encoder 16 without performing any camera shake correction. At the same time, it is stored in the memory card 19 via the image compression circuit 18.

このように、押下されたシャッタボタンに応じて、手ぶれ補正の実施又は不実施を選択制御する。この選択制御は、マイコン（２０、２０ａ、２０ｂ又は２０ｃ）によって行われる。シャッタボタンＳＢ２の押下時の手ぶれ補正が不要となるため、電力消費の低減効果及び／又は処理時間の削減効果などが得られる。   As described above, whether or not to perform the image stabilization is selected and controlled according to the pressed shutter button. This selection control is performed by the microcomputer (20, 20a, 20b or 20c). Since camera shake correction at the time of pressing the shutter button SB2 becomes unnecessary, an effect of reducing power consumption and / or an effect of reducing processing time can be obtained.

＜＜第１２実施例＞＞
次に、第１２実施例について説明する。第１２実施例では、静止画像の撮影を指示するためのシャッタボタンに関する詳細な説明及び変形例の説明を行う。第１２実施例に記載の内容は、他の実施例と組み合わせて利用される。 << Twelfth embodiment >>
Next, a twelfth embodiment will be described. In the twelfth embodiment, a detailed description and a modification of the shutter button for instructing to capture a still image will be given. The contents described in the twelfth embodiment are used in combination with other embodiments.

上述の各実施例では、静止画像の撮影を指示するためのシャッタボタンとして、デジタルカメラ１に固定的に設置されたシャッタボタンＳＢ１及びＳＢ２を想定した。しかしがら、シャッタボタンＳＢ１及びＳＢ２の機能を、デジタルカメラ１に設けられた他のボタンに担わせてもよい。デジタルカメラ１には、例えば、１０〜２０個程度のボタンが備えられているが、シャッタボタンＳＢ１の機能とシャッタボタンＳＢ２の機能を、全てのボタンの内の任意のボタンに割り当てることができるようにする。具体的には、デジタルカメラ１に設けられた図示されない操作部（選択操作受付手段）にて、何れのボタンにシャッタボタンＳＢ１及びＳＢ２の機能を割り当てるかを選択するための操作を受け付ける。そして、その操作に従って選択されたボタンにシャッタボタンＳＢ１及びＳＢ２の機能を割り当てるとよい。   In each of the above-described embodiments, the shutter buttons SB1 and SB2 fixedly installed on the digital camera 1 are assumed as shutter buttons for instructing to capture a still image. However, the functions of the shutter buttons SB1 and SB2 may be assigned to other buttons provided in the digital camera 1. The digital camera 1 includes, for example, about 10 to 20 buttons. The function of the shutter button SB1 and the function of the shutter button SB2 can be assigned to any button among all the buttons. To. Specifically, an operation unit (selection operation accepting unit) (not shown) provided in the digital camera 1 accepts an operation for selecting which button the function of the shutter buttons SB1 and SB2 is assigned to. The functions of the shutter buttons SB1 and SB2 may be assigned to the button selected according to the operation.

例えば、シャッタボタンの機能を担わせることができるボタンとして、図１８に示す如く、シャッタボタンＳＢ１及びＳＢ２の他にボタンＢＴ１〜ＢＴ４があったとする。そして、シャッタボタンＳＢ１の機能をボタンＢＴ１に担わせ、シャッタボタンＳＢ２の機能をボタンＢＴ２に担わせた場合を考える。この場合において、ボタンＢＴ１を押下すれば、上述の各実施例でシャッタボタンＳＢ１を押下した際の動作と同様の動作がデジタルカメラ１内で実施され、ボタンＢＴ２を押下すれば、上述の各実施例でシャッタボタンＳＢ２を押下した際の動作と同様の動作がデジタルカメラ１内で実施される。このような機能の割り当てが行われた際、ボタンＢＴ１とＢＴ２はシャッタボタンである、と解釈することができる。   For example, it is assumed that there are buttons BT1 to BT4 in addition to the shutter buttons SB1 and SB2, as shown in FIG. Consider a case where the function of the shutter button SB1 is assigned to the button BT1, and the function of the shutter button SB2 is assigned to the button BT2. In this case, if the button BT1 is pressed, the same operation as that performed when the shutter button SB1 is pressed in the above-described embodiments is performed in the digital camera 1, and if the button BT2 is pressed, each of the above-described embodiments is performed. In the example, the same operation as that performed when the shutter button SB2 is pressed is performed in the digital camera 1. When such a function assignment is performed, the buttons BT1 and BT2 can be interpreted as shutter buttons.

シャッタボタンＳＢ１及びＳＢ２は、上述の手ぶれ特性αを有するが、他のボタンに対しても、ボタンの大きさやデジタルカメラ１内の配置位置などに依存した手ぶれ特性が存在する。そこで、各ボタンに対する手ぶれ特性を、実験などを介して予め調べておく。即ち、ボタンＢＴ１〜ＢＴ４の夫々に対し、ボタンを押下した時に生じる手ぶれ量や支配的な手ぶれ方向を調べておく（調べられた内容が手ぶれ特性である）。そして、ボタンＢＴ１〜ＢＴ４の夫々に対する手ぶれ特性に応じた手ぶれ特性情報を予めデジタルカメラ１（マイコン）に認識させておき、その手ぶれ特性に応じた手ぶれ補正の処理を、上述の各実施例で示した手法にて実行させるとよい。この場合、シャッタボタン検出部２３は、複数のシャッタボタンとして機能する複数のボタン（今の例の場合、ボタンＢＴ１及びＢＴ２）の内、何れのボタンが押下されたかを検出し、その検出結果を表すシャッタボタン検出信号をマイコン（２０、２０ａ、２０ｂ又は２０ｃ）に伝達するようにする。   The shutter buttons SB1 and SB2 have the above-described camera shake characteristic α, but there are camera shake characteristics depending on the size of the button, the arrangement position in the digital camera 1, and the like for the other buttons. Therefore, camera shake characteristics for each button are examined in advance through experiments and the like. That is, for each of the buttons BT1 to BT4, the amount of camera shake generated when the button is pressed and the dominant camera shake direction are checked (the checked contents are camera shake characteristics). Then, the camera shake characteristic information corresponding to the camera shake characteristic for each of the buttons BT1 to BT4 is recognized in advance by the digital camera 1 (microcomputer), and the camera shake correction process corresponding to the camera shake characteristic is shown in each of the above-described embodiments. It is good to execute it by the method. In this case, the shutter button detection unit 23 detects which button is pressed out of a plurality of buttons functioning as a plurality of shutter buttons (in this example, buttons BT1 and BT2), and the detection result is displayed. A shutter button detection signal is transmitted to the microcomputer (20, 20a, 20b or 20c).

例えば、手ぶれ特性情報からボタンＢＴ１の手ぶれ量が比較的大きいと想定され且つボタンＢＴ２の手ぶれ量が比較的小さいと想定される場合において、上述の第１実施例の手法を適用するならば、ボタンＢＴ１の押下時の露光分割数はボタンＢＴ２の押下時のそれよりも大きくされ、ボタンＢＴ１の押下時の分割露光時間はボタンＢＴ２の押下時のそれよりも短くされる。手ぶれ特性情報からボタンＢＴ１の手ぶれ量が比較的小さいと想定され且つボタンＢＴ２の手ぶれ量が比較的大きいと想定されるならば、その逆とされる。   For example, if it is assumed from the camera shake characteristic information that the amount of camera shake of the button BT1 is relatively large and the amount of camera shake of the button BT2 is relatively small, if the method of the first embodiment described above is applied, The number of exposure divisions when BT1 is pressed is made larger than that when button BT2 is pressed, and the divided exposure time when button BT1 is pressed is shorter than that when button BT2 is pressed. If it is assumed from the camera shake characteristic information that the camera shake amount of the button BT1 is relatively small and the camera shake amount of the button BT2 is relatively large, the opposite is true.

仮に、ボタンＢＴ１及びＢＴ２に対する手ぶれ特性がシャッタボタンＳＢ１及びＳＢ２に対する手ぶれ特性αと同じであるならば、結果的に、上述の各実施例と同じ手ぶれ補正の処理制御を行えばよいことになる（この場合、シャッタボタンＳＢ１及びＳＢ２はボタンＢＴ１及びＢＴ２に読み替えられる）。   If the camera shake characteristic for the buttons BT1 and BT2 is the same as the camera shake characteristic α for the shutter buttons SB1 and SB2, as a result, the same camera shake correction process control as in the above-described embodiments may be performed ( In this case, the shutter buttons SB1 and SB2 are read as buttons BT1 and BT2).

このように、シャッタボタンの機能を担わせるボタンを自由に選択することができるように、且つ、選択されたボタンに応じた手ぶれ補正が実行されるようにデジタルカメラ１を構成すれば、ユーザの好みに応じたボタンでシャッタを切ることができると共に選択したボタンに応じた最適な手ぶれ補正を実現することが可能となる。   As described above, if the digital camera 1 is configured so that the button that performs the function of the shutter button can be freely selected and the camera shake correction according to the selected button is performed, the user's The shutter can be released with a button according to the preference, and an optimum camera shake correction according to the selected button can be realized.

尚、本実施形態では、静止画像の撮影を指示するためのシャッタボタンの総数が２となっているが、この総数は３以上であってもよい。シャッタボタンの総数が３以上である場合も、各シャッタボタンについての手ぶれ特性を考慮し、何れのシャッタボタンが押下されたかに応じて手ぶれ補正の処理を決定すればよい。   In the present embodiment, the total number of shutter buttons for instructing to capture a still image is 2, but the total number may be 3 or more. Even when the total number of shutter buttons is 3 or more, camera shake correction processing may be determined according to which shutter button is pressed in consideration of the camera shake characteristics of each shutter button.

［２段階操作について］
また、シャッタボタンは、通常、半押し（ファーストレリーズ）と全押し（セカンドレリーズ）の２段階操作が可能となっている。この場合、シャッタボタンが半押しされた時に焦点を合わせるための所謂オートフォーカス制御がなされ、半押しの後、更にシャッタボタンが全押しされた後に取得されるべき画像に対する露光が開始される。この半押しが担う焦点合わせの機能を機能Ｆ１、この全押しが担う露光開始指示の機能を機能Ｆ２と呼ぶ。 [About two-step operation]
In addition, the shutter button can usually be operated in two steps, half-press (first release) and full-press (second release). In this case, so-called autofocus control is performed for focusing when the shutter button is half-pressed. After half-pressing, exposure to an image to be acquired is started after the shutter button is fully pressed. The function of focusing performed by the half-press is referred to as a function F1, and the function of the exposure start instruction performed by the full-press is referred to as a function F2.

上述の他の実施例の如くシャッタボタンＳＢ１及びＳＢ２がシャッタボタンの機能を担っている場合において、シャッタボタンＳＢ１及びＳＢ２が２段階操作可能になっているならば、シャッタボタンＳＢ１が半押しされた時にシャッタボタンＳＢ１に対応する機能Ｆ１を実行し、シャッタボタンＳＢ１が全押しされた時にシャッタボタンＳＢ１に対応する機能Ｆ２を実行し、シャッタボタンＳＢ２が半押しされた時にシャッタボタンＳＢ２に対応する機能Ｆ１を実行し、シャッタボタンＳＢ２が全押しされた時にシャッタボタンＳＢ２に対応する機能Ｆ２を実行すればよい。この場合は、上述の他の実施例の如く、手ぶれ補正を実施すればよい。   In the case where the shutter buttons SB1 and SB2 function as a shutter button as in the other embodiments described above, if the shutter buttons SB1 and SB2 can be operated in two steps, the shutter button SB1 is half-pressed. The function F1 corresponding to the shutter button SB1 is sometimes executed, the function F2 corresponding to the shutter button SB1 is executed when the shutter button SB1 is fully pressed, and the function corresponding to the shutter button SB2 when the shutter button SB2 is half-pressed The function F2 corresponding to the shutter button SB2 may be executed when F1 is executed and the shutter button SB2 is fully pressed. In this case, camera shake correction may be performed as in the other embodiments described above.

また例えば、本実施例の上述の例の如くボタンＢＴ１及びＢＴ２がシャッタボタンＳＢ１及びＳＢ２の機能を担っており且つボタンＢＴ１及びＢＴ２が２段階操作可能になっている場合は、ボタンＢＴ１が半押しされた時にボタンＢＴ１に対応する機能Ｆ１を実行し、ボタンＢＴ１が全押しされた時にボタンＢＴ１に対応する機能Ｆ２を実行し、ボタンＢＴ２が半押しされた時にボタンＢＴ２に対応する機能Ｆ１を実行し、ボタンＢＴ２が全押しされた時にボタンＢＴ２に対応する機能Ｆ２を実行すればよい。この場合も、上述の他の実施例と同様の手ぶれ補正が実施可能である。   Further, for example, when the buttons BT1 and BT2 have the functions of the shutter buttons SB1 and SB2 and the buttons BT1 and BT2 can be operated in two steps as in the above example of the present embodiment, the button BT1 is half-pressed. The function F1 corresponding to the button BT1 is executed, the function F2 corresponding to the button BT1 is executed when the button BT1 is fully pressed, and the function F1 corresponding to the button BT2 is executed when the button BT2 is half-pressed. Then, when the button BT2 is fully pressed, the function F2 corresponding to the button BT2 may be executed. In this case as well, camera shake correction similar to that in the other embodiments described above can be performed.

仮に、第１ボタン（例えば、シャッタボタンＳＢ１又はボタンＢＴ１）及び第２ボタン（例えば、シャッタボタンＳＢ２又はボタンＢＴ２）が１段階の押下操作しかできない場合は、以下のような処理を採用することも可能である。即ち、デジタルカメラ１に設けられた操作部（不図示）に対する所定操作によって、第１ボタンに機能Ｆ１を割り当て、第２ボタンに機能Ｆ２を割り当てる。この際、第１ボタンを押下しながら第２ボタンを押下しなければ静止画像の撮影指示ができなようにデジタルカメラ１を構成しておく。   If the first button (for example, the shutter button SB1 or the button BT1) and the second button (for example, the shutter button SB2 or the button BT2) can be pressed only in one step, the following processing may be adopted. Is possible. That is, a function F1 is assigned to the first button and a function F2 is assigned to the second button by a predetermined operation on an operation unit (not shown) provided in the digital camera 1. At this time, the digital camera 1 is configured so that a still image shooting instruction cannot be issued unless the first button is pressed while the second button is pressed.

これにより、第１ボタン及び第２ボタンがシャッタボタンＳＢ１及びＳＢ２である場合は、デジタルカメラ１の筐体を両手で把持しながら撮影が行われることになり手ぶれそのものが小さくなる。この場合も、第１及び第２ボタンを同時に押下した時の手ぶれ特性を考慮して、該手ぶれ特性に応じた手ぶれ補正を実施すればよい。これを実現すべく、第１及び第２ボタンを同時に押下した時の手ぶれ特性に応じた手ぶれ特性情報を、予めデジタルカメラ１（マイコン）に認識させておけばよい。   Thus, when the first button and the second button are the shutter buttons SB1 and SB2, shooting is performed while holding the housing of the digital camera 1 with both hands, and the camera shake itself is reduced. In this case as well, the camera shake correction according to the camera shake characteristics may be performed in consideration of the camera shake characteristics when the first and second buttons are pressed simultaneously. In order to realize this, camera shake characteristic information corresponding to the camera shake characteristic when the first and second buttons are pressed simultaneously may be recognized in advance by the digital camera 1 (microcomputer).

＜＜第１３実施例＞＞
次に、第１３実施例について説明する。本実施例では、図３等に示された動き検出回路３２及び画像合成回路３６の詳細な動作手法例を説明する。但し、本実施例では、回転方向の動きを無視し、並進方向の動き検出のみを行って並進方向のみの位置合わせを行う手法を取り扱うものとする。従って、本実施例に記載の手法は、並進方向の動き検出のみを行って並進方向のみの位置合わせを行うという想定の下で、加算式手ぶれ補正を採用する上述の何れかの実施例に適用することができる。 << Thirteenth embodiment >>
Next, a thirteenth embodiment will be described. In the present embodiment, a detailed operation method example of the motion detection circuit 32 and the image composition circuit 36 shown in FIG. 3 and the like will be described. However, in the present embodiment, a method of ignoring the movement in the rotation direction and performing only the translation direction motion detection and performing the alignment only in the translation direction is handled. Therefore, the method described in the present embodiment is applied to any of the above-described embodiments that employ addition-type image stabilization under the assumption that only the motion in the translation direction is detected and only the translation direction is aligned. can do.

説明の具体化のため、本実施例に係るデジタルカメラ１の全体ブロック図が図３のそれと同じであるとして以下の説明を行うものとする。また、本実施例にて記載されるシャッタボタンとは、シャッタボタンＳＢ１又はＳＢ２を意味するものとする。   For the sake of concrete description, the following description will be made assuming that the overall block diagram of the digital camera 1 according to the present embodiment is the same as that of FIG. Further, the shutter button described in this embodiment means the shutter button SB1 or SB2.

図２０は、本実施例に係る動き検出回路３２の内部ブロック図である。図２０の動き検出回路３２は、代表点マッチング回路１４１と、領域動きベクトル算出回路１４２と、検出領域有効性判定回路１４３と、全体動きベクトル算出回路１４４と、を有して構成される。符号１４２〜１４４で表される部位の機能については後に示す図２５及び図２６のフローチャートの説明の中で行うとして、まず、代表点マッチング回路１４１について説明する。   FIG. 20 is an internal block diagram of the motion detection circuit 32 according to the present embodiment. The motion detection circuit 32 in FIG. 20 includes a representative point matching circuit 141, a region motion vector calculation circuit 142, a detection region validity determination circuit 143, and an overall motion vector calculation circuit 144. First, the representative point matching circuit 141 will be described assuming that the functions of the parts denoted by reference numerals 142 to 144 will be described later in the description of the flowcharts of FIGS. 25 and 26.

代表点マッチング回路１４１は、図４及び図５を参照しつつ第１実施例で説明したように、代表点マッチング法に基づいて基準画像と非基準画像との間の全体動きベクトルを検出する。加算式手ぶれ補正を行うために連続撮影された複数の分割露光画像の内、例えば、１番目の分割露光画像（１番目に得られた分割露光画像）が基準画像とされ、２番目以降の各分割露光画像が非基準画像とされる。   As described in the first embodiment with reference to FIGS. 4 and 5, the representative point matching circuit 141 detects the entire motion vector between the reference image and the non-reference image based on the representative point matching method. For example, the first divided exposure image (the first obtained divided exposure image) is used as the reference image among the plurality of divided exposure images continuously taken for performing the addition type image stabilization. The divided exposure image is a non-reference image.

図２１は、代表点マッチング回路１４１の内部ブロック図である。代表点マッチング回路１４１は、フィルタ１５１と、代表点メモリ１５２と、減算回路１５３と、累積加算回路１５４と、演算回路１５５と、を有して構成される。   FIG. 21 is an internal block diagram of the representative point matching circuit 141. The representative point matching circuit 141 includes a filter 151, a representative point memory 152, a subtraction circuit 153, a cumulative addition circuit 154, and an arithmetic circuit 155.

フィルタ１５１には、図３の画像メモリ１５から転送されてきた画像データが順次入力され、各画像データはフィルタ１５１を介して代表点メモリ１５２と減算回路１５３に与えられる。フィルタ１５１は、ローパスフィルタであり、Ｓ／Ｎ比を改善して少ない代表点で十分な動きベクトル検出精度を確保するために用いられる。代表点メモリ１５２は、図４に示す各検出領域Ｅ1 〜Ｅ9 の小領域ｅごとに、代表点Ｒの画像上の位置を特定する位置データと代表点Ｒの輝度値を特定する輝度データとを記憶する（図５も参照）。 The image data transferred from the image memory 15 in FIG. 3 is sequentially input to the filter 151, and each image data is given to the representative point memory 152 and the subtraction circuit 153 through the filter 151. The filter 151 is a low-pass filter and is used to improve the S / N ratio and ensure sufficient motion vector detection accuracy with a small number of representative points. The representative point memory 152 specifies position data for specifying the position of the representative point R on the image and luminance data for specifying the luminance value of the representative point R for each of the small areas e of the detection areas E 1 to E 9 shown in FIG. Is also stored (see also FIG. 5).

尚、代表点メモリ１５２の記憶内容の更新タイミングは任意である。代表点メモリ１５２に画像が入力される度に該記憶内容を更新することもできるし、基準画像を定めて該基準画像が入力されたときにのみ該記憶内容を更新するようにしてもよい。また、或る画素（代表点Ｒ又はサンプリング点Ｓ）に関し、輝度値は、その画素の輝度を表し、輝度値が増加するに従って該輝度は増加するものとする。また、輝度値は、８ビット（０〜２５５）のデジタル値として表現されるとする。勿論、輝度値を８ビットと異なるビット数で表現しても良い。   Note that the update timing of the contents stored in the representative point memory 152 is arbitrary. The stored content can be updated each time an image is input to the representative point memory 152, or the stored content can be updated only when a reference image is set and the reference image is input. In addition, regarding a certain pixel (representative point R or sampling point S), the luminance value represents the luminance of the pixel, and the luminance increases as the luminance value increases. The luminance value is expressed as a digital value of 8 bits (0 to 255). Of course, the luminance value may be expressed by a bit number different from 8 bits.

減算回路１５３は、代表点メモリ１５２から与えられる基準画像の代表点Ｒの輝度値と非基準画像の各サンプリング点Ｓの輝度値との減算を行い、その減算結果の絶対値を出力する。減算回路１５３の出力値は、各サンプリング点Ｓにおける相関値を表し、該出力値は、順次、累積加算回路１５４に与えられる。累積加算回路１５４は、減算回路１５３から出力される相関値を累積加算することにより上述の累積相関値（第１実施例参照）を算出及び出力する。   The subtraction circuit 153 performs subtraction between the luminance value of the representative point R of the reference image given from the representative point memory 152 and the luminance value of each sampling point S of the non-reference image, and outputs the absolute value of the subtraction result. The output value of the subtraction circuit 153 represents the correlation value at each sampling point S, and the output value is sequentially given to the cumulative addition circuit 154. The cumulative addition circuit 154 calculates and outputs the cumulative correlation value (see the first embodiment) by cumulatively adding the correlation values output from the subtraction circuit 153.

演算回路１５５は、累積加算回路１５４から与えられる累積相関値を受け、図２４に示すようなデータを算出及び出力する。１枚の基準画像と１枚の非基準画像との対比に関し、各検出領域Ｅ1 〜Ｅ9 ごとに、１つの小領域ｅ内のサンプリング点Ｓの個数に応じた複数の累積相関値（以下、この複数の累積相関値を「演算対象累積相関値群」という）が演算回路１５５に与えられるが、演算回路１５５は、各検出領域Ｅ1 〜Ｅ9 ごとに、
「演算対象累積相関値群を形成する全ての累積相関値の平均値Ｖａｖｅと、
演算対象累積相関値群を形成する全ての累積相関値の内の最小値（最小の累積相関値）と、
その最小値を示す画素の位置ＰAと、
位置ＰAの画素の近傍画素に対応する累積相関値（以下、近傍累積相関値と呼ぶことがある）」を算出する。 The arithmetic circuit 155 receives the cumulative correlation value given from the cumulative addition circuit 154, and calculates and outputs data as shown in FIG. Regarding the comparison between one reference image and one non-reference image, a plurality of cumulative correlation values (hereinafter referred to as the number of sampling points S in one small region e) for each detection region E 1 to E 9. The plurality of cumulative correlation values are referred to as a “computation target cumulative correlation value group”) is provided to the arithmetic circuit 155. The arithmetic circuit 155, for each of the detection regions E 1 to E 9 ,
“The average value Vave of all the cumulative correlation values forming the calculation target cumulative correlation value group,
The minimum value (minimum cumulative correlation value) among all the cumulative correlation values forming the calculation target cumulative correlation value group,
A pixel position P A indicating the minimum value;
A cumulative correlation value corresponding to a neighboring pixel of the pixel at the position P A (hereinafter sometimes referred to as a neighboring cumulative correlation value) is calculated.

各小領域ｅに着目し、以下のように画素位置等を定義する。各小領域ｅにおいて、代表点Ｒの画素位置を（０，０）にて表す。位置ＰAは、代表点Ｒの画素位置（０，０）を基準とした、上記最小値を与えるサンプリング点Ｓの画素位置であり、これを、（ｉA，ｊA）にて表す（図２２参照）。位置ＰAの画素の近傍画素とは、位置ＰAの画素に隣接する画素を含む位置ＰAの画素の周辺画素であり、本実施例では、位置ＰAの画素を中心とする２４個の近傍画素を想定する。図２３に示す如く、位置ＰAの画素と該２４個の近傍画素は５×５の行列配列された画素群を形成する。その画素群の各画素の画素位置を、（ｉA＋ｐ，ｊA＋ｑ）にて表す。該画素群の中心に、位置ＰAの画素が存在する。ｐ及びｑは整数であり、−２≦ｐ≦２且つ−２≦ｑ≦２、が成立する。ｐが−２から２に増加するにつれて画素位置は位置ＰAを中心として上から下へと向かい、ｑが−２から２に増加するにつれて画素位置は位置ＰAを中心として左から右へと向かう。そして、画素位置（ｉA＋ｐ，ｊA＋ｑ）に対応する累積相関値を、Ｖ（ｉA＋ｐ，ｊA＋ｑ）にて表すものとする。 Focusing on each small region e, the pixel position and the like are defined as follows. In each small region e, the pixel position of the representative point R is represented by (0, 0). The position P A is the pixel position of the sampling point S that gives the minimum value with reference to the pixel position (0, 0) of the representative point R, and this is represented by (i A , j A ) (FIG. 22). And neighboring pixels of the pixel position P A is the peripheral pixels of the pixel locations P A comprising pixels adjacent to the pixel position P A, in the present embodiment, 24 centered on the pixel position P A Assume neighboring pixels. As shown in FIG. 23, the pixel at the position P A and the 24 neighboring pixels form a pixel group arranged in a 5 × 5 matrix. The pixel position of each pixel in the pixel group is represented by (i A + p, j A + q). A pixel at the position P A exists at the center of the pixel group. p and q are integers, and −2 ≦ p ≦ 2 and −2 ≦ q ≦ 2 are satisfied. As p increases from -2 to 2, the pixel position goes from top to bottom with position P A as the center, and as q increases from -2 to 2, the pixel position goes from left to right with position P A as the center. Head. The cumulative correlation value corresponding to the pixel position (i A + p, j A + q) is represented by V (i A + p, j A + q).

一般的には、最小の累積相関値の位置ＰAが真のマッチング位置に対応するものとして動きベクトルが算出されるが、本実施例では、最小の累積相関値は、真のマッチング位置に対応する累積相関値の候補として捉えられる。位置ＰAにて得られる最小の累積相関値をＶAにて表し、それを「候補最小相関値ＶA」とよぶ。従って、Ｖ（ｉA，ｊA）＝ＶAである。 In general, the motion vector is calculated assuming that the position P A of the minimum cumulative correlation value corresponds to the true matching position, but in this embodiment, the minimum cumulative correlation value corresponds to the true matching position. It is regarded as a candidate for the cumulative correlation value. The minimum accumulated correlation value obtained at the position P A is represented by V A , which is referred to as “candidate minimum correlation value V A ”. Therefore, V (i A , j A ) = V A.

他の候補を特定すべく、演算回路１５５は、各検出領域Ｅ1 〜Ｅ9 ごとに、最小の累積相関値ＶAに近い累積相関値が演算対象累積相関値群に含まれているかを検索し、検索されたＶAに近い累積相関値も候補最小相関値として特定する。「最小の累積相関値ＶAに近い累積相関値」とは、ＶAを所定の規則に従って増加させた値以下の累積相関値であり、例えば、ＶAに所定の候補閾値（例えば２）を加えた値以下の累積相関値、或いは、ＶAに１より大きい係数を乗じて得られる値以下の累積相関値である。候補最小相関値は、上記の候補最小相関値ＶAを含めて、例えば最大４つ特定される。 In order to identify other candidates, the arithmetic circuit 155 searches for a cumulative correlation value close to the minimum cumulative correlation value V A for each of the detection regions E 1 to E 9 to determine whether the calculation target cumulative correlation value group includes the cumulative correlation value. The cumulative correlation value close to the searched V A is also specified as the candidate minimum correlation value. The “cumulative correlation value close to the minimum cumulative correlation value V A ” is a cumulative correlation value equal to or less than a value obtained by increasing V A according to a predetermined rule. For example, a predetermined candidate threshold value (for example, 2) is set to V A. It is a cumulative correlation value equal to or less than the added value, or a cumulative correlation value equal to or less than a value obtained by multiplying VA by a coefficient larger than 1. For example, a maximum of four candidate minimum correlation values including the candidate minimum correlation value V A are specified.

以下、説明の便宜上、検出領域Ｅ1 〜Ｅ9 の夫々について、候補最小相関値ＶAの他に候補最小相関値ＶB、ＶC及びＶDが特定された場合を考えるものとする。尚、最小の累積相関値ＶAに近い累積相関値を検索することによって他の候補最小相関値を特定すると述べたが、ＶB、ＶC及びＶDの内の何れか又は全部は、ＶAと等しい場合もある。この場合、或る検出領域に関し、演算対象累積相関値群に最小の累積相関値が２以上含まれることになる。 Hereinafter, for convenience of explanation, it is assumed that the candidate minimum correlation values V B , V C, and V D are specified in addition to the candidate minimum correlation value V A for each of the detection regions E 1 to E 9 . Although it has been stated that other candidate minimum correlation values are specified by searching for a cumulative correlation value close to the minimum cumulative correlation value V A , any or all of V B , V C and V D are V May be equal to A. In this case, two or more minimum cumulative correlation values are included in the calculation target cumulative correlation value group for a certain detection region.

演算回路１５５は、候補最小相関値ＶAと同様、各検出領域Ｅ1 〜Ｅ9 ごとに、
「候補最小相関値ＶBを示す画素の位置ＰBと位置ＰBの画素の２４個の近傍画素に対応する合計２４個の累積相関値（以下、近傍累積相関値と呼ぶことがある）、
候補最小相関値ＶCを示す画素の位置ＰCと位置ＰCの画素の２４個の近傍画素に対応する合計２４個の累積相関値（以下、近傍累積相関値と呼ぶことがある）、及び
候補最小相関値ＶDを示す画素の位置ＰDと位置ＰDの画素の２４個の近傍画素に対応する合計２４個の累積相関値（以下、近傍累積相関値と呼ぶことがある）」を検出する（図２４参照）。 As with the candidate minimum correlation value V A , the arithmetic circuit 155 performs the detection for each detection region E 1 to E 9 .
“A total of 24 cumulative correlation values corresponding to 24 neighboring pixels of the pixel at the position P B of the pixel indicating the candidate minimum correlation value V B and the pixel at the position P B (hereinafter, sometimes referred to as a neighborhood cumulative correlation value),
A total of 24 accumulated correlation values corresponding to 24 neighboring pixels of the pixel at the position P C of the pixel indicating the candidate minimum correlation value V C and the pixel at the position P C (hereinafter, sometimes referred to as a neighborhood accumulated correlation value), and A total of 24 cumulative correlation values corresponding to 24 neighboring pixels of the pixel at the position P D of the pixel indicating the candidate minimum correlation value V D and the pixel at the position P D (hereinafter sometimes referred to as the neighborhood cumulative correlation value) ” Detect (see FIG. 24).

各小領域ｅに着目し、以下のように画素位置等を定義する。位置ＰB、ＰC及びＰDは、それぞれ、位置ＰAと同様、代表点Ｒの画素位置（０，０）を基準とした、候補最小相関値ＶB、ＶC及びＶDを与えるサンプリング点Ｓの画素位置であり、これを、（ｉB，ｊB）、（ｉC，ｊC）及び（ｉD，ｊD）にて表す。
位置ＰAと同様、位置ＰBの画素とそれの近傍画素は５×５の行列配列された画素群を形成し、その画素群の各画素の画素位置を（ｉB＋ｐ，ｊB＋ｑ）にて表す。
位置ＰAと同様、位置ＰCの画素とそれの近傍画素は５×５の行列配列された画素群を形成し、その画素群の各画素の画素位置を（ｉC＋ｐ，ｊC＋ｑ）にて表す。
位置ＰAと同様、位置ＰDの画素とそれの近傍画素は５×５の行列配列された画素群を形成し、その画素群の各画素の画素位置を（ｉD＋ｐ，ｊD＋ｑ）にて表す。
ここで、位置ＰAと同様、ｐ及びｑは整数であり、−２≦ｐ≦２且つ−２≦ｑ≦２、が成立する。ｐが−２から２に増加するにつれて画素位置は位置ＰB（又はＰC又はＰD）を中心として上から下へと向かい、ｑが−２から２に増加するにつれて画素位置は位置ＰB（又はＰC又はＰD）を中心として左から右へと向かう。そして、画素位置（ｉB＋ｐ，ｊB＋ｑ）、（ｉC＋ｐ，ｊC＋ｑ）及び（ｉD＋ｐ，ｊD＋ｑ）に対応する累積相関値を、夫々、Ｖ（ｉB＋ｐ，ｊB＋ｑ）、Ｖ（ｉC＋ｐ，ｊC＋ｑ）及びＶ（ｉD＋ｐ，ｊD＋ｑ）にて表す。 Focusing on each small region e, the pixel position and the like are defined as follows. The positions P B , P C, and P D are the samplings that give the candidate minimum correlation values V B , V C, and V D with reference to the pixel position (0, 0) of the representative point R, respectively, as with the position P A. This is the pixel position of the point S, which is represented by (i B , j B ), (i C , j C ), and (i D , j D ).
Similar to the position P A , the pixel at the position P B and its neighboring pixels form a pixel group in a 5 × 5 matrix array, and the pixel position of each pixel in the pixel group is (i B + p, j B + q). Represented by
Similar to the position P A , the pixel at the position P C and its neighboring pixels form a pixel group arranged in a 5 × 5 matrix, and the pixel position of each pixel in the pixel group is (i C + p, j C + q). Represented by
Similar to the position P A , the pixel at the position P D and its neighboring pixels form a pixel group in a 5 × 5 matrix array, and the pixel position of each pixel in the pixel group is (i D + p, j D + q). Represented by
Here, similarly to the position P A , p and q are integers, and −2 ≦ p ≦ 2 and −2 ≦ q ≦ 2 are established. As p increases from -2 to 2, the pixel position goes from top to bottom about position P B (or P C or P D ), and as q increases from -2 to 2, the pixel position changes to position P B. Go from left to right around (or P C or P D ). The cumulative correlation values corresponding to the pixel positions (i B + p, j B + q), (i C + p, j C + q) and (i D + p, j D + q) are respectively expressed as V (i B + p, j B + q), V (i C + p, j C + q) and V (i D + p, j D + q).

演算回路１５５は、更に、各検出領域Ｅ1 〜Ｅ9 ごとに、候補最小相関値の個数Ｎｆを算出及び出力する。今の例の場合、検出領域Ｅ1 〜Ｅ9 の夫々について、Ｎｆは４である。以下、各検出領域Ｅ1 〜Ｅ9 ごとに、演算回路１５５にて算出され且つ出力される、
「候補最小相関値ＶA、位置ＰA及び近傍累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）」を特定するデータを総称して「第１の候補データ」と呼び、
「候補最小相関値ＶB、位置ＰB及び近傍累積相関値Ｖ（ｉB＋ｐ，ｊB＋ｑ）」を特定するデータを総称して「第２の候補データ」と呼び、
「候補最小相関値ＶC、位置ＰC及び近傍累積相関値Ｖ（ｉC＋ｐ，ｊC＋ｑ）」を特定するデータを総称して「第３の候補データ」と呼び、
「候補最小相関値ＶD、位置ＰD及び近傍累積相関値Ｖ（ｉD＋ｐ，ｊD＋ｑ）」を特定するデータを総称して「第４の候補データ」と呼ぶ。 The arithmetic circuit 155 further calculates and outputs the number Nf of candidate minimum correlation values for each of the detection regions E 1 to E 9 . In the present example, Nf is 4 for each of the detection regions E 1 to E 9 . Hereinafter, for each of the detection areas E 1 to E 9 , the calculation circuit 155 calculates and outputs them.
Data specifying “candidate minimum correlation value V A , position P A and neighborhood cumulative correlation value V (i A + p, j A + q)” are collectively referred to as “first candidate data”;
Data specifying “candidate minimum correlation value V B , position P B and neighborhood cumulative correlation value V (i B + p, j B + q)” are collectively referred to as “second candidate data”;
Data specifying “candidate minimum correlation value V C , position P C and neighborhood cumulative correlation value V (i C + p, j C + q)” are collectively referred to as “third candidate data”;
Data specifying “candidate minimum correlation value V D , position P D and neighborhood cumulative correlation value V (i D + p, j D + q)” are collectively referred to as “fourth candidate data”.

［動き検出回路の動作フロー］
次に、図２５及び図２６のフローチャートを参照して、動き検出回路３２の処理手順を説明する。また、図２９に、動き検出回路３２内部の各データの流れをも表した、動き検出回路３２の詳細内部ブロック図を示す。図２９に示す如く、検出領域有効性判定回路１４３は、コントラスト判定部１６１と、複数動き有無判定部１６２と、類似模様有無判定部１６３を含み、全体動きベクトル算出回路１４４は、全体動きベクトル有効性判定部１７０と信頼度算出部１７４を含む。全体動きベクトル有効性判定部１７０は、更に、パン・チルト判定部１７１、領域動きベクトル類似性判定部１７２及び検出領域有効数算出部１７３を含む。 [Operation flow of motion detection circuit]
Next, the processing procedure of the motion detection circuit 32 will be described with reference to the flowcharts of FIGS. FIG. 29 is a detailed internal block diagram of the motion detection circuit 32 that also shows the flow of each data in the motion detection circuit 32. As shown in FIG. 29, the detection area validity determination circuit 143 includes a contrast determination unit 161, a plurality of motion presence / absence determination unit 162, and a similar pattern presence / absence determination unit 163, and the overall motion vector calculation circuit 144 A sex determination unit 170 and a reliability calculation unit 174 are included. The overall motion vector validity determination unit 170 further includes a pan / tilt determination unit 171, a region motion vector similarity determination unit 172, and a detection region effective number calculation unit 173.

概略的に動作を説明すると、動き検出回路３２は、検出領域ごとに、候補最小相関値の中から真のマッチング位置に対応する相関値を採用最小相関値Ｐｍｉｎとして特定し、代表点Ｒの位置から採用最小相関値Ｖｍｉｎを示す位置（ＰA、ＰB、ＰC又はＰD）に向かう偏移を当該検出領域の領域動きベクトルとする。そして、各領域動きベクトルの平均を画像全体の動きベクトル（以下、「全体動きベクトル」という）として出力する。 To describe the operation schematically, the motion detection circuit 32 specifies, as the adopted minimum correlation value Pmin, the correlation value corresponding to the true matching position from the candidate minimum correlation values for each detection region, and the position of the representative point R To a position (P A , P B , P C or P D ) indicating the adopted minimum correlation value Vmin is defined as a region motion vector of the detection region. Then, the average of each region motion vector is output as the motion vector of the entire image (hereinafter referred to as “total motion vector”).

但し、平均化によって全体動きベクトルを算出する際、各検出領域の有効又は無効を評価し、無効な検出領域に対応する領域動きベクトルを無効として除外する。そして、有効な領域動きベクトルの平均ベクトルを（原則として）全体動きベクトルとして算出すると共に、算出した全体動きベクトルが有効であるか或いは無効であるかを評価する。図２９に示す信頼度算出部１７４において全体動きベクトルの信頼度も算出されるが、信頼度の算出手法については図２５及び図２６に関する説明の後に詳説する。   However, when calculating the entire motion vector by averaging, the validity or invalidity of each detection area is evaluated, and the area motion vector corresponding to the invalid detection area is excluded as invalid. Then, an average vector of effective area motion vectors is calculated as an overall motion vector (in principle), and whether the calculated overall motion vector is valid or invalid is evaluated. The reliability calculation unit 174 shown in FIG. 29 also calculates the reliability of the entire motion vector, and the calculation method of the reliability will be described in detail after the description of FIGS. 25 and 26.

尚、図２５に示されるステップＳ１２〜Ｓ１８の処理は、図２０の代表点マッチング回路１４１にて実施される。ステップＳ２４の処理は、図２０の領域動きベクトル算出回路１４２によって実施される。ステップＳ２１〜Ｓ２３並びにＳ２５及びＳ２６の処理は、図２０の検出領域有効性判定回路１４３によって実施される。図２６に示されるステップＳ４１〜Ｓ４９の処理は、図２０の全体動きベクトル算出回路１４４によって実施される。   Note that the processing of steps S12 to S18 shown in FIG. 25 is performed by the representative point matching circuit 141 of FIG. The process in step S24 is performed by the area motion vector calculation circuit 142 in FIG. The processing of steps S21 to S23 and S25 and S26 is performed by the detection region validity determination circuit 143 of FIG. The processing in steps S41 to S49 shown in FIG. 26 is performed by the overall motion vector calculation circuit 144 in FIG.

図２５及び図２６は、或る１つの基準画像と或る１つの非基準画像との間における処理手順を示している。動き検出回路３２は、手ぶれ補正撮影モードにおいてシャッタボタンが押下げられた際、１番目の分割露光画像を基準画像、２番目以降の各分割露光画像を非基準画像として、図２５及び図２６に示す各ステップの処理を実施する（但し、２番目以降の何れかの分割露光画像を基準画像とすることも可能である）。また、手ぶれ補正撮影モードでは、シャッタボタンが押下されたか否かに関わらず、動き検出回路３２に対して前回に入力された画像（画像データ）を基準画像とし且つ今回に入力された画像を非基準画像として、図２５及び図２６に示す各ステップの処理が実施される。   25 and 26 show a processing procedure between a certain reference image and a certain non-reference image. When the shutter button is pressed in the camera shake correction shooting mode, the motion detection circuit 32 sets the first divided exposure image as a reference image and the second and subsequent divided exposure images as non-reference images, as shown in FIGS. Processing of each step shown is performed (however, any one of the second and subsequent divided exposure images can be used as a reference image). In the camera shake correction shooting mode, the image (image data) input last time with respect to the motion detection circuit 32 is set as a reference image and the image input this time is not set regardless of whether or not the shutter button is pressed. As a reference image, the processing of each step shown in FIGS. 25 and 26 is performed.

まず、ステップＳ１１において、９つある検出領域Ｅ1〜Ｅ9の何れか１つを特定するための変数ｋを１とする。ｋ＝１、２、・・・９の場合、それぞれ、検出領域Ｅ1、Ｅ2、・・・Ｅ9についての処理が行われる。 First, in step S11, a variable k for specifying any one of the nine detection regions E 1 to E 9 is set to 1. In the case of k = 1, 2 ,... 9 , the processing for the detection areas E 1 , E 2 ,.

ステップＳ１１に続くステップＳ１２において、検出領域Ｅkについての累積相関値が算出され、更に、ステップＳ１３において、検出領域Ｅkについての累積相関値の平均値Ｖａｖｅが算出される。そして、真のマッチング位置に対応する累積相関値の候補として候補最小相関値が特定される（ステップＳ１４）。今、上述したように、候補最小相関値として４つの候補最小相関値ＶA、ＶB、ＶC又はＶDが特定されたとする。続くステップＳ１５では、ステップＳ１４にて特定された各候補最小相関値に対応する「位置と近傍累積相関値」が検出される。更にステップＳ１６で、ステップＳ１４にて特定された候補最小相関値の個数Ｎｆが算出される。ステップＳ１１〜Ｓ１６の処理により、図２４に示す、検出領域Ｅkについての「平均値Ｖａｖｅ、第１〜第４候補データ及び個数Ｎｆ」が算出される。 In step S12 following step S11, the cumulative correlation value for the detection region E k is calculated, and in step S13, the average value Vave of the cumulative correlation values for the detection region E k is calculated. Then, a candidate minimum correlation value is specified as a cumulative correlation value candidate corresponding to the true matching position (step S14). Now, as described above, it is assumed that four candidate minimum correlation values V A , V B , V C, or V D are specified as candidate minimum correlation values. In subsequent step S15, “position and neighborhood cumulative correlation value” corresponding to each candidate minimum correlation value specified in step S14 is detected. In step S16, the number Nf of candidate minimum correlation values specified in step S14 is calculated. Through the processing of steps S11 to S16, “average value Vave, first to fourth candidate data and number Nf” for the detection region E k shown in FIG. 24 is calculated.

ステップＳ１６に続くステップＳ１７では、検出領域Ｅkについての候補最小相関値の中から、真のマッチング位置に対応する相関値が採用最小相関値Ｖｍｉｎとして選択される。 At step S17 subsequent to step S16, from among the candidate minimum correlation value of the detection region E k, a correlation value corresponding to the true matching position is selected as the adopted smallest correlation value Vmin.

このステップＳ１７の処理を、図２７及び図２８を参照して詳細に説明する。図２７（ａ）〜（ｅ）では、ステップＳ１７の処理にて参照される累積相関値の対応画素を斜線を用いて表している。図２８は、ステップＳ１７の処理を細分化したフローチャートである。ステップＳ１７は、ステップＳ１０１〜Ｓ１１２から形成される。   The processing in step S17 will be described in detail with reference to FIGS. In FIGS. 27A to 27E, the corresponding pixels of the cumulative correlation value referred to in the process of step S17 are represented by hatching. FIG. 28 is a flowchart obtained by subdividing the processing in step S17. Step S17 is formed from steps S101 to S112.

ステップＳ１７に移行すると、まず、図２８のステップＳ１０１において、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図２７（ａ）のパターンに対応するような「候補最小相関値と４個の近傍累積相関値」の平均値（選択用評価値）を計算する。即ち、（ｐ，ｑ）＝（０，−１）、（−１，０）、（０，１）、（１，０）、（０，０）である場合における、
「累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）の平均値ＶA_aveと、累積相関値Ｖ（ｉB＋ｐ，ｊB＋ｑ）の平均値ＶB_aveと、累積相関値Ｖ（ｉC＋ｐ，ｊC＋ｑ）の平均値ＶC_aveと、累積相関値Ｖ（ｉD＋ｐ，ｊD＋ｑ）の平均値ＶD_ave」を算出する。 When the process proceeds to step S17, first, in step S101 of FIG. 28, for each of the first to fourth candidate data (that is, for each candidate minimum correlation value), “corresponding to the pattern of FIG. The average value (evaluation value for selection) of the candidate minimum correlation value and the four neighboring cumulative correlation values is calculated. That is, when (p, q) = (0, −1), (−1, 0), (0, 1), (1, 0), (0, 0),
"Cumulative correlation value V (i A + p, j A + q) and the average value V A _ave of the average value V B _ave and, cumulative correlation value V (i C of the cumulative correlation value V (i B + p, j B + q) + P, j C + q) average value V C —ave and cumulative correlation value V (i D + p, j D + q) average value V D —ave ”are calculated.

そして、ステップＳ１０２において、ステップＳ１０１で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する。具体的には、ステップＳ１０１で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１０３に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０１で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。例えば、ＶA_ave＜ＶB_ave＜ＶC_ave＜ＶD_ave、が成立する場合、候補最小相関値ＶAが採用最小相関値Ｖｍｉｎとして選択される。 In step S102, it is determined whether the adopted minimum correlation value Vmin can be selected based on the average value calculated in step S101. Specifically, if the difference between the minimum average value and the other average values among the four average values calculated in step S101 is not more than a predetermined difference threshold (for example, 2), selection is not possible (selection If it is not, the process proceeds to step S103. Otherwise, the process proceeds to step S112, and the candidate minimum correlation value corresponding to the minimum average value among the four average values calculated in step S101 is determined. Is selected as the adopted minimum correlation value Vmin. For example, when V A —ave <V B —ave <V C —ave <V D —ave, the candidate minimum correlation value V A is selected as the adopted minimum correlation value Vmin.

以後、採用最小相関値Ｖｍｉｎを選択するに当たって参照される累積相関値の位置及び個数を変化させつつ、ステップＳ１０１及びＳ１０２と同様の処理が実施される。   Thereafter, the same processing as in steps S101 and S102 is performed while changing the position and number of cumulative correlation values referred to when selecting the adopted minimum correlation value Vmin.

即ち、ステップＳ１０３では、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図２７（ｂ）のパターンに対応するような「候補最小相関値と８個の近傍累積相関値」の平均値を計算する。即ち、（ｐ，ｑ）＝（−１，−１）、（−１，０）、（−１，１）、（０，−１）、（０，０）、（０，１）、（１，−１）、（１，０）、（１，１）である場合における、
「累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）の平均値ＶA_aveと、累積相関値Ｖ（ｉB＋ｐ，ｊB＋ｑ）の平均値ＶB_aveと、累積相関値Ｖ（ｉC＋ｐ，ｊC＋ｑ）の平均値ＶC_aveと、累積相関値Ｖ（ｉD＋ｐ，ｊD＋ｑ）の平均値ＶD_ave」を算出する。 That is, in step S103, for each of the first to fourth candidate data (that is, for each candidate minimum correlation value), “candidate minimum correlation value and 8 neighbors corresponding to the pattern of FIG. The average value of the “cumulative correlation value” is calculated. That is, (p, q) = (− 1, −1), (−1,0), (−1,1), (0, −1), (0,0), (0,1), ( 1, -1), (1,0), (1,1)
"Cumulative correlation value V (i A + p, j A + q) and the average value V A _ave of the average value V B _ave and, cumulative correlation value V (i C of the cumulative correlation value V (i B + p, j B + q) + P, j C + q) average value V C —ave and cumulative correlation value V (i D + p, j D + q) average value V D —ave ”are calculated.

そして、ステップＳ１０４において、ステップＳ１０３で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する。具体的には、ステップＳ１０３で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１０５に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０３で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。   In step S104, it is determined whether the adopted minimum correlation value Vmin can be selected based on the average value calculated in step S103. Specifically, if the difference between the minimum average value and the other average values among the four average values calculated in step S103 is less than or equal to a predetermined difference threshold (for example, 2), selection is not possible (selection If it is not, the process proceeds to step S105. Otherwise, the process proceeds to step S112, and the candidate minimum correlation value corresponding to the minimum average value among the four average values calculated in step S103 is determined. Is selected as the adopted minimum correlation value Vmin.

ステップＳ１０５では、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図２７（ｃ）のパターンに対応するような「候補最小相関値と１２個の近傍累積相関値」の平均値を計算する。即ち、（ｐ，ｑ）＝（−１，−１）、（−１，０）、（−１，１）、（０，−１）、（０，０）、（０，１）、（１，−１）、（１，０）、（１，１）、（−２，０）、（２，０）、（０，２）、（０，−２）である場合における、
「累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）の平均値ＶA_aveと、累積相関値Ｖ（ｉB＋ｐ，ｊB＋ｑ）の平均値ＶB_aveと、累積相関値Ｖ（ｉC＋ｐ，ｊC＋ｑ）の平均値ＶC_aveと、累積相関値Ｖ（ｉD＋ｐ，ｊD＋ｑ）の平均値ＶD_ave」を算出する。 In step S105, for each of the first to fourth candidate data (that is, for each candidate minimum correlation value), “candidate minimum correlation value and 12 neighboring cumulative correlations corresponding to the pattern of FIG. Calculate the average value. That is, (p, q) = (− 1, −1), (−1,0), (−1,1), (0, −1), (0,0), (0,1), ( 1, -1), (1,0), (1,1), (-2,0), (2,0), (0,2), (0, -2),
"Cumulative correlation value V (i A + p, j A + q) and the average value V A _ave of the average value V B _ave and, cumulative correlation value V (i C of the cumulative correlation value V (i B + p, j B + q) + P, j C + q) average value V C —ave and cumulative correlation value V (i D + p, j D + q) average value V D —ave ”are calculated.

そして、ステップＳ１０６において、ステップＳ１０５で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する。具体的には、ステップＳ１０５で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１０７に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０５で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。   In step S106, it is determined whether the adopted minimum correlation value Vmin can be selected based on the average value calculated in step S105. Specifically, if the difference between the minimum average value and the other average values among the four average values calculated in step S105 is less than or equal to a predetermined difference threshold (for example, 2), selection is not possible (selection If it is not, the process proceeds to step S107. Otherwise, the process proceeds to step S112, and the candidate minimum correlation value corresponding to the minimum average value among the four average values calculated in step S105 is determined. Is selected as the adopted minimum correlation value Vmin.

ステップＳ１０７では、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図２７（ｄ）のパターンに対応するような「候補最小相関値と２０個の近傍累積相関値」の平均値を計算する。即ち、（ｐ，ｑ）＝（−２，−１）、（−２，０）、（−２，１）、（−１，−２）、（−１，−１）、（−１，０）、（−１，１）、（−１，２）、（０，−２）、（０，−１）、（０，０）、（０，１）、（０，２）、（１，−２）、（１，−１）、（１，０）、（１，１）、（１，２）、（２，−１）、（２，０）、（２，１）である場合における、
「累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）の平均値ＶA_aveと、累積相関値Ｖ（ｉB＋ｐ，ｊB＋ｑ）の平均値ＶB_aveと、累積相関値Ｖ（ｉC＋ｐ，ｊC＋ｑ）の平均値ＶC_aveと、累積相関値Ｖ（ｉD＋ｐ，ｊD＋ｑ）の平均値ＶD_ave」を算出する。 In step S107, for each of the first to fourth candidate data (that is, for each candidate minimum correlation value), “candidate minimum correlation value and 20 neighboring cumulative correlations corresponding to the pattern of FIG. Calculate the average value. That is, (p, q) = (− 2, −1), (−2,0), (−2,1), (−1, −2), (−1, −1), (−1, 0), (-1, 1), (-1, 2), (0, -2), (0, -1), (0, 0), (0, 1), (0, 2), ( 1, -2), (1, -1), (1,0), (1,1), (1,2), (2, -1), (2,0), (2,1) In some cases,
"Cumulative correlation value V (i A + p, j A + q) and the average value V A _ave of the average value V B _ave and, cumulative correlation value V (i C of the cumulative correlation value V (i B + p, j B + q) + P, j C + q) average value V C —ave and cumulative correlation value V (i D + p, j D + q) average value V D —ave ”are calculated.

そして、ステップＳ１０８において、ステップＳ１０７で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する。具体的には、ステップＳ１０７で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１０９に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０７で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。   In step S108, it is determined whether the adopted minimum correlation value Vmin can be selected based on the average value calculated in step S107. Specifically, if the difference between the minimum average value and the other average values among the four average values calculated in step S107 is not more than a predetermined difference threshold (for example, 2), selection is not possible (selection If it is not, the process proceeds to step S109. Otherwise, the process proceeds to step S112, and the candidate minimum correlation value corresponding to the minimum average value among the four average values calculated in step S107 is determined. Is selected as the adopted minimum correlation value Vmin.

ステップＳ１０９では、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図２７（ｅ）のパターンに対応するような「候補最小相関値と２４個の近傍累積相関値」の平均値を計算する。即ち、（ｐ，ｑ）＝（−２，−２）、（−２，−１）、（−２，０）、（−２，１）、（−２，２）、（−１，−２）、（−１，−１）、（−１，０）、（−１，１）、（−１，２）、（０，−２）、（０，−１）、（０，０）、（０，１）、（０，２）、（１，−２）、（１，−１）、（１，０）、（１，１）、（１，２）、（２，−２）、（２，−１）、（２，０）、（２，１）、（２，２）である場合における、
「累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）の平均値ＶA_aveと、累積相関値Ｖ（ｉB＋ｐ，ｊB＋ｑ）の平均値ＶB_aveと、累積相関値Ｖ（ｉC＋ｐ，ｊC＋ｑ）の平均値ＶC_aveと、累積相関値Ｖ（ｉD＋ｐ，ｊD＋ｑ）の平均値ＶD_ave」を算出する。 In step S109, for each of the first to fourth candidate data (that is, for each candidate minimum correlation value), “candidate minimum correlation value and 24 neighboring cumulative correlations corresponding to the pattern of FIG. Calculate the average value. That is, (p, q) = (− 2, −2), (−2, −1), (−2, 0), (−2, 1), (−2, 2), (−1, − 2), (-1, -1), (-1, 0), (-1, 1), (-1, 2), (0, -2), (0, -1), (0, 0) ), (0,1), (0,2), (1, -2), (1, -1), (1,0), (1,1), (1,2), (2,- 2), (2, -1), (2,0), (2,1), (2,2)
"Cumulative correlation value V (i A + p, j A + q) and the average value V A _ave of the average value V B _ave and, cumulative correlation value V (i C of the cumulative correlation value V (i B + p, j B + q) + P, j C + q) average value V C —ave and cumulative correlation value V (i D + p, j D + q) average value V D —ave ”are calculated.

そして、ステップＳ１１０において、ステップＳ１０９で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する。具体的には、ステップＳ１０９で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１１１に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０９で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。   In step S110, it is determined whether the adopted minimum correlation value Vmin can be selected based on the average value calculated in step S109. Specifically, if the difference between the minimum average value and the other average values among the four average values calculated in step S109 is not more than a predetermined difference threshold value (for example, 2), selection is not possible (selection If it is not, the process proceeds to step S111. Otherwise, the process proceeds to step S112, and the candidate minimum correlation value corresponding to the minimum average value among the four average values calculated in step S109 is determined. Is selected as the adopted minimum correlation value Vmin.

ステップＳ１１１に移行した場合は、最終的に、採用最小相関値Ｖｍｉｎを選択不可と判断する。即ち、マッチング位置を検出不可と判断する。尚、候補最小相関値が複数ある場合の処理について説明したが、候補最小相関値が１つしかない場合は、その１つの候補最小相関値がそのまま採用最小相関値Ｖｍｉｎとされる。   When the process proceeds to step S111, it is finally determined that the adopted minimum correlation value Vmin cannot be selected. That is, it is determined that the matching position cannot be detected. Although the processing in the case where there are a plurality of candidate minimum correlation values has been described, when there is only one candidate minimum correlation value, that one candidate minimum correlation value is directly used as the adopted minimum correlation value Vmin.

ステップＳ１７にて採用最小相関値Ｖｍｉｎが選択されると、ステップＳ１８にて採用最小相関値Ｖｍｉｎを示す画素の位置Ｐｍｉｎが特定される。例えば、採用最小相関値Ｖｍｉｎとして候補最小相関値ＶAが選択された場合は、位置ＰAが位置Ｐｍｉｎとなる。 When the adopted minimum correlation value Vmin is selected in step S17, the pixel position Pmin indicating the adopted minimum correlation value Vmin is specified in step S18. For example, when the candidate minimum correlation value V A is selected as the adopted minimum correlation value Vmin, the position P A becomes the position Pmin.

ステップＳ１７及びＳ１８で採用最小相関値Ｖｍｉｎ及び位置Ｐｍｉｎが特定されると、ステップＳ２１に移行する。ステップＳ２１〜Ｓ２６では、検出領域Ｅkの有効又は無効が判定されると共に検出領域Ｅkの領域動きベクトルＭkが算出される。各ステップの処理内容を詳細に説明する。 When the adopted minimum correlation value Vmin and the position Pmin are specified in steps S17 and S18, the process proceeds to step S21. In step S21 to S26, the detection region E k valid or invalid region motion vector M k of the detection region E k with it is determined is calculated. The processing contents of each step will be described in detail.

ステップＳ２１では、類似模様有無判定部１６３（図２９参照）が、検出領域Ｅk内に類似した模様が存在していないかを判定する。類似模様が存在している場合は、当該検出領域Ｅkについて算出される領域動きベクトルの信頼性は低い（即ち、領域動きベクトルＭkは検出領域Ｅk内の画像の動きを精度良く表していない）。従って、この場合は、検出領域Ｅkを無効とする（ステップＳ２６）。ステップＳ２１の判定は、ステップＳ１７の処理結果に基づいて実施される。即ち、図２８のステップＳ１１２に至って採用最小相関値Ｖｍｉｎが選択された場合は、類似模様は存在していないと判断してステップＳ２１からステップＳ２２に移行する。一方、図２８のステップＳ１１１に至って採用最小相関値Ｖｍｉｎが選択されなかった場合は、類似模様が存在していると判断してステップＳ２１からステップＳ２６に移行し、検出領域Ｅkを無効とする。 In step S21, it determines whether similar pattern determining unit 163 (see FIG. 29), but is similar to the pattern in the detection region E k exist. When a similar pattern exists, the reliability of the region motion vector calculated for the detection region E k is low (that is, the region motion vector M k accurately represents the motion of the image in the detection region E k . Absent). Therefore, in this case, the detection area E k is invalidated (step S26). The determination in step S21 is performed based on the processing result in step S17. That is, when the adopted minimum correlation value Vmin is selected in step S112 in FIG. 28, it is determined that there is no similar pattern, and the process proceeds from step S21 to step S22. On the other hand, if the adopted minimum correlation value Vmin is not selected after reaching step S111 in FIG. 28, it is determined that a similar pattern exists, the process proceeds from step S21 to step S26, and the detection region Ek is invalidated. .

ステップＳ２２では、コントラスト判定部１６１（図２９参照）が、検出領域Ｅk内の画像のコントラストが低いか否かを判定する。コントラストが低い場合は、正確な領域動きベクトルの検出は困難であるため、検出領域Ｅkを無効とする。具体的には、累積相関値の平均値Ｖａｖｅが所定の閾値ＴＨ１以下であるかを判断する。そして、不等式「Ｖａｖｅ≦ＴＨ１」が成立する場合はコントラストが低いと判断してステップＳ２６に移行し検出領域Ｅkを無効とする。この判断は、画像のコントラストが低い場合（例えば、画像全体が白い場合）には、輝度差が小さいので累積相関値が全体的に小さくなるという原理に基づいている。一方、不等式「Ｖａｖｅ≦ＴＨ１」が成立しない場合は、コントラストは低くないと判断してステップＳ２３に移行する。尚、閾値ＴＨ１は、実験を介して適切な値に設定される。 In step S22, it determines the contrast determination unit 161 (see FIG. 29), whether the contrast of the image within the detection region E k is low. When the contrast is low, it is difficult to accurately detect the region motion vector, and thus the detection region E k is invalidated. Specifically, it is determined whether the average value Vave of the cumulative correlation values is equal to or less than a predetermined threshold value TH1. If the inequality “Vave ≦ TH1” is satisfied, it is determined that the contrast is low, and the process proceeds to step S26 to invalidate the detection region E k . This determination is based on the principle that when the contrast of the image is low (for example, when the entire image is white), the accumulated correlation value is generally reduced because the luminance difference is small. On the other hand, if the inequality “Vave ≦ TH1” is not satisfied, it is determined that the contrast is not low, and the process proceeds to step S23. The threshold value TH1 is set to an appropriate value through experiments.

ステップＳ２３では、複数動き有無判定部１６２（図２９参照）が、検出領域Ｅk内に複数の動きがあるか否かを判定する。検出領域Ｅk内に手ぶれとは関係のない動く物体等が存在する場合は、検出領域Ｅk内に複数の動きがあると判断されることになる。複数の動きがある場合は、正確な領域動きベクトルの検出は困難であるため、検出領域Ｅkを無効とする。具体的には、不等式「Ｖａｖｅ／Ｖｍｉｎ≦ＴＨ２」が成立するか否かを判断し、該不等式が成立する場合は複数の動きがあると判断してステップＳ２６に移行し検出領域Ｅkを無効とする。この判断は、複数の動きがある場合には完全なマッチング位置がないため、累積相関値の最小値が大きくなるという原理に基づいている。また、平均値Ｖａｖｅを除算することによって、この判断が被写体のコントラストに依存しないようにしている。一方、不等式「Ｖａｖｅ／Ｖｍｉｎ≦ＴＨ２」が成立しない場合は、複数の動きがないと判断してステップＳ２４に移行する。尚、閾値ＴＨ２は、実験を介して適切な値に設定される。 In step S23, it determines a plurality movement determining unit 162 (see FIG. 29), whether there is a plurality of motion in the detection region E k. If an object such as a moving nothing to do with camera shake in the detection region E k is present, it will be judged that there is a plurality of motion in the detection region E k. When there are a plurality of motions, it is difficult to detect an accurate region motion vector, and thus the detection region E k is invalidated. Specifically, it is determined whether or not the inequality “Vave / Vmin ≦ TH2” is satisfied. If the inequality is satisfied, it is determined that there are a plurality of movements, and the process proceeds to step S26 to invalidate the detection region E k . And This determination is based on the principle that the minimum value of the cumulative correlation value becomes large because there is no perfect matching position when there are a plurality of movements. Also, by dividing the average value Vave, this determination is made independent of the contrast of the subject. On the other hand, if the inequality “Vave / Vmin ≦ TH2” is not satisfied, it is determined that there is no plurality of movements, and the process proceeds to step S24. The threshold value TH2 is set to an appropriate value through experiments.

ステップＳ２４では、図２０（図２９）に示す領域動きベクトル算出回路１４２が、真のマッチング位置を表す位置Ｐｍｉｎに基づいて、領域動きベクトルＭkを算出する。例えば、位置ＰAが位置Ｐｍｉｎである場合は、画像上の位置ＰAを特定する位置情報（画素位置（ｉA，ｊA）を特定する情報）に基づいて領域動きベクトルＭkを算出する。より具体的には、検出領域Ｅkの任意の小領域ｅにおいて、代表点Ｒの位置から採用最小相関値Ｖｍｉｎを示す位置Ｐｍｉｎ（ＰA、ＰB、ＰC又はＰD）に向かう偏移の向き及び大きさを、領域動きベクトルＭkの向き及び大きさとする。 In step S24, the region motion vector calculation circuit 142 shown in FIG. 20 (FIG. 29) calculates a region motion vector M k based on the position Pmin representing the true matching position. For example, when the position P A is the position Pmin, the region motion vector M k is calculated based on position information (information specifying the pixel position (i A , j A )) specifying the position P A on the image. . More specifically, in an arbitrary small region e of the detection region E k , a shift from the position of the representative point R toward the position Pmin (P A , P B , P C or P D ) indicating the adopted minimum correlation value Vmin. Is the direction and size of the region motion vector M k .

そして、ステップＳ２４に続くステップＳ２５では、検出領域Ｅkを有効とし、ステップＳ３１に移行する。他方、ステップＳ２１等から移行しうるステップＳ２６では、上述の如く検出領域Ｅkを無効とし、ステップＳ３１に移行する。ステップＳ３１では、変数ｋに１が加算され、続いてステップＳ３２で変数ｋが９より大きくなっているかが判断される。「ｋ＞９」が成立しない場合はステップＳ１２に移行し、他の検出領域に関してステップＳ１２等の処理が繰り返される。「ｋ＞９」が成立する場合は、検出領域Ｅ1〜Ｅ9の全てに関してステップＳ１２等の処理が実施されたことになるため、図２６のステップＳ４１に移行する。 In step S25 following step S24, the detection area E k is validated, and the process proceeds to step S31. On the other hand, in step S26 that can be shifted from step S21 or the like, the detection area E k is invalidated as described above, and the flow shifts to step S31. In step S31, 1 is added to the variable k. Subsequently, in step S32, it is determined whether the variable k is greater than 9. When “k> 9” is not established, the process proceeds to step S12, and the process of step S12 and the like is repeated for other detection areas. When “k> 9” is established, the process of step S12 and the like has been performed for all of the detection areas E 1 to E 9 , and thus the process proceeds to step S41 in FIG.

図２６のステップＳ４１〜Ｓ４９では、領域動きベクトルＭk（１≦ｋ≦９）に基づく全体動きベクトルＭを算出処理及び全体動きベクトルＭの有効性判定処理が行われる。 In steps S41 to S49 in FIG. 26, a calculation process for the entire motion vector M based on the region motion vector M k (1 ≦ k ≦ 9) and a validity determination process for the entire motion vector M are performed.

ステップＳ４１では、図２５のステップＳ２５及びＳ２６の処理結果に基づき、有効とされた検出領域（以下、「有効領域」という）の数が０であるか否かを判定する。有領領域が１以上存在する場合にはステップＳ４２に移行して、有効領域の領域動きベクトルＭkを抽出し、更にステップＳ４３にて、有効領域の領域動きベクトルＭkを平均化することにより、それらの平均ベクトルＭａｖｅを算出する。 In step S41, based on the processing results in steps S25 and S26 of FIG. 25, it is determined whether or not the number of valid detection areas (hereinafter referred to as “effective areas”) is zero. If one or more area is present, the process proceeds to step S42, where the area motion vector M k of the effective area is extracted, and further, the area motion vector M k of the effective area is averaged in step S43. The average vector Mave thereof is calculated.

ステップＳ４３に続くステップＳ４４では、領域動きベクトル類似性判定部１７２（図２９参照）が、有効領域の領域動きベクトルＭkの類似性を判定する。換言すれば、有効領域間での領域動きベクトルＭkのばらつきＡを評価することにより、有効領域間で動きの異なる物体が存在していないかを判定する。具体的には、下式（１−１）に基づいて、ばらつきＡを算出する。 In step S44 following step S43, the region motion vector similarity determination unit 172 (see FIG. 29) determines the similarity of the region motion vector M k of the effective region. In other words, by evaluating the variation A of the region motion vector M k between the effective regions, it is determined whether there is an object with different motion between the effective regions. Specifically, the variation A is calculated based on the following equation (1-1).

そして、ばらつきＡが閾値ＴＨ３以上であるか否かを判定する。ばらつきＡが閾値ＴＨ３未満であればステップＳ４５に移行し、画像全体の動きベクトル（全体動きベクトル）ＭをステップＳ４３で算出された平均ベクトルＭａｖｅとしてステップＳ４７に移行する。   Then, it is determined whether or not the variation A is greater than or equal to the threshold value TH3. If the variation A is less than the threshold TH3, the process proceeds to step S45, and the motion vector (overall motion vector) M of the entire image is set as the average vector Mave calculated in step S43, and the process proceeds to step S47.

尚、式（１−１）において、［｛｜Ｍk−Ｍａｖｅ｜／（Ｍａｖｅのノルム）｝の総和］は、有効領域ごとに算出された｛｜Ｍk−Ｍａｖｅ｜／（Ｍａｖｅのノルム）｝を、全ての有効領域について合算した値に相当する。また、図２９に示す検出領域有効数算出部１７３は、有効領域の数を算出する。 In Expression (1-1), [{| M k -Mave | / ( norm Mave)} sum of] is calculated for each valid region {| M k -Mave | / (norm Mave) } Corresponds to a value obtained by adding up all the effective areas. Also, the detection area effective number calculation unit 173 shown in FIG. 29 calculates the number of effective areas.

ばらつきＡが閾値ＴＨ３以上の場合は、有効領域の領域動きベクトルＭkの類似性が低く、それに基づいて算出される全体動きベクトルの信頼性は低いと考えられる。このため、ばらつきＡが閾値ＴＨ３以上の場合は（ステップＳ４４のＮ）、ステップＳ４６に移行し、全体動きベクトルＭを０としてステップＳ４７に移行する。また、ステップＳ４１において有効領域の数が０であると判定された場合もステップＳ４６にて全体動きベクトルＭが０とされ、ステップＳ４７に移行する。 When the variation A is greater than or equal to the threshold value TH3, it is considered that the similarity of the region motion vector M k of the effective region is low, and the reliability of the entire motion vector calculated based on the similarity is low. For this reason, when the variation A is equal to or greater than the threshold TH3 (N in step S44), the process proceeds to step S46, and the entire motion vector M is set to 0, and the process proceeds to step S47. If it is determined in step S41 that the number of valid areas is 0, the entire motion vector M is set to 0 in step S46, and the process proceeds to step S47.

ステップＳ４７では、全体動きベクトルの履歴データＭｎに今回得られた全体動きベクトルＭを追加する。上述したように、図２５及び図２６に示す各処理は、シャッタボタンが押下されたか否かに関わらず、手ぶれ補正撮影モードにおいて逐次行われており、ステップＳ４５又はＳ４６にて得られた全体動きベクトルＭは、順次、全体動きベクトルの履歴データＭｎに格納されていく。尚、シャッタボタンの１回の押下に対して、複数の分割露光画像と複数の全体動きベクトルＭが得られるが、後述のパン・チルト判定処理の便宜上、履歴データＭｎに追加されるのは、その複数の全体動きベクトルＭの内の１つだけとする（但し、その複数の動きベクトルＭの全てを履歴データＭｎに追加することも可能である）。   In step S47, the overall motion vector M obtained this time is added to the history data Mn of the overall motion vector. As described above, the processes shown in FIGS. 25 and 26 are sequentially performed in the camera shake correction shooting mode regardless of whether the shutter button is pressed or not, and the entire movement obtained in step S45 or S46. The vector M is sequentially stored in the history data Mn of the entire motion vector. A plurality of divided exposure images and a plurality of overall motion vectors M are obtained for a single press of the shutter button. For convenience of pan / tilt determination processing described later, It is assumed that only one of the plurality of overall motion vectors M (however, all of the plurality of motion vectors M can be added to the history data Mn).

ステップＳ４７に続くステップＳ４８では、パン・チルト判定部１７１（図２９参照）が、履歴データＭｎに基づいてデジタルカメラ１がパン・チルト状態にあるかを判定する。「パン・チルト状態」とは、デジタルカメラ１がパン又はチルトしている状態、を意味する。パン（パンニング）とは、デジタルカメラ１の筐体を左右方向（即ち、ヨー方向）に振ることを意味し、チルト（チルティング）とは、デジタルカメラ１の筐体を上下方向（即ち、ピッチ方向）に振ることを意味する。デジタルカメラ１がパン又はチルトしている状態にあるかを判定する手法としては、例えば、特開２００６−７４６９３号公報に記載の手法又は本出願人が提案する特願２００６−９１２８５号に記載の手法を用いればよい。   In step S48 following step S47, the pan / tilt determination unit 171 (see FIG. 29) determines whether the digital camera 1 is in the pan / tilt state based on the history data Mn. The “pan / tilt state” means a state in which the digital camera 1 is panning or tilting. Pan (panning) means that the housing of the digital camera 1 is shaken in the left-right direction (ie, yaw direction), and tilt (tilting) means that the housing of the digital camera 1 is moved in the up-down direction (ie, pitch). ). As a method for determining whether the digital camera 1 is in a panning or tilting state, for example, a method described in Japanese Patent Application Laid-Open No. 2006-74693 or Japanese Patent Application No. 2006-91285 proposed by the present applicant is used. A technique may be used.

例えば、次の第１条件又は第２条件を満たした場合に、「手ぶれ状態」から「パン・チルト状態」へ遷移したと判断する（「手ぶれ状態」は、「パン・チルト状態」に含まれない）。
第１条件は、「全体動きベクトルＭが垂直方向（上下方向）又は水平方向（左右方向）の同一方向に連続している回数が所定回数以上である」という条件である。
第２条件は、「上記同一方向に連続している全体動きベクトルＭの大きさの積分値がデジタルカメラ１の画角の一定割合以上である」という条件である。 For example, when the following first condition or second condition is satisfied, it is determined that the “camera shake state” has transitioned to the “pan / tilt state” (the “camera shake state” is included in the “pan / tilt state”). Absent).
The first condition is a condition that “the number of times that the entire motion vector M continues in the same direction in the vertical direction (up and down direction) or the horizontal direction (left and right direction) is a predetermined number or more”.
The second condition is a condition that “the integrated value of the magnitudes of the entire motion vectors M continuous in the same direction is equal to or greater than a certain ratio of the angle of view of the digital camera 1”.

そして例えば、次の第３条件又は第４条件を満たした場合に、「パン・チルト状態」から「手ぶれ状態」へ遷移したと判断する。
第３条件は、「全体動きベクトルの大きさが０．５画素以下である状態が連続して所定回数（例えば１０回）以上継続した」という条件である
第４条件は、「「手ぶれ状態」から「パン・チルト状態」へ遷移したときの全体動きベクトルＭに対して方向が反対の全体動きベクトルＭが所定回数（例えば１０回）以上連続して得られた」という条件である。 For example, when the following third condition or fourth condition is satisfied, it is determined that the “pan / tilt state” has changed to the “shake state”.
The third condition is a condition that “a state in which the size of the entire motion vector is 0.5 pixels or less continues for a predetermined number of times (for example, 10 times or more)”. The fourth condition is “the state of camera shake” The overall motion vector M having the opposite direction to the overall motion vector M at the time of transition from the “pan / tilt state” to the “pan / tilt state” has been continuously obtained a predetermined number of times (for example, 10 times) ”.

第１〜第４条件の成立／不成立は、履歴データＭｎに含まれる今回得られた全体動きベクトルＭと過去の全体動きベクトルＭと、に基づいて判断される。「パン・チルト状態」にあるか否かの判定結果は、図３のマイコン２０に伝達される。   Whether the first to fourth conditions are satisfied or not is determined based on the overall motion vector M obtained this time and the past overall motion vector M included in the history data Mn. The determination result as to whether or not it is in the “pan / tilt state” is transmitted to the microcomputer 20 in FIG.

ステップＳ４８の判定処理を終えると、ステップＳ４９に移行する。ステップＳ４９では、全体動きベクトル有効性判定部１７０（図２９参照）が、ステップＳ４１〜Ｓ４８の処理結果に基づいて、今回得られた全体動きベクトルＭが有効であるか否かを判定する。   When the determination process in step S48 is completed, the process proceeds to step S49. In step S49, the overall motion vector validity determination unit 170 (see FIG. 29) determines whether or not the overall motion vector M obtained this time is valid based on the processing results in steps S41 to S48.

具体的には、「ステップＳ４１で有効領域の数が０であると判定されてステップＳ４６に至った場合」、或いは、「ステップＳ４４で有効領域の領域動きベクトルＭkの類似性が低いと判定されてステップＳ４６に至った場合」、或いは、「ステップＳ４８でパン・チルト状態にあると判定された場合」は、今回得られた全体動きベクトルＭは無効とされ、そうでない場合は、今回得られた全体動きベクトルＭは有効とされる。 Specifically, “when it is determined in step S41 that the number of effective areas is 0 and the process reaches step S46” or “in step S44, it is determined that the similarity of the area motion vectors M k of the effective areas is low. If the result of step S46 is reached "or" if it is determined in step S48 that the camera is in the pan / tilt state ", the overall motion vector M obtained this time is invalidated. The obtained entire motion vector M is made valid.

パン又はチルト操作時には、手ぶれ量が大きく対比する画像間の偏移が小領域ｅのサイズに応じた動き検出範囲を超えてしまうため、正確な動きベクトルを検出することができない。このため、パン・チルト状態にあると判定された場合には全体動きベクトルＭを無効とする。   At the time of panning or tilting, the shift between images with a large amount of camera shake exceeds the motion detection range corresponding to the size of the small area e, and thus an accurate motion vector cannot be detected. For this reason, when it is determined that the camera is in the pan / tilt state, the entire motion vector M is invalidated.

上述のようにして求められた全体動きベクトルＭ及び該全体動きベクトルＭが有効であるか或いは無効であるかを特定する情報は、図３の座標変換回路３３に与えられる。   The overall motion vector M obtained as described above and information specifying whether the overall motion vector M is valid or invalid are given to the coordinate conversion circuit 33 in FIG.

手ぶれ補正撮影モードにおいてシャッタボタンが押下げられた際においては、図２５及び図２６の処理を繰り返すことにより、各分割露光画像について全体動きベクトルＭが検出されると共に各全体動きベクトルＭの有効／無効が評価され、その有効／無効の評価に従って各分割露光画像が加算合成される。   When the shutter button is pressed in the camera shake correction photographing mode, the entire motion vector M is detected for each divided exposure image by repeating the processes in FIGS. Invalidity is evaluated, and each divided exposure image is added and synthesized according to the evaluation of validity / invalidity.

この際、全体動きベクトルＭの信頼度に基づく比率（画素混合比）にて各分割露光画像の加算合成が行われる。全体動きベクトルＭの信頼度は、図２９の信頼度算出部１７４によって算出される。   At this time, each of the divided exposure images is added and combined at a ratio (pixel mixture ratio) based on the reliability of the entire motion vector M. The reliability of the entire motion vector M is calculated by the reliability calculation unit 174 in FIG.

［信頼度（画素混合比）の算出手法］
以下、この信頼度の算出手法にて詳細に説明する。今、説明の具体化のため、露光分割数Ｎが４であるものとする。従って、シャッタボタンの押下に応じて、１番目、２番目、３番目、４番目の分割露光画像（以下、夫々を、「第１、第２、第３及び第４画像」と略記することがある）が得られるものとする。図３０に、信頼度の算出に関与する各値を表として表す。 [Method of calculating reliability (pixel mixture ratio)]
Hereinafter, this reliability calculation method will be described in detail. For the sake of concrete explanation, it is assumed that the number N of exposure divisions is four. Accordingly, the first, second, third, and fourth divided exposure images (hereinafter referred to as “first, second, third, and fourth images”, respectively) in response to pressing of the shutter button. Is obtained). FIG. 30 shows each value related to the calculation of the reliability as a table.

上述したように、本実施例では、第１画像が基準画像として取り扱われることになる。ｉを２、３又は４とした場合、基準画像（第１画像）と第ｉ画像との間における、
有効領域（最大９つ）についての各採用最小相関値Ｖｍｉｎの平均値をＶｍｉｎ［ｉ］とし、
有効領域（最大９つ）についての各平均値Ｖａｖｅの平均値をＶａｖｅ［ｉ］とし、
有効領域（最大９つ）についての各「候補最小相関値の個数Ｎｆ」の平均値をＮｆ［ｉ］とし、
有効領域数（有効領域の個数）をＮｖａｌ［ｉ］とする。 As described above, in the present embodiment, the first image is handled as the reference image. When i is 2, 3 or 4, between the reference image (first image) and the i-th image,
The average value of the adopted minimum correlation values Vmin for the effective area (maximum 9) is Vmin [i],
The average value of each average value Vave for the effective area (up to 9) is Vave [i],
The average value of each “number of candidate minimum correlation values Nf” for the effective region (maximum 9) is Nf [i],
The number of effective areas (the number of effective areas) is Nval [i].

例えば、第１画像と第２画像との間に関し、図２５のステップＳ２５及びＳ２６にて検出領域Ｅ2とＥ7のみが有効と判断された場合、
第２画像に関するＶｍｉｎ［２］は、検出領域Ｅ2についての採用最小相関値Ｖｍｉｎと検出領域Ｅ7についての採用最小相関値Ｖｍｉｎとの平均値であり、
第２画像に関するＶａｖｅ［２］は、検出領域Ｅ2についての累積相関値の平均値Ｖａｖｅと検出領域Ｅ7についての累積相関値の平均値Ｖａｖｅとの平均値であり、
第２画像に関するＮｆ［２］は、検出領域Ｅ2についての候補最小相関値の個数Ｎｆと検出領域Ｅ7についての候補最小相関値の個数Ｎｆとの平均値であり、
第２画像に関するＮｖａｌ［２］は、有効と判断された検出領域Ｅ2とＥ7の個数、即ち、２である。 For example, when it is determined that only the detection areas E 2 and E 7 are valid in steps S25 and S26 of FIG. 25 with respect to the first image and the second image,
Vmin [2] related to the second image is an average value of the adopted minimum correlation value Vmin for the detection region E 2 and the adopted minimum correlation value Vmin for the detection region E 7 ,
Vave [2] relating to the second image is an average value of the average value Vave of the cumulative correlation values for the detection region E 2 and the average value Vave of the cumulative correlation values for the detection region E 7 ,
Nf [2] relates to the second image, an average value of the number Nf of the candidate minimum correlation value for the number Nf and the detection region E 7 candidate minimum correlation value of the detection area E 2,
Nval [2] relating to the second image is the number of detection areas E 2 and E 7 determined to be valid, that is, 2.

第１画像は基準画像であるため、第２画像等のように、Ｖｍｉｎ［ｉ］等を定義することができない。そのため、第１画像に関する各値Ｖｍｉｎ［１］、Ｖａｖｅ［１］、Ｎｆ［１］及びＮｖａｌ［１］を、図３０に示すように定義する。即ち、Ｖｍｉｎ［２］とＶｍｉｎ［３］とＶｍｉｎ［４］の最小値をＶｍｉｎ［１］とし、Ｖａｖｅ［２］とＶａｖｅ［３］とＶａｖｅ［４］の最大値をＶａｖｅ［１］とし、Ｎｆ［２］とＮｆ［３］とＮｆ［４］の最小値をＮｆ［１］とし、Ｎｖａｌ［２］とＮｖａｌ［３］とＮｖａｌ［４］の最大値をＮｖａｌ［１］とする。   Since the first image is a reference image, Vmin [i] and the like cannot be defined as in the second image. Therefore, the values Vmin [1], Vave [1], Nf [1] and Nval [1] related to the first image are defined as shown in FIG. That is, the minimum value of Vmin [2], Vmin [3], and Vmin [4] is Vmin [1], and the maximum value of Vave [2], Vave [3], and Vave [4] is Vave [1], The minimum value of Nf [2], Nf [3], and Nf [4] is Nf [1], and the maximum value of Nval [2], Nval [3], and Nval [4] is Nval [1].

信頼度算出部１７４は、上述のように定義される各値を算出することによって、各画像の全体動きベクトルＭの信頼度を算出する。第ｉ画像の全体動きベクトルＭの信頼度をＢ［ｉ］にて表す。０≦Ｂ［ｉ］≦１、が成立するように各信頼度は算出される。第１画像は基準画像であるため、第１画像に対する第１画像の全体動きベクトルＭは存在しないが（無意味であるが）、上述の如く定義されたＶｍｉｎ［１］等を参照して、第１画像に関する信頼度Ｂ［１］も算出される（算出式は後述）。   The reliability calculation unit 174 calculates the reliability of the entire motion vector M of each image by calculating each value defined as described above. The reliability of the entire motion vector M of the i-th image is represented by B [i]. Each reliability is calculated so that 0 ≦ B [i] ≦ 1. Since the first image is a reference image, the overall motion vector M of the first image with respect to the first image does not exist (which is meaningless), but referring to Vmin [1] defined as described above, The reliability B [1] related to the first image is also calculated (the calculation formula will be described later).

後述の説明から明らかとなるが、信頼度Ｂ［ｉ］は、第１〜第４画像を合成して合成画像（１枚の静止画像）を生成する際における第ｉ画像の画素混合比として利用され、信頼度Ｂ［ｉ］が大きくなるほど、合成画像に対する第ｉ画像の画素値の寄与率は大きくなる。従って、信頼度Ｂ［ｉ］は、「第１〜第４画像を合成して合成画像を生成する際における第ｉ画像の画素混合比（画像加算比率）」、或いは、「合成画像に対する第ｉ画像の画素値の寄与率」と言い換えることもできる。   As will be apparent from the description below, the reliability B [i] is used as a pixel mixture ratio of the i-th image when the first to fourth images are combined to generate a combined image (one still image). As the reliability B [i] increases, the contribution ratio of the pixel value of the i-th image to the composite image increases. Therefore, the reliability B [i] is “the pixel mixture ratio (image addition ratio) of the i-th image when the first to fourth images are combined to generate a combined image” or “the i-th to the combined image”. In other words, the contribution ratio of the pixel value of the image.

信頼度Ｂ［ｉ］は、
累積相関値の最小値又は該最小値に近い累積相関値に依存するＶｍｉｎ［ｉ］、に基づく評価値ＢVmin[i]と、
累積相関値の平均値に依存するＶａｖｅ［ｉ］、に基づく評価値ＢVave[i]と、
累積相関値の最小値の個数又は該最小値に近い累積相関値の個数に依存するＮｆ［ｉ］、に基づく評価値ＢNf[i]と、
有効領域数に依存するＮｖａｌ［ｉ］、に基づく評価値ＢNval[i]と、に基づいて算出される。 The reliability B [i] is
An evaluation value B Vmin [i] based on the minimum value of the cumulative correlation value or Vmin [i] depending on the cumulative correlation value close to the minimum value;
Evaluation value B Vave [i] based on Vave [i], which depends on the average value of the cumulative correlation values,
An evaluation value B Nf [i] based on Nf [i] depending on the number of minimum values of cumulative correlation values or the number of cumulative correlation values close to the minimum value;
It is calculated based on the evaluation value B Nval [i] based on Nval [i] depending on the number of effective areas.

具体的には、各評価値に重み付け係数をかけて加算することにより、信頼度Ｂ［ｉ］を算出する。つまり、下記式（１−２）に従って信頼度Ｂ［ｉ］を算出する。式（１−２）及び後述する各式において、ｉは１〜４の間の各整数をとる。信頼度Ｂ［ｉ］は、第１〜第４画像を合成して合成画像を生成する際における第ｉ画像の画素混合比として利用されるため、各評価値が大きくなるにつれて、合成画像に対する第ｉ画像の画素値の寄与率は増大する。   Specifically, the reliability B [i] is calculated by adding a weighting coefficient to each evaluation value. That is, the reliability B [i] is calculated according to the following formula (1-2). In Formula (1-2) and each formula described later, i is an integer between 1 and 4. The reliability B [i] is used as the pixel mixture ratio of the i-th image when the first to fourth images are combined to generate the combined image, and therefore the reliability B [i] The contribution rate of the pixel value of the i image increases.

ここで、ＷVmin、ＷVave、ＷNf、ＷNvalは、重み付け係数である。各重み付け係数は、実験を介して適切な値（０以上１以下の値）に設定される。各重み付け係数の合計は、下記式（１−３）に示す如く、１とされる。本実施例では、例えば、ＷVmin、ＷVave、ＷNf、ＷNvalを、夫々、０．４、０．２、０．１、０．３、とした。 Here, W Vmin , W Vave , W Nf , and W Nval are weighting coefficients. Each weighting coefficient is set to an appropriate value (a value between 0 and 1) through experiments. The sum of each weighting coefficient is set to 1 as shown in the following formula (1-3). In this embodiment, for example, W Vmin , W Vave , W Nf , and W Nval are set to 0.4, 0.2, 0.1, and 0.3, respectively.

各評価値の算出法について説明する。第１に、評価値ＢVmin[i]の算出法について説明する。第ｉ画像と基準画像の類似度が高いほど、第ｉ画像について算出された全体動きベクトルＭの信頼性は高い（動きベクトルを正確に検出できている可能性が高い）。一方において、基準画像に対して、第ｉ画像の類似度が高いとＶｍｉｎ［ｉ］は小さくなる。そこで、基準画像との類似度の指標となるＶｍｉｎ［ｉ］から評価値ＢVmin[i]を算出する。具体的には、下記式（１−４）に従って評価値ＢVmin[i]を算出する。これにより、基準画像との類似度が高いことに起因してＶｍｉｎ［ｉ］が小さい画像ほど大きな評価値ＢVmin[i]が算出され、その結果、合成画像に対する、その画像の画素混合比は大きくなる。 A method for calculating each evaluation value will be described. First, a method for calculating the evaluation value B Vmin [i] will be described. The higher the similarity between the i-th image and the reference image, the higher the reliability of the entire motion vector M calculated for the i-th image (there is a high possibility that the motion vector can be accurately detected). On the other hand, if the similarity of the i-th image is high with respect to the reference image, Vmin [i] becomes small. Therefore, an evaluation value B Vmin [i] is calculated from Vmin [i], which is an index of similarity with the reference image. Specifically, the evaluation value B Vmin [i] is calculated according to the following formula (1-4). As a result, a larger evaluation value B Vmin [i] is calculated for an image having a smaller Vmin [i] due to the higher degree of similarity to the reference image. As a result, the pixel mixture ratio of the image to the composite image is growing.

第２に、評価値ＢVave[i]の算出法について説明する。画像のエッジ（又はコントラスト）が鮮明なほど、手ぶれ、被写体ぶれ、ピントのずれ等に由来する画像中のぼけが少なく、全体動きベクトルＭを正確に検出できる可能性が高い。一方において、第ｉ画像のエッジ強度が大きいとＶａｖｅ［ｉ］は大きくなる。そこで、画像のエッジ強度の指標となるＶａｖｅ［ｉ］から評価値ＢVave[i]を算出する。具体的には、下記式（１−５）に従って評価値ＢVave[i]を算出する。これにより、画像のエッジ強度が強いことに起因してＶａｖｅ［ｉ］が大きい画像ほど大きな評価値ＢVave[i]が算出され、その結果、合成画像に対する、その画像の画素混合比は大きくなる。 Second, a method for calculating the evaluation value B Vave [i] will be described. The clearer the edge (or contrast) of the image, the lower the blur in the image due to camera shake, subject blur, out-of-focus, etc., and the higher the possibility that the entire motion vector M can be detected accurately. On the other hand, when the edge strength of the i-th image is large, Vave [i] increases. Therefore, the evaluation value B Vave [i] is calculated from Vave [i], which is an index of the edge strength of the image. Specifically, the evaluation value B Vave [i] is calculated according to the following formula (1-5). As a result, an image having a larger Vave [i] due to a higher edge strength of the image is calculated to have a larger evaluation value B Vave [i] , and as a result, the pixel mixture ratio of the image with respect to the composite image is increased. .

第３に、評価値ＢNf[i]の算出法について説明する。対比する画像間に存在する類似模様が少ないほど、全体動きベクトルＭの信頼性は高い（動きベクトルを正確に検出できている可能性が高い）。一方において、類似模様が増加するとＮｆ［ｉ］は増加する傾向にある。そこで、類似模様の存在の指標となるＮｆ［ｉ］から評価値ＢNf[i]を算出する。具体的には、下記式（１−６）に従って評価値ＢNf[i]を算出する。これにより、類似模様が少ないことに起因してＮｆ［ｉ］が小さい画像ほど大きな評価値ＢNf[i]が算出され、その結果、合成画像に対する、その画像の画素混合比は大きくなる。 Third, a method for calculating the evaluation value B Nf [i] will be described. The fewer the similar patterns that exist between the contrasted images, the higher the reliability of the entire motion vector M (there is a high possibility that the motion vector can be accurately detected). On the other hand, Nf [i] tends to increase as the number of similar patterns increases. Therefore, an evaluation value B Nf [i] is calculated from Nf [i], which is an index of the presence of a similar pattern. Specifically, the evaluation value B Nf [i] is calculated according to the following formula (1-6). As a result, the smaller the Nf [i] is, the smaller the similar pattern is, and the larger the evaluation value B Nf [i] is calculated. As a result, the pixel mixture ratio of the image with respect to the composite image increases.

第４に、評価値ＢNval[i]の算出法について説明する。有効領域（有効な検出領域）の数が多いほど、全体動きベクトルＭを正確に検出できる可能性が高い。そこで、有効領域数を表すＮｖａｌ［ｉ］から評価値ＢNval[i]を算出する。具体的には、下記式（１−７）に従って評価値ＢNval[i]を算出する。これにより、有効領域数が多いことに起因してＮｖａｌ［ｉ］が大きい画像ほど大きな評価値ＢNval[i]が算出され、その結果、合成画像に対する、その画像の画素混合比は大きくなる。 Fourth, a method for calculating the evaluation value B Nval [i] will be described. The greater the number of effective regions (effective detection regions), the higher the possibility that the entire motion vector M can be detected accurately. Therefore, an evaluation value B Nval [i] is calculated from Nval [i] representing the number of effective areas. Specifically, the evaluation value B Nval [i] is calculated according to the following formula (1-7). As a result, a larger evaluation value B Nval [i] is calculated for an image having a larger Nval [i] due to the larger number of effective areas, and as a result, the pixel mixture ratio of the image with respect to the composite image increases.

上記式（１−２）に従い、各評価値に基づいて算出された信頼度Ｂ［ｉ］は、図３の画像加算回路３４に与えられ、合成画像を合成する際における第ｉ画像の画素混合比（画像加算比率）として利用される。   The reliability B [i] calculated based on each evaluation value according to the above equation (1-2) is given to the image addition circuit 34 in FIG. 3, and the pixel mixture of the i-th image when the synthesized image is synthesized. It is used as a ratio (image addition ratio).

［画像合成処理について］
次に、手ぶれ補正撮影モードにてシャッタボタンを押下した場合における、図３の画像合成回路３６の動作について説明する。 [Image composition processing]
Next, the operation of the image composition circuit 36 in FIG. 3 when the shutter button is pressed in the camera shake correction photographing mode will be described.

座標変換回路３３は、動き検回路３２にて算出された各全体動きベクトルＭに基づいて、各分割露光画像の位置合わせを行う。この際、図２６のステップＳ４９にて無効と判断された全体動きベクトルＭはゼロとされる（大きさがゼロのベクトルとされる）。   The coordinate conversion circuit 33 aligns each divided exposure image based on each whole motion vector M calculated by the motion detection circuit 32. At this time, the entire motion vector M determined to be invalid in step S49 in FIG. 26 is set to zero (a vector having a magnitude of zero).

具体的には、座標変換回路３３は、各全体動きベクトルＭに基づいて、基準画像である第１画像における画像座標（ｘ1，ｙ1）から第ｉ画像における画像座標（ｘi，ｙi）への座標変換式（１−８ａ）の変換行列Ｈiを求める。変換行列Ｈiは、下記式（１−８ｂ）にて表される。 Specifically, the coordinate conversion circuit 33, based on each whole motion vector M, from the image coordinates (x 1 , y 1 ) in the first image as the reference image to the image coordinates (x i , y i ) in the i-th image. ) To obtain the transformation matrix H i of the coordinate transformation formula (1-8a). The transformation matrix H i is represented by the following formula (1-8b).

図３１に、変換行列Ｈiを用いた座標変換の様子を示す。第１画像における画像座標（ｘ1，ｙ1）と第ｉ画像における画像座標（ｘi，ｙi）との偏移は、第１画像に対する第ｉ画像の全体動きベクトルＭによって表される（ｉ＝２、３、４）。第１画像についての変換行列Ｈ1に関しては、当然、ａ1＝ｅ1＝１且つｂ1＝ｃ1＝ｄ1＝ｆ1＝０、である。 FIG. 31 shows a state of coordinate conversion using the conversion matrix H i . The shift between the image coordinates (x 1 , y 1 ) in the first image and the image coordinates (x i , y i ) in the i-th image is represented by the overall motion vector M of the i-th image with respect to the first image ( i = 2, 3, 4). Regarding the transformation matrix H 1 for the first image, naturally, a 1 = e 1 = 1 and b 1 = c 1 = d 1 = f 1 = 0.

図３の画像加算回路３４は、第１〜第４画像を合成した合成画像を画像メモリ３５上に作成するべく、画像メモリ３５に、基準画像である第１画像と同じ画像座標系を設定する。画像メモリ３５に設定された画像座標系における画像座標を（ｘ、ｙ）にて表す。図３２を参照する。図３２は、合成画像と第ｉ画像の画素値の対応関係を示している。合成画像における画像座標（ｘ、ｙ）の画素値をＰ（ｘ，ｙ）にて表す。第ｉ画像における画像座標（ｘi，ｙi）の画素値をＰi（ｘi，ｙi）にて表す。 The image addition circuit 34 in FIG. 3 sets the same image coordinate system as the first image, which is the reference image, in the image memory 35 in order to create a combined image in which the first to fourth images are combined on the image memory 35. . Image coordinates in the image coordinate system set in the image memory 35 are represented by (x, y). Refer to FIG. FIG. 32 shows the correspondence between the pixel values of the composite image and the i-th image. The pixel value of the image coordinate (x, y) in the composite image is represented by P (x, y). The pixel value of the image coordinates (x i , y i ) in the i-th image is represented by P i (x i , y i ).

画像加算回路３４は、上記式（１−８ａ）及び（１−８ｂ）を用いて、合成画像の画素ごとに、各分割露光画像（第１〜第４画像の夫々）における対応画素の画像座標を算出する。合成画像の或る画素に関し、その画素の画像座標を（ｘ，ｙ）（＝（ｘ1，ｙ1））で表した場合、第ｉ画像の対応画素の画像座標（ｘi，ｙi）は、上記式（１−８ａ）及び（１−８ｂ）にて表される。続いて、画像加算回路３４は、合成画像の画素（該画素の画像座標は（ｘ，ｙ））ごとに、第ｉ画像の対応画素の画素値Ｐi（ｘi，ｙi）を取得する。この際、必要に応じて第ｉ画像の画素値の補間処理を行う（勿論、第１画像に関して補間処理は不要である）。 The image addition circuit 34 uses the above equations (1-8a) and (1-8b) to calculate the image coordinates of the corresponding pixel in each divided exposure image (each of the first to fourth images) for each pixel of the composite image. Is calculated. When an image coordinate of a pixel of the composite image is represented by (x, y) (= (x 1 , y 1 )), the image coordinate (x i , y i ) of the corresponding pixel of the i-th image. Is represented by the above formulas (1-8a) and (1-8b). Subsequently, the image addition circuit 34 acquires the pixel value P i (x i , y i ) of the corresponding pixel of the i-th image for each pixel of the composite image (the image coordinates of the pixel are (x, y)). . At this time, the pixel value of the i-th image is interpolated as necessary (of course, interpolation processing is not necessary for the first image).

そして、画像加算回路３４は、画素混合比として利用される信頼度Ｂ［ｉ］に従って、第１〜第４画像の各画素の画素値Ｐi（ｘi，ｙi）を重み付け加算することにより、合成画像の各画素の画素値Ｐ（ｘ，ｙ）を算出する。画素値Ｐ（ｘ，ｙ）の算出式は、下記式（１−９）にて表される。 Then, the image addition circuit 34 weights and adds the pixel values P i (x i , y i ) of the pixels of the first to fourth images according to the reliability B [i] used as the pixel mixture ratio. Then, the pixel value P (x, y) of each pixel of the composite image is calculated. The calculation formula of the pixel value P (x, y) is expressed by the following formula (1-9).

上述のように、本実施例では、全体動きベクトルＭの信頼度Ｂ［ｉ］に従った画素混合比にて第１〜第４画像を合成する。本実施例のように加算式手ぶれ補正を実施する場合、通常、各分割露光画像の露光時間は手ぶれが無視できる程度に短く設定されるため、各分割露光画像の類似度は非常に高くなる。従って、ぶれの大きい分割露光画像は例外的に取得されるものと言え、その分割露光画像と他の分割露光画像との類似度は比較的低くなる傾向がある。   As described above, in the present embodiment, the first to fourth images are synthesized at the pixel mixture ratio according to the reliability B [i] of the overall motion vector M. When performing addition-type image stabilization as in this embodiment, the exposure time of each divided exposure image is normally set to be short enough to ignore camera shake, so the similarity of each divided exposure image is very high. Therefore, it can be said that a divided exposure image with a large blur is acquired exceptionally, and the similarity between the divided exposure image and another divided exposure image tends to be relatively low.

この特性を鑑みて、他の分割露光画像との類似度或いは画像のぶれ量などを反映した上記各評価値に基づいて、各分割露光画像の画素混合比（信頼度Ｂ［ｉ］）を算出し、類似度が低い或いは画像のぶれ量が多い分割露光画像を合成画像に反映させる度合いを低下させる。これにより、Ｎ個の分割露光画像の中に、例外的に、手ぶれを主要因とするぶれの大きい画像や被写体の動きが大きい画像があっても、それに起因する合成画像の画質劣化（主として、画像のぶれ）が抑制され、ぶれの少ない（即ち、手ぶれ補正効果の高い）静止画像を取得することが可能となる。   In view of this characteristic, the pixel mixture ratio (reliability B [i]) of each divided exposure image is calculated based on each evaluation value reflecting the similarity to other divided exposure images or the amount of image blurring. Then, the degree of reflection of the divided exposure image having a low similarity or a large amount of image blur in the composite image is reduced. As a result, even in the N divided exposure images, even if there is an image with a large shake mainly due to camera shake or an image with a large movement of the subject, the degradation of the image quality of the composite image (mainly, Image blurring is suppressed, and it is possible to acquire a still image with less blurring (that is, a high camera shake correction effect).

また、上述の如く、４つの評価値（ＢVmin[i]、ＢVave[i]、ＢNf[i]、ＢNval[i]）は、全て、動き検出の正確性の指標となる。そして、画像合成回路３６は、動き検出の正確性が高いと考えられるものほど画素混合比を増加させ、動き検出の正確性が低いと考えられるものほど画素混合比を低下させる。このため、動き検出の正確性が低いことに由来する合成画像の画質劣化が抑制され、ぶれの少ない（即ち、手ぶれ補正効果の高い）静止画像を取得することが可能となる。 Further, as described above, the four evaluation values (B Vmin [i] , B Vave [i] , B Nf [i] , B Nval [i] ) are all indexes of motion detection accuracy. The image composition circuit 36 increases the pixel mixture ratio as the motion detection accuracy is considered to be higher, and decreases the pixel mixture ratio as the motion detection accuracy is considered to be lower. For this reason, it is possible to obtain a still image with less blurring (that is, with a high camera shake correction effect) by suppressing deterioration in the image quality of the synthesized image resulting from low accuracy of motion detection.

また、本実施例では、領域動きベクトルＭKを算出するに当たり、最小の累積相関値と最小の累積相関値に近い累積相関値を、候補最小相関値として特定する。そして、２以上の候補最小相関値が特定された場合、近傍累積相関値を参照して、その２以上の候補最小相関値の中から採用最小相関値Ｖｍｉｎを選択するようにしている。このような処理を用いることの意義について説明する。説明の簡略化上、最小の累積相関値に近い累積相関値を無視し、最小の累積相関値が複数ある場合を例にとる。 In this embodiment, when calculating the region motion vector M K , the minimum cumulative correlation value and the cumulative correlation value close to the minimum cumulative correlation value are specified as the candidate minimum correlation value. When two or more candidate minimum correlation values are specified, the adopted minimum correlation value Vmin is selected from the two or more candidate minimum correlation values with reference to the neighborhood cumulative correlation value. The significance of using such processing will be described. For the sake of simplification of explanation, a case where a cumulative correlation value close to the minimum cumulative correlation value is ignored and there are a plurality of minimum cumulative correlation values is taken as an example.

代表点マッチング法を用いて画像間の動き検出を行う場合、累積相関値の最小値が複数のサンプリング点Ｓにて検出される場合があり、それの要因の１つとして、ノイズの影響が考えられる。ノイズの影響は、特に、輝度が比較的低い分割露光画像に対して大きくなる。累積相関値の最小値が複数検出された場合、従来は、通常、真のマッチング位置を検出不能と判断して動き検出を無効にしていた。   When motion detection between images is performed using the representative point matching method, the minimum cumulative correlation value may be detected at a plurality of sampling points S, and the influence of noise is considered as one of the factors. It is done. The influence of noise is particularly large for a divided exposure image having a relatively low luminance. When a plurality of minimum values of cumulative correlation values are detected, conventionally, it is usually determined that a true matching position cannot be detected and motion detection is invalidated.

第１画像と第２画像との間の或る検出領域に関して累積相関値の最小値が複数検出された場合の、累積相関値の分布を図３３に示す。図３３において、横軸は第１画像と第２画像との間の偏移（相対的な位置のずれ）を表し、縦軸は累積相関値を表す。説明及び図示の簡略化上、図３３は、１次元に並んだ（例えば、水平方向に１次元配列された）画素にのみ着目している。今、候補最小相関値ＶAが真のマッチング位置に対応し、候補最小相関値ＶBはノイズに由来して候補最小相関値となったものとする。 FIG. 33 shows the distribution of cumulative correlation values when a plurality of minimum cumulative correlation values are detected for a certain detection region between the first image and the second image. In FIG. 33, the horizontal axis represents a shift (relative position shift) between the first image and the second image, and the vertical axis represents a cumulative correlation value. For simplification of description and illustration, FIG. 33 focuses only on pixels that are arranged one-dimensionally (for example, one-dimensionally arranged in the horizontal direction). Now, it is assumed that the candidate minimum correlation value V A corresponds to a true matching position, and the candidate minimum correlation value V B is derived from noise and becomes the candidate minimum correlation value.

ノイズは、通常、極めて狭い画像領域にスパイク状に発生し、その輝度勾配は急峻である。従って、ノイズの影響による偽のマッチング位置に対応する累積相関値（ＶB）の近傍累積相関値は、その累積相関値（ＶB）を中心として急激に大きくなる。このため、候補最小相関値ごとに、候補最小相関値と近傍累積相関値の平均値を算出した場合、ノイズに対応する平均値は真のマッチング位置に対応する平均値よりも大きくなるという傾向がある。 Noise usually occurs in a spike shape in a very narrow image area, and its luminance gradient is steep. Therefore, cumulative correlation value corresponding to the matching position of the bogus due to the influence of noise near cumulative correlation value (V B) is rapidly increases the accumulated correlation value (V B) as the center. Therefore, when the average value of the candidate minimum correlation value and the neighborhood cumulative correlation value is calculated for each candidate minimum correlation value, the average value corresponding to the noise tends to be larger than the average value corresponding to the true matching position. is there.

図２５のステップＳ１７等は、この特性を考慮して実施されるものであり、これにより、従来のように動き検出を無効とすることなく、真のマッチング位置を検出することが可能となる。従って、Ｓ／Ｎ比が低い画像でも高精度に画像間の動き検出が可能となり、暗い場面でも手ぶれ補正を有効に機能させることが可能となる。また、本実施例の如く加算式手ぶれ補正（加算式静止画手ぶれ補正）を行う場合にあっては、動き検出の精度が確保される露光分割数を増加させることができるようになるため、加算合成された静止画像における手ぶれ量を低減することが可能である。   Step S17 and the like in FIG. 25 are performed in consideration of this characteristic, and this makes it possible to detect a true matching position without invalidating motion detection as in the prior art. Therefore, even between images having a low S / N ratio, motion detection between images can be performed with high accuracy, and camera shake correction can function effectively even in a dark scene. In addition, in the case of performing addition-type image stabilization (addition-type still image image stabilization) as in this embodiment, the number of exposure divisions that can ensure the accuracy of motion detection can be increased. It is possible to reduce the amount of camera shake in the synthesized still image.

また、画像の平均輝度が十分に大きく且つノイズの影響も軽微である場合、通常、最小の累積相関値は１つのサンプリング点Ｓ（１つの画素）にて得られ、その場合は、近傍累積相関値を参照する必要はない。逆に、そのような場合に近傍累積相関値を過度に考慮すると、真のマッチング位置の検出の正確性が損なわれる（動き検出の精度が劣化する）惧れがある。このような事情を考慮し、本実施例では、図２７及び図２８を参照して説明したように、真のマッチング位置を定めきれない場合に参照する近傍累積相関値の個数を段階的に増加させるようにしている。これにより、近傍累積相関値を参照したことに由来する動き検出の精度の劣化が抑制される。   In addition, when the average luminance of the image is sufficiently large and the influence of noise is slight, the minimum cumulative correlation value is usually obtained at one sampling point S (one pixel). There is no need to reference the value. On the other hand, if the neighborhood cumulative correlation value is excessively considered in such a case, there is a possibility that the accuracy of detecting the true matching position is impaired (the accuracy of motion detection is deteriorated). In consideration of such circumstances, in this embodiment, as described with reference to FIGS. 27 and 28, the number of neighborhood cumulative correlation values to be referred to when the true matching position cannot be determined is increased stepwise. I try to let them. Thereby, the deterioration of the accuracy of motion detection resulting from referring to the neighborhood cumulative correlation value is suppressed.

＜＜変形等＞＞
或る実施例に記載した事項は、矛盾なき限り、他の実施例に適用することもできる。この適用の際、同一名称の部位間の符号の相違（マイコンに関する２０と２０ａの相違など）は適宜無視される。また、上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。 << Deformation, etc. >>
Matters described in one embodiment can be applied to other embodiments as long as no contradiction arises. In this application, the difference in code between parts having the same name (difference between 20 and 20a regarding the microcomputer, etc.) is appropriately ignored. In addition, the specific numerical values shown in the above description are merely examples, and can naturally be changed to various numerical values. As modifications or annotations of the above-described embodiment, notes 1 to 4 are described below. The contents described in each comment can be arbitrarily combined as long as there is no contradiction.

［注釈１］
デジタルカメラ１のぶれを検出するための手ぶれ検出センサとして角速度センサを利用する場合を例示したが、手ぶれ検出センサとして他のセンサを用いるようにしてもよい。例えば、デジタルカメラ１の加速度を検出する加速度センサを手ぶれ部２６に設けて、該加速度センサの検出結果から上述の手ぶれ検出信号を生成するようにしてもよい。 [Note 1]
Although the case where the angular velocity sensor is used as the camera shake detection sensor for detecting the camera shake of the digital camera 1 is exemplified, other sensors may be used as the camera shake detection sensor. For example, an acceleration sensor that detects the acceleration of the digital camera 1 may be provided in the camera shake unit 26, and the above-described camera shake detection signal may be generated from the detection result of the acceleration sensor.

［注釈２］
画像マッチング法の１つである代表点マッチング法を用いて分割露光画像間の動き検出を実行する（動きベクトルを検出する）例を上述したが、その動き検出を、画像マッチング法に分類される他の手法を用いて実現することも可能である。例えば、代表点マッチング法の代わりに全画素マッチング法（ブロックマッチング法）を用いることも可能である。 [Note 2]
Although an example of executing motion detection (detecting a motion vector) between divided exposure images using a representative point matching method that is one of image matching methods has been described above, the motion detection is classified as an image matching method. It can also be realized using other methods. For example, an all-pixel matching method (block matching method) can be used instead of the representative point matching method.

［注釈３］
デジタルカメラ１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に手ぶれ補正を実現するための処理内容は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いてデジタルカメラ１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアにて実現可能な機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。 [Note 3]
The digital camera 1 can be realized by hardware or a combination of hardware and software. In particular, the processing content for realizing camera shake correction can be realized by hardware, software, or a combination of hardware and software. When the digital camera 1 is configured using software, a block diagram of a part realized by software represents a functional block diagram of the part. All or part of the functions that can be realized by software may be described as a program, and all or part of the functions may be realized by executing the program on a computer.

［注釈４］
図３において、ぶれ補正装置は、マイコン２０、撮影制御回路（露光制御手段）２１、シャッタボタン検出部２３及び加算式手ぶれ補正回路３０を含む。
図１０において、ぶれ補正装置は、マイコン２０ａ、シャッタボタン検出部２３及び駆動部２５を含む。このぶれ補正装置は、更にセンサ部２６を含みうる。
図１４において、ぶれ補正装置は、マイコン２０ｂ、シャッタボタン検出部２３、駆動部２５及び画像復元部（復元式ぶれ補正手段）７０を含む。このぶれ補正装置は、更にセンサ部２６を含みうる。また、図１４（又は図１０）において、マイコン２０ｂ（又は２０ａ）と駆動部２５とによって光学式ぶれ補正手段が形成される。
図１６において、ぶれ補正装置は、マイコン２０ｃ、撮影制御回路（露光制御手段）２１、シャッタボタン検出部２３、駆動部２５、加算式手ぶれ補正回路３０を含む。このぶれ補正装置は、更にセンサ部２６を含みうる。 [Note 4]
In FIG. 3, the camera shake correction apparatus includes a microcomputer 20, a photographing control circuit (exposure control means) 21, a shutter button detection unit 23, and an addition type camera shake correction circuit 30.
In FIG. 10, the shake correction apparatus includes a microcomputer 20a, a shutter button detection unit 23, and a drive unit 25. The shake correction apparatus can further include a sensor unit 26.
14, the shake correction apparatus includes a microcomputer 20b, a shutter button detection unit 23, a drive unit 25, and an image restoration unit (restoration type shake correction unit) 70. The shake correction apparatus can further include a sensor unit 26. Further, in FIG. 14 (or FIG. 10), an optical blur correction unit is formed by the microcomputer 20b (or 20a) and the drive unit 25.
In FIG. 16, the shake correction apparatus includes a microcomputer 20 c, a shooting control circuit (exposure control means) 21, a shutter button detection unit 23, a drive unit 25, and an addition type camera shake correction circuit 30. The shake correction apparatus can further include a sensor unit 26.

また、図１０等の駆動部２５によって駆動される補正レンズＬＣ（図１３参照）又はバリアングルプリズム（不図示）は、光学式手ぶれ補正を実現するための補正用光学部材として機能する。   Further, the correction lens LC (see FIG. 13) or the vari-angle prism (not shown) driven by the driving unit 25 in FIG. 10 or the like functions as a correction optical member for realizing optical camera shake correction.

本発明の実施形態に係るデジタルカメラの外観図（ａ）と、該デジタルカメラの使用状況例を示す図（ｂ）である。It is the figure (b) which shows the external view (a) of the digital camera which concerns on embodiment of this invention, and the usage condition of this digital camera. 本発明の第１実施例に係り、各シャッタボタンに対応する加算式手ぶれ補正の処理内容を示す図である。FIG. 6 is a diagram illustrating processing contents of addition-type image stabilization corresponding to each shutter button according to the first embodiment of the present invention. 本発明の第１実施例に係るデジタルカメラの電気的構成を示す全体ブロック図である。1 is an overall block diagram showing an electrical configuration of a digital camera according to a first embodiment of the present invention. 加算式手ぶれ補正に係り、分割露光画像内で定義される複数の動きベクトル検出領域と複数の小領域を示す図である。It is a figure which shows the some motion vector detection area | region defined in a division | segmentation exposure image, and a some small area | region regarding addition type camera shake correction. 図４に示される１つの小領域内の画素配置を示す図である。It is a figure which shows the pixel arrangement | positioning in one small area | region shown by FIG. 図１のデジタルカメラがロール方向にぶれた時に検出される領域動きベクトルを示す図である。It is a figure which shows the area | region motion vector detected when the digital camera of FIG. 1 shakes in a roll direction. 図１のデジタルカメラがヨー方向にぶれた時における、基準画像と非基準画像を表す図である。FIG. 2 is a diagram illustrating a reference image and a non-reference image when the digital camera of FIG. 1 is shaken in the yaw direction. 本発明の第４実施例に係り、押下されるシャッタボタンに応じて基準画像の動きベクトル検出領域が水平方向のシフトされる様子を示す図である。FIG. 16 is a diagram illustrating a manner in which the motion vector detection region of the reference image is shifted in the horizontal direction according to the pressed shutter button according to the fourth embodiment of the present invention. 図８のシフトに対応する、基準画像と非基準画像間の小領域（検出ブロック）の配置位置ずれを表す図である。It is a figure showing the arrangement position shift of the small field (detection block) between the standard image and the non-standard image corresponding to the shift of FIG. 本発明の第５実施例に係るデジタルカメラの電気的構成を示す全体ブロック図である。It is a whole block diagram which shows the electric constitution of the digital camera which concerns on 5th Example of this invention. 図１０のセンサ部の内部ブロック図である。It is an internal block diagram of the sensor part of FIG. 図１１に示される２つのセンサユニットの内の１つのセンサユニットの内部ブロック図である。FIG. 12 is an internal block diagram of one of the two sensor units shown in FIG. 11. 図１０の光学系の内部構成図である。It is an internal block diagram of the optical system of FIG. 本発明の第６実施例に係るデジタルカメラの電気的構成を示す全体ブロック図である。It is a whole block diagram which shows the electric constitution of the digital camera which concerns on 6th Example of this invention. 本発明の第６実施例に係り、画像上の手ぶれ軌跡とＰＳＦ（Point Spread Function）との関係を示す図である。It is a figure which concerns on 6th Example of this invention and shows the relationship between the blurring locus | trajectory on an image, and PSF (Point Spread Function). 本発明の第７実施例に係るデジタルカメラの電気的構成を示す全体ブロック図である。It is a whole block diagram which shows the electric constitution of the digital camera which concerns on 7th Example of this invention. 本発明の第７実施例に係り、光学式手ぶれ補正と加算式手ぶれ補正を組み合わせた手ぶれ補正を説明するための図である。FIG. 20 is a diagram for describing camera shake correction combining optical camera shake correction and addition camera shake correction according to the seventh embodiment of the present invention. 図１のデジタルカメラに設けられた複数のボタンを示す図である。It is a figure which shows the several button provided in the digital camera of FIG. 本発明に係る各実施例の概要を列記した表である。It is the table | surface which listed the outline | summary of each Example which concerns on this invention. 本発明の第１３実施例に係る動き検出回路の内部ブロック図である。It is an internal block diagram of the motion detection circuit based on 13th Example of this invention. 図２０の代表点マッチング回路の内部ブロック図である。FIG. 21 is an internal block diagram of the representative point matching circuit of FIG. 20. 図４に示す各小領域における、代表点と最小の累積相関値に対応するサンプリング点の画素位置を表す図である。FIG. 5 is a diagram illustrating pixel positions of sampling points corresponding to representative points and minimum accumulated correlation values in each small region illustrated in FIG. 4. 最小の累積相関値に対応する画素とその近傍画素の各画素位置を表す図である。It is a figure showing each pixel position of the pixel corresponding to the minimum accumulation correlation value, and its vicinity pixel. 図２１の演算回路の出力データを表としてまとめた図である。It is the figure which put together the output data of the arithmetic circuit of FIG. 21 as a table | surface. 図２０の動き検出回路の動作手順を表すフローチャートである。FIG. 21 is a flowchart illustrating an operation procedure of the motion detection circuit in FIG. 20. 図２０の動き検出回路の動作手順を表すフローチャートである。FIG. 21 is a flowchart illustrating an operation procedure of the motion detection circuit in FIG. 20. 図２５のステップＳ１７における採用最小相関値の選択処理に参照される累積相関値のパターンを表す図である。It is a figure showing the pattern of the cumulative correlation value referred to the selection process of the employ | adopted minimum correlation value in step S17 of FIG. 図２５のステップＳ１７における採用最小相関値の選択処理を詳細に表したフローチャートである。FIG. 26 is a flowchart showing in detail an adopted minimum correlation value selection process in step S <b> 17 of FIG. 25. 図２０の動き検出回路の詳細内部ブロック図である。FIG. 21 is a detailed internal block diagram of the motion detection circuit of FIG. 20. 図２９の信頼度算出部における信頼度の算出に関与する各値を、表として表した図である。It is the figure which represented each value which concerns on calculation of the reliability in the reliability calculation part of FIG. 29 as a table | surface. 図３の座標変換回路における座標変換処理の様子を表す図である。It is a figure showing the mode of the coordinate transformation process in the coordinate transformation circuit of FIG. 図３の画像加算回路における加算合成処理の様子を表す図である。It is a figure showing the mode of the addition synthetic | combination process in the image addition circuit of FIG. 図２５のステップＳ１７等の処理の意義を説明するための図である。It is a figure for demonstrating the significance of processing, such as step S17 of FIG.

符号の説明Explanation of symbols

１ デジタルカメラ
１１、１１ａ 光学系
１２ 撮像素子
２０、２０ａ、２０ｂ、２０ｃ マイコン
２１ 撮影制御回路
２３ シャッタボタン検出部
２５ 駆動部
２６ センサ部
３０ 加算式手ぶれ補正回路
３２ 動き検出回路
３６ 画像合成回路
７０ 画像復元部
ＬＣ 補正レンズ
ＳＢ１、ＳＢ２ シャッタボタン DESCRIPTION OF SYMBOLS 1 Digital camera 11, 11a Optical system 12 Image pick-up element 20, 20a, 20b, 20c Microcomputer 21 Shooting control circuit 23 Shutter button detection part 25 Drive part 26 Sensor part 30 Addition type camera-shake correction circuit 32 Motion detection circuit 36 Image composition circuit 70 Image Restoration unit LC correction lens SB1, SB2 Shutter button

Claims (10)

静止画像の撮影を指示するための撮影指示操作を受けるシャッタボタンを複数備えた撮像装置において、
前記静止画像に含まれうるぶれを低減するためのぶれ補正を実施してぶれ補正画像を生成するぶれ補正装置を備え、
前記ぶれ補正装置は、
前記複数のシャッタボタンの内、何れのシャッタボタンに対して前記撮影指示操作がなされたかを検出する撮影指示検出手段と、
前記ぶれ補正を実現するための処理を制御するぶれ補正制御手段と、を備え、
前記ぶれ補正制御手段は、前記撮影指示検出手段の検出結果に応じて前記処理を変更する
ことを特徴とする撮像装置。 In an imaging apparatus having a plurality of shutter buttons for receiving a shooting instruction operation for instructing shooting of a still image,
A shake correction device that generates a shake correction image by performing shake correction to reduce shake that may be included in the still image;
The blur correction device is
Photographing instruction detecting means for detecting which shutter button among the plurality of shutter buttons is subjected to the photographing instruction operation;
A shake correction control means for controlling processing for realizing the shake correction,
The image pickup apparatus, wherein the shake correction control unit changes the processing according to a detection result of the photographing instruction detection unit. 前記複数のシャッタボタンは、第１及び第２のシャッタボタンを含み、
前記ぶれ補正制御手段は、前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合と前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合とで、前記処理を変更する
ことを特徴とする請求項１に記載の撮像装置。 The plurality of shutter buttons include first and second shutter buttons,
The shake correction control unit changes the processing between when the shooting instruction operation is performed on the first shutter button and when the shooting instruction operation is performed on the second shutter button. The imaging apparatus according to claim 1. 前記ぶれ補正装置は、
前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、
各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の並進方向の動き検出を行う並進方向動き検出手段と、
各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の回転方向の動き検出を行う回転方向動き検出手段と、
前記並進方向及び前記回転方向の動き検出結果に基づいて、又は、前記並進方向の動き検出結果に基づいて、各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、
前記ぶれ補正制御手段による変更の対象は、前記位置合わせに用いる動き検出結果であり、
前記合成画像が、前記ぶれ補正が施された前記ぶれ補正画像であり、
前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、
前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記並進方向及び前記回転方向の動き検出結果に基づく前記合成画像を前記ぶれ補正画像とし、
前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記回転方向動き検出手段に依存しない、前記並進方向の動き検出結果に基づく前記合成画像を前記ぶれ補正画像とする
ことを特徴とする請求項２に記載の撮像装置。 The blur correction device is
Exposure control means for controlling the imaging means in the imaging apparatus so that a plurality of divided exposure images are sequentially photographed in accordance with the photographing instruction operation;
Translational direction motion detection means for detecting translational direction motion between different divided exposure images based on image data of each divided exposure image;
Rotational direction motion detection means for detecting motion in the rotational direction between different divided exposure images based on image data of each divided exposure image;
Based on the motion detection result in the translation direction and the rotation direction, or based on the motion detection result in the translation direction, a composite image generation that generates a composite image by aligning and combining the respective divided exposure images Means, and
The object of change by the shake correction control means is a motion detection result used for the alignment,
The composite image is the shake-corrected image subjected to the shake correction;
Under the control of the shake correction control means, the shake correction device is:
When the shooting instruction operation is performed on the first shutter button, the composite image based on the motion detection result in the translation direction and the rotation direction is the blur correction image,
When the shooting instruction operation is performed on the second shutter button, the synthesized image based on the motion detection result in the translation direction independent of the rotation direction motion detection unit is used as the shake correction image. The imaging apparatus according to claim 2. 前記ぶれ補正装置は、
前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動することにより、前記ぶれ補正の１つとしての光学式ぶれ補正を実現する光学式ぶれ補正手段と、
前記撮像素子の出力信号に基づく撮影画像に含まれるぶれに応じた復元フィルタを生成し、該復元フィルタを用いて前記撮影画像に対して前記ぶれ補正の１つとしての復元式ぶれ補正を施す復元式ぶれ補正手段と、を備え、
前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、
前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記光学式ぶれ補正と前記復元式ぶれ補正の双方を実行可能とし、
前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記光学式ぶれ補正と前記復元式ぶれ補正の何れか一方を実行する
ことを特徴とする請求項２に記載の撮像装置。 The blur correction device is
One of the blur corrections is performed by driving a correction optical member or an imaging element of an optical system in an imaging unit provided in the imaging device based on a detection result of a shake detection sensor that detects a shake of the imaging device. Optical blur correction means for realizing optical blur correction as:
A restoration filter corresponding to a shake included in a photographed image based on an output signal of the image sensor is generated, and a restoration-type shake correction is performed on the photographed image as one of the blur compensation using the restoration filter. An image blur correction means,
Under the control of the shake correction control means, the shake correction device is:
When the shooting instruction operation is performed on the first shutter button, both the optical blur correction and the restoration blur correction can be executed,
The imaging apparatus according to claim 2, wherein when the photographing instruction operation is performed on the second shutter button, one of the optical blur correction and the restoration blur correction is executed. 前記ぶれ補正装置は、
前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、
前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、
各分割露光画像の画像データに基づいて又は前記ぶれ検出センサの検出結果に基づいて各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、
前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、
前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像内のぶれを低減し、このぶれが低減された各分割露光画像に基づく前記合成画像を前記ぶれ補正画像とし、
前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記撮像手段に１枚の画像を撮影させることにより前記ぶれ補正を実現して該１枚の画像を前記ぶれ補正画像とする
ことを特徴とする請求項２に記載の撮像装置。 The blur correction device is
A driving unit that drives a correction optical member or an imaging element of an optical system in an imaging unit provided in the imaging unit based on a detection result of a blur detection sensor that detects a blur of the imaging unit;
Exposure control means for controlling the imaging means in the imaging apparatus so that a plurality of divided exposure images are sequentially photographed in accordance with the photographing instruction operation;
A composite image generating means for generating a composite image by aligning and combining each divided exposure image based on image data of each divided exposure image or based on a detection result of the blur detection sensor;
Under the control of the shake correction control means, the shake correction device is:
When the shooting instruction operation is performed on the first shutter button, the plurality of divided exposure images are sequentially shot using the driving unit to reduce blur in each divided exposure image, and this blur is reduced. The combined image based on each of the divided exposure images is the blur correction image,
When the shooting instruction operation is performed on the second shutter button, the blur correction is realized by causing the imaging unit to capture a single image while using the driving unit, and the single image is displayed. The imaging apparatus according to claim 2, wherein the image is a blur correction image. 前記ぶれ補正装置は、
前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、
前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、
各分割露光画像の画像データに基づいて又は前記ぶれ検出センサの検出結果に基づいて各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、
前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、
前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像内のぶれを低減し、このぶれが低減された各分割露光画像に基づく前記合成画像を前記ぶれ補正画像とし、
前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段による前記補正用光学部材又は前記撮像素子の駆動を停止した状態で前記複数の分割露光画像を順次撮影させて前記合成画像を生成し、この合成画像を前記ぶれ補正画像とする
ことを特徴とする請求項２に記載の撮像装置。 The blur correction device is
A driving unit that drives a correction optical member or an imaging element of an optical system in an imaging unit provided in the imaging unit based on a detection result of a blur detection sensor that detects a blur of the imaging unit;
Exposure control means for controlling the imaging means in the imaging apparatus so that a plurality of divided exposure images are sequentially photographed in accordance with the photographing instruction operation;
A composite image generating means for generating a composite image by aligning and combining each divided exposure image based on image data of each divided exposure image or based on a detection result of the blur detection sensor;
Under the control of the shake correction control means, the shake correction device is:
When the shooting instruction operation is performed on the first shutter button, the plurality of divided exposure images are sequentially shot using the driving unit to reduce blur in each divided exposure image, and this blur is reduced. The combined image based on each of the divided exposure images is the blur correction image,
When the photographing instruction operation is performed on the second shutter button, the plurality of divided exposure images are sequentially photographed in a state where driving of the correction optical member or the imaging element by the driving unit is stopped. The imaging apparatus according to claim 2, wherein a composite image is generated, and the composite image is used as the shake correction image. 前記ぶれ補正装置は、
前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、
前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、
各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の動き検出を行う動き検出手段と、を備え、
前記動き検出には、互いに異なる分割露光画像間の回転方向の動き検出が含まれ、
前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、
前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像内のぶれを低減し、このぶれが低減された各分割露光画像を前記動き検出手段の動き検出結果に基づいて位置合わせして加算合成することにより前記ぶれ補正画像としての合成画像を生成し、
前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記撮像手段に１枚の画像を撮影させることにより前記ぶれ補正を実現して該１枚の画像を前記ぶれ補正画像とする
ことを特徴とする請求項２に記載の撮像装置。 The blur correction device is
A driving unit that drives a correction optical member or an imaging element of an optical system in an imaging unit provided in the imaging unit based on a detection result of a blur detection sensor that detects a blur of the imaging unit;
Exposure control means for controlling the imaging means in the imaging apparatus so that a plurality of divided exposure images are sequentially photographed in accordance with the photographing instruction operation;
Motion detection means for performing motion detection between different divided exposure images based on image data of each divided exposure image,
The motion detection includes motion detection in the rotation direction between different divided exposure images,
Under the control of the shake correction control means, the shake correction device is:
When the shooting instruction operation is performed on the first shutter button, the plurality of divided exposure images are sequentially shot using the driving unit to reduce blur in each divided exposure image, and this blur is reduced. Each of the divided exposure images is positioned based on the motion detection result of the motion detection means and added and synthesized to generate a synthesized image as the blur correction image,
When the shooting instruction operation is performed on the second shutter button, the blur correction is realized by causing the imaging unit to capture a single image while using the driving unit, and the single image is displayed. The imaging apparatus according to claim 2, wherein the image is a blur correction image. 前記ぶれ補正装置は、
前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、
前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、
各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の動き検出を行う動き検出手段と、を備え、
前記動き検出には、互いに異なる分割露光画像間の回転方向の動き検出が含まれ、
前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、
前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記動き検出手段の動き検出結果に基づいて各分割露光画像を位置合わせして加算合成することにより前記ぶれ補正画像としての合成画像を生成し、
前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記撮像手段に１枚の画像を撮影させることにより前記ぶれ補正を実現して該１枚の画像を前記ぶれ補正画像とする
ことを特徴とする請求項２に記載の撮像装置。 The blur correction device is
A driving unit that drives a correction optical member or an imaging element of an optical system in an imaging unit provided in the imaging unit based on a detection result of a blur detection sensor that detects a blur of the imaging unit;
Exposure control means for controlling the imaging means in the imaging apparatus so that a plurality of divided exposure images are sequentially photographed in accordance with the photographing instruction operation;
Motion detection means for performing motion detection between different divided exposure images based on image data of each divided exposure image,
The motion detection includes motion detection in the rotation direction between different divided exposure images,
Under the control of the shake correction control means, the shake correction device is:
When the shooting instruction operation is performed on the first shutter button, the divided exposure images are aligned and added and synthesized based on the motion detection result of the motion detection unit, thereby synthesizing the image as the shake correction image. Generate an image,
When the shooting instruction operation is performed on the second shutter button, the blur correction is realized by causing the imaging unit to capture a single image while using the driving unit, and the single image is displayed. The imaging apparatus according to claim 2, wherein the image is a blur correction image. 前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動することにより、前記ぶれ補正の１つとしての光学式ぶれ補正を実現する光学式ぶれ補正手段を備え、
前記ぶれ補正装置は、前記複数のシャッタボタンの内、一部のシャッタボタンに対して前記撮影指示操作がなされた場合にのみ、前記光学式ぶれ補正手段に依存したぶれ補正を行い、前記撮像装置に対する駆動電力の投入後の所定期間内において、前記一部のシャッタボタンによる撮影指示を禁止する
ことを特徴とする請求項１または請求項２に記載の撮像装置。 The blur correction device drives a correction optical member or an image sensor of an optical system in an image pickup unit provided in the image pickup device based on a detection result of a shake detection sensor that detects a shake of the image pickup device. Optical blur correction means for realizing optical blur correction as one of the blur correction,
The shake correction device performs shake correction depending on the optical shake correction means only when the shooting instruction operation is performed on a part of the shutter buttons among the plurality of shutter buttons, and the imaging device 3. The imaging apparatus according to claim 1, wherein a shooting instruction by the partial shutter button is prohibited within a predetermined period after the driving power is supplied to the camera. 静止画像の撮影を指示するための撮影指示操作を受けるシャッタボタンを複数備えた撮像装置において、前記静止画像に含まれうるぶれを低減するためのぶれ補正を実行可能なぶれ補正装置を備え、
前記ぶれ補正装置は、
前記複数のシャッタボタンの内、何れのシャッタボタンに対して前記撮影指示操作がなされたかを検出する撮影指示検出手段と、
前記撮影指示検出手段の検出結果に基づいて前記ぶれ補正の実行可否を決定するぶれ補正制御手段と、を備えた
ことを特徴とする撮像装置。 An image pickup apparatus having a plurality of shutter buttons for receiving a shooting instruction operation for instructing shooting of a still image, the camera including a shake correction apparatus capable of executing shake correction for reducing blur that may be included in the still image;
The blur correction device is
Photographing instruction detecting means for detecting which shutter button among the plurality of shutter buttons is subjected to the photographing instruction operation;
An image pickup apparatus comprising: a shake correction control unit that determines whether or not the shake correction can be performed based on a detection result of the shooting instruction detection unit.
JP2007071918A 2007-03-20 2007-03-20 Image sensing device Pending JP2008236289A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007071918A JP2008236289A (en) 2007-03-20 2007-03-20 Image sensing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007071918A JP2008236289A (en) 2007-03-20 2007-03-20 Image sensing device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011161058A Division JP2011205719A (en) 2011-07-22 2011-07-22 Imaging device

Publications (1)

Publication Number Publication Date
JP2008236289A true JP2008236289A (en) 2008-10-02

Family

ID=39908544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007071918A Pending JP2008236289A (en) 2007-03-20 2007-03-20 Image sensing device

Country Status (1)

Country Link
JP (1) JP2008236289A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010147772A (en) * 2008-12-18 2010-07-01 Olympus Imaging Corp Imaging apparatus and camera
JP2011205719A (en) * 2011-07-22 2011-10-13 Sanyo Electric Co Ltd Imaging device
JP2012019337A (en) * 2010-07-07 2012-01-26 Olympus Corp Image processing device and method, and program
JP2013012992A (en) * 2011-06-30 2013-01-17 Casio Comput Co Ltd Imaging apparatus and program
JP2013031174A (en) * 2011-07-28 2013-02-07 Samsung Electronics Co Ltd Apparatus and method for generating high dynamic range image from which ghost blur is removed using multi-exposure fusion base
KR101274061B1 (en) * 2009-11-30 2013-06-12 캐논 가부시끼가이샤 Image processing apparatus and image processing method
JP2013168699A (en) * 2012-02-14 2013-08-29 Ricoh Co Ltd Imaging apparatus
JP2015106087A (en) * 2013-11-29 2015-06-08 株式会社ニコン Tremor correction device, lens barrel and camera
JP2017021250A (en) * 2015-07-13 2017-01-26 オリンパス株式会社 Imaging device and image processing method
JP2017092749A (en) * 2015-11-12 2017-05-25 キヤノン株式会社 Imaging apparatus, blur correction method, program, and storage medium

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62127976A (en) * 1985-11-29 1987-06-10 Kyocera Corp Image recording processor
JPH11195125A (en) * 1997-12-26 1999-07-21 Canon Inc Picture processor and method therefor and computer readable storage medium
JP2000284336A (en) * 1999-03-30 2000-10-13 Ricoh Co Ltd Camera provided with camera shake correcting function
JP2002107787A (en) * 2000-09-29 2002-04-10 Minolta Co Ltd Camera body of digital camera and computer readable recording medium recorded with program for controlling camera body of digital camera
JP2004205810A (en) * 2002-12-25 2004-07-22 Nikon Corp Correcting camera
JP2004205799A (en) * 2002-12-25 2004-07-22 Nikon Corp Image blur correcting camera system and image blur correcting camera
JP2004205806A (en) * 2002-12-25 2004-07-22 Nikon Corp Image blur correcting camera
JP2004221992A (en) * 2003-01-15 2004-08-05 Canon Inc Imaging device and program
JP2004239962A (en) * 2003-02-03 2004-08-26 Nikon Corp Shake correction camera system, shake correction camera, image recovering device and shake correction program
JP2005003719A (en) * 2003-06-09 2005-01-06 Olympus Corp Photographing device
JP2005286790A (en) * 2004-03-30 2005-10-13 Fuji Photo Film Co Ltd Mobile terminal device
JP2006238235A (en) * 2005-02-25 2006-09-07 Kyocera Corp Imaging apparatus
JP2006238236A (en) * 2005-02-25 2006-09-07 Kyocera Corp Imaging apparatus
JP2006279808A (en) * 2005-03-30 2006-10-12 Sanyo Electric Co Ltd Camera-shake correction apparatus

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62127976A (en) * 1985-11-29 1987-06-10 Kyocera Corp Image recording processor
JPH11195125A (en) * 1997-12-26 1999-07-21 Canon Inc Picture processor and method therefor and computer readable storage medium
JP2000284336A (en) * 1999-03-30 2000-10-13 Ricoh Co Ltd Camera provided with camera shake correcting function
JP2002107787A (en) * 2000-09-29 2002-04-10 Minolta Co Ltd Camera body of digital camera and computer readable recording medium recorded with program for controlling camera body of digital camera
JP2004205810A (en) * 2002-12-25 2004-07-22 Nikon Corp Correcting camera
JP2004205799A (en) * 2002-12-25 2004-07-22 Nikon Corp Image blur correcting camera system and image blur correcting camera
JP2004205806A (en) * 2002-12-25 2004-07-22 Nikon Corp Image blur correcting camera
JP2004221992A (en) * 2003-01-15 2004-08-05 Canon Inc Imaging device and program
JP2004239962A (en) * 2003-02-03 2004-08-26 Nikon Corp Shake correction camera system, shake correction camera, image recovering device and shake correction program
JP2005003719A (en) * 2003-06-09 2005-01-06 Olympus Corp Photographing device
JP2005286790A (en) * 2004-03-30 2005-10-13 Fuji Photo Film Co Ltd Mobile terminal device
JP2006238235A (en) * 2005-02-25 2006-09-07 Kyocera Corp Imaging apparatus
JP2006238236A (en) * 2005-02-25 2006-09-07 Kyocera Corp Imaging apparatus
JP2006279808A (en) * 2005-03-30 2006-10-12 Sanyo Electric Co Ltd Camera-shake correction apparatus

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010147772A (en) * 2008-12-18 2010-07-01 Olympus Imaging Corp Imaging apparatus and camera
KR101274061B1 (en) * 2009-11-30 2013-06-12 캐논 가부시끼가이샤 Image processing apparatus and image processing method
US8606035B2 (en) 2009-11-30 2013-12-10 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2012019337A (en) * 2010-07-07 2012-01-26 Olympus Corp Image processing device and method, and program
JP2013012992A (en) * 2011-06-30 2013-01-17 Casio Comput Co Ltd Imaging apparatus and program
JP2011205719A (en) * 2011-07-22 2011-10-13 Sanyo Electric Co Ltd Imaging device
JP2013031174A (en) * 2011-07-28 2013-02-07 Samsung Electronics Co Ltd Apparatus and method for generating high dynamic range image from which ghost blur is removed using multi-exposure fusion base
JP2013168699A (en) * 2012-02-14 2013-08-29 Ricoh Co Ltd Imaging apparatus
JP2015106087A (en) * 2013-11-29 2015-06-08 株式会社ニコン Tremor correction device, lens barrel and camera
JP2017021250A (en) * 2015-07-13 2017-01-26 オリンパス株式会社 Imaging device and image processing method
JP2017092749A (en) * 2015-11-12 2017-05-25 キヤノン株式会社 Imaging apparatus, blur correction method, program, and storage medium

Similar Documents

Publication Publication Date Title
JP2008236289A (en) Image sensing device
JP4766320B2 (en) Imaging apparatus and program thereof
JP4980982B2 (en) Imaging apparatus, imaging method, focus control method, and program
JP4872797B2 (en) Imaging apparatus, imaging method, and imaging program
JP5944055B2 (en) Imaging apparatus, imaging method, and image processing apparatus
JP4896852B2 (en) Autofocus control circuit, autofocus control method, and imaging apparatus
JP5013954B2 (en) Imaging device
JP6222514B2 (en) Image processing apparatus, imaging apparatus, and computer program
JP4640068B2 (en) Imaging method and imaging apparatus
JP2008109176A (en) Imaging device and method
JP2008271529A (en) Imaging apparatus
JP2008276017A (en) Imaging apparatus and method, and program
JP6037224B2 (en) Image processing apparatus, imaging apparatus, and program
JP4678061B2 (en) Image processing apparatus, digital camera equipped with the same, and image processing program
JP2011205719A (en) Imaging device
JP2010134309A (en) Autofocus device, autofocus method and imaging apparatus
JP5067475B2 (en) Imaging apparatus and program thereof
JP5195663B2 (en) Imaging apparatus, focusing method, and program
JP4969349B2 (en) Imaging apparatus and imaging method
JP2011135537A (en) Imaging apparatus and control method of the same
JP5482427B2 (en) Imaging apparatus, camera shake correction method, and program
JP4771896B2 (en) Motion detection apparatus and method, and imaging apparatus
JP2007053482A (en) Imaging apparatus
JP2010187207A (en) Image synthesizing apparatus, image synthesizing program, and image synthesizing method
JP2009044236A (en) White balance adjustment device and white balance adjustment method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111018

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120228