JP2007264074A - Photographing apparatus and control method thereof - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To obtain a good image free from distortion, even when a photographing apparatus is shaked. <P>SOLUTION: The shake amount of the photographing apparatus is detected (step S120), and also, the viewing angle of a lens at imaging is detected, and the correction amount of an image related to the shake of the photographing apparatus is calculated based on the detected shake amount and the detected viewing angle of the lens, and the image imaged by an imaging means is corrected based on the calculation result (step S130). <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、撮影した画像の歪みを補正する撮影装置及びその制御方法に関し、特に、スリット露光時に発生する画像の歪みを補正する技術に関するものである。   The present invention relates to a photographing apparatus for correcting distortion of a photographed image and a control method thereof, and more particularly to a technique for correcting distortion of an image that occurs during slit exposure.

以下に、本発明の対象となる従来の技術を説明する。   Hereinafter, a conventional technique which is an object of the present invention will be described.

現在のカメラでは、露出決定やピント合せ等の撮影において重要な作業は全て自動化されているため、カメラ操作に未熟な使用者でも撮影の失敗を起こす可能性は非常に少なくなっている。しかし、カメラの振れによる撮影画像振れの失敗だけは、自動的に防ぐことが困難とされていた。   With current cameras, all important tasks in shooting such as determining exposure and focusing are automated, so there is very little chance for a user who is unskilled in camera operation to fail in shooting. However, it has been difficult to automatically prevent the failure of the captured image due to camera shake.

そこで、近年、このカメラの振れに起因する撮影の失敗を防止することを可能とするカメラが意欲的に研究されており、特に、撮影者の手振れによる撮影失敗を防止することのできるカメラについての研究・開発が進められている（例えば、特許文献１参照）。   Therefore, in recent years, a camera capable of preventing a shooting failure caused by the camera shake has been actively researched, and in particular, a camera capable of preventing a shooting failure due to a camera shake of a photographer. Research and development are in progress (for example, see Patent Document 1).

撮影時のカメラの手振れは、通常、周波数１Ｈｚ〜１２Ｈｚの振動である。シャッタのレリーズ時点において、このような手振れを起こしていても像振れの無い画像を撮影可能とするためには、振れによるカメラの振動を検出し、その検出値に応じて補正レンズを変位させてやらなければならない。   Camera shake at the time of shooting is usually vibration with a frequency of 1 Hz to 12 Hz. In order to be able to capture an image with no image blur even when such a camera shake occurs at the shutter release time, the camera vibration due to the shake is detected, and the correction lens is displaced according to the detected value. I have to do it.

したがって、カメラの振れが生じても像振れしない画像を撮影することを達成するには、第１にカメラの振動を正確に検出し、第２にカメラの振れによる光軸変化を補正することが必要となる。   Therefore, in order to achieve shooting of an image that does not shake even when the camera shakes, firstly, the camera vibration is detected accurately, and second, the optical axis change due to the camera shake is corrected. Necessary.

このカメラの振動（カメラ振れ）の検出は、原理的には、角加速度、角速度、角変位等を検出する振動センサと、このセンサ出力をデジタル的、電気的あるいは機械的に積分して角変位を出力するカメラ振れ検出装置をカメラに搭載することによって実現できる。そして、この検出情報に基づいて撮影光軸を偏心させる補正光学機構を駆動させることにより、像振れを抑制することができる。   In principle, this camera vibration (camera shake) is detected by a vibration sensor that detects angular acceleration, angular velocity, angular displacement, etc., and this sensor output is integrated digitally, electrically, or mechanically to detect angular displacement. Can be realized by mounting a camera shake detection device that outputs Then, by driving a correction optical mechanism that decenters the photographing optical axis based on this detection information, image blur can be suppressed.

ここで、振れ補正装置を用いた防振システムについて、図９及び図１０を用いてその概要を説明する。   Here, an outline of an image stabilization system using the shake correction apparatus will be described with reference to FIGS. 9 and 10.

図９の例は、方向７１に示すカメラ縦振れ７１ｙ及びカメラ横振れ７１ｘに由来する画像振れを抑制する振れ補正システムの斜視図である。   The example of FIG. 9 is a perspective view of a shake correction system that suppresses image shake derived from the camera vertical shake 71y and the camera horizontal shake 71x shown in the direction 71.

図９において７２は、レンズ鏡筒である。図９において７３ｙ及び７３ｘは、各々、カメラ縦振れ角変位、カメラ横振れ角変位を検出する角変位検出手段（角速度センサ）であり、それぞれの検出方向を角変位検出方向７４ｙ及び７４ｘで示している。   In FIG. 9, reference numeral 72 denotes a lens barrel. In FIG. 9, 73y and 73x are angular displacement detection means (angular velocity sensors) for detecting camera vertical shake angular displacement and camera horizontal shake angular displacement, respectively, and the respective detection directions are indicated by angular displacement detection directions 74y and 74x. Yes.

図９において７５は、補正光学手段である。図９において７６ｙ及び７６ｘは、各々、補正光学系に推力を与える駆動コイルである。図９において７７ｙ、７７ｘは、各々、補正光学手段７５の位置を検出する位置検出回路である。補正光学手段７５は、位置制御ループが設けてあり、角変位検出手段７４ｙ及び７４ｘの出力を目標値として駆動し、撮像面７８の安定を確保する。   In FIG. 9, reference numeral 75 denotes correction optical means. In FIG. 9, 76y and 76x are drive coils that apply thrust to the correction optical system. In FIG. 9, reference numerals 77y and 77x denote position detection circuits for detecting the position of the correction optical means 75, respectively. The correction optical means 75 is provided with a position control loop, and drives the outputs of the angular displacement detection means 74y and 74x as target values to ensure the stability of the imaging surface 78.

図１０は、補正光学手段７５の駆動制御を行う振れ補正装置のブロック図である。図９を用いた説明に対して、信号の処理と駆動の制御についてより詳しく説明する。   FIG. 10 is a block diagram of a shake correction apparatus that performs drive control of the correction optical means 75. In contrast to the description using FIG. 9, the signal processing and drive control will be described in more detail.

図１０において、角速度センサ７３ｙ及び７３ｘの出力を、増幅回路８１ｙ及び８１ｘで各々増幅し、更に、Ａ／Ｄ変換回路８２ｙ及び８２ｘで各々Ａ／Ｄ変換を行って、それぞれの出力をＣＰＵ８４に入力する。ここで、ＣＰＵ８４までの入力に関して、ｘ方向とｙ方向とを分離して処理を行い、また、信号の入力周期は１ｋＨｚ程度で行う。   In FIG. 10, the outputs of the angular velocity sensors 73y and 73x are amplified by the amplification circuits 81y and 81x, respectively, are further A / D converted by the A / D conversion circuits 82y and 82x, and the respective outputs are input to the CPU 84. To do. Here, the input to the CPU 84 is performed by separating the x direction and the y direction, and the signal input period is about 1 kHz.

ＣＰＵ８４では、角速度センサ７３ｙ及び７３ｘから入力された角速度の信号を、それぞれ、駆動コイル７６ｙ及び７６ｘで補正の行える角変位へ変換する。具体的には、手振れの周波数である約１Ｈｚ〜１２Ｈｚを取り出すためのバンドパスフィルタをかけて、角速度から角変位に変換するための積分を行う。ただし、この積分処理は、バンドパスフィルタのうち、ローパスフィルタをかけた時に積分処理が同時に行われてしまうために、ハイパスフィルタは省略されることもある。   The CPU 84 converts the angular velocity signals input from the angular velocity sensors 73y and 73x into angular displacements that can be corrected by the drive coils 76y and 76x, respectively. Specifically, a band-pass filter for taking out about 1 Hz to 12 Hz, which is the frequency of camera shake, is applied to perform integration for converting angular velocity into angular displacement. However, since the integration process is simultaneously performed when a low-pass filter is applied among the band-pass filters, the high-pass filter may be omitted.

ここで、角速度センサ７３ｙ及び７３ｘと補正光学手段７５との間に、光軸に対して回転方向のズレがあった場合には、適切な補正が行われなくなってしまう。そのため、バンドパスフィルタの出力に対して、回転方向の補正を加えたものを駆動コイル７６ｙ及び７６ｘの駆動信号としている。これらの処理は、ＣＰＵ８４内でデジタル信号として演算処理される。   Here, if there is a shift in the rotational direction with respect to the optical axis between the angular velocity sensors 73y and 73x and the correction optical means 75, appropriate correction cannot be performed. Therefore, a drive signal for the drive coils 76y and 76x is obtained by adding a correction in the rotation direction to the output of the bandpass filter. These processes are calculated as digital signals in the CPU 84.

駆動回路８３ｙ及び８３ｘは、ＣＰＵ８４の駆動信号に基づいて、駆動コイル７６ｙ及び７６ｘのデューティ駆動を行う。そして、駆動回路８３ｙ及び８３ｘは、ＣＰＵ８４で演算した位置へ補正光学手段７５が駆動するように、駆動コイル７６ｙ及び７６ｘを駆動させる。   The drive circuits 83y and 83x perform duty drive of the drive coils 76y and 76x based on the drive signal of the CPU 84. Then, the drive circuits 83y and 83x drive the drive coils 76y and 76x so that the correction optical means 75 is driven to the position calculated by the CPU 84.

位置検出回路７７ｙ及び７７ｘでは、補正光学手段７５の実際の駆動位置を検出し、ＣＰＵ８４が演算した位置と違いがあった場合には、駆動コイル７６ｙ及び７６ｘの駆動信号に補正を加えて、ＣＰＵ８４が演算した位置に駆動されるようにする。   The position detection circuits 77y and 77x detect the actual drive position of the correction optical means 75, and if there is a difference from the position calculated by the CPU 84, the drive signals of the drive coils 76y and 76x are corrected to correct the CPU 84. Is driven to the calculated position.

以上の処理を行うことにより、撮像面７８の安定が確保される。   By performing the above processing, the stability of the imaging surface 78 is ensured.

次に、動画時のＣＭＯＳセンサの駆動動作について説明を行う。   Next, the driving operation of the CMOS sensor during moving images will be described.

ＣＭＯＳセンサは、ＣＣＤセンサと異なり、全画素の信号を一度に転送路へ送ることができない。このため、ＣＣＤセンサでは一般的な、
「１．全画素を一度にリセット
２．所定時間後に全画素を転送路へ送る
３．順番に読み出し」
という処理による電子シャッタを実現することができない。なお、「１．」〜「２．」の間が蓄積時間となる。 Unlike a CCD sensor, a CMOS sensor cannot send all pixel signals to a transfer path at once. For this reason, it is common in CCD sensors,
“1. Reset all pixels at once 2. Send all pixels to the transfer path after a predetermined time 3. Read in order”
An electronic shutter based on the process cannot be realized. The accumulation time is between “1.” and “2.”.

そこで、ＣＭＯＳセンサでは、１行ずつ転送路に送って読み出しを行うスリットローリングシャッタという駆動動作により、蓄積時間の制御を行っている。このスリットローリングシャッタにおける駆動方法を図１１を用いて説明する。   Therefore, in the CMOS sensor, the accumulation time is controlled by a driving operation called a slit rolling shutter that performs reading by sending each line to the transfer path. A driving method in the slit rolling shutter will be described with reference to FIG.

図１１において、左から右への方向が時間の経過を示している。また、領域６ａは画像の読み出し期間等を示し、信号６ｂは行単位の同期をとるためのＨＤ信号、信号６ｃは画面単位の同期をとるためのＶＤ信号を示している。   In FIG. 11, the direction from left to right indicates the passage of time. An area 6a represents an image reading period, a signal 6b represents an HD signal for synchronizing in units of rows, and a signal 6c represents a VD signal for synchronizing in units of screens.

ＣＭＯＳセンサでは、撮像面の上部から１行毎に読み出し動作を行うため、撮像面の上部と下部とで読み出しのタイミングが異なる。このため、６１に示すように読み出しラインが斜めになってしまう。また、この読み出しは、ＶＤ信号のタイミングで開始される。なお、本来は、読み出しは、行毎の読み出しＨＤ信号のタイミングで行われるので、読み出しライン６１はもっと離散的な階段状になるはずであるが、見やすくするために直線で表示している。   In the CMOS sensor, since the reading operation is performed for each row from the upper part of the imaging surface, the reading timing is different between the upper part and the lower part of the imaging surface. For this reason, as shown at 61, the readout line is inclined. Further, this reading is started at the timing of the VD signal. Originally, the readout is performed at the timing of the readout HD signal for each row, so the readout line 61 should have a more discrete staircase shape, but is displayed as a straight line for easy viewing.

この読み出しライン６１に対して、撮像面全体での蓄積時間を一定にするために、読み出しライン６１と同じ形で読み出しライン６１に先行してリセットライン６２を設定する。このリセットライン６２は、各行毎に、読み出しライン６１よりも所定時間前にリセットをかける。ここで、６３は撮像面全体の蓄積時間を示しているが、このような駆動動作を行うことで撮像面全体にわたって蓄積時間が一定になる。   For this readout line 61, a reset line 62 is set prior to the readout line 61 in the same manner as the readout line 61 in order to make the accumulation time on the entire imaging surface constant. The reset line 62 is reset for a predetermined time before the read line 61 for each row. Here, 63 indicates the accumulation time of the entire imaging surface, but by performing such a driving operation, the accumulation time becomes constant over the entire imaging surface.

このリセットライン６２の制御は、正確には読み出しライン６１に先行してリセットをかけることはできないので、読み出しライン６１の後にいくつ目のＨＤ信号でリセットをかけるかを設定することで制御を行っている。このような読み出し及びリセットの動作を行うことにより、リセットライン６２と読み出しライン６１との間が、スリットシャッタを形成し、この間隔が蓄積時間となる。   Since the reset line 62 cannot be accurately reset prior to the read line 61, the control is performed by setting the number of HD signals to be reset after the read line 61. Yes. By performing such read and reset operations, a slit shutter is formed between the reset line 62 and the read line 61, and this interval is the accumulation time.

特開２００３−２５５４２４号公報JP 2003-255424 A

上述したように、このような動画時のスリットシャッタによる蓄積時間の制御では、撮像面の上部と撮像面の下部とでは蓄積されている画像信号の読み出しのタイミングが異なっている。このため、その間にカメラが振れてしまうと、撮影した画像が上下に伸びる、あるいは斜めになるといった歪みが発生してしまう。この時、手振れのような小さな振れであれば像の歪みはあまり大きくないが、カメラをパンさせた（カメラを意図的に振った）場合には、見苦しいほどの画像の歪みが発生してしまう。   As described above, in the control of the accumulation time by the slit shutter at the time of such a moving image, the timing of reading the accumulated image signal is different between the upper part of the imaging surface and the lower part of the imaging surface. For this reason, if the camera shakes during that time, distortion occurs such that the photographed image extends vertically or becomes oblique. At this time, if the shake is small such as camera shake, the image distortion is not so great, but if the camera is panned (the camera is intentionally shaken), the image distortion will be unsightly. .

この現象について、図１２を用いて説明する。
図１２（ａ）は、カメラの振れが無かった場合に撮影された画像を示しており、画像の歪みが発生していない場合である。これに対して、図１２（ｂ）は、撮影中にカメラが横方向に動いた場合を示しており、特に右方向にパンされた場合に撮影された画像を示している。この場合、図１２（ｂ）のように画像全体が右に傾いてしまう。同様にカメラが逆方向の左方向にパンされた場合には、左に傾いた画像が撮影される。 This phenomenon will be described with reference to FIG.
FIG. 12A shows an image taken when there is no camera shake, and the image is not distorted. On the other hand, FIG. 12B shows a case where the camera moves in the horizontal direction during shooting, and particularly shows an image shot when panning in the right direction. In this case, the entire image is tilted to the right as shown in FIG. Similarly, when the camera is panned leftward in the opposite direction, an image tilted to the left is taken.

また、図１２（ｃ）は、撮影中にカメラが縦方向に動いた場合を示しており、特に下方向にパンされた場合に撮影された画像を示している。この場合、図１２（ｃ）のように画像が上下方向につぶれてしまう。なお、カメラが逆方向の上方向にパンされた場合には、画像が上下方向に伸びた画像として撮影される。   FIG. 12C shows a case where the camera moves in the vertical direction during shooting, and particularly shows an image shot when the camera is panned downward. In this case, the image is crushed in the vertical direction as shown in FIG. When the camera is panned upward in the reverse direction, the image is taken as an image extending in the vertical direction.

このように、スリットシャッタで撮影された場合、カメラが動くと、画像の歪みが顕著に表れ見苦しい画像が撮影されてしまう。また、背景の技術として説明した防振システムを用いても、ここで説明したようなスリットシャッタによる画像の歪みを補正することはできない。   In this way, when the image is taken with the slit shutter, if the camera moves, the image will be noticeably distorted and an unsightly image will be taken. Even if the image stabilization system described as the background technology is used, the image distortion caused by the slit shutter as described here cannot be corrected.

本発明は上述の問題点にかんがみてなされたものであり、自装置が振れた場合であっても、歪みの無い良好な画像を取得可能な撮影装置及びその制御方法を提供することを目的とする。   The present invention has been made in view of the above-described problems, and an object thereof is to provide a photographing apparatus capable of obtaining a good image without distortion even when the apparatus itself shakes and a control method thereof. To do.

本発明の撮影装置は、被写体の光学像を画像として撮像する撮像手段と、自装置の振れ量を検出する振れ検出手段と、前記撮像手段で撮像を行う際のレンズの画角を検出する画角検出手段と、前記振れ検出手段で検出した振れ量と前記画角検出手段で検出したレンズの画角とに基づいて、自装置の振れに係る画像の補正量を演算する演算手段と、前記演算手段での演算により算出された補正量に基づいて、前記撮像手段で撮像した画像に対して補正を行う補正手段とを有する。   An imaging device of the present invention includes an imaging unit that captures an optical image of a subject as an image, a shake detection unit that detects a shake amount of the own device, and an image that detects a field angle of a lens when the imaging unit performs imaging. An angle detection unit; a calculation unit that calculates a correction amount of an image related to a shake of the own device based on a shake amount detected by the shake detection unit and a field angle of the lens detected by the field angle detection unit; And a correction unit that corrects an image captured by the imaging unit based on the correction amount calculated by the calculation performed by the calculation unit.

本発明の撮影装置の制御方法は、被写体の光学像を画像として撮像する撮像手段を具備する撮影装置の制御方法であって、前記撮影装置の振れ量を検出する振れ検出ステップと、前記撮像手段で撮像を行う際のレンズの画角を検出する画角検出ステップと、前記振れ検出ステップで検出した振れ量と前記画角検出ステップで検出したレンズの画角とに基づいて、前記撮影装置の振れに係る画像の補正量を演算する演算ステップと、前記演算ステップでの演算により算出された補正量に基づいて、前記撮像手段で撮像した画像に対して補正を行う補正ステップとを有する。   The method for controlling an imaging apparatus according to the present invention is a method for controlling an imaging apparatus including an imaging unit that captures an optical image of a subject as an image, and includes a shake detection step for detecting a shake amount of the imaging apparatus, and the imaging unit. Based on the angle of view detection step for detecting the angle of view of the lens when performing imaging with the image sensor, the amount of shake detected in the shake detection step, and the angle of view of the lens detected in the angle of view detection step. A calculation step of calculating a correction amount of an image related to shake; and a correction step of correcting the image captured by the imaging unit based on the correction amount calculated by the calculation in the calculation step.

本発明によれば、撮影装置が振れた場合であっても、歪みの無い良好な画像を取得することが可能になる。   According to the present invention, it is possible to obtain a good image without distortion even when the photographing apparatus is shaken.

以下、本発明に係る諸実施形態について図面を用いて説明する。   Hereinafter, embodiments according to the present invention will be described with reference to the drawings.

（第１の実施形態）
図１は、第１の実施形態に係るデジタルカメラ（撮影装置）の概略構成図である。
図１において１０１は、被写体の光学像を後述の撮像素子１０７に結像させ、絞り機構を内包したレンズである。図１において１０２は、レンズ１０１を駆動させ、フォーカス制御と絞りの制御を行うレンズ駆動装置である。 (First embodiment)
FIG. 1 is a schematic configuration diagram of a digital camera (photographing apparatus) according to the first embodiment.
In FIG. 1, reference numeral 101 denotes a lens that forms an optical image of a subject on an image sensor 107 (to be described later) and includes a diaphragm mechanism. In FIG. 1, reference numeral 102 denotes a lens driving device that drives the lens 101 to perform focus control and aperture control.

図１において１０３は、レンズ１０１を通った光学像をファインダー（不図示）に導くためのミラーであり、一般的にクイックリターン（ＱＲ）ミラーと称される。このＱＲミラー１０３は、撮影時以外ではファインダーに光を導いているが、撮影時には跳ね上がって後述の撮像素子１０７に光学像が届くように動作する。図１において１０４は、このようなＱＲミラー１０３の駆動を行うミラー駆動装置である。   In FIG. 1, reference numeral 103 denotes a mirror for guiding an optical image passing through the lens 101 to a finder (not shown), and is generally called a quick return (QR) mirror. The QR mirror 103 guides light to the viewfinder at times other than shooting, but operates so that it jumps up at the time of shooting and an optical image reaches an image sensor 107 described later. In FIG. 1, reference numeral 104 denotes a mirror driving device that drives the QR mirror 103.

図１において１０５は、一眼レフカメラに使用されるフォーカルプレーン型のシャッタ幕を有するシャッタであり、レンズ１０１を通ってきた光学像の露光時間の制御と遮光を行うものである。図１において１０６は、シャッタ１０５の駆動を行うシャッタ駆動装置である。   In FIG. 1, reference numeral 105 denotes a shutter having a focal plane type shutter curtain used for a single-lens reflex camera, and controls and controls the exposure time of an optical image that has passed through the lens 101. In FIG. 1, reference numeral 106 denotes a shutter driving device that drives the shutter 105.

図１において１０７は、レンズ１０１により結像された被写体を画像信号として取り込むための撮像素子（固体撮像素子）である。図１において１０８は、撮像素子１０７から出力される画像信号の増幅処理や、アナログ−ディジタル変換を行うＡ／Ｄ変換処理、Ａ／Ｄ変換後の画像データにキズ補正などの各種の補正処理、あるいは画像データの圧縮処理等を行う撮像信号処理回路である。図１において１０９は、撮像素子１０７と撮像信号処理回路１０８に各種のタイミング信号を出力する駆動手段であるタイミング発生部である。   In FIG. 1, reference numeral 107 denotes an image sensor (solid-state image sensor) for capturing a subject imaged by the lens 101 as an image signal. In FIG. 1, reference numeral 108 denotes an amplification process of an image signal output from the image sensor 107, an A / D conversion process for performing analog-digital conversion, and various correction processes such as defect correction for image data after A / D conversion, Alternatively, it is an imaging signal processing circuit that performs compression processing of image data. In FIG. 1, reference numeral 109 denotes a timing generation unit that is a driving unit that outputs various timing signals to the imaging element 107 and the imaging signal processing circuit 108.

図１において１１０は、後述の記録媒体１１１に記録又は読み出しを行うための記録媒体制御インターフェース（Ｉ／Ｆ）部である。図１において１１１は、画像データを記録する半導体メモリ等の着脱可能な記録媒体である。図１において１１２は、コンピュータ等の外部装置と通信を行うための外部インターフェース（Ｉ／Ｆ）部である。   In FIG. 1, reference numeral 110 denotes a recording medium control interface (I / F) unit for performing recording or reading on a recording medium 111 described later. In FIG. 1, reference numeral 111 denotes a detachable recording medium such as a semiconductor memory for recording image data. In FIG. 1, reference numeral 112 denotes an external interface (I / F) unit for communicating with an external device such as a computer.

図１において１１３は、被写体の輝度を測定する測光装置である。図１において１１４は、被写体までの距離を測定する測距装置である。フォーカスと露光量の制御は、後述する全体制御・演算部１１５が、測光装置１１３で測定した被写体の輝度情報と測距装置１１４で測定した被写体までの距離情報とに基づいて、レンズ駆動装置１０２及びシャッタ駆動装置１０６を制御することにより行われる。   In FIG. 1, 113 is a photometric device that measures the luminance of a subject. In FIG. 1, 114 is a distance measuring device that measures the distance to the subject. Control of the focus and exposure amount is performed based on the brightness information of the subject measured by the photometry device 113 and the distance information to the subject measured by the distance measuring device 114 by the overall control / calculation unit 115 described later. And the shutter driving device 106 is controlled.

図１において１１５は、各種の演算処理や当該デジタルカメラ全体を制御する全体制御・演算部である。図１において１１６は、画像データを一時的に記憶したり調整値などを恒久的に記憶したりするメモリ部である。図１において１１７は、デジタルカメラにおける振れを補正する振れ補正装置である。この振れ補正装置１１７は、図１０に示したものと同様の構成である。   In FIG. 1, reference numeral 115 denotes an overall control / arithmetic unit that controls various arithmetic processes and the entire digital camera. In FIG. 1, reference numeral 116 denotes a memory unit that temporarily stores image data and permanently stores adjustment values and the like. In FIG. 1, reference numeral 117 denotes a shake correction apparatus that corrects shake in the digital camera. This shake correction device 117 has the same configuration as that shown in FIG.

次に、撮影時のデジタルカメラの動作について説明する。
デジタルカメラのメイン電源（不図示）がオンされると、各駆動装置の電源がオンし、更に、撮像信号処理回路１０８、撮像素子１０７、タイミング発生部１０９などの撮像系回路の電源がオンする。 Next, the operation of the digital camera at the time of shooting will be described.
When the main power supply (not shown) of the digital camera is turned on, the power supply of each driving device is turned on, and further, the power supply of the imaging system circuits such as the imaging signal processing circuit 108, the image sensor 107, and the timing generator 109 is turned on. .

その後、レリーズボタン（不図示）が半押しされると、露光量を制御するために全体制御・演算部１１５は、測光装置１１３に対して被写体輝度を測定させ、同時に測距装置１１４に対して被写体距離を測定させる。そして、全体制御・演算部１１５は、この測距結果に応じてレンズ駆動装置１０２を制御し、レンズ駆動装置１０２にレンズ１０１の合焦動作を行わせる。   Thereafter, when a release button (not shown) is half-pressed, the overall control / calculation unit 115 causes the photometry device 113 to measure the subject brightness and simultaneously controls the distance measurement device 114 to control the exposure amount. Have the subject distance measured. Then, the overall control / calculation unit 115 controls the lens driving device 102 in accordance with the distance measurement result, and causes the lens driving device 102 to perform the focusing operation of the lens 101.

続いて、レリーズボタン（不図示）が全押しされると、全体制御・演算部１１５は、測光装置１１３の測光値に基づいてレンズ駆動装置１０２を制御し、レンズ駆動装置１０２レンズ１０１の光学系の絞りを調整させる。また、全体制御・演算部１１５は、測光装置１１３の測光値に基づいて、ミラー駆動装置１０６を制御してミラー１０３を上げるとともに、シャッタ駆動装置１０６を制御してシャッタ１０５を開く。   Subsequently, when a release button (not shown) is fully pressed, the overall control / calculation unit 115 controls the lens driving device 102 based on the photometric value of the photometric device 113, and the lens driving device 102 the optical system of the lens 101. Adjust the aperture. Further, the overall control / calculation unit 115 controls the mirror driving device 106 to raise the mirror 103 based on the photometric value of the photometric device 113, and controls the shutter driving device 106 to open the shutter 105.

そして、画像を撮影するために全体制御・演算部１１５は、タイミング発生部１０９と撮像信号処理回路１０８を制御し、撮像素子１０７から動画用の画像信号を取り出し処理して、処理した画像データを一旦メモリ部１１６に記録する。同時に、振れ補正装置１１７を動作させて、手振れを補正しながら、振れ量を演算して取り出した動画用画像を補正する。そして、このメモリ部１１６の画像データを記録媒体制御Ｉ／Ｆ部１１０を介して記録媒体１１１に順次記録していく。これらの動画用画像信号の取り出しから記録媒体１１１への記録の一連の動作は、レリーズボタン（不図示）が全押しされている間、続けられる。   Then, in order to capture an image, the overall control / arithmetic unit 115 controls the timing generation unit 109 and the imaging signal processing circuit 108 to extract the image signal for moving image from the imaging element 107 and process the processed image data. Once recorded in the memory unit 116. At the same time, the shake correction device 117 is operated to correct the shake while calculating the shake amount and correcting the moving image. The image data in the memory unit 116 is sequentially recorded on the recording medium 111 via the recording medium control I / F unit 110. A series of operations from taking out the moving image signal to recording on the recording medium 111 is continued while a release button (not shown) is fully pressed.

そして、レリーズボタン（不図示）が離されると、全体制御・演算部１１５は、シャッタ駆動装置１０６を通じてシャッタ１０５を閉じるように制御し、また、ミラー駆動装置１０４を通じてミラー１０３を下げるように制御する。   When a release button (not shown) is released, the overall control / calculation unit 115 controls to close the shutter 105 through the shutter driving device 106 and controls to lower the mirror 103 through the mirror driving device 104. .

以上により、一連の撮像シーケンスが終了し、また元の状態に戻る。   As described above, a series of imaging sequences is completed, and the original state is restored.

次に、スリットシャッタによる画像の歪み補正の概要について、図２〜図４を用いて説明する。   Next, an outline of image distortion correction by the slit shutter will be described with reference to FIGS.

図２において１００１は、ＣＭＯＳセンサからなる撮像素子１０７の撮像面全体を示すものである。本実施形態では、撮像面１００１のうちの一部分の領域を画像表示に供する動画画像領域１００２として設定し、この動画画像領域１００２における画像信号を動画像として記録する。ただし、本実施形態では、画像の歪み補正を行うために、動画画像領域１００２よりも大きな領域（図２の点線で囲まれた領域）を読み出し領域１００３として設定している。すなわち、本実施形態では、動画画像領域１００２に対して、網点の部分を撮像素子１０７から余計に読み出しておく必要がある。また、画像の補正量がこの余計に読み出した領域を越える場合には、補正量をクリップする。もしくは、補正を行わないといった処理が必要となる。   In FIG. 2, reference numeral 1001 denotes the entire image pickup surface of the image pickup element 107 formed of a CMOS sensor. In the present embodiment, a partial area of the imaging surface 1001 is set as a moving image area 1002 used for image display, and an image signal in the moving image area 1002 is recorded as a moving image. However, in the present embodiment, an area larger than the moving image area 1002 (area surrounded by a dotted line in FIG. 2) is set as the read area 1003 in order to perform image distortion correction. That is, in the present embodiment, it is necessary to read out the halftone dots from the image sensor 107 for the moving image area 1002. Further, if the correction amount of the image exceeds the extra read area, the correction amount is clipped. Alternatively, processing such as no correction is required.

図３は、図２に対してカメラが左右方向（水平方向）に振れた場合の動画画像領域１１０１を示す図である。この図３には、カメラが右に振れた場合について記載している。カメラが振れていない場合には、動画画像領域１００２の四角い動画画像領域を記録すれば良いが、カメラが左右に振れた場合には、図１２（ｂ）で説明したように、画像が斜めに歪んでしまう。   FIG. 3 is a diagram showing a moving image area 1101 when the camera shakes in the left-right direction (horizontal direction) with respect to FIG. FIG. 3 shows a case where the camera swings to the right. When the camera is not shaken, a square moving image area of the moving image area 1002 may be recorded. However, when the camera is shaken to the left and right, as described with reference to FIG. It will be distorted.

そこで、本実施形態では、単位時間毎の検出で振れが検出される度に、画像表示に供する動画画像領域１１０１を左右にずらし、図３の動画画像領域１１０１のように振れに合わせた動画像領域とすることで斜めの歪みの無い画像を得ることができる。ここで、横長の長方形１１０１ａは、単位時間に読み出される動画画像領域を示している。なお、カメラが右に振れた場合には動画画像領域１１０１ａを左に、カメラが左に振れた場合には動画画像領域１１０１ａを右に移動することにより適正な補正を行うことができる。   Therefore, in this embodiment, each time a shake is detected by detection for each unit time, the moving image area 1101 used for image display is shifted to the left and right, and the moving image is adjusted to the shake like the moving image area 1101 in FIG. By setting the area, an image without oblique distortion can be obtained. Here, a horizontally long rectangle 1101a indicates a moving image area read out in unit time. When the camera shakes to the right, the moving image area 1101a can be moved to the left, and when the camera can move to the left, the moving image area 1101a can be moved to the right.

図４は、図２に対してカメラが上下方向（垂直方向）に振れた場合の動画画像領域１２０１を示す図である。この図４には、カメラが下に振れた場合について記載している。図４では、動画画像領域１２０１が図２の動画画像領域１００２と一致しているが、本来は上下方向の振れ量に応じて、動画画像領域１２０１の縦のサイズが伸びたり縮んだりする。   FIG. 4 is a diagram showing a moving image area 1201 when the camera shakes in the vertical direction (vertical direction) with respect to FIG. FIG. 4 shows a case where the camera swings downward. In FIG. 4, the moving image area 1201 matches the moving image area 1002 in FIG. 2, but the vertical size of the moving image area 1201 originally expands or contracts according to the amount of shake in the vertical direction.

また、横長の長方形１２０１ａは、単位時間に読み出される動画画像領域を示しており、本実施形態では、カメラの振れに応じて、動画画像領域１２０１ａを上下方向に伸ばしたり縮めたりすることによって画像の補正を行う。そして、このような画像の補正を行わない場合には、図１２（ｃ）で説明したように、画像が伸び縮みして歪んでしまう。なお、カメラが上に振れた場合には動画画像領域１２０１ａを伸ばし、カメラが下に振れた場合には動画画像領域１２０１ａを縮めることにより適正な補正を行うことができる。   A horizontally long rectangle 1201a indicates a moving image area that is read out in a unit time. In this embodiment, the moving image area 1201a is vertically expanded or contracted according to camera shake to reduce the size of the image. Make corrections. When such image correction is not performed, the image is stretched and distorted as described with reference to FIG. When the camera shakes up, the moving image area 1201a can be expanded, and when the camera shakes down, the moving image area 1201a can be shortened to perform appropriate correction.

また、実際の撮影においては、カメラが上下左右に振れるため、動画画像領域の左右の移動と、上下の伸縮とを組み合わせて補正を行う。また、動画画像領域が撮像面１００１からはみ出す程のカメラの振れがあった場合には、補正を行うことはできないので、この場合には補正を行わない。 In actual shooting, since the camera swings up and down and left and right, correction is performed by combining left and right movement of the moving image area and up and down expansion and contraction. If the camera shake is such that the moving image area protrudes from the imaging surface 1001, the correction cannot be performed. In this case, the correction is not performed.

図５は、第１の実施形態に係るデジタルカメラ（撮影装置）での処理を示すフローチャートである。ここでは、動画撮影時における一連の画像歪み処理について説明する。   FIG. 5 is a flowchart showing processing in the digital camera (photographing apparatus) according to the first embodiment. Here, a series of image distortion processing during moving image shooting will be described.

動画撮影が開始されると、まず、ステップＳ１１０において、全体制御・演算部１１５は、タイミング発生部１０９を制御し、撮像素子１０７から１フレーム分の画像データの読み出しを開始する。この際、撮像素子１０７から読み出した画像データは、メモリ部１１６に保存しておく。   When moving image shooting starts, first, in step S110, the overall control / calculation unit 115 controls the timing generation unit 109 to start reading image data for one frame from the image sensor 107. At this time, the image data read from the image sensor 107 is stored in the memory unit 116.

続いて、ステップＳ１２０において、全体制御・演算部１１５は、振れ補正装置１１７を制御し、ｘ方向／ｙ方向の振れ量の検出を行う。この際の振れ量の検出は、振れ補正装置１１７のＣＰＵ８４のタイマ割り込み機能等を用いて１ｋＨｚ程度で周期的に動作できるようにする。このステップＳ１２０における詳細な処理については、図６において後述する。   Subsequently, in step S120, the overall control / calculation unit 115 controls the shake correction device 117 to detect the shake amount in the x direction / y direction. In this case, the shake amount is detected by using the timer interrupt function of the CPU 84 of the shake correction device 117 and the like so as to be able to operate periodically at about 1 kHz. Detailed processing in step S120 will be described later with reference to FIG.

続いて、ステップＳ１３０において、全体制御・演算部１１５は、画像の補正処理と現像処理を行う。ここで、ステップＳ１２０における振れ量の検出は、１ｋＨｚ程度の周期で行っているため、時間では１ｍｓｅｃとなる。これに対して、画像信号の読み出しは、画素１行あたり数十μｓｅｃなので、１回の振れ量を検出している間に数十行分の画素の読み出しが完了してしまう。ステップＳ１３０では、この読み出された画像信号に対して補正処理と現像処理を行う。このステップＳ１３０における詳細な処理については、図７において後述する。   Subsequently, in step S130, the overall control / calculation unit 115 performs image correction processing and development processing. Here, the detection of the shake amount in step S120 is performed at a cycle of about 1 kHz, and thus the time is 1 msec. On the other hand, since the readout of the image signal is several tens of microseconds per pixel row, readout of pixels of several tens rows is completed while detecting one shake amount. In step S130, correction processing and development processing are performed on the read image signal. Detailed processing in step S130 will be described later with reference to FIG.

続いて、ステップＳ１４０において、全体制御・演算部１１５は、１フレーム分の画像データの読み出しが完了したか否かを判断する。この判断の結果、１フレーム分の画像データの読み出しが完了していない場合には、ステップＳ１２０に戻る。一方、ステップＳ１４０での判断の結果、１フレーム分の画像データの読み出しが完了した場合には、ステップＳ１５０に進む。   Subsequently, in step S140, the overall control / calculation unit 115 determines whether or not reading of image data for one frame has been completed. If the result of this determination is that reading of image data for one frame has not been completed, processing returns to step S120. On the other hand, if the result of determination in step S140 is that reading of image data for one frame has been completed, processing proceeds to step S150.

続いて、ステップＳ１５０において、全体制御・演算部１１５は、撮影が完了しているか否かを判断する。この判断の結果、撮影が完了していない場合には、ステップＳ１１０に戻る。一方、ステップＳ１５０での判断の結果、撮影が完了した場合には、処理を終了する。   Subsequently, in step S150, the overall control / calculation unit 115 determines whether or not photographing has been completed. If the result of this determination is that photography has not been completed, processing returns to step S110. On the other hand, if the result of determination in step S150 is that shooting has been completed, the processing is terminated.

次に、図５のステップＳ１２０の詳細な処理について説明する。
図６は、図５のステップＳ１２０の詳細な処理を示すフローチャートである。 Next, detailed processing in step S120 in FIG. 5 will be described.
FIG. 6 is a flowchart showing detailed processing of step S120 of FIG.

ステップＳ１２０のｘ方向／ｙ方向の振れ量検出処理にあたっては、まず、ステップＳ１２１において、ｘ方向／ｙ方向それぞれの角速度センサ７３ｘ及び７３ｙからの出力信号を、Ａ／Ｄ変換回路８２ｘ及び８２ｙでそれぞれＡ／Ｄ変換する。   In the process of detecting the shake amount in the x direction / y direction in step S120, first, in step S121, output signals from the angular velocity sensors 73x and 73y in the x direction and y direction are respectively output by the A / D conversion circuits 82x and 82y. A / D conversion is performed.

続いて、ステップＳ１２２において、ＣＰＵ８４は、Ａ／Ｄ変換された各出力信号に対して、デジタル処理でハイパスのフィルタをかける。これにより、出力信号のＤＣ成分が除去され、オフセットエラーを発生しにくくさせることができる。   Subsequently, in step S122, the CPU 84 applies a high-pass filter to each A / D converted output signal by digital processing. Thereby, the DC component of the output signal is removed, and it is possible to make it difficult for an offset error to occur.

続いて、ステップＳ１２３において、ＣＰＵ８４は、ステップＳ１２２でハイパスフィルタをかけた各出力信号に対して、今度はローパスフィルタをかける。これにより、出力信号の高周波ノイズの除去と出力信号の積分を行うことができる。ここで、角速度センサ７３ｘ及び７３ｙからの出力信号は角速度であるため、振れの角度を求めるためには、出力信号を積分する必要がある。そこで、ローパスフィルタをかけることにより積分を行い、振れの角度（角変位）を求めている。   Subsequently, in step S123, the CPU 84 applies a low pass filter to each output signal subjected to the high pass filter in step S122. Thereby, it is possible to remove high-frequency noise from the output signal and to integrate the output signal. Here, since the output signals from the angular velocity sensors 73x and 73y are angular velocities, it is necessary to integrate the output signals in order to obtain the deflection angle. Therefore, integration is performed by applying a low-pass filter to obtain an angle of deflection (angular displacement).

このステップＳ１２２及びステップＳ１２３で、バンドパスフィルタ処理を行っており、これによって、手振れの周波数である、１Ｈｚ〜１２Ｈｚのみを検出できるようにしている。   In step S122 and step S123, bandpass filter processing is performed, so that only 1 to 12 Hz, which is the frequency of camera shake, can be detected.

続いて、ステップＳ１２４において、出力信号の回転方向の補正を行う。本来、ｘ方向／y方向の角速度センサ７３ｘ及び７３ｙは、お互いに垂直に配置されていなくてはならない。また、本実施形態においては、撮像素子１０７のｙ方向に対して、角速度センサ７３ｙが平行になり、撮像素子１０７のｘ方向に対して、角速度センサ７３ｘが平行になっている必要がある。しかし、実際には、取り付け誤差や角速度センサの出力ゲインのズレなどがあり、出力信号をそのまま使用することができない。そのため、ここで出力信号に対して、信号差の補正と回転方向の補正を行うことにより、各角速度センサが正確に取り付けられている状態と同じ出力信号が得られるようにする。   Subsequently, in step S124, the rotation direction of the output signal is corrected. Originally, the angular velocity sensors 73x and 73y in the x direction / y direction must be arranged perpendicular to each other. In the present embodiment, the angular velocity sensor 73 y needs to be parallel to the y direction of the image sensor 107, and the angular velocity sensor 73 x needs to be parallel to the x direction of the image sensor 107. However, in practice, there are mounting errors and deviations in the output gain of the angular velocity sensor, and the output signal cannot be used as it is. For this reason, the output signal is corrected in the signal difference and in the rotational direction so that the same output signal as in the state where each angular velocity sensor is accurately attached can be obtained.

続いて、ステップＳ１２５において、これまでの演算により求められた、ｘ方向／ｙ方向それぞれの角変位を振れ量として、例えばＣＰＵ８４内のメモリに記録する。   Subsequently, in step S125, the angular displacements in the x direction / y direction obtained by the calculation so far are recorded as shake amounts in, for example, a memory in the CPU 84.

以上のステップＳ１２１〜ステップＳ１２５までの一連の処理により、ｘ方向／ｙ方向の振れ量の検出処理が終了する。   The detection process of the shake amount in the x direction / y direction is completed by the series of processes from step S121 to step S125.

次に、図５のステップＳ１３０の詳細な処理について説明する。
図７は、図５のステップＳ１３０の詳細な処理を示すフローチャートである。 Next, detailed processing in step S130 of FIG. 5 will be described.
FIG. 7 is a flowchart showing detailed processing of step S130 of FIG.

ステップＳ１３０の補正処理及び現像処理にあたっては、まず、ステップＳ１３１において、ステップＳ１２５でメモリに記録されたｘ方向／ｙ方向のそれぞれの振れ量（角変位）に基づいて、画像の補正量を演算により算出する。   In the correction process and the development process in step S130, first, in step S131, the correction amount of the image is calculated based on the respective shake amounts (angular displacements) in the x direction / y direction recorded in the memory in step S125. calculate.

具体的に、ｘ方向とｙ方向それぞれの補正量（ズレ量）の算出は、以下のようにして行う。
振れ角速度（角速度センサで検出可能）
ｄθ［度／ｔ］
振れ角度（角速度を読み出し時間で積分）
θ［度］＝∫ｄθ・ｄｔ
レンズの画角（レンズ１０１の位置を全体制御・演算部１１５で検知して取得）
Θ［度］
ズレ量・拡大率
ｒ［％］＝（Θ＋θ）／Θ ×１００ Specifically, the correction amounts (deviation amounts) in the x direction and the y direction are calculated as follows.
Swing angular velocity (detectable by angular velocity sensor)
dθ [degree / t]
Swing angle (Angular velocity is integrated by readout time)
θ [degree] = ∫dθ · dt
Lens angle of view (obtained by detecting the position of the lens 101 by the overall control / calculation unit 115)
Θ [degree]
Deviation amount / magnification rate r [%] = (Θ + θ) / Θ × 100

このズレ量が補正量となるわけであるが、このズレ量は、上述の数式に示すように、ステップＳ１２５でメモリに記録されたｘ方向／ｙ方向のそれぞれの振れ量（角変位）と、レンズ１０１の画角とに基づいて算出される。ここで、レンズ１０１の画角は、全体制御・演算部１１５において、レンズ１０１の位置を検知することにより取得される。また、ズレ量がある程度小さく、予め設定したしきい値よりも小さい場合には、画像の補正は行わない。このように補正量を演算処理することにより、小さな歪みを細かく補正することによるちらつきを押さえることができる。   The amount of deviation is a correction amount. As shown in the above equation, the amount of deviation is the amount of deflection (angular displacement) in the x direction / y direction recorded in the memory in step S125, and It is calculated based on the angle of view of the lens 101. Here, the angle of view of the lens 101 is acquired by detecting the position of the lens 101 in the overall control / calculation unit 115. If the amount of deviation is small to some extent and smaller than a preset threshold value, the image is not corrected. By calculating the correction amount in this way, it is possible to suppress flicker caused by finely correcting a small distortion.

続いて、ステップＳ１３２において、ステップＳ１３１で算出されたｘ方向の補正量に基づいて、画像の読み出し位置を設定する。ここで、ｘ方向の補正量に基づいて、例えば図３に示す単位時間毎の動画画像領域１１０１ａにおける読み出し位置を設定することにより、ｘ方向（水平方向）の歪み補正することができる。   Subsequently, in step S132, an image reading position is set based on the correction amount in the x direction calculated in step S131. Here, based on the correction amount in the x direction, for example, by setting the reading position in the moving image area 1101a for each unit time shown in FIG. 3, distortion in the x direction (horizontal direction) can be corrected.

続いて、ステップＳ１３３において、ステップＳ１３１で算出されたｙ方向の補正量に基づいて、画像に対してｙ方向（垂直方向）の拡大又は縮小を設定する。ここで、ｙ方向の補正量に基づいて、例えば図４に示す単位時間毎の動画画像領域１２０１ａにおける上下方向（垂直方向）の拡大又は縮小を設定することにより、ｙ方向（垂直方向）の歪み補正することができる。   Subsequently, in step S133, enlargement or reduction in the y direction (vertical direction) is set for the image based on the correction amount in the y direction calculated in step S131. Here, based on the correction amount in the y direction, distortion in the y direction (vertical direction) is set by setting up or down in the vertical direction (vertical direction) in the moving image area 1201a for each unit time shown in FIG. 4, for example. It can be corrected.

続いて、ステップＳ１３４において、ステップＳ１３２で設定されたｘ方向の読み出し位置とステップＳ１３３で設定されたｙ方向の拡大／縮小率とに基づいて、画像の読み出しから現像までの処理を行う。その後、処理を終了する。   Subsequently, in step S134, processing from image reading to development is performed based on the reading position in the x direction set in step S132 and the enlargement / reduction ratio in the y direction set in step S133. Thereafter, the process ends.

これにより、手振れ等による歪みの無い画像が生成される。   As a result, an image without distortion due to camera shake or the like is generated.

なお、ステップＳ１３０における画像の補正量の算出処理は、前述したように振れの検出周期と画像の読み出し周期との関係から、数十行毎に処理を行うこととなる。また、補正光学手段７５による補正も同時に実行されているので、その分を考慮する必要がある。   Note that the calculation processing of the image correction amount in step S130 is performed every several tens of rows from the relationship between the shake detection cycle and the image readout cycle as described above. Further, since the correction by the correction optical means 75 is also executed at the same time, it is necessary to consider that amount.

第１の実施形態によれば、動画像の読み出し数行毎に画像の歪み補正を行うことにより、大変精度良く歪みを補正することができる。   According to the first embodiment, distortion can be corrected with very high accuracy by performing image distortion correction every several rows of moving images.

（第２の実施形態）
以下に、本発明に係る第２の実施形態について説明する。
第２の実施形態に係るデジタルカメラ（撮影装置）の概略構成については、第１の実施形態に係るデジタルカメラと同様に、図１に示すものとなる。 (Second Embodiment)
The second embodiment according to the present invention will be described below.
The schematic configuration of the digital camera (photographing apparatus) according to the second embodiment is the same as that of the digital camera according to the first embodiment as shown in FIG.

図８は、第２の実施形態に係るデジタルカメラ（撮影装置）での処理を示すフローチャートである。ここでは、動画撮影時における一連の画像歪み処理について説明する。   FIG. 8 is a flowchart showing processing in the digital camera (photographing apparatus) according to the second embodiment. Here, a series of image distortion processing during moving image shooting will be described.

動画撮影が開始されると、まず、ステップＳ２１０において、全体制御・演算部１１５は、タイミング発生部１０９を制御し、撮像素子１０７から１フレーム分の画像データの読み出しを開始する。この際、撮像素子１０７から読み出した画像データは、メモリ部１１６に保存しておく。   When moving image shooting starts, first, in step S210, the overall control / calculation unit 115 controls the timing generation unit 109 to start reading image data for one frame from the image sensor 107. At this time, the image data read from the image sensor 107 is stored in the memory unit 116.

続いて、ステップＳ２２０において、全体制御・演算部１１５は、振れ補正装置１１７を制御し、ｘ方向／ｙ方向の振れ量の検出を行う。この際の振れ量の検出は、振れ補正装置１１７のＣＰＵ８４のタイマ割り込み機能等を用いて１ｋＨｚ程度で周期的に動作できるようにする。このステップＳ２２０における詳細な処理については、第１の実施形態におけるステップＳ１２０と同様に、図６に示すフローチャートとなる。   Subsequently, in step S220, the overall control / calculation unit 115 controls the shake correction device 117 to detect the shake amount in the x direction / y direction. In this case, the shake amount is detected by using the timer interrupt function of the CPU 84 of the shake correction device 117 and the like so as to be able to operate periodically at about 1 kHz. The detailed processing in step S220 is the flowchart shown in FIG. 6 as in step S120 in the first embodiment.

続いて、ステップＳ２３０において、全体制御・演算部１１５は、１フレーム分の画像データの読み出しが完了したか否かを判断する。この判断の結果、１フレーム分の画像データの読み出しが完了していない場合には、ステップＳ２２０に戻る。一方、ステップＳ２３０での判断の結果、１フレーム分の画像データの読み出しが完了した場合には、ステップＳ２４０に進む。   Subsequently, in step S230, the overall control / calculation unit 115 determines whether or not reading of image data for one frame has been completed. If the result of this determination is that reading of image data for one frame has not been completed, processing returns to step S220. On the other hand, if the result of determination in step S230 is that reading of image data for one frame has been completed, processing proceeds to step S240.

続いて、ステップＳ２４０において、全体制御・演算部１１５は、画像の補正処理と現像処理を行う。ここで、ステップＳ２２０における振れ量の検出は、１ｋＨｚ程度の周期で行っているため、時間では１ｍｓｅｃとなる。これに対して、画像信号の読み出しは、画素１行あたり数十μｓｅｃなので、１回の振れ量を検出している間に数十行分の画素の読み出しが完了してしまう。ステップＳ２４０では、この読み出された画像信号に対して補正処理と現像処理を行う。このステップＳ２４０における詳細な処理については、第１の実施形態におけるステップＳ１３０と同様に、図７に示すフローチャートとなる。   In step S240, the overall control / calculation unit 115 performs image correction processing and development processing. Here, the detection of the shake amount in step S220 is performed at a cycle of about 1 kHz, and thus the time is 1 msec. On the other hand, since the readout of the image signal is several tens of microseconds per pixel row, readout of the pixels of several tens rows is completed while detecting one shake amount. In step S240, correction processing and development processing are performed on the read image signal. The detailed processing in step S240 is the flowchart shown in FIG. 7 as in step S130 in the first embodiment.

続いて、ステップＳ２５０において、全体制御・演算部１１５は、撮影が完了しているか否かを判断する。この判断の結果、撮影が完了していない場合には、ステップＳ２１０に戻る。一方、ステップＳ２５０での判断の結果、撮影が完了した場合には、処理を終了する。   Subsequently, in step S250, the overall control / calculation unit 115 determines whether or not photographing has been completed. If the result of this determination is that photography has not been completed, processing returns to step S210. On the other hand, if the result of determination in step S250 is that shooting has been completed, the processing is terminated.

第２の実施形態では、振れ量の検出のタイミングに合わせて補正量の演算を行って当該演算結果により算出された補正量を加算しておき、当該加算した補正量に基づき、１フレーム分の画像データ毎に像歪みの補正を行うようにしている。この場合、第１の実施形態の場合と比べてその精度は劣るが、ある程度の精度をもって歪みを補正することができる。第２の実施形態に係るデジタルカメラのシステムでは、全体制御・演算部１１５やＣＰＵ８４での処理の負荷を軽減することができ、例えばコストダウンなどでマイコンの性能を落とした場合でも対応可能である。   In the second embodiment, the correction amount is calculated in accordance with the detection timing of the shake amount, the correction amount calculated based on the calculation result is added, and one frame's worth is calculated based on the added correction amount. Image distortion correction is performed for each image data. In this case, the accuracy is inferior to that of the first embodiment, but the distortion can be corrected with a certain degree of accuracy. In the digital camera system according to the second embodiment, the processing load on the overall control / calculation unit 115 and the CPU 84 can be reduced. For example, even if the performance of the microcomputer is reduced due to cost reduction or the like, it can be dealt with. .

前述した本発明の各実施形態に係るデジタルカメラを構成する図１の各手段、並びにデジタルカメラの制御方法を示した図５〜図８の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び当該プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。   Each unit of FIG. 1 constituting the digital camera according to each embodiment of the present invention described above, and each step of FIGS. 5 to 8 showing the control method of the digital camera are stored in a RAM or ROM of a computer. This can be realized by operating the program. This program and a computer-readable storage medium storing the program are included in the present invention.

具体的に、前記プログラムは、例えばＣＤ−ＲＯＭのような記憶媒体に記録し、或いは各種伝送媒体を介し、コンピュータに提供される。前記プログラムを記録する記憶媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。他方、前記プログラムの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク（ＬＡＮ、インターネットの等のＷＡＮ、無線通信ネットワーク等）システムにおける通信媒体を用いることができる。また、この際の通信媒体としては、光ファイバ等の有線回線や無線回線などが挙げられる。   Specifically, the program is recorded in a storage medium such as a CD-ROM, or provided to a computer via various transmission media. As a storage medium for recording the program, a flexible disk, a hard disk, a magnetic tape, a magneto-optical disk, a nonvolatile memory card, and the like can be used in addition to the CD-ROM. On the other hand, as the transmission medium of the program, a communication medium in a computer network (LAN, WAN such as the Internet, wireless communication network, etc.) system for propagating and supplying program information as a carrier wave can be used. In addition, examples of the communication medium at this time include a wired line such as an optical fiber, a wireless line, and the like.

また、コンピュータが供給されたプログラムを実行することにより本発明の各実施形態に係るデジタルカメラの機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等と共同して本発明の各実施形態に係るデジタルカメラの機能が実現される場合や、供給されたプログラムの処理の全て、或いは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて本発明の各実施形態に係るデジタルカメラの機能が実現される場合も、かかるプログラムは本発明に含まれる。   In addition, the functions of the digital camera according to each embodiment of the present invention are realized by executing a program supplied by a computer, and an OS (operating system) or other operating system in which the program is operating in the computer. When the functions of the digital camera according to each embodiment of the present invention are realized in cooperation with application software, etc., or all or part of the processing of the supplied program is performed by a function expansion board or function expansion unit of the computer. Even when the functions of the digital camera according to each embodiment of the present invention are realized, such a program is included in the present invention.

第１の実施形態に係るデジタルカメラ（撮影装置）の概略構成図である。1 is a schematic configuration diagram of a digital camera (photographing apparatus) according to a first embodiment. 撮像素子の撮像面と動画画像領域との関係を示す模式図である。It is a schematic diagram which shows the relationship between the imaging surface of an image pick-up element, and a moving image area. カメラが左右方向（水平方向）に振れた場合の撮像素子の撮像面と動画画像領域との関係を示す模式図である。It is a schematic diagram which shows the relationship between the imaging surface of an image pick-up element, and a moving image area | region when a camera shakes in the left-right direction (horizontal direction). カメラが上下方向（垂直方向）に振れた場合の撮像素子の撮像面と動画画像領域との関係を示す模式図である。It is a schematic diagram which shows the relationship between the imaging surface of an image pick-up element, and a moving image area | region when a camera shakes to an up-down direction (vertical direction). 第１の実施形態に係るデジタルカメラ（撮影装置）での処理を示すフローチャートである。It is a flowchart which shows the process in the digital camera (imaging device) which concerns on 1st Embodiment. 図５のステップＳ１２０の詳細な処理を示すフローチャートである。It is a flowchart which shows the detailed process of step S120 of FIG. 図５のステップＳ１３０の詳細な処理を示すフローチャートである。It is a flowchart which shows the detailed process of step S130 of FIG. 第２の実施形態に係るデジタルカメラ（撮影装置）での処理を示すフローチャートである。It is a flowchart which shows the process in the digital camera (imaging device) which concerns on 2nd Embodiment. 画像振れを抑制する振れ補正システムの斜視図である。1 is a perspective view of a shake correction system that suppresses image shake. 振れ補正装置のブロック図である。It is a block diagram of a shake correction apparatus. スリットローリングシャッタにおける駆動方法を説明するための模式図である。It is a schematic diagram for demonstrating the drive method in a slit rolling shutter. カメラで撮影された画像を示す図である。It is a figure which shows the image image | photographed with the camera.

符号の説明Explanation of symbols

１０１ レンズ
１０２ レンズ駆動装置
１０３ ミラー
１０４ ミラー駆動装置
１０５ シャッタ
１０６ シャッタ駆動装置
１０７ 撮像素子
１０８ 撮像信号処理回路
１０９ タイミング発生部
１１０ 記録媒体制御Ｉ／Ｆ部
１１１ 記録媒体
１１２ 外部Ｉ／Ｆ部
１１３ 測光装置
１１４ 測距装置
１１５ 全体制御・演算部
１１６ メモリ部
１１７ 振れ補正装置 DESCRIPTION OF SYMBOLS 101 Lens 102 Lens drive device 103 Mirror 104 Mirror drive device 105 Shutter 106 Shutter drive device 107 Image pick-up element 108 Imaging signal processing circuit 109 Timing generation part 110 Recording medium control I / F part 111 Recording medium 112 External I / F part 113 Photometry apparatus 114 Distance Measuring Device 115 Overall Control / Calculation Unit 116 Memory Unit 117 Shake Correction Device

Claims (10)

被写体の光学像を画像として撮像する撮像手段と、
自装置の振れ量を検出する振れ検出手段と、
前記撮像手段で撮像を行う際のレンズの画角を検出する画角検出手段と、
前記振れ検出手段で検出した振れ量と前記画角検出手段で検出したレンズの画角とに基づいて、自装置の振れに係る画像の補正量を演算する演算手段と、
前記演算手段での演算により算出された補正量に基づいて、前記撮像手段で撮像した画像に対して補正を行う補正手段と、
を有することを特徴とする撮影装置。 Imaging means for imaging an optical image of a subject as an image;
Shake detection means for detecting the shake amount of the device itself;
An angle-of-view detection means for detecting an angle of view of a lens when the imaging means performs imaging;
A calculation unit that calculates a correction amount of an image related to a shake of the device based on a shake amount detected by the shake detection unit and a field angle of the lens detected by the field angle detection unit;
A correction unit that corrects an image captured by the imaging unit based on a correction amount calculated by the calculation performed by the calculation unit;
A photographing apparatus comprising: 前記演算手段は、前記撮像手段からの画像の読み出し速度に応じて前記補正量を演算処理することを特徴とする請求項１に記載の撮影装置。   The imaging apparatus according to claim 1, wherein the calculation unit calculates the correction amount in accordance with an image reading speed from the imaging unit. 前記補正手段は、前記撮像手段で撮像された画像の画像信号のうち、画像表示に供する画像領域よりも広い画像領域の画像信号を読み出して、前記補正を行うことを特徴とする請求項１又は２に記載の撮影装置。   The correction means reads out an image signal of an image area wider than an image area used for image display from the image signals of the image picked up by the image pickup means, and performs the correction. The imaging device according to 2. 前記振れ検出手段は、自装置の水平方向及び垂直方向の少なくともいずれか一方向の振れ量を検出するものであり、
前記補正手段は、前記振れ検出手段により前記一方向の振れが検出された場合、前記撮像手段で撮像された画像に対して、画像表示に供する画像領域を移動させることにより、前記補正を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮影装置。 The shake detection means detects a shake amount in at least one of the horizontal direction and the vertical direction of the device itself,
The correction means performs the correction by moving an image region used for image display with respect to the image picked up by the image pickup means when the shake detection means detects the shake in one direction. The imaging device according to any one of claims 1 to 3, wherein 前記振れ検出手段は、自装置の水平方向及び垂直方向の少なくともいずれか一方向の振れ量を検出するものであり、
前記補正手段は、前記振れ検出手段により前記一方向の振れが検出された場合、前記撮像手段で撮像された画像に対して、画像表示に供する画像領域を伸縮させることにより、前記補正を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮影装置。 The shake detection means detects a shake amount in at least one of the horizontal direction and the vertical direction of the device itself,
The correction means performs the correction by expanding and contracting an image area used for image display with respect to the image captured by the imaging means when the shake detection means detects the shake in one direction. The imaging device according to any one of claims 1 to 3, wherein 前記演算手段は、前記振れ検出手段による前記振れ量の検出のタイミングに合わせて前記補正量の演算を行い、
前記補正手段は、この時に前記撮像手段で撮像された画像に対して前記補正を行うことを特徴とする請求項１乃至５のいずれか１項に記載の撮影装置。 The calculation means calculates the correction amount in accordance with the detection timing of the shake amount by the shake detection means,
The imaging apparatus according to claim 1, wherein the correction unit performs the correction on the image captured by the imaging unit at this time. 前記補正手段は、前記振れ検出手段による前記振れ量の検出のタイミングに合わせて前記補正量の演算を行って当該演算結果により算出された補正量を加算しておき、１フレームの画像に係る画像信号の読み出しのタイミングに合わせて、当該加算した補正量に基づき、前記１フレームの画像に対して前記補正を行うことを特徴とする請求項１乃至５のいずれか１項に記載の撮影装置。   The correction unit performs the calculation of the correction amount in accordance with the timing of detection of the shake amount by the shake detection unit, adds the correction amount calculated based on the calculation result, and an image related to an image of one frame 6. The photographing apparatus according to claim 1, wherein the correction is performed on the image of one frame based on the added correction amount in accordance with a signal readout timing. 前記補正手段は、前記演算手段により算出された補正量が補正可能範囲外の場合には、前記補正を行わないことを特徴とする請求項１乃至７のいずれか１項に記載の撮影装置。   The photographing apparatus according to claim 1, wherein the correction unit does not perform the correction when the correction amount calculated by the calculation unit is out of a correctable range. 前記補正手段は、前記演算手段により算出された補正量が予め設定されているしきい値よりも小さい場合には、前記補正を行わないことを特徴とする請求項１乃至８のいずれか１項に記載の撮影装置。   9. The correction unit according to claim 1, wherein the correction unit does not perform the correction when the correction amount calculated by the calculation unit is smaller than a preset threshold value. The imaging device described in 1. 被写体の光学像を画像として撮像する撮像手段を具備する撮影装置の制御方法であって、
前記撮影装置の振れ量を検出する振れ検出ステップと、
前記撮像手段で撮像を行う際のレンズの画角を検出する画角検出ステップと、
前記振れ検出ステップで検出した振れ量と前記画角検出ステップで検出したレンズの画角とに基づいて、前記撮影装置の振れに係る画像の補正量を演算する演算ステップと、
前記演算ステップでの演算により算出された補正量に基づいて、前記撮像手段で撮像した画像に対して補正を行う補正ステップと、
を有することを特徴とする撮影装置の制御方法。 A method of controlling an imaging apparatus including an imaging unit that captures an optical image of a subject as an image,
A shake detection step of detecting a shake amount of the photographing apparatus;
An angle-of-view detection step of detecting an angle of view of the lens when imaging with the imaging means;
A calculation step of calculating a correction amount of an image related to a shake of the photographing apparatus based on a shake amount detected in the shake detection step and a field angle of the lens detected in the view angle detection step;
A correction step for correcting the image captured by the imaging unit based on the correction amount calculated by the calculation in the calculation step;
A method for controlling an imaging apparatus, comprising:

Images