JP4662835B2

JP4662835B2 - Imaging device

Info

Publication number: JP4662835B2
Application number: JP2005298533A
Authority: JP
Inventors: 紳聡阿部; 秀樹青木
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2005-10-13
Filing date: 2005-10-13
Publication date: 2011-03-30
Anticipated expiration: 2025-10-13
Also published as: JP2007110372A

Description

本発明は、像ぶれ補正機能を備えた撮像装置、特にデジタルカメラに関する。 The present invention relates to an imaging apparatus having an image blur correction function, and more particularly to a digital camera.

従来、デジタルカメラなどの撮像装置において、撮像中に生じた手ぶれを補正するために、撮像装置の振動を検出し、その検出された振動量に応じて、撮像光学系の位置を補正する像ぶれ補正装置が知られている。 Conventionally, in an imaging apparatus such as a digital camera, in order to correct camera shake that occurs during imaging, image blur that detects the vibration of the imaging apparatus and corrects the position of the imaging optical system according to the detected vibration amount Correction devices are known.

また、像ぶれが簡便に補正される方法として、画像処理によって補正が行われる方法が知られており、この方法の一例としては例えば特許文献１に記載される方法が挙げられる。すなわち、撮影画像が複数フレーム連続的に撮影されるとともに、各撮影画像が撮像されたときの像ぶれ量が検出され、各撮影画像がその像ぶれ量に応じてシフトされた後加算され、１つの静止画像が生成される。この方法によれば、各撮影画像が撮影される時間（露光時間）を短くすることにより、１フレームの撮影画像が撮影される間に生じる像ぶれが最小限に抑えられるとともに、各フレーム間の位置ずれは各撮影画像がシフトされることにより打ち消され、これにより像ぶれ補正が適切に行われている。 Further, as a method for easily correcting image blur, a method in which correction is performed by image processing is known, and an example of this method is a method described in Patent Document 1. That is, the captured image is continuously captured for a plurality of frames, and the amount of image blur when each captured image is captured is detected, and each captured image is added after being shifted according to the amount of image blur. Two still images are generated. According to this method, by shortening the time (exposure time) during which each captured image is captured, image blurring that occurs during the capture of one frame of captured image can be minimized, and between each frame. The positional deviation is canceled by shifting each captured image, and thus image blur correction is appropriately performed.

特許文献１においては、撮像素子としてＣＣＤが使用されており、全ての画素は同一のタイミングで同一の期間に亘って露光され、その露光される間に蓄積される電荷が電気信号に変換されるので、各撮影画像の各々の画素は、像ぶれ量が同一となる。したがって、各撮影画像をシフトするときに、同一の撮影画像内における各画素間の像ぶれ量の相違を考慮する必要はない。
特開２００３−３２５４０号公報 In Patent Document 1, a CCD is used as an image sensor, and all pixels are exposed at the same timing for the same period, and the electric charge accumulated during the exposure is converted into an electric signal. Therefore, each pixel of each captured image has the same image blur amount. Therefore, when shifting each captured image, it is not necessary to consider the difference in the amount of image blur between the pixels in the same captured image.
Japanese Patent Laid-Open No. 2003-32540

しかし、撮像素子としてはＣＣＤの他にＣＭＯＳセンサが知られており、ＣＭＯＳセンサにおいては、被写体像が画素毎に順次光電変換され、１フレームの撮影画像が生成される。すなわち、１つの撮影画像において、各画素の露光されるタイミングが異なるため、撮影画像の各画素の像ぶれ量は画素毎に異なる。したがって、複数の撮影画像間の位置ずれの検出にあたり、特許文献１に記載の方法をそのまま適用しても、画像の合成が適切にできない場合がある。なお、ＣＭＯＳセンサにはライン毎に光電変換する例もある。 However, a CMOS sensor is known as an image sensor in addition to a CCD. In the CMOS sensor, a subject image is sequentially photoelectrically converted for each pixel to generate a one-frame captured image. That is, since the exposure timing of each pixel differs in one captured image, the amount of image blur of each pixel of the captured image varies from pixel to pixel. Therefore, in detecting a positional shift between a plurality of captured images, even if the method described in Patent Document 1 is applied as it is, there is a case where images cannot be combined appropriately. There is also an example in which a CMOS sensor performs photoelectric conversion for each line.

そこで、本願発明は、このような問題点に鑑みて成されたものであり、ＣＭＯＳセンサ等、画像信号を１画素毎（または１ライン毎）に順次取り込む撮像素子を用いる場合において、像ぶれを適切に補正することができる撮像装置を提供することを目的とする。 Therefore, the present invention has been made in view of such problems, and in the case of using an image sensor that sequentially captures image signals for each pixel (or for each line) such as a CMOS sensor, image blurring is caused. An object of the present invention is to provide an imaging apparatus capable of appropriately correcting.

本発明に係る撮像装置は、同一の被写体像に関して、順次連続的に撮影された２フレーム以上の撮影画像を多重化合成し、多重化画像を生成する撮像装置であって、画素毎、またはライン毎に順次露光され、撮像レンズによって結像された被写体像から１フレームの撮影画像を生成する撮像素子と、各１フレーム分の撮影画像を生成されるための各露光期間において、タイミング信号が、各撮影画像において同一のタイミングで発生するように少なくとも１回タイミング信号を発生するタイミング発生手段と、撮像装置本体の角速度を検出し、角速度を、各タイミング信号が発生した間において時間積分することにより、各撮影画像間に生じるぶれを検出するぶれ検出手段と、ぶれによって生じた各撮影画像の相対的な位置ずれを補正するために、２フレーム以上の撮影画像のうち、少なくとも１フレームの撮影画像をシフトさせる画像シフト手段と、そのシフトされた各撮影画像を多重化させる多重化画像手段とを備える。 An imaging apparatus according to the present invention is an imaging apparatus that generates a multiplexed image by multiplexing and synthesizing captured images of two or more frames that are sequentially sequentially captured with respect to the same subject image. In each exposure period for generating a captured image of one frame from an image sensor that generates a captured image of one frame from a subject image that is sequentially exposed and imaged by an imaging lens, Timing generation means for generating a timing signal at least once so as to be generated at the same timing in each captured image, and detecting an angular velocity of the imaging apparatus main body, and integrating the angular velocity with time during the generation of each timing signal In order to correct the relative positional deviation between the shake detection means for detecting the shake generated between the shot images and the shot images caused by the shake. , Out of more than one frame of the captured image, comprising an image shifting means for shifting the photographic image of the at least one frame, and a superimposed image means for multiplexing the respective photographed image that shifted.

タイミング信号は、各露光期間において、１回発生するとともに、露光期間の開始から所定時間経過したタイミングで発生することが好ましい。 The timing signal is preferably generated once in each exposure period and at a timing when a predetermined time has elapsed from the start of the exposure period.

タイミング発生手段は、露光期間の１／２の時間が経過したときにタイミング信号を発生することが好ましい。これにより、撮影画像の中央部分の画素に関する像ぶれが、撮影画像間の位置ずれとして算出されるので、中央部分の像ぶれを抑制することができる。 The timing generation means preferably generates a timing signal when a half of the exposure period has elapsed. As a result, the image blur related to the pixel in the central portion of the captured image is calculated as a positional deviation between the captured images, so that the image blur in the central portion can be suppressed.

タイミング発生手段が、各露光期間において、第１及び第２タイミング信号をそれぞれ発生し、第１及び第２タイミング信号それぞれが各撮影画像において同一タイミングとなるように設定し、ぶれ検出手段は、角速度を、第１及び第２タイミング間それぞれにおいて時間積分することにより、各撮影画像間に生じるぶれを複数回検出し、複数のぶれに応じて、各撮影画像間の位置ずれを算出することが好ましい。 The timing generation means generates first and second timing signals in each exposure period, and sets the first and second timing signals to be the same timing in each captured image. Is preferably time-integrated between each of the first and second timings to detect a blur generated between the captured images a plurality of times, and calculate a positional shift between the captured images according to the plurality of shakes. .

これにより、各撮影画像間の複数の対応画素間の像ぶれに応じて、各撮影画像間の位置ずれが算出されるので、より的確な補正をすることができる。 As a result, the positional deviation between the captured images is calculated according to the image blur between the corresponding pixels between the captured images, so that more accurate correction can be performed.

ぶれ検出手段は、複数のぶれの相加平均を、各撮影画像の位置ずれとして算出することが好ましい。これにより、各撮影画像間の位置ずれは、撮影画像内で全体的に補正される。また、撮像素子は例えば、ＣＭＯＳセンサである。 It is preferable that the blur detection unit calculates an arithmetic average of a plurality of blurs as a positional deviation of each captured image. Thereby, the positional deviation between each captured image is corrected as a whole in the captured image. The image sensor is, for example, a CMOS sensor.

本発明においては、タイミング発生手段により角速度を検出するタイミングが規定されるので、ぶれ検出手段によって、各撮影画像間において、対応する画素に関するぶれが検出される。そして、そのぶれが撮影画像間に生じた位置ずれとして検出されるので、精度の高い手ぶれ補正が実現される。 In the present invention, since the timing for detecting the angular velocity is defined by the timing generation means, the shake detection means detects the shake relating to the corresponding pixel between the captured images. Then, since the blur is detected as a positional shift generated between the captured images, highly accurate camera shake correction is realized.

以下、本発明に係る実施形態について、図面を参照して説明する。本実施形態に係る撮像装置では、以下説明するように、同一の被写体像に関して、順次連続的に撮影された第１乃至第３撮影画像が多重合成され、その多重化画像が撮影された静止画像として生成される。ここで、撮像装置では通常手ぶれが発生するので、その手ぶれを補正するために、各撮影画像はその手ぶれに応じた分だけシフトされた上で合成される。以下実施形態を用いて具体的に説明する。以下説明する実施形態では、撮像装置が、デジタルカメラである場合について説明するが、撮像装置はデジタルカメラに限定されるわけではない。 Hereinafter, embodiments according to the present invention will be described with reference to the drawings. In the imaging apparatus according to the present embodiment, as will be described below, the first to third captured images that are sequentially captured with respect to the same subject image are multiplexed and synthesized, and the still image in which the multiplexed image is captured Is generated as Here, since camera shake normally occurs in the imaging apparatus, in order to correct the camera shake, each captured image is synthesized after being shifted by an amount corresponding to the camera shake. This will be specifically described below with reference to embodiments. In the embodiments described below, a case where the imaging device is a digital camera will be described, but the imaging device is not limited to a digital camera.

図１は、第１の実施形態に係るデジタルカメラのブロック図である。本実施形態に係るデジタルカメラ１０は、撮像素子２０を備え、撮像素子２０には、被写体像が撮像レンズ１９によって結像される。デジタルカメラ１０は、不図示のシャッターボタンが押され、撮像動作が実行されると、同一の被写体像に対する撮影が連続的に行われ、撮像素子２０では、複数フレームの撮影画像（本実施形態では、第１乃至第３の撮影画像）に対する画像信号が生成される。これら生成された画像信号は順次フレームバッファ２２に格納された後、画像シフト装置２４に入力される。 FIG. 1 is a block diagram of a digital camera according to the first embodiment. The digital camera 10 according to the present embodiment includes an imaging device 20, and a subject image is formed on the imaging device 20 by an imaging lens 19. When a shutter button (not shown) is pressed and an image capturing operation is executed, the digital camera 10 continuously captures the same subject image, and the image sensor 20 captures a plurality of frames of captured images (in this embodiment, , First to third photographed images) are generated. These generated image signals are sequentially stored in the frame buffer 22 and then input to the image shift device 24.

デジタルカメラ１０は、そのカメラ本体に生じる手ぶれを検知するため第１及び第２角速度センサ４１、４２を備える。第１及び第２角速度センサ４１、４２はそれぞれ、一定時間（例えば１ｍｓ）毎に、光軸となるｚ軸と水平方向に延びるｘ軸からなる面、および光軸となるｚ軸と垂直方向に延びるｙ軸からなる面の角速度Ｖｘ、Ｖｙを検出する。なお、水平方向とは、光軸方向に垂直で、通常の使用状態で水平になる方向と一致し、一方、垂直方向とは、光軸方向に垂直で、水平方向に直交する方向をいう。 The digital camera 10 includes first and second angular velocity sensors 41 and 42 for detecting camera shake occurring in the camera body. Each of the first and second angular velocity sensors 41 and 42 is in a direction perpendicular to the z-axis serving as the optical axis and the surface composed of the z-axis serving as the optical axis and the x-axis extending in the horizontal direction at regular intervals (for example, 1 ms). Angular velocities Vx and Vy of the surface composed of the extending y-axis are detected. The horizontal direction is perpendicular to the optical axis direction and coincides with the horizontal direction in a normal use state, while the vertical direction is perpendicular to the optical axis direction and perpendicular to the horizontal direction.

第１、第２角速度Ｖｘ、Ｖｙは、角速度に関する信号を増幅した後、アナログ信号として、それぞれ第１及び第２のＡ／Ｄ変換器５１及び５２に入力される。第１及び第２Ａ／Ｄ変換器５１及び５２では、第１、第２角速度Ｖｘ、ＶｙがＡ／Ｄ変換された後、角速度データとして、角速度−動きベクトル変換装置６１を介して、メモリ６２に一旦格納される。 The first and second angular velocities Vx and Vy are input to the first and second A / D converters 51 and 52 as analog signals after amplifying signals related to the angular velocities, respectively. In the first and second A / D converters 51 and 52, after the first and second angular velocities Vx and Vy are A / D converted, the angular velocity data is stored in the memory 62 via the angular velocity-motion vector conversion device 61. Once stored.

角速度−動きベクトル変換装置６１では、メモリ６２に格納された第１、第２角速度データＶｘ、Ｖｙが読み出され、手ぶれによって生じた、第２及び第１撮影画像に対する第３及び第２撮影画像の位置ずれがそれぞれ算出される。この算出された位置ずれデータは、一旦メモリ６２に保存された後、画像シフト装置２４に入力される。 In the angular velocity-motion vector conversion device 61, the first and second angular velocity data Vx and Vy stored in the memory 62 are read, and the third and second photographed images with respect to the second and first photographed images caused by camera shake are generated. Are calculated respectively. The calculated misregistration data is temporarily stored in the memory 62 and then input to the image shift device 24.

露光タイミング発生装置７１は、撮像素子２０の露光開始信号Ｐｅ及び露光終了信号Ｐｆを発生させ、撮像素子２０では、これら信号に応じて露光が行われる。露光開始信号Ｐｅ及び露光終了信号Ｐｆは、角速度タイミング発生装置７２にも入力され、角速度タイミング発生装置７２は、これら信号に応じて、第１、第２角速度Ｖｘ、Ｖｙの採用タイミングを決定するための角速度タイミング信号を角速度−動きベクトル変換装置６１に入力する。 The exposure timing generator 71 generates an exposure start signal Pe and an exposure end signal Pf for the image sensor 20, and the image sensor 20 performs exposure according to these signals. The exposure start signal Pe and the exposure end signal Pf are also input to the angular velocity timing generator 72, and the angular velocity timing generator 72 determines the adoption timing of the first and second angular velocities Vx and Vy according to these signals. The angular velocity timing signal is input to the angular velocity-motion vector converter 61.

画像シフト装置２４では、位置ずれデータより、第２撮影画像が、第１撮影画像に対する位置ずれ分を補正するように、そのずれ方向とは逆方向にシフトされ、その後第２撮影画像は、画像多重化装置２６に入力される。第３撮影画像は、第２撮影画像の第１撮影画像に対する位置ずれ分と、第２撮影画像に対する位置ずれ分を足したずれ分を補正するように、そのずれ方向とは逆方向にシフトされた後に、画像多重化装置２６に入力される。なお、第１撮影画像は、画像シフト装置２４では、シフトされずにそのまま画像多重化装置２６に入力される。 In the image shift device 24, the second captured image is shifted in the direction opposite to the shift direction so as to correct the positional shift with respect to the first captured image based on the positional shift data. Input to the multiplexer 26. The third photographed image is shifted in the opposite direction to the misalignment direction so as to correct the misalignment of the second photographed image with respect to the first photographed image and the misalignment with respect to the second photographed image. Is input to the image multiplexing device 26. The first photographed image is directly input to the image multiplexing device 26 without being shifted by the image shift device 24.

画像多重化装置２６では、第１撮影画像の上に、第２撮影画像が、第２撮影画像の上に、第３撮影画像が重ねられる。ここで、第２及び第３撮影画像は、上述したように、位置ずれした分だけ、シフトされた後に重ねられるので、得られる多重化画像は、手ぶれが補正された画像となる。多重化画像は、記録装置３０に静止撮影画像として保存されると共に、モニタ（不図示）に静止撮影画像として表示される。 In the image multiplexing device 26, the second photographed image is superimposed on the first photographed image, and the third photographed image is superimposed on the second photographed image. Here, as described above, since the second and third photographed images are overlaid after being shifted by the amount of displacement, the obtained multiplexed image is an image in which camera shake is corrected. The multiplexed image is stored as a still photographed image in the recording device 30 and displayed as a still photographed image on a monitor (not shown).

図２は、撮像素子２０で行われる画像の取り込みタイミングを示すための図である。図３は、各ラインの露光期間と、露光開始信号Ｐｅ及び露光終了信号Ｐｆの関係を示す図である。本実施形態では、撮像素子２０はＣＭＯＳイメージセンサから成り、ＣＭＯＳイメージセンサの撮像面には、撮像レンズ１９によって被写体像が結像される。撮像素子２０の撮像面は、撮像レンズ１９の光軸に垂直であり、図２に示すようにその撮像領域には水平方向に画素が並べられて形成される水平ラインＨが、垂直方向にｎライン設けられている。 FIG. 2 is a diagram for illustrating an image capture timing performed by the image sensor 20. FIG. 3 is a diagram showing the relationship between the exposure period of each line and the exposure start signal Pe and the exposure end signal Pf. In the present embodiment, the image sensor 20 is composed of a CMOS image sensor, and a subject image is formed by the imaging lens 19 on the imaging surface of the CMOS image sensor. The imaging surface of the imaging element 20 is perpendicular to the optical axis of the imaging lens 19, and as shown in FIG. 2, a horizontal line H formed by arranging pixels in the horizontal direction in the imaging region has n in the vertical direction. Line is provided.

ＣＭＯＳイメージセンサの各画素は、入射光を感知して入射光量に相当する信号電荷を生成・蓄積するフォトダイオードと、フォトダイオードから信号電荷を増幅して取り出す複数のＭＯＳトランジスタとを有する。 Each pixel of the CMOS image sensor includes a photodiode that senses incident light and generates and accumulates signal charges corresponding to the amount of incident light, and a plurality of MOS transistors that amplify and extract the signal charges from the photodiode.

図３に示すように、１フレームが露光される間に、露光開始信号Ｐｅ及び露光終了信号Ｐｆは、それぞれ、所定の間隔で、ＣＭＯＳイメージセンサのライン数と同数（すなわち、第１〜第ｎの露光開始信号Ｐｅ、及び第１〜第ｎの露光終了信号Ｐｆ）入力される。なお、図３に示すように、各第１〜第ｎの露光開始信号Ｐｅ、及び第１〜第ｎの露光終了信号Ｐｆは交互に入力される。 As shown in FIG. 3, during the exposure of one frame, the exposure start signal Pe and the exposure end signal Pf are respectively equal to the number of lines of the CMOS image sensor (that is, the first to nth) at predetermined intervals. Exposure start signal Pe and first to nth exposure end signals Pf). As shown in FIG. 3, the first to nth exposure start signals Pe and the first to nth exposure end signals Pf are alternately input.

本実施形態におけるＣＭＯＳイメージセンサでは、電子シャッターを用いて撮影が行われ、露光開始信号Ｐｅの入力タイミングに合わせて露光が開始され、露光終了信号Ｐｆの入力タイミングに合わせて露光が終了する。すなわち、第１の露光開始信号Ｐｅが入力されると、第１の露光終了信号Ｐｆが入力されるまでの期間（単位露光期間Ｅ）水平ラインＨのライン１が、選択されるとともに、選択された水平ラインＨにおいてはさらに各画素が左から右に順次選択される（図２参照）。なお、各露光開始信号Ｐｅは、いずれのフレームにおいても同一のタイミングで入力される。一方、各露光終了信号Ｐｆはいずれのフレームにおいても同一のタイミングで入力されても良いし、異なるタイミングで入力されても良い。露光終了信号Ｐｆが、フレーム毎に異なるタイミングで入力されることにより、各単位露光期間Ｅを、フレーム毎に変更させることができる。 In the CMOS image sensor of the present embodiment, photographing is performed using an electronic shutter, exposure is started in accordance with the input timing of the exposure start signal Pe, and exposure is ended in accordance with the input timing of the exposure end signal Pf. That is, when the first exposure start signal Pe is input, the line 1 of the horizontal line H during the period until the first exposure end signal Pf is input (unit exposure period E) is selected and selected. In the horizontal line H, each pixel is further selected sequentially from left to right (see FIG. 2). Each exposure start signal Pe is input at the same timing in any frame. On the other hand, each exposure end signal Pf may be input at the same timing in any frame or may be input at a different timing. By inputting the exposure end signal Pf at a different timing for each frame, each unit exposure period E can be changed for each frame.

各画素は単位露光期間Ｅで露光され、その露光により各画素では電荷が生成・蓄積され、キャパシタに転送される。蓄積された電荷は画素毎に画素信号として読み出され、フレームバッファ２２（図１参照）に格納される。この露光動作は、ライン２から最終ライン（ラインｎ）の各ラインに関しても同様に行われ、これにより１フレーム分の撮影画像の露光が終了し、撮影画像の画像信号が得られる。なお、１ライン目の露光開始タイミングから最終ライン（ラインｎ）の露光終了タイミングまでの期間、つまり１フレーム分の露光期間を本実施形態においては、フレーム露光期間という。 Each pixel is exposed in the unit exposure period E, and electric charges are generated and accumulated in each pixel by the exposure, and transferred to the capacitor. The accumulated charge is read out as a pixel signal for each pixel and stored in the frame buffer 22 (see FIG. 1). This exposure operation is similarly performed for each line from line 2 to the last line (line n), whereby the exposure of the captured image for one frame is completed, and an image signal of the captured image is obtained. Note that a period from the exposure start timing of the first line to the exposure end timing of the last line (line n), that is, an exposure period for one frame is referred to as a frame exposure period in this embodiment.

図４は、撮影動作における各動作が実施されるタイミングを時間経過とともに示すグラフである。図４においては、縦軸が角速度、横軸が時間経過を表す。ただし、角速度データは、Ｖｘについて表し、Ｖｙについてはその記載を省略する。 FIG. 4 is a graph showing the timing at which each operation in the photographing operation is performed over time. In FIG. 4, the vertical axis represents angular velocity and the horizontal axis represents time. However, the angular velocity data is expressed with respect to Vx, and description of Vy is omitted.

以下、図４を用いて、角速度タイミング信号が発生するタイミングについて説明する。図４に示すように、撮影動作が開始されると、まず第１の撮影画像の撮影が開始される。すなわち、撮像素子２０では露光が開始され、１フレーム分の撮影画像を撮影するための露光が、第１フレーム露光期間Ｆ１（すなわち、露光開始タイミングａ１から露光終了タイミングａ２まで）において行われる。 Hereinafter, the timing at which the angular velocity timing signal is generated will be described with reference to FIG. As shown in FIG. 4, when the photographing operation is started, first, photographing of the first photographed image is started. That is, the image sensor 20 starts exposure, and exposure for capturing a captured image for one frame is performed in the first frame exposure period F1 (that is, from the exposure start timing a1 to the exposure end timing a2).

第１フレーム露光期間Ｆ１が終了すると、撮影インターバルＩが経過した後、第２撮影画像が生成されるための露光が、第２フレーム露光期間Ｆ２（すなわち、露光開始タイミングｂ１から露光終了タイミングｂ２まで）において行われる。第２フレーム露光期間Ｆ２が終了すると、撮影インターバルＩが経過した後、第３撮影画像が生成されるための露光が、第３フレーム露光期間Ｆ３（すなわち、露光開始タイミングｃ１から露光終了タイミングｃ２まで）において行われる。なお、第１乃至第３撮影画像は、同じ露光条件で撮影されるため、第１乃至第３フレーム露光期間Ｆ１、Ｆ２、及びＦ３は、互いに同一であるとともに、撮影インターバルＩの期間も同一である。 When the first frame exposure period F1 ends, after the shooting interval I has elapsed, the exposure for generating the second shot image is performed from the second frame exposure period F2 (that is, from the exposure start timing b1 to the exposure end timing b2). ). When the second frame exposure period F2 ends, after the shooting interval I elapses, the exposure for generating the third shot image is performed from the third frame exposure period F3 (that is, from the exposure start timing c1 to the exposure end timing c2). ). Since the first to third photographed images are photographed under the same exposure conditions, the first to third frame exposure periods F1, F2, and F3 are the same as each other and the photographing interval I is also the same. is there.

角速度タイミング発生装置７２（図１参照）では、各露光期間Ｆ１〜Ｆ３それぞれにおいて、角速度タイミング信号Ｐｔ、Ｐｔ’、Ｐｔ”を１回発生させる。ここで、角速度タイミング信号Ｐｔ、Ｐｔ’、Ｐｔ”は、いずれの露光期間Ｆ１〜Ｆ３においても同一のタイミングで発生させられ、本実施形態においては、それぞれ露光開始タイミングａ１、ｂ１、ｃ１から一定期間Ｍが経過したタイミングＡ、Ａ’、Ａ”で発生させられる。すなわち、各角速度タイミング信号Ｐｔ、Ｐｔ’、Ｐｔ”は、それぞれ第１の露光開始信号Ｐｅが発生したときから、一定期間Ｍが経過したタイミングで発生させられる。 The angular velocity timing generator 72 (see FIG. 1) generates the angular velocity timing signals Pt, Pt ′, Pt ″ once in each of the exposure periods F1 to F3. Here, the angular velocity timing signals Pt, Pt ′, Pt ″. Are generated at the same timing in any of the exposure periods F1 to F3. In the present embodiment, at the timings A, A ′, and A ″ when a predetermined period M has elapsed from the exposure start timings a1, b1, and c1, respectively. That is, each angular velocity timing signal Pt, Pt ′, Pt ″ is generated at a timing when a certain period M has elapsed from when the first exposure start signal Pe is generated.

次に、本実施形態では、角速度タイミング信号Ｐｔ、Ｐｔ’、Ｐｔ”が用いられて角速度が採用され、その採用された角速度により各撮影画像間のぶれが検出される。具体的には、角速度−動きベクトル変換装置６１では、角速度タイミング信号Ｐｔ、Ｐｔ’に応じて、期間Ａ−Ａ’において検出された第１、第２角速度データＶｘ、Ｖｙが、メモリ６２から読み出される。その読み出された角速度データＶｘ、Ｖｙそれぞれは，時間積分され、期間Ａ−Ａ’におけるデジタルカメラ１０のｚ軸とｘ軸からなる平面、ｚ軸とｙ軸からなる平面の回転量として算出される。算出された回転量は、光軸に対する垂直平面における動きベクトルＶｔに換算される。光軸に対する垂直平面は、撮像素子２０の撮像面に一致するので、動きベクトルＶｔは、期間Ａ−Ａ’において生じた撮像面のぶれに相当する。 Next, in this embodiment, the angular velocity is adopted by using the angular velocity timing signals Pt, Pt ′, and Pt ″, and the shake between the captured images is detected based on the adopted angular velocity. Specifically, the angular velocity is detected. In the motion vector conversion device 61, the first and second angular velocity data Vx and Vy detected in the period AA ′ are read from the memory 62 in response to the angular velocity timing signals Pt and Pt ′. Each angular velocity data Vx, Vy is time-integrated and calculated as a rotation amount of the plane composed of the z-axis and the x-axis and the plane composed of the z-axis and the y-axis of the digital camera 10 in the period AA ′. The amount of rotation is converted into a motion vector Vt in a plane perpendicular to the optical axis, since the plane perpendicular to the optical axis coincides with the imaging surface of the image sensor 20. , Corresponding to the shake of the imaging surface caused in the period A-A '.

ここで、タイミングＡ、Ａ’は、第１及び第２フレーム露光期間において同一のタイミングであり、図５に示すように第１及び第２撮影画像において、同一ラインに位置する対応画素が露光されるタイミングである。すなわち、期間Ａ−Ａ’間において生じた撮像面のぶれ（動きベクトルＶｔ）は、第１及び第２撮影画像間における、対応画素の像ぶれに相当する。そして、本実施形態では、この対応画素に関する像ぶれを、撮影画像同士の位置ずれであるとし、時間Ａ−Ａ’間における撮像面のぶれ（すなわち、動きベクトルＶｔ）が、第１及び第２撮影画像間の位置ずれとして検出される。 Here, timings A and A ′ are the same timing in the first and second frame exposure periods, and corresponding pixels located on the same line are exposed in the first and second captured images as shown in FIG. This is the timing. That is, the imaging surface blur (motion vector Vt) generated during the period A-A ′ corresponds to the image blur of the corresponding pixel between the first and second captured images. In this embodiment, it is assumed that the image blur related to the corresponding pixel is a positional deviation between the captured images, and the blur of the imaging surface (that is, the motion vector Vt) during the time AA ′ is the first and second. It is detected as a positional deviation between captured images.

同様に、期間Ａ’−Ａ”における撮像面のぶれ（動きベクトルＶｔ）は、期間Ａ’−Ａ”において検出された角速度データＶｘ、Ｖｙから算出され、その動きベクトルＶｔが第２及び第３撮影画像間の位置ずれとして検出される。 Similarly, the imaging surface shake (motion vector Vt) in the period A′-A ″ is calculated from the angular velocity data Vx and Vy detected in the period A′-A ″, and the motion vector Vt is calculated as the second and third motion vectors Vt. It is detected as a positional deviation between captured images.

図６は、画像多重化装置２６における撮影画像の多重化方法を模式的に示した図である。図６に示すように、画像多重化装置２６においては、まず第１撮影画像が画像多重化装置２６に格納され、第１撮影画像が格納された後、その第１撮影画像の上に、第２撮影画像が重ねられる。 FIG. 6 is a diagram schematically illustrating a method of multiplexing captured images in the image multiplexing device 26. As shown in FIG. 6, in the image multiplexing device 26, the first captured image is first stored in the image multiplexing device 26, and after the first captured image is stored, the first captured image is stored on the first captured image. Two captured images are overlaid.

ここで、第２撮影画像は、動きベクトルＶｔの方向とは逆方向に、動きベクトルＶｔのスカラー分、第１撮影画像に対して相対的に、画像シフト装置２４でシフトされ、画像多重化装置２６で第１撮影画像の上に多重化される。第３撮影画像は、第１動きベクトルと第２動きベクトルを足した動きベクトルＶｔの方向とは逆方向に、その動きベクトルのスカラー分、第２撮影画像に対して相対的に、画像シフト装置２４でシフトされ、画像多重化装置２６で第２撮影画像の上に多重化される。 Here, the second captured image is shifted by the image shift device 24 in a direction opposite to the direction of the motion vector Vt, relative to the first captured image, by the scalar of the motion vector Vt. 26, the image is multiplexed onto the first photographed image. The third captured image is an image shift device that is in a direction opposite to the direction of the motion vector Vt obtained by adding the first motion vector and the second motion vector, relative to the second captured image by the scalar of the motion vector. 24 and is multiplexed on the second photographed image by the image multiplexing device 26.

以上のように、本実施形態では、ＣＭＯＳセンサにより、画素毎に順次露光が行なわれ、１フレームの撮影画像が生成されるので、１フレーム内の撮影画像において、各画素の露光タイミングが異なる。したがって、角速度タイミングＡ及びＡ’の発生タイミングが規定されずに、撮影画像間において、異なるラインの対応しない画素同士のぶれが検出されれば、精度の良い手ぶれ補正ができなくなる。しかし、本実施形態では、角速度タイミングＡ及びＡ’は、各フレーム露光期間内において、同一のタイミングで発生させられるので、撮影画像間において、対応画素同士の像ぶれが検出され、精度の高い手ぶれ補正が実現される。 As described above, in the present embodiment, the CMOS sensor sequentially performs exposure for each pixel and generates one frame of the captured image, so that the exposure timing of each pixel differs in the captured image within one frame. Therefore, when the occurrence timing of the angular velocity timings A and A ′ is not specified and a blur between pixels that do not correspond to different lines is detected between the captured images, it is impossible to perform an accurate camera shake correction. However, in the present embodiment, the angular velocity timings A and A ′ are generated at the same timing within each frame exposure period, so image blur between corresponding pixels is detected between captured images, and camera shake with high accuracy is detected. Correction is realized.

なお、本実施形態においては、角速度タイミング信号Ｐｔ、Ｐｔ’、Ｐｔ”が発生するタイミングは、フレーム露光期間内であれば、特に限定されず、例えば露光開始タイミングａ１、ｂ１、ｃ１でも良い。 In the present embodiment, the timing at which the angular velocity timing signals Pt, Pt ′, and Pt ″ are generated is not particularly limited as long as it is within the frame exposure period, and may be exposure start timings a1, b1, and c1, for example.

ただし、通常、画像の中央部分にはメインの被写体が表示されるので、画像の中央部分の像ぶれが最も抑制されると、メインの被写体の像ぶれが最も抑制されることとなる。したがって、角速度タイミング信号Ｐｔ、Ｐｔ’、Ｐｔ”が発生するタイミングは、フレーム露光期間の１／２が経過したタイミングであることが好ましい。これにより、撮影画像の中央部分同士の像ぶれが、各撮影画像間のぶれとして算出され、中央部分の像ぶれが最も抑制されるからである。 However, since the main subject is usually displayed in the center portion of the image, the image blur of the main subject is most suppressed when the image blur in the center portion of the image is most suppressed. Therefore, it is preferable that the timing at which the angular velocity timing signals Pt, Pt ′, and Pt ″ are generated is a timing at which a half of the frame exposure period has elapsed. This is because it is calculated as a blur between captured images, and the image blur in the central portion is most suppressed.

なお、第１撮影画像の露光開始直後では、シャッターぶれに起因し、一時的に大きなぶれが発生するので、角速度タイミング信号の発生タイミングを露光開始直後とすると、補正量が大きくなりすぎ、逆に画像間の位置ずれが大きく発生してしまう。したがって、角速度タイミング信号の発生タイミングは、露光開始直後のタイミングであるより、前述したフレーム露光期間の１／２が経過したタイミングであるほうが好ましい。 In addition, immediately after the start of exposure of the first photographed image, due to shutter shake, a large shake occurs temporarily. Therefore, if the generation timing of the angular velocity timing signal is set immediately after the start of exposure, the correction amount becomes too large. A large misalignment between images occurs. Therefore, it is preferable that the generation timing of the angular velocity timing signal is a timing at which half of the above-described frame exposure period has passed, rather than a timing immediately after the start of exposure.

図７を用いて第２の実施形態について説明する。第１の実施形態においては、フレーム露光期間において、採用タイミング信号は、１回しか発生しなかったが、本実施形態においては複数回（第１〜第１０の角速度タイミング信号）発生する。 A second embodiment will be described with reference to FIG. In the first embodiment, the adoption timing signal is generated only once in the frame exposure period, but in the present embodiment, it is generated a plurality of times (first to tenth angular velocity timing signals).

第１〜第１０角速度タイミング信号は、各フレーム露光期間Ｆ１、Ｆ２、Ｆ３においてそれぞれ同一のタイミングで発生し、例えば、各フレーム露光期間の開始タイミング、その開始タイミングからフレーム露光期間の１／９、２／９、…、８／９の時間が経過したタイミング、及びフレーム露光期間の終了タイミングで発生させられる。すなわち、図７に示すように、各第１乃至第３フレーム露光期間Ｆ１、Ｆ２、Ｆ３において、第１角速度タイミング信号は、タイミングＡ、Ａ’、Ａ”で発生し、第２角速度タイミング信号は、タイミングＢ、Ｂ’、Ｂ”で発生し、第３〜第１０角速度タイミング信号は、それぞれタイミングＣ〜Ｊ，Ｃ’〜Ｊ’、Ｃ”〜Ｊ”で発生する。 The first to tenth angular velocity timing signals are generated at the same timing in each of the frame exposure periods F1, F2, and F3. For example, the start timing of each frame exposure period, 1/9 of the frame exposure period from the start timing, .., 8/9, and when the frame exposure period ends. That is, as shown in FIG. 7, in each of the first to third frame exposure periods F1, F2, and F3, the first angular velocity timing signal is generated at timings A, A ′, and A ″, and the second angular velocity timing signal is The third to tenth angular velocity timing signals are generated at timings C to J, C ′ to J ′, and C ″ to J ″, respectively.

本実施形態においては、第１の実施形態と同様に、期間Ａ−Ａ’におけるデジタルカメラ１０のｚ軸とｘ軸からなる平面、ｚ軸とｙ軸からなる平面の回転量がそれぞれ算出される。算出された回転量は光軸に対する垂直平面における動きベクトルＶｔに換算され、この動きベクトルＶｔは、期間Ａ−Ａ’における撮像面のぶれとして算出される。同様に、各期間Ｂ−Ｂ’、Ｃ−Ｃ’、…、Ｊ−Ｊ’間における動きベクトルＶｔも角速度から換算され、この動きベクトルＶｔは、各期間における撮像面のぶれとして算出される。 In the present embodiment, as in the first embodiment, the rotation amounts of the plane composed of the z-axis and the x-axis and the plane composed of the z-axis and the y-axis of the digital camera 10 in the period AA ′ are calculated. . The calculated rotation amount is converted into a motion vector Vt in a plane perpendicular to the optical axis, and this motion vector Vt is calculated as a shake of the imaging surface in the period A-A ′. Similarly, the motion vector Vt between the periods B-B ′, C-C ′,..., J-J ′ is also converted from the angular velocity, and the motion vector Vt is calculated as the shake of the imaging surface in each period.

このように、各期間において、算出された１０個の動きベクトルＶｔは、平均（相加平均）され、その平均が第２撮影画像の第１撮影画像に対する位置ずれとして算出される。第３撮影画像の第２撮影画像に対する位置ずれも同様にして算出される。なお、その他の構成は、第１の実施形態と同様であるので、その記載は省略する。 Thus, in each period, the calculated 10 motion vectors Vt are averaged (arithmetic average), and the average is calculated as the positional deviation of the second captured image with respect to the first captured image. The positional deviation of the third captured image with respect to the second captured image is calculated in the same manner. Since other configurations are the same as those in the first embodiment, description thereof is omitted.

以上のように、本実施形態においては、各撮影画像間のぶれが、複数の動きベクトルの平均により算出されるので、第１の実施形態に比べて、多重化画像は全体的にぶれが抑制される。 As described above, in the present embodiment, the blur between the captured images is calculated by the average of a plurality of motion vectors. Therefore, the multiplexed image is suppressed from blurring as a whole compared to the first embodiment. Is done.

なお、本実施形態においては、各画素ごとに順次露光が行われたが、ラインごとに露光する撮像素子であっても同様に処理を行うことができる。 In this embodiment, the exposure is sequentially performed for each pixel. However, the same processing can be performed for an image sensor that performs exposure for each line.

第１の実施形態に係るデジタルカメラのブロック図である。1 is a block diagram of a digital camera according to a first embodiment. 撮像素子で行われる画像の取り込みタイミングを示すための図である。It is a figure for showing the capture timing of the image performed with an image sensor. 撮像素子の各ラインの露光期間と、露光開始信号、及び露光終了信号の関係を示す図である。It is a figure which shows the relationship between the exposure period of each line of an image pick-up element, an exposure start signal, and an exposure end signal. 撮影動作における各動作が実施されるタイミングを時間経過とともに示すグラフである。It is a graph which shows the timing when each operation | movement in imaging | photography operation | movement is implemented with progress of time. 第１乃至第３撮影画像における、角速度タイミング信号が発生するタイミングを示す図である。It is a figure which shows the timing which the angular velocity timing signal generate | occur | produces in the 1st thru | or 3rd picked-up image. 画像多重化装置における撮影画像の多重化方法を模式的に示した図である。It is the figure which showed typically the multiplexing method of the picked-up image in an image multiplexing apparatus. 第２の実施形態に係る撮影動作における、各動作が実施されるタイミングを時間経過とともに示すグラフである。It is a graph which shows the timing which each operation | movement is implemented with time passage in the imaging | photography operation | movement which concerns on 2nd Embodiment.

符号の説明Explanation of symbols

２０撮像素子
２４画像シフト装置
２６画像多重化装置
６１角速度−動きベクトル変換装置
７１露光タイミング発生装置
７２角速度タイミング発生装置

DESCRIPTION OF SYMBOLS 20 Image sensor 24 Image shift apparatus 26 Image multiplexing apparatus 61 Angular velocity-motion vector converter 71 Exposure timing generator 72 Angular velocity timing generator

Claims

同一の被写体像に関して、順次連続的に撮影された、少なくとも第１及び第２撮像画像を含む２フレーム以上の撮影画像を多重化合成し、多重化画像を生成する撮像装置であって、
画素毎、またはライン毎に順次露光され、撮像レンズによって結像された前記被写体像から１フレームの前記撮影画像を生成する撮像素子と、
前記第１及び第２撮影画像を生成させるための各露光期間において、タイミング信号を同一のタイミングで発生させるタイミング発生手段と、
前記撮像装置本体の角速度を検出し、前記角速度を、前記第１撮像画像において前記タイミング信号が発生したタイミングと、前記第２撮像画像において前記タイミング信号が発生したタイミングの間において時間積分することにより、前記第１及び第２撮影画像間に生じるぶれを検出するぶれ検出手段と、
前記ぶれによって生じた前記第１及び第２撮影画像の相対的な位置ずれを補正するために前記第１及び第２撮影画像のうち、少なくとも一方の撮影画像をシフトさせる画像シフト手段と、
少なくとも一方がシフトされた前記第１及び第２撮影画像を多重化させる多重化画像手段とを備え、
前記タイミング発生手段が、前記各露光期間の１／２の時間が経過したときに前記タイミング信号を発生させることを特徴とする撮像装置。 An imaging device that multiplexes and combines two frames or more of captured images including at least a first and a second captured image that are sequentially sequentially captured with respect to the same subject image, and generates a multiplexed image.
Each pixel, or is sequentially exposed line by line, an image sensor for generating the captured image of one frame from the object image formed by the imaging lens,
In each exposure period for generating the first and second captured image, a timing generating means for causing generates timing signals at the same timing,
By detecting the angular velocity of the imaging device main body and integrating the angular velocity between the timing at which the timing signal is generated in the first captured image and the timing at which the timing signal is generated in the second captured image. , A shake detecting means for detecting a shake occurring between the first and second captured images;
Image shift means for shifting at least one of the first and second photographed images to correct a relative positional shift between the first and second photographed images caused by the blur;
Multiplexed image means for multiplexing the first and second photographed images at least one of which is shifted ,
The imaging apparatus according to claim 1, wherein the timing generation unit generates the timing signal when a half time of each exposure period has elapsed .

前記タイミング信号は、前記各露光期間において、１回発生させられることを特徴とする請求項１に記載の撮像装置。 Said timing signal, said each exposure period, the image pickup apparatus according to claim 1, characterized in that one provoking occur.

前記撮像素子が、ＣＭＯＳセンサであることを特徴とする請求項１に記載の撮像装置。
The imaging apparatus according to claim 1, wherein the imaging element is a CMOS sensor.