JP2006033757A - Imaging apparatus and image restoration method - Google Patents

Imaging apparatus and image restoration method Download PDF

Info

Publication number
JP2006033757A
JP2006033757A JP2004213577A JP2004213577A JP2006033757A JP 2006033757 A JP2006033757 A JP 2006033757A JP 2004213577 A JP2004213577 A JP 2004213577A JP 2004213577 A JP2004213577 A JP 2004213577A JP 2006033757 A JP2006033757 A JP 2006033757A
Authority
JP
Japan
Prior art keywords
image
camera shake
distortion
correction
detection signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004213577A
Other languages
Japanese (ja)
Inventor
Mitsumasa Okubo
光將 大久保
Yuji Imai
右二 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2004213577A priority Critical patent/JP2006033757A/en
Publication of JP2006033757A publication Critical patent/JP2006033757A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus and an image restoration method by excluding the effect of an imaging lens system on image distortion so as to accurately restore an image. <P>SOLUTION: A correction value recording memory 118 stores information, relating to distortion of an optical system; angular velocity sensors 108, 109 sense a camera-shake at photographing and stores camera-shake sensing signals in time series to a locus correction memory 113; a locus correcting circuit 121 corrects the camera-shake sensing signals in time series, in response to the distortion information corresponding to the screen position of the image data; and an image restoring arithmetic circuit 123 restores the deterioration in the image due to the camera-shake, on the basis of the corrected camera-shake sensing signals in time series. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、手ぶれを検出してぶれ画像をぶれのない画像に復元する撮像装置および画像復元方法に関する。   The present invention relates to an imaging apparatus and an image restoration method for detecting a camera shake and restoring a blurred image to an image without blur.

デジタルカメラ、ビデオカメラなどの撮像装置において、撮像時の手ぶれによる劣化画像を補正して原画像に近い画像を復元する要求がある。たとえば、デジタルカメラ(以下、「カメラ」と適宜略す)においては、静止画などの手ぶれ補正は角速度センサなどを用いてカメラの手ぶれの軌跡を検出し、検出したぶれ軌跡に基づいて撮像後に所定の画像復元演算を行なう技術が知られている。   In an imaging apparatus such as a digital camera or a video camera, there is a demand for correcting a deteriorated image due to camera shake during imaging and restoring an image close to the original image. For example, in a digital camera (hereinafter abbreviated as `` camera '' as appropriate), camera shake correction for still images and the like is performed by detecting the camera shake trajectory using an angular velocity sensor or the like, and performing predetermined imaging after imaging based on the detected camera shake trajectory. A technique for performing an image restoration operation is known.

ぶれ復元に際して、点ひろがり関数（ＰＳＦ）で補正することが提案されており、点ひろがり関数を利用すれば、比較的容易に画像の復元が行なえる。しかし、点ひろがり関数で補正された復元画像はぶれ軌跡上の画素の輝度値を関数としているが、ぶれ軌跡以外の画素の影響も無視できない。そのため、点ひろがり関数から演算したぶれ軌跡とぶれ画像のぶれ軌跡とが完全に対応せず、正確な画像復元が難しい。   It has been proposed to correct the blur by using a point spread function (PSF), and the image can be restored relatively easily by using the point spread function. However, the restored image corrected by the point spread function uses the luminance value of the pixel on the blur locus as a function, but the influence of pixels other than the blur locus cannot be ignored. For this reason, the blur locus calculated from the point spread function and the blur locus of the blurred image do not completely correspond, and accurate image restoration is difficult.

そのため、たとえば、特開平１１ー１３４４８１号公報では、ぶれ画像とぶれ軌跡データから求めた点ひろがり関数とからぶれ画像を復元し、復元に際して、ぶれ軌跡の周辺の画素の輝度値を考慮して復元画像を生成している。この画像復元方法によれば、ぶれ軌跡以外の画素の影響も考慮され、従来よりも良好な復元画像が得られる。   Therefore, for example, in Japanese Patent Application Laid-Open No. 11-134481, a blurred image is restored from a blurred image and a point spread function obtained from the blurred locus data, and is restored in consideration of the luminance values of pixels around the blurred locus. An image is generated. According to this image restoration method, the influence of pixels other than the blur locus is taken into consideration, and a restored image better than the conventional one can be obtained.

しかし、画像の歪、特に光学系にディストーションなどの画像歪があると、手ぶれでカメラの方向が変化した場合、画像中央付近の近軸領域と画像中央付近から離反した周辺領域との画像のぶれが異なる。そのため、単純に、近軸領域での計算によってぶれ軌跡を算出しても、計算上のぶれ軌跡と撮像素子（ＣＣＤ）上でのぶれ軌跡が異なるため、画面全体で正しい画像復元ができない。
特開平１１ー１３４４８１号公報 However, when there is image distortion, especially distortion in the optical system, when the camera direction changes due to camera shake, image blurring occurs between the paraxial region near the center of the image and the peripheral region far from the center of the image. Is different. Therefore, even if the blur locus is simply calculated by calculation in the paraxial region, the calculated blur locus is different from the blur locus on the image pickup device (CCD), so that correct image restoration cannot be performed on the entire screen.
Japanese Patent Application Laid-Open No. 11-134481

本発明の目的は、撮像レンズ系の画像歪の影響を排除して、画像を正確に復元する撮像装置および画像復元方法の提供することにある。   An object of the present invention is to provide an imaging apparatus and an image restoration method that accurately restore an image by eliminating the influence of image distortion of an imaging lens system.

上記目的を達成するために、本発明によれば、光学系のディストーションに対応して手ぶれ検出信号を画像エリアごとに補正し、補正した手ぶれ検出信号に基づいて画像を復元している。または、手ぶれによる劣化を復元する画像復元関数を手ぶれ検出信号から求め、光学系のディストーションに対応して画像復元関数を補正し、補正した画像復元関数に基づいて画像を復元している。   In order to achieve the above object, according to the present invention, the camera shake detection signal is corrected for each image area corresponding to the distortion of the optical system, and the image is restored based on the corrected camera shake detection signal. Alternatively, an image restoration function for restoring deterioration due to camera shake is obtained from the camera shake detection signal, the image restoration function is corrected in accordance with the distortion of the optical system, and the image is restored based on the corrected image restoration function.

つまり、請求項１に係る本発明においては、被写体像を形成するための光学系と；前記光学系により形成された被写体像より画像データを得るための撮像手段と；前記撮像手段への露光を制御するための露光制御手段と；カメラの手ぶれを検出するための手ぶれ検出手段と；前記撮像素子の露光期間中における、前記手ぶれ検出手段から出力される時系列の手ぶれ検出信号を記憶するための手ぶれ検出信号記憶手段と；前記光学系により発生するディストーションに関する情報を記憶するためのディストーション情報記憶手段と、前記ディストーション情報記憶手段に記憶されたディストーション情報に応じて、前記手ぶれ検出信号記憶手段に記憶された時系列の手ぶれ検出信号を補正して画面位置に対応して補正された時系列の手ぶれ検出信号を出力するための手ぶれ検出信号補正手段と；前記手ぶれ検出信号補正手段から出力された前記画面位置に対応して補正された時系列の手ぶれ検出信号に応じて手ぶれによる前記画像データの劣化を復元するための手ぶれ復元手段と；を具備して構成されている。   In other words, in the present invention according to claim 1, an optical system for forming a subject image; an imaging unit for obtaining image data from the subject image formed by the optical system; and exposure to the imaging unit Exposure control means for controlling; camera shake detection means for detecting camera shake of the camera; for storing time-series camera shake detection signals output from the camera shake detection means during the exposure period of the image sensor Camera shake detection signal storage means; distortion information storage means for storing information relating to distortion generated by the optical system; and stored in the camera shake detection signal storage means in accordance with the distortion information stored in the distortion information storage means Correcting the time-series camera shake detection signal and correcting the time-series camera shake corresponding to the screen position A camera shake detection signal correcting means for outputting a signal; and a deterioration of the image data due to camera shake according to a time-series camera shake detection signal corrected corresponding to the screen position output from the camera shake detection signal correcting means. And a camera shake restoring means for restoring.

請求項２に係る本発明は、被写体像を形成するための光学系と；前記光学系により形成された被写体像より画像データを得るための撮像手段と；前記撮像手段への露光を制御するための露光制御手段と；カメラの手ぶれを検出するための手ぶれ検出手段と；前記撮像素子の露光期間中における、前記手ぶれ検出手段から出力される時系列の手ぶれ検出信号を記憶するための手ぶれ検出信号記憶手段と；前記光学系により発生するディストーションに関する情報を記憶するためのディストーション情報記憶手段と；前記手ぶれ検出信号記憶手段に記憶された時系列の手ぶれ検出信号から、前記画像データの手ぶれによる劣化を復元するための画像復元関数を求めるための画像復元関数演算手段と；前記ディストーション情報記憶手段に記憶されたディストーション情報に応じて、前記画像復元関数演算手段から出力された画像復元関数を補正して画面位置に対応して補正された画像復元関数を出力するための画像復元関数補正手段と；前記画像復元関数補正手段から出力された画像復元関数に応じて、手ぶれによる劣化を前記画像データの復元するための手ぶれ復元手段と；を具備して構成されている。   According to a second aspect of the present invention, there is provided an optical system for forming a subject image; an imaging means for obtaining image data from the subject image formed by the optical system; and for controlling exposure to the imaging means. Exposure control means; camera shake detection means for detecting camera shake; and camera shake detection signal for storing time-series camera shake detection signals output from the camera shake detection means during the exposure period of the image sensor Storage means; distortion information storage means for storing information relating to distortion generated by the optical system; and degradation of the image data due to camera shake from time-series camera shake detection signals stored in the camera shake detection signal storage means. Image restoration function computing means for obtaining an image restoration function for restoration; and stored in the distortion information storage means Image restoration function correcting means for correcting the image restoration function output from the image restoration function computing means in accordance with distortion information and outputting an image restoration function corrected in accordance with a screen position; In accordance with the image restoration function output from the function correction means, the camera shake restoration means for restoring the image data for deterioration due to camera shake is provided.

請求項３に係る本発明は、前記手ぶれ復元手段からの出力信号を適用された記録媒体に記録するための記録手段をさらに具備している。   The present invention according to claim 3 further includes recording means for recording the output signal from the camera shake restoration means on a recording medium to which the output signal is applied.

請求項４に係る本発明において、前記ディストーション情報記憶手段に記憶されたディストーションに関する情報は、撮影画面上の位置に応じて異なる情報を含んでいる。   In the present invention according to claim 4, the information regarding the distortion stored in the distortion information storage means includes different information depending on the position on the photographing screen.

請求項５に係る本発明において、前記ディストーション情報記憶手段に記憶されたディストーションに関する情報は、撮影画面上において前記光学系の光軸からの距離に応じて異なる情報を含んでいる。   In the present invention according to claim 5, the information regarding the distortion stored in the distortion information storage means includes different information according to the distance from the optical axis of the optical system on the photographing screen.

請求項６に係る本発明において、前記光学系は焦点距離を可変な光学系であり；前記ディストーション情報記憶手段に記憶されたディストーションに関する情報は、設定可能な焦点距離に応じて異なる情報を含んでいる。   In the present invention according to claim 6, the optical system is an optical system having a variable focal length; information relating to distortion stored in the distortion information storage means includes different information depending on a settable focal length. Yes.

請求項７に係る本発明では、光学系のディストーションに関する情報を記憶するとともに、撮影時の手ぶれを検出して時系列の手ぶれ検出信号を記憶し；ディストーション情報に応じて画像データの画面位置に対応して時系列の手ぶれ検出信号を補正し；補正された時系列の手ぶれ検出信号に基づいて手ぶれによる画像データの劣化を復元している。   In the present invention according to claim 7, information related to distortion of the optical system is stored, camera shake at the time of photographing is detected, and a time-series camera shake detection signal is stored; corresponding to the screen position of the image data according to the distortion information Then, the time-series camera shake detection signal is corrected; image data deterioration due to camera shake is restored based on the corrected time-series camera shake detection signal.

請求項８に係る本発明では、光学系のディストーションに関する情報を記憶するとともに、撮影時の手ぶれを検出して時系列の手ぶれ検出信号を記憶し；画像データの手ぶれによる劣化を復元する画像復元関数を時系列の手ぶれ検出信号から求め；ディストーション情報に応じて手ぶれ画像復元関数を画像データの画面位置に対応して補正し；補正された手ぶれ画像復元関数に基づいて手ぶれによる画像データの劣化を復元している。   In the present invention according to claim 8, information relating to distortion of the optical system is stored, camera shake at the time of photographing is detected, and a time-series camera shake detection signal is stored; image restoration function for restoring deterioration due to camera shake of image data Is calculated from the time-series camera shake detection signal; the camera shake image restoration function is corrected according to the distortion information according to the screen position of the image data; and the image data deterioration due to camera shake is restored based on the corrected camera shake image restoration function. is doing.

請求項１に係る本発明の構成によれば、同じ手ぶれでも像の移動の軌跡（時系列の手ぶれ検出信号によって形成される軌跡）が、ディストーションの影響で画面中央と画面中央以外のエリアについてエリアごとに圧縮、拡大、方向変化のために変わる場合でも、対応してエリアごとに正確な像の軌跡を演算出力できる。そのため、光学系にディストーションがあっても、中央から周辺まで、エリアごとに正確な手ぶれによる像の軌跡が出力でき、画面全体にわたって正確な手ぶれ復元ができ、画面全体で鮮鋭な画像を得ることができる。   According to the configuration of the first aspect of the present invention, even when the camera shake is the same, the trajectory of the image movement (the trajectory formed by the time-series camera shake detection signal) is an area in the area other than the screen center and the screen center due to the influence of distortion. Even when the image changes due to compression, enlargement, or direction change, an accurate image trajectory can be calculated and output for each area. Therefore, even if there is distortion in the optical system, it is possible to output an accurate image of the image due to camera shake for each area from the center to the periphery, and to accurately restore camera shake over the entire screen, so that a sharp image can be obtained on the entire screen. it can.

請求項２に係る本発明の構成によれば、同じ手ぶれでも像の移動の軌跡（時系列の手ぶれ検出信号によって形成される軌跡）が、ディストーションの影響で画面中央と画面中央以外のエリアについてエリアごとに圧縮、拡大、方向変化のために変わり、結果として復元演算する場合の画像復元関数がエリアごとに異なる場合でも、エリアごとに画像復元関数を補正して最適な画像復元関数とするため、画面全体にわたって正確な手ぶれ復元ができ、画面全体で鮮鋭な画像を得ることができる。   According to the configuration of the present invention according to claim 2, the trajectory of the image movement (the trajectory formed by the time-series camera shake detection signal) is the same for the area other than the screen center and the screen center due to the distortion. Even if the image restoration function in the case of restoration calculation is different for each area as a result, the image restoration function is corrected for each area to obtain an optimal image restoration function. Accurate camera shake restoration can be performed over the entire screen, and a sharp image can be obtained over the entire screen.

請求項３に係る本発明の本構成によれば、画面全体で鮮鋭な画像を記録媒体に記録することができる。   According to this configuration of the present invention according to claim 3, a sharp image can be recorded on the recording medium over the entire screen.

請求項４に係る本発明の構成によれば、各画面エリアに対して、適切な補正情報を記憶するため、画面全体にわたってより正確な手ぶれ復元ができ、画面全体で鮮鋭な画像を得ることができる。   According to the configuration of the present invention according to claim 4, in order to store appropriate correction information for each screen area, more accurate camera shake restoration can be performed over the entire screen, and a sharp image can be obtained over the entire screen. it can.

請求項５に係る本発明の構成によれば、光軸からの距離に対応してディストーションの情報を記憶するため、少ない容量で効率よくデータを持つことができ、小型・低コストのメモリーを利用でき、小型・低コストの撮像装置が実現できる。   According to the configuration of the present invention according to claim 5, since distortion information is stored corresponding to the distance from the optical axis, data can be efficiently stored with a small capacity, and a small and low-cost memory is used. And a small and low-cost imaging device can be realized.

請求項６に係る本発明の構成によれば、変倍によってディストーションが変化する光学系であっても、使用時のズームに最適なディストーションデータが出力でき、ズーム位置によらず最適な手ぶれ復元が画面全体にわたって正確になされ、画面全体で鮮鋭な画像を得ることができる。   According to the configuration of the present invention according to claim 6, even in an optical system in which distortion changes due to zooming, distortion data optimal for zooming during use can be output, and optimal camera shake restoration can be performed regardless of the zoom position. This is done accurately over the entire screen, and a sharp image can be obtained over the entire screen.

請求項７に係る本発明の構成によれば、同じ手ぶれでも像の移動の軌跡（時系列の手ぶれ検出信号によって形成される軌跡）が、ディストーションの影響で画面中央と画面中央以外のエリアについてエリアごとに圧縮、拡大、方向変化のために変わる場合でも、対応してエリアごとに正確な像の軌跡を演算出力できる。そのため、光学系にディストーションがあっても、中央から周辺まで、エリアごとに正確な手ぶれによる像の軌跡が出力でき、画面全体にわたって正確な手ぶれ復元ができ、画面全体で鮮鋭な画像を得ることができる。   According to the configuration of the present invention according to claim 7, the trajectory of the image movement (the trajectory formed by the time-series camera shake detection signal) is the same for the areas other than the screen center and the screen center due to distortion. Even when the image changes due to compression, enlargement, or direction change, an accurate image trajectory can be calculated and output for each area. Therefore, even if there is distortion in the optical system, it is possible to output an accurate image of the image due to camera shake for each area from the center to the periphery, and to accurately restore camera shake over the entire screen, so that a sharp image can be obtained on the entire screen. it can.

請求項８に係る本発明の構成によれば、同じ手ぶれでも像の移動の軌跡（時系列の手ぶれ検出信号によって形成される軌跡）が、ディストーションの影響で画面中央と画面中央以外のエリアについてエリアごとに圧縮、拡大、方向変化のために変わり、結果として復元演算する場合の画像復元関数がエリアごとに異なる場合でも、エリアごとに画像復元関数を補正して最適な画像復元関数とするため、画面全体にわたって正確な手ぶれ復元ができ、画面全体で鮮鋭な画像を得ることができる。   According to the configuration of the present invention according to claim 8, the trajectory of the image movement (the trajectory formed by the time-series camera shake detection signal) is the same for the area other than the screen center and the screen center due to the distortion. Even if the image restoration function in the case of restoration calculation is different for each area as a result, the image restoration function is corrected for each area to obtain an optimal image restoration function. Accurate camera shake restoration can be performed over the entire screen, and a sharp image can be obtained over the entire screen.

本発明によれば、光学系のディストーションに対応して手ぶれ検出信号を画像エリアごとに補正し、補正した手ぶれ検出信号に基づいて画像を復元することにより、光学系の画像歪の影響を排除した画像の復元を実現している。   According to the present invention, the camera shake detection signal is corrected for each image area corresponding to the distortion of the optical system, and the image is restored based on the corrected camera shake detection signal, thereby eliminating the influence of the image distortion of the optical system. Realizes image restoration.

以下、図面を参照して本発明の各実施例を説明する。図１は、撮像装置としてデジタルカメラに適用した本発明の実施例１を示し、（Ａ）（Ｂ）はデジタルカメラの前面斜視図、背面斜視図である。   Embodiments of the present invention will be described below with reference to the drawings. 1A and 1B show a first embodiment of the present invention applied to a digital camera as an imaging device, and FIGS. 1A and 1B are a front perspective view and a rear perspective view of the digital camera.

図１（Ａ）（Ｂ）からわかるように、カメラボディ１の前面にレンズユニット２が接続されるとともに、ファインダ６がカメラボディ１の背面に一体的に組み付けられている。レンズユニット２は、複数枚の撮影用レンズとその駆動手段とから構成されており、その詳細は図２に即して後述する。   As can be seen from FIGS. 1A and 1B, the lens unit 2 is connected to the front surface of the camera body 1, and the finder 6 is integrally assembled to the back surface of the camera body 1. The lens unit 2 is composed of a plurality of photographing lenses and driving means thereof, the details of which will be described later with reference to FIG.

３はレリーズスイッチであり、押すと（オンすると）撮影動作が開始される。４はＴボタン４ー１、Ｗボタン４ー２からなるズームスイッチであり、Ｔボタンを押すとテレ側への撮影レンズの変倍動作が行なわれ、Ｗボタンを押すとワイド側への変倍動作が行なわれる。５は手ぶれモードの設定スイッチであり、手ぶれモードスイッチ５を押して手ぶれモードに設定すると、モードランプ５ー１が点灯して手ぶれモードであることがわかる。   Reference numeral 3 denotes a release switch, which is pressed (turned on) to start a photographing operation. A zoom switch 4 includes a T button 4-1 and a W button 4-2. When the T button is pressed, the zooming operation of the taking lens is performed to the telephoto side, and when the W button is pressed, the zooming to the wide side is performed. Operation is performed. Reference numeral 5 denotes a camera shake mode setting switch. When the camera shake mode switch 5 is pressed to set the camera shake mode, the mode lamp 5-1 is lit to show that the camera shake mode is set.

６はビューファインダであり、ビューファインダ６はたとえば小型ＬＣＤをルーペで拡大する電子ビューファインダからなり、撮像素子（ＣＣＤ）の画像をリアルタイムで表示し、いわゆるスルー画がビューファインダに表示可能となっている。７は静止画、動画を切替えるモードキー(スライドキー)であり、モードキー７をＳ側（ＳＴＩＬＬ）にすると静止画撮影モードが設定され、Ｍ側（ＭＯＶＩＥ）にすると動画撮影モードが設定される。   Reference numeral 6 denotes a viewfinder, and the viewfinder 6 is an electronic viewfinder that magnifies a small LCD with a loupe, for example, and displays an image of an image pickup device (CCD) in real time, and a so-called through image can be displayed on the viewfinder. Yes. Reference numeral 7 denotes a mode key (slide key) for switching between a still image and a moving image. When the mode key 7 is set to the S side (STILL), the still image shooting mode is set, and when the mode key 7 is set to the M side (MOVIE), the moving image shooting mode is set. .

８はフラッシュであり、低輝度時には発光して被写体を照明する補助光となる。９はモード操作キーであり、モード操作キー９の中央の決定ボタンの周囲に４個のボタンが配置され、マクロ撮影、セルフタイマー、フラッシュなどのオンがモード操作キー９によって設定される。１０は背面ＬＣＤパネルであり、撮影した画像が再生されるとともに、スルー画も表示可能となっている。１１はパワースイッチであり、パワースイッチ１１を押してオンとすることにより、露光、撮像などが可能となる。背面ＬＣＤパネル１０は、ビューファインダ６とともにモニタとして利用される。   A flash 8 is an auxiliary light that illuminates the subject by emitting light when the luminance is low. Reference numeral 9 denotes a mode operation key. Four buttons are arranged around a determination button at the center of the mode operation key 9, and the macro operation, self-timer, flash and the like are turned on by the mode operation key 9. Reference numeral 10 denotes a rear LCD panel that reproduces a photographed image and can display a through image. Reference numeral 11 denotes a power switch. By pressing the power switch 11 to turn it on, exposure and imaging can be performed. The rear LCD panel 10 is used as a monitor together with the viewfinder 6.

図２は光学系であるレンズユニット２の概略図であり、レンズユニットは、たとえば３枚のレンズ１２、１３、１４を持つ。３枚のレンズのうち、レンズ１２、１３は、相互の位置関係を変えることによってレンズの焦点距離を変化させる、いわゆる変倍レンズ(ズームレンズ)であり、ズームの際には、ズームモータ１０４の駆動力が、ギア１８ａ、１８ｂを介してズーム用レンズ駆動カム機構１７に伝達され、レンズ駆動カム機構によってレンズ１２、１３が光軸に沿って動かされる。   FIG. 2 is a schematic diagram of a lens unit 2 that is an optical system, and the lens unit has, for example, three lenses 12, 13, and 14. Among the three lenses, the lenses 12 and 13 are so-called variable magnification lenses (zoom lenses) that change the focal length of the lenses by changing the positional relationship between them. The driving force is transmitted to the zoom lens driving cam mechanism 17 via the gears 18a and 18b, and the lenses 12 and 13 are moved along the optical axis by the lens driving cam mechanism.

レンズ１４は光軸に沿って前後に移動することによってピントずれの調整を行なういわゆるフォーカスレンズであり、フォーカス調整の際には、フォーカスモータ１０５の駆動力が、ギア２０ａ、２０ｂ介してフォーカス用レンズ駆動カム機構１９に伝達され、レンズ駆動カム機構によってレンズ１４が動かされる。レンズ１４の後方には、たとえばＣＣＤからなる撮像素子（撮像手段）１１４が位置し、レンズ１２、１３、１４を通過した光束が撮像素子上に結像し、撮像素子の各画素で光電変換されて撮像する。１５は絞り、１６はシャッタであり、絞り１５、シャッタ１６によって撮像素子１１４への光量（露光）が制御される。メカニカルなシャッタ１６に代えて、撮像素子１１４の素子シャッタ（電子シャッタ）を使用してもよい。   The lens 14 is a so-called focus lens that adjusts the focus shift by moving back and forth along the optical axis. During focus adjustment, the driving force of the focus motor 105 is applied to the focus lens via the gears 20a and 20b. This is transmitted to the drive cam mechanism 19 and the lens 14 is moved by the lens drive cam mechanism. An imaging device (imaging means) 114 made of, for example, a CCD is positioned behind the lens 14, and the light flux that has passed through the lenses 12, 13, and 14 is imaged on the imaging device and is photoelectrically converted by each pixel of the imaging device. Take an image. A diaphragm 15 and a shutter 16, and the light amount (exposure) to the image sensor 114 is controlled by the diaphragm 15 and the shutter 16. Instead of the mechanical shutter 16, an element shutter (electronic shutter) of the image sensor 114 may be used.

図３はデジタルカメラの制御回路の構成図であり、１０１はたとえばリチウムイオン充電池などの充電可能な電池からなるバッテリである。１０２は、バッテリ１０１から昇圧回路や降圧回路によって必要な電圧の電源を生成して各処理回路に供給する電源回路である。１０３はモータドライバ回路であり、スイッチングトランジスタを含む電気回路で構成され、シーケンス制御回路１１９の指示にしたがってフォーカスモータ１０４、ズームモータ１０５、シャッタモータ１０６、絞りモータ１０７を駆動制御する。１０８、１０９は相互に直交するＸ軸、Ｙ軸の回りの角速度を検出する角速度センサ（手ぶれ検出手段）であり、図１（Ａ）に示すように、素子の長辺方向を軸として互いに直交する方向に配置され、その軸に沿った角速度を検出する。   FIG. 3 is a configuration diagram of a control circuit of the digital camera, and 101 is a battery made of a rechargeable battery such as a lithium ion rechargeable battery. Reference numeral 102 denotes a power supply circuit that generates a power supply of a necessary voltage from the battery 101 by a booster circuit or a step-down circuit and supplies it to each processing circuit. A motor driver circuit 103 includes an electric circuit including a switching transistor, and drives and controls the focus motor 104, the zoom motor 105, the shutter motor 106, and the aperture motor 107 in accordance with instructions from the sequence control circuit 119. Reference numerals 108 and 109 denote angular velocity sensors (camera shake detection means) that detect angular velocities around the X axis and Y axis that are orthogonal to each other, and are orthogonal to each other with the long side direction of the element as an axis, as shown in FIG. The angular velocity along the axis is detected.

１１０は角速度センサ１０８、１０９の出力のオフセットをキャンセルしたり、その出力を増幅するアナログ処理回路であり、角速度センサ１０８、１０９とともに手ぶれ検出手段を構成する。アナログ処理回路１１０の出力はＡ／Ｄ変換回路１１１でデジタル信号に変換されて基本軌跡演算回路１１２に入力される。基本軌跡演算回路１１２はその入力を時間で積分して時間毎の変位角度を算出し、この変位角度を時間に対応して出力して、つまり時系列に出力して、撮像面上の(ＣＣＤ１１４上の)画像の光軸付近の手ぶれによる上下方向、左右方向のぶれ軌跡を検出する。ここで、手ぶれの検出は角速度センサ１０８、１０９に限定されず、角速度センサ１０８、１０９の代わりに、その演算処理を変更すれば、角加速度センサや２個ワンペアの加速度センサで手ぶれを検出して、同様のぶれ軌跡を算出してもよい。１１３は、基本軌跡演算回路１１２で検出されたぶれ軌跡を記憶する軌跡メモリー回路であり、手ぶれ検出信号記憶手段として機能する。   Reference numeral 110 denotes an analog processing circuit that cancels the offset of the outputs of the angular velocity sensors 108 and 109 and amplifies the output, and constitutes a camera shake detection unit together with the angular velocity sensors 108 and 109. The output of the analog processing circuit 110 is converted into a digital signal by the A / D conversion circuit 111 and input to the basic trajectory calculation circuit 112. The basic trajectory calculation circuit 112 integrates the input with time to calculate a displacement angle for each time, and outputs the displacement angle corresponding to the time, that is, outputs in time series, (CCD 114 on the imaging surface). (Upper) Shake locus in the vertical and horizontal directions due to camera shake near the optical axis of the image is detected. Here, the detection of camera shake is not limited to the angular velocity sensors 108 and 109. If the calculation process is changed instead of the angular velocity sensors 108 and 109, the camera shake is detected by an angular acceleration sensor or two pairs of acceleration sensors. A similar blur locus may be calculated. Reference numeral 113 denotes a trajectory memory circuit that stores the shake trajectory detected by the basic trajectory calculation circuit 112, and functions as a camera shake detection signal storage means.

１１４は、図２で述べたレンズユニット２の背後に位置するＣＣＤからなる撮像素子、１１５は撮像素子（ＣＣＤ）１１４からの出力を処理するＣＣＤ出力処理回路、１１６は撮像素子１１４の出力データおよびＣＣＤ出力処理回路１１５での処理途中の画像データを一時保持する画像メモリーである。画像メモリー１１６に記憶されたデータは、画像処理回路１１７によってＲＧＢ処理、シェーディング補正処理などの基本処理を施される。しかし、画像処理回路１１７では、手ぶれ画像の復元演算の障害となるγ変換や画像圧縮は行なわれず（これらは後述する画像圧縮・伸長回路１５１でなされる）、データは、画像復元演算回路１２３や画像シフト回路１３２に送られる。なお、撮像素子１１４はシーケンス制御回路１１９からの制御信号により、ＣＣＤドライバ（図示しない）を介して駆動制御される。   Reference numeral 114 denotes an image pickup device composed of a CCD located behind the lens unit 2 described in FIG. 2, 115 denotes a CCD output processing circuit that processes output from the image pickup device (CCD) 114, and 116 denotes output data of the image pickup device 114 and This is an image memory that temporarily holds image data being processed by the CCD output processing circuit 115. Data stored in the image memory 116 is subjected to basic processing such as RGB processing and shading correction processing by the image processing circuit 117. However, the image processing circuit 117 does not perform γ conversion or image compression that impedes the image restoration operation of the camera shake image (these are performed by the image compression / decompression circuit 151 described later), and the data is stored in the image restoration operation circuit 123 or It is sent to the image shift circuit 132. The image sensor 114 is driven and controlled by a control signal from the sequence control circuit 119 via a CCD driver (not shown).

１２２は手ぶれによる画像の劣化を復元するための画像復元関数ｆ-1を算出する回路であり、画像復元関数ｆ-1は、基本軌跡演算回路１１２の出力から原画像がどのように変化するかを予測して出力される。画像復元関数ｆ-1は、画面中央では基本軌跡演算回路１１２の出力から直接算出され、画面中央以外については、デジタルカメラのレンズ１２、１３、１４が、ズーム位置およびフォーカス位置に依存した画像歪（デイストーション）を持っているため、補正が必要になる。このため、実施例のデジタルカメラでは、画面のエリアごとに、ズーム位置、フォーカス位置に対応した画像歪（ディストーション）補正データが補正値記憶メモリー１１８（ディストーション情報記憶手段）に記憶される。 Reference numeral 122 denotes a circuit that calculates an image restoration function f −1 for restoring image degradation due to camera shake, and the image restoration function f −1 indicates how the original image changes from the output of the basic trajectory calculation circuit 112. Will be output. The image restoration function f −1 is directly calculated from the output of the basic trajectory calculation circuit 112 at the center of the screen, and in other than the center of the screen, the digital camera lenses 12, 13, 14 cause image distortion depending on the zoom position and the focus position. Because it has (distortion), correction is necessary. For this reason, in the digital camera of the embodiment, image distortion (distortion) correction data corresponding to the zoom position and the focus position is stored in the correction value storage memory 118 (distortion information storage means) for each area of the screen.

たとえば、ディストーションの影響で画面の周辺の画像が画面中央の画像に対して圧縮されていれば、画面の周辺では画面中央に対して軌跡変化も圧縮されるため、軌跡補正回路１２１では、まず、基本軌跡演算回路１１２から出力された軌跡データを画像エリアごとに、補正値記憶メモリー１１８の値に基づいて補正し、補正された軌跡データを画像復元関数算出回路１２２に出力する。つまり、補正値記憶メモリー１１８に記憶された軌跡補正データは軌跡補正回路１２１に入力され、画像復元関数算出回路１２２では、軌跡補正回路１２１の出力に基づいて各画面エリアごとに画像復元関数ｆ-1を算出する。ここで画像復元関数ｆ-1は、手ぶれによって発生する画像劣化関数ｆの逆関数である。 For example, if the image around the screen is compressed with respect to the image at the center of the screen due to the distortion, the locus change is also compressed at the periphery of the screen with respect to the center of the screen. The trajectory data output from the basic trajectory calculation circuit 112 is corrected for each image area based on the value in the correction value storage memory 118, and the corrected trajectory data is output to the image restoration function calculation circuit 122. That is, the trajectory correction data stored in the correction value storage memory 118 is input to the trajectory correction circuit 121, and the image restoration function calculation circuit 122 performs image restoration function f − for each screen area based on the output of the trajectory correction circuit 121. 1 is calculated. Here, the image restoration function f −1 is an inverse function of the image degradation function f generated by camera shake.

γ変換や画像圧縮の行なわないデータが画像処理回路１１７から送られる画像復元演算回路１２３では、画面のエリアごとに画像復元関数算出回路１２２で算出された画像復元関数ｆ-1によって画像変換が行なわれる。画像復元演算回路１２３で画像歪（デイストーション）の影響を排して、手ぶれによる画像劣化の復元がなされた画像は、画像圧縮・伸長回路１５１でデータ圧縮され、内蔵フラッシュメモリーなどの画像記憶媒体１５３に記録手段１５２を利用して書き込まれる。内蔵フラッシュメモリーの代わりに、装填式メモリーカードのような外部メモリーを画像記憶媒体１５３としてもよい。なお、軌跡補正回路１２１、画像復元関数算出回路１２２、画像復元演算回路１２３から、レンズ１２、１３、１４の画像歪（デイストーション）を画面のエリアごとに電子的に補正する静止画の電子手ぶれ補正回路１２０が形成され、軌跡補正回路１２１は手ぶれ検出信号補正手段として、画像復元関数算出回路１２２は画像復元関数算出手段として、画像復元演算回路１２３は手ぶれ復元手段として、画像庄縮・伸長回路１５１は圧縮手段としてそれぞれ機能する。 In the image restoration calculation circuit 123 to which data not subjected to γ conversion or image compression is sent from the image processing circuit 117, image conversion is performed by the image restoration function f −1 calculated by the image restoration function calculation circuit 122 for each area of the screen. It is. An image that has been restored from image degradation due to camera shake by eliminating the effects of image distortion (distortion) by the image restoration arithmetic circuit 123 is compressed by the image compression / decompression circuit 151 and is stored in an image storage medium such as a built-in flash memory. The data is written in the area 153 using the recording means 152. An external memory such as a loadable memory card may be used as the image storage medium 153 instead of the built-in flash memory. It should be noted that the electronic shake of a still image that electronically corrects the image distortion (distortion) of the lenses 12, 13, and 14 for each area of the screen from the trajectory correction circuit 121, the image restoration function calculation circuit 122, and the image restoration calculation circuit 123. The correction circuit 120 is formed, the trajectory correction circuit 121 is used as a camera shake detection signal correction unit, the image restoration function calculation circuit 122 is used as an image restoration function calculation unit, and the image restoration calculation circuit 123 is used as a camera shake restoration unit. Reference numerals 151 each function as compression means.

１１９はマイクロコンピュータなどのＣＰＵからなるシーケンス制御回路であり、レリーズスイッチ３、ズームスイッチ４（Ｔ、Ｗ）、パワースイッチ１１、手ぶれモードスイッチ５、モードキー７などのオン・オフを検出し、各構成要素の動きを制御してデジタルカメラ全体の制御を行なう。シーケンス制御回路１１９は、具体的には、（シーケンス）コントローラ、撮像素子を連続的に動作させる連続動作手段、モニタ（ビューファインダ６、背面ＬＣＤパネル１０）の表示を制御する表示制御手段、第１、第２の手ぶれ補正手段（画像復元演算回路１２３、画像シフト回路１３２）のコントローラなどとなる。   Reference numeral 119 denotes a sequence control circuit composed of a CPU such as a microcomputer, which detects the on / off state of the release switch 3, zoom switch 4 (T, W), power switch 11, camera shake mode switch 5, mode key 7, etc. The movement of the component is controlled to control the entire digital camera. Specifically, the sequence control circuit 119 includes a (sequence) controller, continuous operation means for continuously operating the image sensor, display control means for controlling display on the monitor (viewfinder 6, rear LCD panel 10), first , A controller of the second camera shake correction means (image restoration arithmetic circuit 123, image shift circuit 132).

１３１は、スルー画を取得している期間のフレーム間シフト量を算出する回路であり、フレーム間シフト量算出回路１３１は、基本軌跡演算回路１１２から各フレーム期間ごとの手ぶれの軌跡を受け取り、対応する画像のシフトすべき量を算出する。１３２は画像シフト回路であり、撮像素子（ＣＣＤ）１１４からの画像を画像メモリー１１６から受け取り、フレーム間シフト量算出回路１３１の出力に基づいて、手ぶれ量だけシフトして、動画（またはスルー画）における手ぶれ補正を行なう。フレーム間シフト量算出回路１３１、画像シフト回路１３２から動画の電子手ぶれ補正回路１３０が形成される。そして、静止画における画像復元演算手段１２３を第１の手ぶれ補正手段とすれば、動画における画像シフト回路１３２は第２の手ぶれ補正手段ということができる。   Reference numeral 131 denotes a circuit that calculates an inter-frame shift amount during a period during which a through image is acquired. The inter-frame shift amount calculation circuit 131 receives a camera shake trajectory for each frame period from the basic trajectory calculation circuit 112 and responds. The amount of the image to be shifted is calculated. Reference numeral 132 denotes an image shift circuit which receives an image from the image sensor (CCD) 114 from the image memory 116, shifts by the amount of camera shake based on the output of the inter-frame shift amount calculation circuit 131, and produces a moving image (or a through image). Perform camera shake correction at. A moving image electronic image stabilization circuit 130 is formed from the inter-frame shift amount calculation circuit 131 and the image shift circuit 132. If the image restoration calculation means 123 in the still image is the first camera shake correction means, the image shift circuit 132 in the moving image can be said to be the second camera shake correction means.

動画電子手ぶれ補正回路１３０で処理された手ぶれ補正済みの動画は、画像圧縮・伸長回路１５１（圧縮手段）によってデータ圧縮され、記録手段１５２によって画像記録媒体１５３に記録される。また、静止画、動画を問わず、モニタ画像としてカメラボディ背面の背面ＬＣＤパネル１０やビューファインダ６に送られて表示される。画像圧縮・伸長回路１５１は、画像記憶媒体１５３から記録手段１５２によって読み出された画像データをディスプレイ１０、ビューファインダ６に表示するための伸長機能も備えている。なお、内蔵フラッシュメモリー、外部メモリー（たとえば、装填式メモリーカード）などの画像記憶媒体１５３に画像復元演算回路１２３からの出力を記録手段１５２によって記録すれば、画面全体で鮮鋭な画像を記録できる。   The motion-corrected moving image processed by the moving image electronic image stabilization circuit 130 is compressed by the image compression / expansion circuit 151 (compression unit) and recorded on the image recording medium 153 by the recording unit 152. Regardless of whether it is a still image or a moving image, it is sent as a monitor image to the rear LCD panel 10 or the viewfinder 6 on the back of the camera body and displayed. The image compression / decompression circuit 151 also has a decompression function for displaying the image data read from the image storage medium 153 by the recording unit 152 on the display 10 and the viewfinder 6. If the output from the image restoration arithmetic circuit 123 is recorded by the recording means 152 on an image storage medium 153 such as a built-in flash memory or an external memory (for example, a loadable memory card), a sharp image can be recorded on the entire screen.

静止画での電子手ぶれ補正について述べると、図４は静止画での電子手ぶれ補正のイメージであり、図４（Ａ）（Ｂ）はＸ軸、Ｙ軸での手ぶれ(回転角)θｘ、θｙの変化、図４（Ｃ）は撮像素子（ＣＣＤ）１１４上でのぶれ軌跡、図４（Ｄ）は原画像と撮像画像との関係を示す。   The electronic camera shake correction in the still image will be described. FIG. 4 is an image of the electronic camera shake correction in the still image, and FIGS. 4A and 4B are the camera shake (rotation angles) θx and θy on the X axis and the Y axis. FIG. 4C shows a blur locus on the image sensor (CCD) 114, and FIG. 4D shows the relationship between the original image and the captured image.

図３に即して述べたように、角速度センサ１０８、１０９で検出したＸ軸およびＹ軸の手ぶれから、基本軌跡演算回路１１２に、図４（Ａ）（Ｂ）に示すような時間対応のつまり時系列の変位角θｘ、θｙのデータが出力される。次に、その時点でのズームの位置からレンズの焦点距離がわかるため近軸計算によって、図４（Ｃ）に示すように、撮像素子（ＣＣＤ）１１４上のぶれの変位軌跡が算出される。そして、撮像素子１１４上のぶれ軌跡から、手ぶれによる画像劣化係数ｆを算出し、画像劣化係数ｆによって撮像画像（原画像）ｉがぶれ画像ｊに劣化しているはずであるから、ｆの逆関数ｆ-1すなわち画像復元関数を演算して求めて、この画像復元関数ｆ-1を用いて逆変換すれば、撮像画像ｉが復元される。 As described with reference to FIG. 3, the X-axis and Y-axis camera shakes detected by the angular velocity sensors 108 and 109 are sent to the basic trajectory calculation circuit 112 in response to time as shown in FIGS. In other words, time-series displacement angles θx and θy data are output. Next, since the focal length of the lens is known from the zoom position at that time, the displacement locus of the blur on the image sensor (CCD) 114 is calculated by paraxial calculation as shown in FIG. Then, the image degradation coefficient f due to camera shake is calculated from the blur locus on the image sensor 114, and the captured image (original image) i should be degraded to the blurred image j by the image degradation coefficient f. When the function f −1, that is, the image restoration function is calculated and obtained and inversely transformed using the image restoration function f −1 , the captured image i is restored.

このように静止画においては、撮影時の手ぶれによる時系列の手ぶれによる撮像素子１１４上のぶれ軌跡から画像劣化係数ｆを算出し、ｆの逆関数ｆ-1すなわち画像復元関数による逆変換によってぶれ画像を復元している。この際、軌跡補正回路１２１においてぶれ軌跡に対して補正を行ない、光学系のディストーションの影響を排除しているので、光学系にディストーションがあっても、中央から周辺まで、画面エリアごとに正確な手ぶれによる像の軌跡が出力され、画面全体にわたって正確な手ぶれ復元ができ、画面全体で鮮鋭な画像を得ることができる。 As described above, in the still image, the image degradation coefficient f is calculated from the blur locus on the image sensor 114 due to the time-series camera shake due to the camera shake at the time of shooting, and the image blur is caused by the inverse function f −1 of f, that is, the inverse transformation by the image restoration function. The image is restored. At this time, the trajectory correction circuit 121 corrects the blur trajectory to eliminate the influence of the distortion of the optical system. Therefore, even if there is distortion in the optical system, the accurate correction is performed for each screen area from the center to the periphery. An image trajectory due to camera shake is output, and the camera shake can be accurately restored over the entire screen, and a sharp image can be obtained over the entire screen.

図５は動画電子手ぶれ補正のイメージであり、図５（Ａ）（Ｂ）（Ｃ）は変動する３つのフレームを示し、図５（Ｄ）（Ｅ）は３つのフレームの単純に順次表示した画像と、補正された画像を順次表示した画像を示す。図４（Ｄ）の画像は手ぶれ補正されない画像に、図５（Ｅ）の画像は手ぶれ補正された画像にそれぞれ相当する。   5A and 5B are images of moving image electronic image stabilization. FIGS. 5A, 5B, and 5C show three fluctuating frames, and FIGS. 5D and 5E simply display the three frames sequentially. The image and the image which displayed the corrected image sequentially are shown. The image in FIG. 4D corresponds to an image not subjected to camera shake correction, and the image in FIG. 5E corresponds to an image subjected to camera shake correction.

動画においてはフレーム間のずれが手ぶれとして認識されるため、画像シフトによって補正する。図５（Ａ）（Ｂ）（Ｃ）に示すように、たとえば３枚の画像１、２、３を考えた場合、１と２の間は（ｕ→）で表される画像が紙面上で、左下側にずれる方向でのベクトル移動、２と３の間は（ｖ→）で表される画像が紙面上で、右下側にずれる方向でのベクトル移動と仮定する。この場合、単純に画像１、２、３を順次表示すると図５（Ｄ）に示すように、ぶれて見える。しかし、ｕ→およびｖ→の逆ベクトル分をずらして順次表示すれば（画像１＋画像２＊（−ｕ→）＋画像３＊（−ｕ→）＊（−ｖ→））、図５（Ｅ）に示すように、手ぶれのない明瞭な像が見える。ここで「＊」は、画像シフトを表す演算子とする。   In a moving image, a shift between frames is recognized as camera shake, and is corrected by image shift. As shown in FIGS. 5A, 5B, and 5C, for example, when three images 1, 2, and 3 are considered, an image represented by (u →) is between 1 and 2 on the paper surface. The vector movement in the direction deviating to the lower left side is assumed to be the vector movement in the direction deviating to the lower right side on the paper between the images 2 and 3 (v →). In this case, when images 1, 2, and 3 are simply displayed sequentially, the images appear blurred as shown in FIG. However, if the inverse vectors of u → and v → are shifted and displayed sequentially (image 1 + image 2 * (− u →) + image 3 * (− u →) * (− v →))), FIG. As you can see, there is a clear image without camera shake. Here, “*” is an operator representing image shift.

図６（Ａ）（Ｂ）は、動画、動画モード時のスルー画、静止画モード時のスルー画、および静止画での画像の電子手ぶれ補正の補正量（最大シフト）、および画像切り出し範囲を示す。   6A and 6B show the correction amount (maximum shift) and the image clipping range for moving images, a through image in the moving image mode, a through image in the still image mode, and an image stabilization in the still image. Show.

手ぶれモードでない場合でのＣＣＤ画像の有効範囲を１００％とすると、静止画の手ぶれモード時は、画像復元関数によって画像が所定の広がりを持ち、撮像範囲の外側の画像データがないと周辺の画像が補正できないため、たとえば、対角の長さ比で９５％の範囲を撮像範囲とし、この範囲での撮像画像を電子手ぶれ補正して記録する。しかし、静止画の手ぶれ量は、動画で順次ずれていく場合とくらべるとシャッタ露光時間内であるから小さく、周辺の余裕は動画の場合に比較すると小さくてよい。   Assuming that the effective range of the CCD image is 100% when the camera shake mode is not set, the image has a predetermined spread by the image restoration function in the still image camera shake mode, and there is no image data outside the imaging range. Therefore, for example, a 95% range of diagonal length ratio is set as an imaging range, and a captured image in this range is recorded with electronic camera shake correction. However, the amount of camera shake of a still image is small because it is within the shutter exposure time as compared to the case of sequentially shifting with a moving image, and the margin of the periphery may be smaller than that of a moving image.

動画手ぶれモード時の有効撮像範囲のサイズは、静止画に比較して小さく、たとえば対角の長さ比で７０％の範囲が撮像範囲とされる。これは、動画では画像をずらしているため、静止画よりも時間を要してずれ量が大きくなるためである。   The size of the effective imaging range in the moving image blurring mode is smaller than that of a still image, and for example, a range of 70% in the diagonal length ratio is set as the imaging range. This is because an image is shifted in a moving image, and thus the shift amount is larger than a still image and takes a longer time.

次に、スルー画で表示する画像に相当する撮像範囲について説明する。静止画、動画ともに、手ぶれ補正モードでない場合は、撮像され記録される範囲は、ＣＣＤ上の対角比で１００％に相当する範囲であり、スルー画についても同じくＣＣＤ上の対角比で１００％の範囲の画像を表示する。   Next, an imaging range corresponding to an image displayed as a through image will be described. When both the still image and the moving image are not in the camera shake correction mode, the imaged and recorded range is a range equivalent to 100% in the diagonal ratio on the CCD, and the through image is also 100 in the diagonal ratio on the CCD. Displays an image in the% range.

動画撮影の場合で手ぶれ補正モードのときは、撮像され記録される範囲と同じ範囲をスルー画として表示する。これは、対角比で７０％のサイズであり、手ぶれを補正するためにＣＣＤの有効画素の範囲内（対角比で１００％の範囲内）を、逐次、シフト（移動）している。一方、静止画撮影の場合で手ぶれ補正モードのときは、撮像され記録されるＣＣＤ上の範囲と、スルー画で表示されるＣＣＤ上の範囲が異なっている。これは撮像され記録される際の手ぶれ補正方式と、スルー画で表示する際の手ぶれ補正方式が異なっているためである。しかし、異なる手ぶれ補正方式であっても撮像され記録される範囲とスルー画で表示する範囲とをほぼ一致させる必要がある。このため、静止画撮影の場合で手ぶれ補正モードのときは、たとえば撮像され記録される範囲がＣＣＤの対角比９５％なのに対して、スルー画の範囲はＣＣＤの対角比９０％のサイズである。また、このスルー画の範囲は、手ぶれ補正のためＣＣＤの対角比９５％の範囲内で、逐次シフトされる。この静止画のスルー画の手ぶれ補正量（シフト量）は、５％の範囲となって動画のスルー画に比べると最大シフト量が小さく、大きな手ぶれには対応できないが、静止画の撮像・記録範囲とほぼ同一の範囲をビューファインダ６や背面ＬＣＤパネル１０に表示できる。   In the case of moving image shooting and in the camera shake correction mode, the same range as the captured and recorded range is displayed as a through image. This is a size of 70% in the diagonal ratio, and is sequentially shifted (moved) within the range of the effective pixels of the CCD (in the range of 100% in the diagonal ratio) in order to correct camera shake. On the other hand, in the case of still image shooting and in the camera shake correction mode, the range on the CCD that is captured and recorded is different from the range on the CCD that is displayed as a through image. This is because the camera shake correction method when imaged and recorded is different from the camera shake correction method when displaying a through image. However, even with different camera shake correction methods, it is necessary to substantially match the range that is captured and recorded with the range that is displayed as a through image. For this reason, in the case of the camera shake correction mode in the case of still image shooting, for example, the captured and recorded range is 95% of the CCD diagonal ratio, whereas the through image range is the size of the CCD diagonal ratio of 90%. is there. The range of the through image is sequentially shifted within the range of 95% of the CCD diagonal ratio for camera shake correction. This still image live image stabilization amount (shift amount) is in the range of 5%, and the maximum shift amount is small compared to the moving image live image, and it cannot cope with large camera shake. A range substantially the same as the range can be displayed on the viewfinder 6 and the rear LCD panel 10.

図７、図８は画像復元動作のメインフローを示す。まず、パワースイッチ１１を押して（Ｓ１０１）、沈胴状態のレンズをセットアップし（Ｓ１０２）、手ぶれ補正モードが設定されているか否かを判断する（Ｓ１０３）。手ぶれモードスイッチ５は押すたびにオン、オフが繰り返され、オンであればモードランプ５ー１が点灯して手ぶれ補正フラグ１が設定され（Ｓ１０４）、オフであればモードランプ５−１が消灯し、手ぶれ補正フラグが０に設定される（Ｓ１０５）。   7 and 8 show the main flow of the image restoration operation. First, the power switch 11 is pressed (S101), a retracted lens is set up (S102), and it is determined whether or not the camera shake correction mode is set (S103). Each time the camera shake mode switch 5 is pressed, it is repeatedly turned on and off. If it is on, the mode lamp 5-1 is turned on and the camera shake correction flag 1 is set (S104). If it is off, the mode lamp 5-1 is turned off. Then, the camera shake correction flag is set to 0 (S105).

次に、撮影モードとしての静止画、動画が判断され（Ｓ１０６）、モードキー７がＭ側に位置して動画モードであれば、図８のＳ１２０に移り、モードキーがＳ側に位置して静止画モードであれば、手ぶれフラグが１か否かが判断される（Ｓ１０７）。フラグが１であれば、ＣＣＤ９０％画面を利用して手ぶれ補正されたスルー画が表示され（Ｓ１０８）、フラグが０であれば、スルー画表示されるが、手ぶれ補正はなされず、ぶれたままのスルー画が表示される（Ｓ１０９）。ここで、表示されるＬＣＤとして、ビューファインダ６、背面ＬＣＤパネル１０のいずれが撮影者（ユーザ）によって選択され、その選択したＬＣＤにスルー画が表示される。また、ビューファインダ６、背面ＬＣＤパネル１０の双方に表示し、撮影者がいずれかの表示を見るようにしてもよい。   Next, a still image and a moving image are determined as shooting modes (S106). If the mode key 7 is located on the M side and the moving image mode is selected, the process proceeds to S120 in FIG. 8, and the mode key is located on the S side. If it is the still image mode, it is determined whether or not the camera shake flag is 1 (S107). If the flag is 1, a through image that has been subjected to camera shake correction using the CCD 90% screen is displayed (S108), and if the flag is 0, a through image is displayed, but the camera shake correction is not performed, and the image remains blurred. Through images are displayed (S109). Here, either the viewfinder 6 or the rear LCD panel 10 is selected by the photographer (user) as the LCD to be displayed, and a through image is displayed on the selected LCD. Alternatively, the image may be displayed on both the viewfinder 6 and the rear LCD panel 10 so that the photographer can see one of the displays.

それから、レリーズスイッチ３のオンが確認され（Ｓ１１０）、オンであれば（レリーズスイッチが押されれば）、静止画が撮像され（Ｓ１１１）、画像処理回路１１７で画像処理され（Ｓ１１３）、手ぶれ補正フラグが１か否かが判断される（Ｓ１１４）。レリーズスイッチ３が押されなければ、他のスイッチ操作の有無が判断され（Ｓ１１２）、いずれかのスイッチがオンであれば対応する処理がなされ、いずれのスイッチもオフであれば、Ｓ１０３に戻される。   Then, it is confirmed that the release switch 3 is turned on (S110). If the release switch 3 is on (if the release switch is pressed), a still image is captured (S111), and the image processing circuit 117 performs image processing (S113). It is determined whether or not the correction flag is 1 (S114). If the release switch 3 is not pressed, it is determined whether or not another switch is operated (S112). If any switch is on, the corresponding processing is performed. If any switch is off, the process returns to S103. .

Ｓ１１４でフラグが１であれば、画像復元関数算出回路１２２で画面の各エリアに対応して、画像歪（ディストーション）の影響が排された画像復元関数が算出されて画像復元演算回路１２３でＣＣＤ９５％画面を利用した手ぶれ補正がなされ（Ｓ１１５）、フラグが０であれば手ぶれ補正されずに、Ｓ１１６に進む。Ｓ１１６では、画像圧縮・伸長回路１５１においてγ変換、画像圧縮などの画像処理がなされ、撮像画（静止画）を背面ＬＣＤパネル１０などに表示し（Ｓ１１７）、記録手段１５２によって画像記録媒体１５３上に書込み（Ｓ１１８）、書込み後、Ｓ１０３に戻される。   If the flag is 1 in S114, the image restoration function calculation circuit 122 calculates an image restoration function that eliminates the influence of image distortion (distortion) corresponding to each area of the screen, and the image restoration calculation circuit 123 calculates the CCD 95. The camera shake correction using the% screen is performed (S115). If the flag is 0, the camera shake correction is not performed and the process proceeds to S116. In S116, image processing such as γ conversion and image compression is performed in the image compression / decompression circuit 151, and a captured image (still image) is displayed on the rear LCD panel 10 or the like (S117), and is recorded on the image recording medium 153 by the recording unit 152. Is written (S118), and after writing, the process returns to S103.

次に、動画のメインフローについて、図８を参照しながら説明する。Ｓ１０６で動画に設定されていれば（モードキー７がＭ側に位置すれば）、手ぶれフラグが１か否かが判断され（Ｓ１２０）、フラグが１であれば、フレーム間シフト量算出回路１３１で算出されたシフト量だけ、画像シフト回路１３２によってシフトされ、ＣＣＤ７０％画面を利用して手ぶれ補正されたスルー画が表示される（Ｓ１２１）。フラグが０であれば、スルー画表示されるが、手ぶれ補正はなされず、ぶれたままの画像がＬＣＤに表示される（Ｓ１２２）。なお、図５（Ｄ）の画像がＳ１２２のぶれたスルー画に、図５（Ｅ）の画像がＳ１２１のシフト補正されたスルー画にそれぞれ該当する。   Next, the main flow of moving images will be described with reference to FIG. If it is set to the moving image in S106 (if the mode key 7 is located on the M side), it is determined whether or not the camera shake flag is 1 (S120). If the flag is 1, the inter-frame shift amount calculation circuit 131 is determined. The through image is shifted by the image shift circuit 132 by the shift amount calculated in step S1, and the camera shake is corrected using the CCD 70% screen (S121). If the flag is 0, the through image is displayed, but the camera shake correction is not performed, and the image that remains blurred is displayed on the LCD (S122). Note that the image in FIG. 5D corresponds to the through image blurred in S122, and the image in FIG. 5E corresponds to the through image subjected to shift correction in S121.

それから、レリーズスイッチ３のオンが確認され（Ｓ１２３）、オンであれば（レリーズスイッチが押されれば）、動画の撮影が開始され（Ｓ１２４）、手ぶれフラグが１か否かが判断される（Ｓ１２６）。レリーズスイッチ３が押されなければ、他のスイッチ操作の有無が判断され（Ｓ１２５）、いずれかのスイッチがオンであれば、対応する処理がなされ、いずれのスイッチもオフであれば、Ｓ１０３に戻される。   Then, it is confirmed that the release switch 3 is turned on (S123). If the release switch 3 is turned on (if the release switch is pressed), moving image shooting is started (S124), and it is determined whether or not the camera shake flag is 1 (S124). S126). If the release switch 3 is not pressed, it is determined whether or not another switch is operated (S125). If any switch is on, the corresponding processing is performed. If any switch is off, the process returns to S103. It is.

Ｓ１２６でフラグが１であれば、ＣＣＤ７０％画面を利用してシフトされ、手ぶれ補正された撮像画がリアルタイムでＬＣＤに表示され（Ｓ１２７）、フラグが０であれば、手ぶれ補正はされず、撮像画がリアルタイムでぶれたままでＬＣＤに表示される（Ｓ１２８）。Ｓ１２１、Ｓ１２２のスルー画表示と同様に、Ｓ１２８のぶれた撮像画は図５（Ｄ）の画像のように、Ｓ１２７のシフト補正された撮像画は図５（Ｅ）の画像のようにそれぞれ表示される。そして、レリーズスイッチ３が再度押されるまで連続して撮像され、レリーズスイッチが再度押されると（Ｓ１２９）、撮像が停止し（Ｓ１３０）、動画が画像記録媒体１５３に書込まれて（Ｓ１３１）、Ｓ１０３に戻される。   If the flag is 1 in S126, the captured image that has been shifted using the CCD 70% screen and corrected for camera shake is displayed on the LCD in real time (S127). If the flag is 0, camera shake correction is not performed and imaging is performed. The image is displayed on the LCD while being shaken in real time (S128). Similarly to the through image display in S121 and S122, the blurred captured image in S128 is displayed as an image in FIG. 5D, and the shifted corrected captured image in S127 is displayed as an image in FIG. 5E. Is done. Then, images are continuously captured until the release switch 3 is pressed again. When the release switch is pressed again (S129), the imaging stops (S130), and the moving image is written to the image recording medium 153 (S131). The process returns to S103.

このような構成によって、静止画、動画の撮影時でも手ぶれ補正されていることがビューファインダ６、背面ＬＣＤパネル１０で確認できるだけでなく、スルー画の範囲が実際に撮像できる範囲にほぼ一致するため、フレーミングが容易、迅速に設定できる。また、ディストーションのような画像歪による軌跡を画面範囲ごとに補正しているため、レンズ画像の歪の影響を排して、画面範囲ごとの軌跡の正しい変化量が得られ、画面全体にわたって良好な手ぶれ補正ができる。   With such a configuration, it is possible not only to confirm that camera shake is corrected even when taking a still image or a moving image with the viewfinder 6 and the rear LCD panel 10, but also because the range of the through image substantially matches the range that can be actually captured. Easy and framing can be set quickly. In addition, since the trajectory due to image distortion such as distortion is corrected for each screen range, the influence of the distortion of the lens image is eliminated, and a correct change amount of the trajectory for each screen range can be obtained, which is good over the entire screen. Camera shake correction is possible.

実施例１の変形例について説明する。実施例１では、基本軌跡演算回路１１２から出力された軌跡データを画像エリアごとに、補正値記憶メモリー１１８の値に基づいて軌跡補正回路１２１で補正し、補正された軌跡データを画像復元関数算出回路１２２に出力する。次に、画像復元関数算出回路１２２では、軌跡補正回路１２１の出力に基づいて各画面エリアごとに画像復元関数ｆ-1を算出し、次に、画像復元演算回路１２３では、画像復元関数算出回路１２２で算出された画像復元関数ｆ-1によって画像の復元演算がなされるようになっている。これに対して変形例として次のようにしてもよい。 A modification of the first embodiment will be described. In the first embodiment, the trajectory data output from the basic trajectory calculation circuit 112 is corrected for each image area by the trajectory correction circuit 121 based on the value in the correction value storage memory 118, and the corrected trajectory data is calculated as an image restoration function. Output to the circuit 122. Next, the image restoration function calculation circuit 122 calculates an image restoration function f −1 for each screen area based on the output of the trajectory correction circuit 121, and then the image restoration calculation circuit 123 performs an image restoration function calculation circuit. The image restoration calculation is performed by the image restoration function f −1 calculated in 122. On the other hand, you may make it as a modification as follows.

まず、軌跡補正回路１２１を削除し、補正値記憶メモリー１１８からの出力ラインを画像復元関数算出回路１２２に接続するように変形する。そして、基本軌跡演算回路１１２から出力された軌跡データを画像復元関数算出回路１２２で直接処理して、画像復元関数ｆ-1を１種類だけ演算して求める。次に、画像復元関数ｆ-1を画像エリアごとに、補正値記憶メモリー１１８の値に基づいて補正し、画像エリア毎に異なる画像復元関数ｆ-1を求める。次に、画像復元演算回路１２３において、画像エリア毎に異なる画像復元関数ｆ-1により画像の復元演算を行なう。この変形例では、画像復元関数算出回路１２２は、画像復元関数算出手段として機能するとともに、画像復元関数補正手段として機能する。 First, the locus correction circuit 121 is deleted, and the output line from the correction value storage memory 118 is modified to be connected to the image restoration function calculation circuit 122. Then, the trajectory data output from the basic trajectory calculation circuit 112 is directly processed by the image restoration function calculation circuit 122 to calculate and obtain only one type of image restoration function f −1 . Next, the image restoration function f −1 is corrected for each image area based on the value in the correction value storage memory 118 to obtain a different image restoration function f −1 for each image area. Next, the image restoration calculation circuit 123 performs an image restoration calculation using an image restoration function f −1 that differs for each image area. In this modification, the image restoration function calculation circuit 122 functions as an image restoration function calculation unit and also functions as an image restoration function correction unit.

変形例の構成によれば、同じ手ぶれでも像の移動の軌跡が、ディストーションの影響で画面中央と画面中央以外のエリアについてエリアごとに圧縮、拡大、方向変化のために変わり、結果として画像劣化関数ｆ-1がエリアごとに異なる場合でも、エリアごとに画像劣化関数ｆ-1を補正して最適な画像復元関数ｆ-1とするため、画面全体にわたって正確な手ぶれ復元ができ、画面全体で鮮鋭な画像が得られる。 According to the configuration of the modified example, even with the same camera shake, the trajectory of the image changes due to the distortion, and the area other than the center of the screen and the area other than the center of the screen changes due to compression, enlargement, and direction change, resulting in an image degradation function. Even when f -1 varies from area to area, the image degradation function f -1 is corrected for each area to obtain an optimal image restoration function f -1 , so that accurate camera shake restoration can be performed over the entire screen, and the entire screen is sharp. Images can be obtained.

静止画撮影後に得られた画像データから復元演算を行なう形式の手ぶれ補正手段を備えたカメラにおいて、静止画撮影の準備段階において被写体観察するためのスルー画表示においては、前記の復元演算を行なう形式の手ぶれ補正手段を適用することはできない。または適用しても狙いの効果は得られない。しかし、図７、図８に示すように、静止画撮像時とスルー画表示時とでは異なる手ぶれ補正を行ない、スルー画表示時は動画用（スルー画用）手ぶれ補正を作動させ、静止画撮像時はこれと異なる静止画用手ぶれ補正を作動させている。さらに、静止画モード時のスルー画と動画モード時のスルー画で、電子的手ぶれ防止作動における画像切り出し範囲、最大補正量などを異なるものとし、静止画、動画のそれぞれに最適なように設定する手ぶれ補正モードを設定し、手ぶれ補正時に動画用手ぶれ補正を行ない、静止画の撮像に対してはぶれ軌跡に基づいてぶれ復元補正をしてから復元画像を表示している。この実施例を実施例２とする。   In a camera equipped with image stabilization means for performing restoration calculation from image data obtained after still image shooting, in the through image display for observing a subject in the preparation stage of still image shooting, a format for performing the restoration calculation described above The camera shake correction means cannot be applied. Or even if it is applied, the desired effect cannot be obtained. However, as shown in FIGS. 7 and 8, different camera shake correction is performed for still image capturing and live view display, and for live view display, moving image (through image) camera shake correction is activated to capture still images. At times, different image stabilization for still images is activated. In addition, the through image in still image mode and the through image in moving image mode have different image clipping ranges and maximum correction amounts for electronic image stabilization, and are set to be optimal for still images and moving images. A camera shake correction mode is set, camera shake correction for moving images is performed at the time of camera shake correction, and a restored image is displayed after performing camera shake correction correction based on the camera shake locus for still image capturing. This example is referred to as Example 2.

実施例２によれば、手ぶれ防止モードが設定されている際には、スルー画に対して別の形式の、スルー画に対しては効果がある手ぶれ補正によって手ぶれの少ない画像を表示させることにより、撮影者に手ぶれモードが作動していることを告知できる。このため、撮影時に撮影者が手ぶれモードが設定されていることを、被写体を観察しながら確認できる。また、観察時の手ぶれを軽減しているので、被写体の観察がしやすくなる。さらに、静止画の手ぶれ補正のモードでない場合は、スルー画の手ぶれ補正も停止するため、手ぶれが大きい場合は撮影者が被写体を観察する際に手ぶれを意識し、手ぶれ補正モードに設定させる手ぶれ警告の効果がある。   According to the second embodiment, when the camera shake prevention mode is set, an image with less camera shake is displayed by camera shake correction having another format for the live view image and effective for the live view image. , The photographer can be notified that the camera shake mode is operating. For this reason, it is possible for the photographer to confirm that the camera shake mode is set during photographing while observing the subject. In addition, camera shake during observation is reduced, making it easier to observe the subject. In addition, camera shake compensation for live view is also stopped when the camera is not in still image stabilization mode. There is an effect.

なお、実施例１、２は、図１〜図８を共通としているため、実施例２について、図１〜図８の説明は省略する。   In addition, since Example 1, 2 has shared FIG. 1-8, description of FIGS. 1-8 is abbreviate | omitted about Example 2. FIG.

撮像画に対して、レンズの歪補正をしてから静止画電子手ぶれ補正、動画電子手ぶれ補正を行なう別実施例（実施例３）について、図９〜図１２を参照しながら説明する。図９はデジタルカメラの制御回路の構成図であり、構成要素として補正値記憶メモリー１１８、軌跡補正回路１２１が省略され、歪補正値メモリー１７１（ディストーション情報記憶手段、画像劣化情報記憶手段）、画像歪補正回路１７２が加えられている点で図３と相違する。なお、実施例３においても、図３を除く図１〜図８の図面を共通としている。ただし、実施例３ではＳ１１３の画像処理において、レンズ歪（ディストーション）に応じた補正を画像歪補正回路１７２によって撮像画に加えている点で実施例１と相違する。   Another embodiment (embodiment 3) in which still image electronic camera shake correction and moving image electronic camera shake correction are performed on a captured image after correcting lens distortion will be described with reference to FIGS. FIG. 9 is a block diagram of the control circuit of the digital camera. The correction value storage memory 118 and the trajectory correction circuit 121 are omitted as constituent elements, the distortion correction value memory 171 (distortion information storage means, image deterioration information storage means), image 3 is different from FIG. 3 in that a distortion correction circuit 172 is added. In the third embodiment as well, the drawings of FIGS. 1 to 8 except for FIG. 3 are common. However, the third embodiment is different from the first embodiment in that correction in accordance with lens distortion (distortion) is added to the captured image by the image distortion correction circuit 172 in the image processing of S113.

図９のデジタルカメラの制御回路の構成図において、レンズ歪（ディストーション）に応じた歪み補正値が歪み補正値メモリー１７１に記憶され、撮像画に対して、画像歪補正回路１７２でレンズによる歪（ディストーション）の補正をかけてから、静止画電子手ぶれ補正、および動画電子手ぶれ補正を行なっている。また、この歪補正値メモリー１７１を単なるレンズ特性補正値メモリーとし、歪補正値（ディストーション補正値）以外の撮影レンズの特性に起因する収差の補正データ等をもあわせてこの補正値メモリーに記憶するようにし、さらに、画像歪補正回路１７２をレンズ特性補正回路として、その他の撮影レンズの特性に起因する収差等の補正もあわせて行なうようにしてもよい。この構成によれば、撮影レンズのディストーションの影響がある場合だけではなく、収差等の光学系によって発生する画像劣化がある場合においても、手ぶれ復元演算の前に光学系の歪、あるいは、収差等による画像劣化を補正し、画像劣化の影響を除去してから手ぶれ復元演算を行なうため、簡単な演算で画面全体で正確な手ぶれ復元ができ、画面全体で鮮鋭な画像を得ることができる。   In the configuration diagram of the control circuit of the digital camera in FIG. 9, a distortion correction value corresponding to lens distortion (distortion) is stored in the distortion correction value memory 171. After applying distortion correction, still image electronic image stabilization and moving image electronic image stabilization are performed. Further, the distortion correction value memory 171 is simply a lens characteristic correction value memory, and correction data for aberrations caused by characteristics of the photographing lens other than the distortion correction value (distortion correction value) are also stored in the correction value memory. In addition, the image distortion correction circuit 172 may be used as a lens characteristic correction circuit to correct aberrations and the like due to the characteristics of other photographic lenses. According to this configuration, not only when there is an influence of distortion of the photographing lens, but also when there is image degradation caused by the optical system such as aberration, distortion of the optical system or aberration or the like before the camera shake restoration calculation Since the camera shake restoration calculation is performed after correcting the image deterioration due to the image and removing the influence of the image deterioration, the camera shake can be accurately restored over the entire screen by a simple calculation, and a sharp image can be obtained over the entire screen.

図１０は実施例３におけるシーケンス制御回路１１９の処理フローを示す。まず、レリーズスイッチ３を押して撮像し（Ｓ２０１）、ズーム、被写体距離からディストーションに対する歪補正値を歪補正値メモリー１７１から読み出し（Ｓ２０２）、画像歪補正回路１７２でレンズの画像歪補正をして（Ｓ２０３）、角速度センサ１０８、１０９で検出した手ぶれから求めたエリアごとの時系列の手ぶれ軌跡から画像復元関数算出回路１２２で手ぶれ画像復元関数を算出して（Ｓ２０４）、手ぶれ画像復元関数に応じて画像復元演算回路１２３で手ぶれ補正し（Ｓ２０５）、画像圧縮・伸長回路１５１で画像圧縮してから（Ｓ２０６）、記録手段１５２を利用して画像記録媒体１５３に記録する（Ｓ２０７）。   FIG. 10 shows a processing flow of the sequence control circuit 119 in the third embodiment. First, the release switch 3 is pressed to capture an image (S201), and a distortion correction value for distortion from the zoom and subject distance is read from the distortion correction value memory 171 (S202), and the image distortion correction circuit 172 corrects the image distortion of the lens ( S203), a camera shake image restoration function is calculated by the image restoration function calculation circuit 122 from the time-series camera shake trajectory obtained from the camera shake detected by the angular velocity sensors 108 and 109 (S204), and according to the camera shake image restoration function. The image restoration calculation circuit 123 corrects camera shake (S205), compresses the image using the image compression / decompression circuit 151 (S206), and records it on the image recording medium 153 using the recording unit 152 (S207).

図１１はビルを撮影した場合の画像歪の模式図であり、図１１（Ａ）はディストーションゼロのイメージ図、図１１（Ｂ）はたる型ディストーションのもとでの画像、図１１（Ｃ）は糸巻き型ディストーションのもとでの画像、図１１（Ｄ）は像高と歪補正との関連図、図１１（Ｅ）は像高の説明図をそれぞれ示す。図１１（Ｅ）に示すように、像高は画面の中央でゼロ、周辺（最外周）で１となり、同心矩形上で同一の像高となる。   FIG. 11 is a schematic diagram of image distortion when a building is photographed. FIG. 11A is an image of distortion zero, FIG. 11B is an image under barrel distortion, and FIG. An image under a pincushion type distortion, FIG. 11D shows a relation between image height and distortion correction, and FIG. 11E shows an explanatory diagram of the image height. As shown in FIG. 11E, the image height is zero at the center of the screen and 1 at the periphery (outermost circumference), and the same image height on the concentric rectangle.

同じ材質、同じ条件下でレンズを成形しても、レンズ特性にばらつきが生じることは避け難く、画像を正確に復元するためには、レンズ特性の相違を考慮する必要がある。図１１（Ｂ）のようなたる型ディストーションの画像や図１１（Ｃ）のような糸巻き型ディストーションの画像を電気補正によって、ディストーションゼロの図１１（Ａ）の画像に近づけても、レンズ特性のばらつきで歪ゼロから外れることがある。人間の目は、魚眼レンズによる画像に見慣れていることもあり、たる型に歪んだ画像に対してはさほど違和感を感じない。しかし、糸巻き型に歪んだ画像に対しては違和感を感じ、不自然さが目立つ。そのため、歪ゼロに補正したとき、レンズ特性のばらつきの影響でゼロから外れるなら、復元画像が糸巻き型に歪んだ画像となるより、むしろ、たる型に歪んだ画像となることが好ましい。   Even if lenses are molded under the same material and under the same conditions, it is difficult to avoid variations in lens characteristics. In order to accurately restore an image, it is necessary to consider differences in lens characteristics. Even if the image of the barrel distortion as shown in FIG. 11B or the image of the pincushion distortion as shown in FIG. 11C is brought close to the image of FIG. Variation may deviate from zero distortion. The human eye is familiar with the fisheye lens image and does not feel so uncomfortable with an image distorted into a barrel shape. However, the image distorted in a pincushion is uncomfortable and unnatural is noticeable. For this reason, when the distortion is corrected to zero, it is preferable that the restored image becomes an image distorted in a barrel shape rather than an image distorted in a pincushion shape if it deviates from zero due to variations in lens characteristics.

そのため、図１１（Ｄ）に示すように、レンズの画像歪（たる型ディストーション）Ｌ1を歪みゼロのレベルＬ0をねらって歪補正し（歪補正１）、次に手ぶれ補正のために画像復元演算を行ない、次に電子補正をかけて、その画像をレベルＬ2まで逆補正してたる型方向に戻す（歪補正２）。ここで言葉の定義について若干説明するが、歪の補正とは歪の影響の有る画像データにおいて歪の影響をなくすか、または小さくすることを指し、歪の逆補正とは歪のない画像データに対して歪をわざとつけるか、または歪のある画像データに対して歪の影響をさらに大きくする処理のことを指す。ここで、歪補正１に対して逆補正である歪補正２の歪量は少なくし、糸巻き型への補正を＋（プラス）、たる型への補正をー（マイナス）としたとき、たとえば、像高ｄ＝１の周辺における最大歪量は歪補正１で＋１２％、歪補正２でー４％とされる。また、糸巻き型ディストーションに対しても、同様に、レンズの画像歪（糸巻き型ディストーション）Ｌ3を歪みゼロのレベルＬ0をねらって歪補正し（歪補正１）、次に手ぶれ補正のために画像復元演算を行ない、次に電子補正によってその画像をレベルＬ2まで逆補正してたる型画像とする。 For this reason, as shown in FIG. 11D, the distortion of the lens image distortion (ball distortion) L 1 is corrected to a level L 0 of zero distortion (distortion correction 1), and then the image is corrected for camera shake correction. A restoration operation is performed, and then electronic correction is performed to reversely correct the image to level L 2 and return to the mold direction (distortion correction 2). Here, the definition of words will be explained slightly. Distortion correction refers to eliminating or reducing the influence of distortion in image data affected by distortion, and reverse distortion correction refers to image data without distortion. On the other hand, it refers to a process of intentionally adding distortion or further increasing the influence of distortion on image data with distortion. Here, when the distortion amount of the distortion correction 2 which is the reverse correction with respect to the distortion correction 1 is reduced, the correction to the pincushion mold is set to + (plus), and the correction to the barrel mold is set to − (minus). The maximum distortion around the image height d = 1 is + 12% for distortion correction 1 and −4% for distortion correction 2. Similarly, with respect to the pincushion distortion, the lens image distortion (pincushion distortion) L 3 is corrected for distortion zero level L 0 (distortion correction 1), and then for camera shake correction. An image restoration operation is performed, and then the image is reverse-corrected to level L 2 by electronic correction to obtain a mold image.

このように、歪ゼロをねらった歪補正（歪補正１）の後、たる型への逆補正（歪補正２）をかけることにより、レンズ特性の相違に起因する歪補正のばらつきによって歪補正１で糸巻き型の画像がたとえ生成されても、歪補正２により糸巻き型から強制的にたる型に補正される。そのため、糸巻き型に歪んだ画像の生成が防止され、違和感のない画像が復元される。糸巻き型、たる型のディストーションの混在するいわゆる陣笠型ディストーションによってエリアごとにディストーションが相違する場合でも、ゼロの歪補正とたる型への逆補正（歪補正２）とを併用することにより、違和感のない画像が得られる。ディストーション逆補正（歪補正２）は画像復元演算回路１２３でなされており、画像復元演算回路は手ぶれ復元手段、ディストーション逆補正手段ということもできる。なお、糸巻き型ディストーションでの歪補正２も、画像復元演算回路１２３でなされる。   In this way, by performing distortion correction aiming at zero distortion (distortion correction 1) and then applying reverse correction to the barrel (distortion correction 2), distortion correction 1 due to distortion correction variations caused by differences in lens characteristics. Thus, even if a pincushion image is generated, distortion correction 2 forcibly corrects the pincushion die to a barrel die. Therefore, generation of an image distorted in a pincushion is prevented, and an image without a sense of incongruity is restored. Even if the distortion varies from area to area due to the so-called Jinkasa distortion, which is a combination of pincushion and barrel distortions, the combination of zero distortion correction and reverse correction to the mold (distortion correction 2) makes it uncomfortable. No image is obtained. Distortion reverse correction (distortion correction 2) is performed by the image restoration calculation circuit 123. The image restoration calculation circuit can also be referred to as camera shake restoration means and distortion reverse correction means. Note that the distortion correction 2 in the pincushion distortion is also performed by the image restoration arithmetic circuit 123.

図１２は、図１１の画像復元におけるシーケンス制御回路１１９の処理フローを示し、歪補正２を加えた点で図１０の処理フローと相違する。すなわち、レリーズスイッチ３を押して撮像し（Ｓ３０１）、ズーム、被写体距離からディストーションに対する歪補正値を歪補正値メモリー１７１から読み出し（Ｓ３０２）、角速度センサ１０８、１０９で検出した手ぶれから求めた時系列の手ぶれ検出信号（手ぶれ軌跡）から画像復元関数算出回路１２２で手ぶれ画像復元関数を算出して（Ｓ３０４）、レンズの画像歪（たる型ディストーションＬ1、糸巻き型ディストーションＬ3）を歪みゼロのレベルＬ0をねらって画像歪補正回路１７２で歪補正（歪補正１）する（Ｓ３０３）。それから、画像復元演算回路１２３で復元演算を行なって手ぶれ補正し（Ｓ３０５）、たる型歪みの生じる方向に逆補正してレベルＬ2とし（Ｓ３０６）、画像圧縮・伸長回路１５１で画像圧縮してから（Ｓ３０７）、記録手段１５２を利用して画像記録媒体１５３に記録する（Ｓ３０８）。 FIG. 12 shows a processing flow of the sequence control circuit 119 in the image restoration of FIG. 11 and is different from the processing flow of FIG. 10 in that distortion correction 2 is added. That is, the release switch 3 is pressed to capture an image (S301), and a distortion correction value corresponding to distortion is read from the zoom and subject distance from the distortion correction value memory 171 (S302), and a time series obtained from camera shake detected by the angular velocity sensors 108 and 109 is obtained. The image restoration function calculation circuit 122 calculates a camera shake image restoration function from the camera shake detection signal (camera shake locus) (S304), and the lens image distortion (the barrel distortion L 1 and the pincushion distortion L 3 ) is reduced to a distortion level L. Aiming at 0 , the image distortion correction circuit 172 performs distortion correction (distortion correction 1) (S303). Then, and image stabilization is performed to restore operation by the image restoration calculation circuit 123 (S305), and the level L 2 is inversely corrected to of occurrence of barrel distortion (S306), and image compression by the image compression and expansion circuit 151 From (S307), recording is performed on the image recording medium 153 using the recording unit 152 (S308).

動画におけるフレーム間の手ぶれによる画像劣化を考慮した別実施例（実施例４）について、図１３〜図１５を参照しながら説明する。実施例４においても、図３を除く図１〜図８の図面を共通とし、図３を除く図１〜図８の説明は実施例４にも適用される。図１３、図１４はデジタルカメラの制御回路の構成図であり、構成要素として補正値記憶メモリー１１８、軌跡補正回路１２１が省略されている点で第３図と相違し、図１５は補正値記憶メモリー１１８、軌跡補正回路１２１に加えてフレーム間シフト量算出回路１３１が省略され、画像シフト算出回路１７３が加えられている点で図３と相違する。   Another embodiment (embodiment 4) in consideration of image degradation due to camera shake between frames in a moving image will be described with reference to FIGS. Also in the fourth embodiment, the drawings of FIGS. 1 to 8 except for FIG. 3 are common, and the description of FIGS. 1 to 8 except for FIG. 3 is also applied to the fourth embodiment. FIGS. 13 and 14 are block diagrams of the control circuit of the digital camera, which differs from FIG. 3 in that the correction value storage memory 118 and the trajectory correction circuit 121 are omitted as components, and FIG. 15 shows the correction value storage. 3 is different from FIG. 3 in that an inter-frame shift amount calculation circuit 131 is omitted in addition to the memory 118 and the trajectory correction circuit 121, and an image shift calculation circuit 173 is added.

図１３は動画やスルー画を対象としており、フレーム間の手ぶれ補正をしてからフレーム内の手ぶれ補正をしている。つまり、角速度センサ１０８、１０９で検出した手ぶれに応じて画像シフト回路１３２でフレームごとにぶれ補正し、静止画と同様に、各フレームを画像復元演算回路１２３で手ぶれ軌跡に基づいて画像演算を行なってから、ビューファインダ６、背面ＬＣＤパネル１０に表示したり、画像記録媒体１５３に記録している。この構成では、フレーム内のぶれが補正され、鮮明なスルー画、動画が得られる。また、動画撮影においてフレーム間の手ぶれ補正に加えてフレーム内の手ぶれ補正も行なうため、フレーム間の手ぶれ補正のみを行なう場合に加えて、高品位の画像が得られる。先にフレーム間補正を行ない、実際に画像として表示されるエリアが確定してからフレーム内補正を行なえるので、表示に使用されない無駄な部分についても補正をかける場合よりも処理の量が少なくてすむ。   FIG. 13 is intended for moving images and through-images, and after performing camera shake correction between frames, camera shake correction within the frame is performed. That is, the image shift circuit 132 performs shake correction for each frame in accordance with the camera shake detected by the angular velocity sensors 108 and 109, and the image restoration calculation circuit 123 performs image calculation based on the camera shake locus in the same manner as a still image. The image is displayed on the viewfinder 6 and the rear LCD panel 10 or recorded on the image recording medium 153. In this configuration, blurring in the frame is corrected, and clear through images and moving images are obtained. In addition, in moving image shooting, camera shake correction within a frame is performed in addition to camera shake correction between frames, so that a high-quality image can be obtained in addition to the case of performing only camera shake correction between frames. First, the inter-frame correction is performed, and the intra-frame correction can be performed after the area that is actually displayed as an image is determined. Therefore, the amount of processing is less than when correcting unnecessary parts that are not used for display. I'm sorry.

また、シーケンス制御回路１１９は、手ぶれ検出信号に応じてフレーム間で発生した画像シフトを求め、このフレーム間で発生した画像シフトより画像シフト回路１３２を動作させている。そして、フレーム間、フレーム内ともに角速度センサ１０８、１０９の出力をもとにしているため、画面内で被写体側に動くものがあっても、それに影響されてフレームのシフトが不正確になることがなく、動いていない被写体の手ぶれによる劣化を確実に補正できる。   The sequence control circuit 119 obtains an image shift generated between frames in accordance with a camera shake detection signal, and operates the image shift circuit 132 based on the image shift generated between the frames. Since the inter-frame and intra-frame outputs are based on the outputs of the angular velocity sensors 108 and 109, even if there is something moving on the subject side in the screen, it may be affected by this and the frame shift may become inaccurate. In addition, it is possible to reliably correct deterioration due to camera shake of a subject that is not moving.

図１４も、動画やスルー画を対象としており、図１３とは逆に、フレーム内の手ぶれ補正をしてからフレーム間の手ぶれ補正をしている。つまり、静止画と同様に、各フレームを手ぶれ軌跡に基づいて画像復元演算回路１２３で画像復元演算を行なった後、フレームごとに角速度センサ１０８、１０９で検出した手ぶれに応じて画像シフト回路１３２でぶれ補正してから、ビューファインダ６、背面ＬＣＤパネル１０に表示したり、画像記録媒体１５３に記録している。この構成においても、フレーム内のぶれが補正され、鮮明なスルー画、動画が得られる。   FIG. 14 also targets moving images and through-images. Contrary to FIG. 13, camera shake correction between frames is performed after camera shake correction within the frame. That is, as in the case of a still image, each frame is subjected to image restoration computation by the image restoration computation circuit 123 based on the camera shake trajectory, and then the image shift circuit 132 is adapted to the camera shake detected by the angular velocity sensors 108 and 109 for each frame. After blur correction, the image is displayed on the viewfinder 6 and the rear LCD panel 10 or recorded on the image recording medium 153. Even in this configuration, blurring in the frame is corrected, and a clear through image and moving image can be obtained.

実施例４においても、フレーム間およびレーム内の手ぶれ補正をしてから画像圧縮・伸長回路１５１で圧縮してから、記録手段１５２を利用して画像記録媒体１５３に記録しており、手ぶれ復元演算を行なった後に画像を圧縮・記録するために、画像復元演算時に圧縮前の劣化のない状態で行なえ、正確な手ぶれ復元演算ができる。そして、フレーム間およびレーム内の手ぶれ補正をしてから圧縮して記録されるため、高品位の多くの枚数の画像を少ない容量の小型・安価な画像記録媒体１５３に記憶できる。   Also in the fourth embodiment, the camera shake correction between the frames and in the frame is performed and then compressed by the image compression / decompression circuit 151, and then recorded on the image recording medium 153 using the recording unit 152. In order to compress and record the image after performing the above, it can be performed without any deterioration before compression at the time of image restoration calculation, and an accurate camera shake restoration calculation can be performed. Since the camera shake correction between frames and frames is performed after compression, a large number of high-quality images can be stored in a small and inexpensive image recording medium 153 with a small capacity.

図１５は、フレーム間シフト量算出回路１３１の代わりに画像シフト算出回路１７３が配置されている点を除けば図１４に等しい。つまり、図１５においては、フレーム間の画像の変化から、たとえば画像の相関演算などにより画像的にフレーム間のシフト量を画像シフト量算出回路１７３で算出して画像シフトを行なっている。この構成では、フレーム間のブレで画像が不鮮明になるとフレーム間のシフト量の算出が不正確になるので、フレーム内のぶれ復元演算を先に行なうことが効果的である。   FIG. 15 is the same as FIG. 14 except that an image shift calculation circuit 173 is arranged instead of the interframe shift amount calculation circuit 131. That is, in FIG. 15, the image shift is performed by calculating the shift amount between frames image-wise by the image shift amount calculation circuit 173, for example, by image correlation calculation or the like based on the change in the image between frames. In this configuration, if the image becomes unclear due to the blur between frames, the calculation of the shift amount between frames becomes inaccurate. Therefore, it is effective to perform the blur restoration calculation in the frame first.

また、動画撮影においてフレーム内の手ぶれ補正をしてから、そのデータをもとにフレーム間の画像シフトを画像データより求めているため、フレーム内の手ぶれ補正をしない画像を用いてフレーム間の画像シフトを求める場合に比べて、正確なフレーム間のシフト量を算出することができ、より正確な手ぶれ補正ができる。   In addition, after moving image stabilization within a frame during movie shooting, the image shift between frames is obtained from the image data based on that data, so images between frames using images that are not subjected to camera shake correction within the frame are used. Compared with the case of obtaining the shift, the shift amount between frames can be calculated more accurately, and more accurate camera shake correction can be performed.

なお、シーケンス制御回路１１９は、画像データからフレーム間で発生した画像シフトを求め、このフレーム間で発生した画像シフトより画像シフト回路１３２を動作させている。そのため、フレームのシフトに関して、角速度センサ１０８、１０９の出力が、フレーム内よりもフレーム間で一般的に長時間になり、ノイズ成分の積算でフレームのシフトが不正確になることがなく、正確なシフトができる。   The sequence control circuit 119 obtains an image shift generated between frames from the image data, and operates the image shift circuit 132 based on the image shift generated between the frames. Therefore, regarding the frame shift, the outputs of the angular velocity sensors 108 and 109 are generally longer between frames than within the frame, and the frame shift does not become inaccurate due to the accumulation of noise components. You can shift.

さらに、シーケンス制御回路１１９は、画像シフト算出回路１７３、画像シフト回路１３２の両方またはいずれか一方を選択的に動作させるように制御することが好ましく、そうであれば、手ぶれによるフレーム内の劣化が小さい場合など、必要のない部分の動作をさせないため、電力消費を抑えることができる。   Furthermore, it is preferable that the sequence control circuit 119 performs control so that either or both of the image shift calculation circuit 173 and the image shift circuit 132 are selectively operated. If so, deterioration in the frame due to camera shake is caused. Since it is not necessary to operate an unnecessary part such as when it is small, power consumption can be suppressed.

上述した実施例は本発明を説明するためのものであり、本発明は実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、上記以外の変形や応用が可能であることはいうまでもない。   The embodiments described above are for explaining the present invention, and the present invention is not limited to the embodiments. Modifications and applications other than the above can be made without departing from the gist of the present invention. Needless to say.

本発明によれば、レンズのディストーションに対応してエリアごとに手ぶれによる時系列の画像軌跡に応じて画像が補正され、画面全体での正確な画像復元が可能であるため、手ぶれによる劣化画像の復元を必要とする分野に本発明が広範囲に応用できる。   According to the present invention, the image is corrected according to the time-series image trajectory due to camera shake for each area corresponding to the distortion of the lens, and accurate image restoration on the entire screen is possible. The present invention can be applied to a wide range of fields requiring restoration.

デジタルカメラに適用した本発明の実施例１、２におけるデジタルカメラを示し、（Ａ）（Ｂ）はデジタルカメラの前面斜視図、背面斜視図である。The digital camera in Example 1, 2 of this invention applied to the digital camera is shown, (A) (B) is the front perspective view of a digital camera, and a rear perspective view. レンズユニット２の概略図である。2 is a schematic diagram of a lens unit 2. FIG. 実施例１、２におけるデジタルカメラの制御回路の構成を示す。2 shows a configuration of a control circuit of a digital camera in Examples 1 and 2. 静止画での電子手ぶれ補正のイメージを示し、（Ａ）（Ｂ）はＸ軸、Ｙ軸での手ぶれ(回転角)θｘ、θｙの変化、（Ｃ）は撮像素子（ＣＣＤ）１１４上でのぶれ軌跡、（Ｄ）は原画像と撮像画像との関係を示す。(A) and (B) show changes in camera shake (rotation angles) θx and θy on the X-axis and Y-axis, and (C) shows an image on the image sensor (CCD) 114. The blur locus (D) shows the relationship between the original image and the captured image. 動画電子手ぶれ補正のイメージを示し、（Ａ）（Ｂ）（Ｃ）は変動する３つのフレームを示し、（Ｄ）（Ｅ）は３つのフレームの単純に順次表示した画像と、補正された画像を順次表示した画像を示す。(A), (B), and (C) show three fluctuating frames, and (D) and (E) show images that are simply displayed sequentially in three frames and corrected images. The images are sequentially displayed. 各モードでの電子手ぶれ補正量、画像切り出し範囲を示すＣＣＤ画像を示し、（Ａ）は（Ｂ）は動画、動画モード時のスルー画、静止画モード時のスルー画および静止画での電子手ぶれ補正量（最大シフト量）、（Ｂ）は画像切り出し範囲のＣＣＤ画像を示す。The electronic image stabilization amount in each mode and a CCD image showing the image cutout range are shown. (A) is a moving image, a through image in the moving image mode, a through image in the still image mode, and an electronic image blur in the still image. A correction amount (maximum shift amount), (B) shows a CCD image in the image cutout range. 実施例１、２におけるメインフローである。It is a main flow in Example 1,2. 図７と同様に、実施例１、２におけるメインフローである。It is the main flow in Example 1, 2 similarly to FIG. 図３に対応する本発明の実施例３におけるデジタルカメラの制御回路の構成を示す。4 shows a configuration of a control circuit of a digital camera in Embodiment 3 of the present invention corresponding to FIG. 実施例３におけるシーケンス処理回路の処理フローである。10 is a processing flow of the sequence processing circuit in the third embodiment. 実施例３における画像歪の模式図であり、（Ａ）はディストーションゼロのイメージ図、（Ｂ）はたる型ディストーションのもとでの画像、（Ｃ）は糸巻き型ディストーションのもとでの画像、（Ｄ）は像高、歪補正の関係図、（Ｅ）は像高の説明図をそれぞれ示す。FIG. 6 is a schematic diagram of image distortion in Example 3, (A) is an image diagram of distortion zero, (B) is an image under barrel-type distortion, (C) is an image under pincushion-type distortion, D) shows the relationship between image height and distortion correction, and (E) shows an explanatory diagram of image height. 図１１（Ｄ）における画像歪みの復元におけるシーケンス処理回路の処理フローである。12 is a processing flow of a sequence processing circuit in image distortion restoration in FIG. 図３に対応する本発明の実施例４におけるデジタルカメラの制御回路の構成を示す。4 shows a configuration of a control circuit of a digital camera in Embodiment 4 of the present invention corresponding to FIG. 本発明の実施例４の変形例１におけるデジタルカメラの制御回路の構成を示す。10 shows a configuration of a control circuit of a digital camera in a first modification of the fourth embodiment of the present invention. 本発明の実施例４の変形例２におけるデジタルカメラの制御回路の構成を示す。9 shows a configuration of a digital camera control circuit according to a second modification of the fourth embodiment of the present invention.

符号の説明Explanation of symbols

１ カメラボディ
２ レンズユニット
５ 手ぶれモードスイッチ
６ ビューファインダ
７ モードキー
１０ 背面ＬＣＤパネル
１１ パワースイッチ
１０８、１０９ Ｘ軸、Ｙ軸の角速度センサ
１１２ 基本軌跡演算回路
１１３ 軌跡メモリー回路
１１４ 撮像素子（ＣＣＤ）
１１７ 画像処理回路（ＲＧＢ処理、シェーデイング補正含む）
１１８ 補正値記憶メモリー
１１９ シーケンス制御回路
１２０ 静止画手ぶれ処理回路
１２１ 軌跡補正回路
１２２ 画像復元係数算出回路
１２３ 画像復元演算回路
１３０ 動画手ぶれ処理回路
１３１ フレーム間シフト量算出回路
１３２ 画像シフト回路
１５１ 画像圧縮・伸長回路
１５２ 記録手段
１５３ 画像記録媒体
１７１ 歪み補正値メモリー
１７２ 画像歪補正回路

DESCRIPTION OF SYMBOLS 1 Camera body 2 Lens unit 5 Camera shake mode switch 6 Viewfinder 7 Mode key 10 Rear LCD panel 11 Power switch 108, 109 X-axis, Y-axis angular velocity sensor 112 Basic trajectory calculation circuit 113 Trajectory memory circuit 114 Imaging device (CCD)
117 Image processing circuit (including RGB processing and shading correction)
118 Correction Value Storage Memory 119 Sequence Control Circuit 120 Still Image Camera Shake Processing Circuit 121 Trajectory Correction Circuit 122 Image Restoration Coefficient Calculation Circuit 123 Image Restoration Calculation Circuit 130 Moving Image Shake Processing Circuit 131 Interframe Shift Amount Calculation Circuit 132 Image Shift Circuit 151 Decompression circuit 152 Recording means 153 Image recording medium 171 Distortion correction value memory 172 Image distortion correction circuit

Claims (8)

被写体像を形成するための光学系と、
前記光学系により形成された被写体像より画像データを得るための撮像手段と、
前記撮像手段への露光を制御するための露光制御手段と、
カメラの手ぶれを検出するための手ぶれ検出手段と、
前記撮像素子の露光期間中における、前記手ぶれ検出手段から出力される時系列の手ぶれ検出信号を記憶するための手ぶれ検出信号記憶手段と、
前記光学系により発生するディストーションに関する情報を記憶するためのディストーション情報記憶手段と、
前記ディストーション情報記憶手段に記憶されたディストーション情報に応じて、前記手ぶれ検出信号記憶手段に記憶された時系列の手ぶれ検出信号を補正して画面位置に対応して補正された時系列の手ぶれ検出信号を出力するための手ぶれ検出信号補正手段と、
前記手ぶれ検出信号補正手段から出力された前記画面位置に対応して補正された時系列の手ぶれ検出信号に応じて、手ぶれによる前記画像データの劣化を復元するための手ぶれ復元手段とを具備する撮像装置。 An optical system for forming a subject image;
Imaging means for obtaining image data from a subject image formed by the optical system;
Exposure control means for controlling exposure to the imaging means;
Camera shake detecting means for detecting camera shake,
A camera shake detection signal storage means for storing a time-series camera shake detection signal output from the camera shake detection means during an exposure period of the image sensor;
Distortion information storage means for storing information relating to distortion generated by the optical system;
In accordance with the distortion information stored in the distortion information storage means, the time-series camera shake detection signal stored in the camera shake detection signal storage means is corrected to correspond to the screen position by correcting the time-series camera shake detection signal. Camera shake detection signal correction means for outputting,
An image pickup comprising: a camera shake restoration unit for restoring deterioration of the image data due to camera shake in accordance with a time-series camera shake detection signal corrected corresponding to the screen position output from the camera shake detection signal correction unit. apparatus. 被写体像を形成するための光学系と、
前記光学系により形成された被写体像より画像データを得るための撮像手段と、
前記撮像手段への露光を制御するための露光制御手段と、
カメラの手ぶれを検出するための手ぶれ検出手段と、
前記撮像素子の露光期間中における、前記手ぶれ検出手段から出力される時系列の手ぶれ検出信号を記憶するための手ぶれ検出信号記憶手段と、
前記光学系により発生するディストーションに関する情報を記憶するためのディストーション情報記憶手段と、
前記手ぶれ検出信号記憶手段に記憶された時系列の手ぶれ検出信号から、前記画像データの手ぶれによる劣化を復元するための画像復元関数を求めるための画像復元関数演算手段と、
前記ディストーション情報記憶手段に記憶されたディストーション情報に応じて、前記画像復元関数演算手段から出力された画像復元関数を補正して画面位置に対応して補正された画像復元関数を出力するための画像復元関数補正手段と、
前記画像復元関数補正手段から出力された画像復元関数に応じて、手ぶれによる前記画像データの劣化を復元するための手ぶれ復元手段とを具備する撮像装置。 An optical system for forming a subject image;
Imaging means for obtaining image data from a subject image formed by the optical system;
Exposure control means for controlling exposure to the imaging means;
Camera shake detecting means for detecting camera shake,
A camera shake detection signal storage means for storing a time-series camera shake detection signal output from the camera shake detection means during an exposure period of the image sensor;
Distortion information storage means for storing information relating to distortion generated by the optical system;
Image restoration function computing means for obtaining an image restoration function for restoring deterioration due to camera shake of the image data from time-series camera shake detection signals stored in the camera shake detection signal storage means;
An image for correcting the image restoration function output from the image restoration function calculation unit according to the distortion information stored in the distortion information storage unit and outputting an image restoration function corrected in accordance with the screen position Restoration function correction means;
An image pickup apparatus comprising: a camera shake restoration unit configured to restore deterioration of the image data due to camera shake according to the image restoration function output from the image restoration function correction unit. 前記手ぶれ復元手段からの出力信号を適用された記録媒体に記録するための記録手段をさらに具備する請求項１又は２記載の撮像装置。 The imaging apparatus according to claim 1, further comprising recording means for recording an output signal from the camera shake restoration means on a recording medium to which the output signal is applied. 前記ディストーション情報記憶手段に記憶されたディストーションに関する情報は、撮影画面上の位置に応じて異なる情報を含む請求項１又は２記載の撮像装置。 The imaging apparatus according to claim 1, wherein the information related to the distortion stored in the distortion information storage unit includes different information depending on a position on the shooting screen. 前記ディストーション情報記憶手段に記憶されたディストーションに関する情報は、撮影画面上において前記光学系の光軸からの距離に応じて異なる情報を含む請求項１又は２記載の撮像装置。 3. The imaging apparatus according to claim 1, wherein the information related to the distortion stored in the distortion information storage unit includes information that varies depending on a distance from the optical axis of the optical system on the imaging screen. 前記光学系は、焦点距離を可変な光学系であり、
前記ディストーション情報記憶手段に記憶されたディストーションに関する情報は、設定可能な焦点距離に応じて異なる情報を含む請求項１又は２記載の撮像装置。 The optical system is an optical system having a variable focal length,
The imaging apparatus according to claim 1, wherein the information related to distortion stored in the distortion information storage unit includes different information depending on a settable focal length. 光学系のディストーションに関する情報を記憶するとともに、撮影時の手ぶれを検出して時系列の手ぶれ検出信号を記憶し、
ディストーション情報に応じて時系列の手ぶれ検出信号を画像データの画面位置に対応して補正し、
補正された時系列の手ぶれ検出信号に基づいて手ぶれによる画像データの劣化を復元する画像復元方法。 Stores information related to optical distortion, detects camera shake during shooting, and stores time-series camera shake detection signals.
According to the distortion information, the time-series camera shake detection signal is corrected corresponding to the screen position of the image data,
An image restoration method for restoring deterioration of image data due to camera shake based on a corrected time-series camera shake detection signal. 光学系のディストーションに関する情報を記憶するとともに、撮影時の手ぶれを検出して時系列の手ぶれ検出信号を記憶し、
画像データの手ぶれによる劣化を復元する画像復元関数を時系列の手ぶれ検出信号から求め、
ディストーション情報に応じて画像復元関数を画像の画面位置に対応して補正し、
補正された手ぶれ画像復元関数に基づいて手ぶれによる画像データの劣化を復元する画像復元方法。

Stores information related to optical distortion, detects camera shake during shooting, and stores time-series camera shake detection signals.
Obtain an image restoration function that restores image data degradation due to camera shake from the time-series camera shake detection signal,
According to the distortion information, the image restoration function is corrected corresponding to the screen position of the image,
An image restoration method for restoring deterioration of image data due to camera shake based on a corrected camera shake image restoration function.

JP2004213577A 2004-07-21 2004-07-21 Imaging apparatus and image restoration method Pending JP2006033757A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004213577A JP2006033757A (en) 2004-07-21 2004-07-21 Imaging apparatus and image restoration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004213577A JP2006033757A (en) 2004-07-21 2004-07-21 Imaging apparatus and image restoration method

Publications (1)

Publication Number Publication Date
JP2006033757A true JP2006033757A (en) 2006-02-02

Family

ID=35899505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004213577A Pending JP2006033757A (en) 2004-07-21 2004-07-21 Imaging apparatus and image restoration method

Country Status (1)

Country Link
JP (1) JP2006033757A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010239189A (en) * 2009-03-30 2010-10-21 Nikon Corp Photographing device and image processor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010239189A (en) * 2009-03-30 2010-10-21 Nikon Corp Photographing device and image processor

Similar Documents

Publication Publication Date Title
JP4418317B2 (en) Imaging device
US20060017817A1 (en) Image pick-up apparatus and image restoration method
JP4434151B2 (en) Imaging device
US7385632B2 (en) Lens, camera body and camera system
CN109417593B (en) Imaging device, operation method, image processing device, and image processing method
US20090290028A1 (en) Imaging apparatus and imaging method
US20080151062A1 (en) Digital camera
JP6652300B2 (en) Image processing apparatus, imaging apparatus, and control method
JP2006310969A (en) Imaging apparatus
JP4487811B2 (en) Imaging device
CN108668074B (en) Image blur correction device, control method thereof, image pickup apparatus, and storage medium
JP4528189B2 (en) Imaging device
JP2006295238A (en) Image pickup device
US20060227221A1 (en) Image pickup device
US10681279B2 (en) Image pickup apparatus, non-transitory computer-readable recording medium storing computer program, and image pickup method
JP4354359B2 (en) Imaging apparatus and image correction method
JP2016050973A (en) Image-capturing device and control method thereof
JP2007199182A (en) Camera with vibration-proof function
WO2019065820A1 (en) Photography device, method of controlling same, and control program
JP6717354B2 (en) Image processing apparatus, image processing method and program
JP2006229392A (en) Imaging apparatus and image data display method
JP2006033757A (en) Imaging apparatus and image restoration method
JP2011135537A (en) Imaging apparatus and control method of the same
JP7214424B2 (en) Imaging device and its control method
JP2009171324A (en) Photographing apparatus

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20061124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20061128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090728

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091208