JP2013127541A - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP2013127541A
JP2013127541A JP2011276871A JP2011276871A JP2013127541A JP 2013127541 A JP2013127541 A JP 2013127541A JP 2011276871 A JP2011276871 A JP 2011276871A JP 2011276871 A JP2011276871 A JP 2011276871A JP 2013127541 A JP2013127541 A JP 2013127541A
Authority
JP
Japan
Prior art keywords
image
unit
imaging
acquisition unit
rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011276871A
Other languages
Japanese (ja)
Inventor
Seiichiro Sakata
誠一郎 坂田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2011276871A priority Critical patent/JP2013127541A/en
Priority to PCT/JP2012/073510 priority patent/WO2013094257A1/en
Publication of JP2013127541A publication Critical patent/JP2013127541A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an imaging device that is compact, can be ready for image shake in real time, and is low in cost.SOLUTION: An imaging device includes: a lens 3; a main body 2 that holds the lens 3; an imaging element 21 that converts an image from the lens 3 into an electric signal; a rotation shake acquisition unit 6 that acquires rotation shake about an optical axis of the lens 3; a driving unit 43 that moves the imaging element 21; an attitude acquisition unit 7 that acquires an attitude of the main body 2; an image processing unit 54 that performs rotation processing on the image picked up by the imaging element 21; and a control unit 30 that drives the driving unit 43 in accordance with the rotation shake acquired by the rotation shake acquisition unit 6 and controls the image processing unit 53 to perform rotation processing on the image in accordance with the attitude of the main body 2 acquired by the attitude acquisition unit 7.

Description

本発明は、デジタルカメラ等の撮像装置において、像のブレを補正する撮像装置に関するものである。   The present invention relates to an imaging apparatus that corrects image blurring in an imaging apparatus such as a digital camera.

従来、手ブレ等による像ブレの補正をする像ブレ補正装置に関する技術がある（特許文献１及び特許文献２参照）。   Conventionally, there is a technique related to an image blur correction apparatus that corrects image blur due to camera shake or the like (see Patent Document 1 and Patent Document 2).

特許文献１には、撮像素子を機械的に回転させる機械式補正装置により、像ブレを補正する技術が開示されている。   Patent Document 1 discloses a technique for correcting image blur using a mechanical correction device that mechanically rotates an imaging device.

また、特許文献２には、画像処理による電子式補正装置により、像ブレを補正する技術が開示されている。   Patent Document 2 discloses a technique for correcting image blur by an electronic correction device using image processing.

特開２００９−２４４４９２号公報JP 2009-244492 A 特開２０００−２２４４６１号公報JP 2000-224461 A

上記特許文献１に記載の機械式の補正装置によって像ブレを補正する場合、撮像素子を移動させる部材を配置するために撮像素子近傍の空間を確保する必要がある。歩行時の回転ブレ等の大きな像ブレを補正する場合、撮像素子の移動する範囲が大きくなるので、撮像素子を移動させる部材も大きくなり、確保する空間も大きくなる。   When image blur is corrected by the mechanical correction device described in Patent Document 1, it is necessary to secure a space near the image sensor in order to arrange a member that moves the image sensor. When correcting a large image blur such as a rotation blur at the time of walking, the range in which the image sensor moves is increased, so that a member for moving the image sensor is increased and a space to be secured is also increased.

また、上記特許文献２に記載の電子式の補正装置によって像ブレを補正する場合、複雑な演算処理が必要となる。複雑な演算処理を行うには、長い演算処理時間、もしくは演算処理能力の高いＣＰＵ等が必要となる。演算処理時間が長いと、補正装置は、像ブレに即時に対応できない。また、演算処理能力の高いＣＰＵを使用すると、補正装置は、コストが高くなってしまう。また、電子式の補正装置は、デジタル信号で対応するので、撮像中の細かいブレに対応することが困難であった。   Further, when correcting the image blur by the electronic correction device described in Patent Document 2, complicated calculation processing is required. In order to perform complicated arithmetic processing, a long arithmetic processing time or a CPU with high arithmetic processing capability is required. If the calculation processing time is long, the correction device cannot immediately cope with image blur. In addition, if a CPU having a high processing capacity is used, the correction device becomes expensive. Further, since the electronic correction device responds with a digital signal, it is difficult to cope with fine blurring during imaging.

本願発明は、上記のような問題点に鑑み、小型で、像ブレに即時に対応でき、低コストな撮像装置を提供することを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a low-cost imaging apparatus that is small in size and can respond immediately to image blurring.

本発明の一実施形態である撮像装置は、
レンズと、
前記レンズを保持する本体と、
前記レンズからの像を電気信号に変換する撮像素子と、
前記レンズの光軸回りの回転ブレを取得する回転ブレ取得部と、
前記撮像素子を移動させる駆動部と、
前記本体の姿勢を取得する姿勢取得部と、
前記撮像素子の撮像した画像を回転処理する画像処理部と、
前記回転ブレ取得部の取得した回転ブレに応じて前記駆動部を駆動させ、前記姿勢取得部の取得した前記本体の姿勢に応じて前記画像処理部で画像を回転処理させる制御部と、
を備える。 An imaging apparatus according to an embodiment of the present invention is
A lens,
A main body for holding the lens;
An image sensor that converts an image from the lens into an electrical signal;
A rotational blur acquisition unit that acquires rotational blur around the optical axis of the lens;
A drive unit for moving the image sensor;
A posture acquisition unit for acquiring the posture of the main body;
An image processing unit that rotates an image captured by the image sensor;
A control unit that drives the drive unit according to the rotational shake acquired by the rotational shake acquisition unit, and rotates the image in the image processing unit according to the posture of the main body acquired by the posture acquisition unit;
Is provided.

本発明の一実施形態である撮像装置では、
前記姿勢取得部の取得した前記本体の姿勢に応じて、前記画像処理部が画像を回転処理する画像回転補正係数を取得する画像回転補正係数取得部と、
を備える。 In the imaging device according to an embodiment of the present invention,
An image rotation correction coefficient acquisition unit that acquires an image rotation correction coefficient by which the image processing unit rotates an image according to the posture of the main body acquired by the posture acquisition unit;
Is provided.

本発明の一実施形態である撮像装置では、
撮像開始を指示する操作部を備え、
前記制御部は、
前記操作部による撮像開始時に、
前記画像回転補正係数取得部によって撮像開始時の画像回転補正係数を取得させ、
前記回転ブレ取得部の取得した回転ブレに応じて前記駆動部を駆動させて撮像開始時の状態に補正し、
前記撮像開始時の画像回転補正係数に応じて前記画像処理部に画像を回転処理させる。 In the imaging device according to an embodiment of the present invention,
It has an operation unit that instructs the start of imaging,
The controller is
At the start of imaging by the operation unit,
The image rotation correction coefficient acquisition unit acquires an image rotation correction coefficient at the start of imaging,
According to the rotational shake acquired by the rotational shake acquisition unit, the drive unit is driven to correct the state at the start of imaging,
The image processing unit rotates the image according to the image rotation correction coefficient at the start of the imaging.

本発明の一実施形態である撮像装置では、
前記制御部は、
前記画像処理部による画像の回転処理を第１の所定時間毎に実行させ、
前記回転ブレ取得部の取得した回転ブレに応じた前記駆動部の駆動を前記第１の所定時間より短い第２の所定時間毎に実行させる。 In the imaging device according to an embodiment of the present invention,
The controller is
The rotation processing of the image by the image processing unit is executed every first predetermined time,
Drive of the drive unit according to the rotational shake acquired by the rotational shake acquisition unit is executed every second predetermined time shorter than the first predetermined time.

この態様に係る撮像装置によれば、小型で、像ブレに即時に対応でき、コストを低くすることが可能となる。   According to the imaging apparatus according to this aspect, it is small in size, can respond immediately to image blurring, and can reduce costs.

本発明の一実施形態のデジタルカメラを示す前方斜視図である。It is a front perspective view showing a digital camera of one embodiment of the present invention. 本発明の一実施形態のデジタルカメラを示す後方斜視図である。It is a back perspective view showing a digital camera of one embodiment of the present invention. 本発明の一実施形態のデジタルカメラの主要部の内部回路の構成ブロック図である。It is a block diagram of the internal circuit of the main part of the digital camera of one embodiment of the present invention. 本実施形態に係るデジタルカメラ１の像ブレ補正制御フローチャートを示す図である。It is a figure which shows the image blurring correction control flowchart of the digital camera 1 which concerns on this embodiment. サブルーチンの回転補正係数取得処理のフローチャートを示す図である。It is a figure which shows the flowchart of the rotation correction coefficient acquisition process of a subroutine. サブルーチンの機械式補正処理のフローチャートを示す図である。It is a figure which shows the flowchart of the mechanical correction process of a subroutine. サブルーチンの電子式補正処理のフローチャートを示す図である。It is a figure which shows the flowchart of the electronic correction | amendment process of a subroutine. 経過時間に対する各回転角を示す図である。It is a figure which shows each rotation angle with respect to elapsed time. 画像記録開始時ｔ＝ｔ0のデジタルカメラの状態を示す図である。Is a diagram showing a state of the digital camera of the image recording start time t = t 0. 機械式補正後の画像を示す図である。It is a figure which shows the image after mechanical correction | amendment. 画像の回転処理を示す図である。It is a figure which shows the rotation process of an image. 画像の切り落とし処理を示す図である。It is a figure which shows the cutting-out process of an image. 電子式補正後の画像を示す図である。It is a figure which shows the image after electronic correction | amendment. ｔ＝ｔ1の時のデジタルカメラの状態を示す図である。is a diagram showing a state of the digital camera when the t = t 1. ｔ＝ｔ2の時のデジタルカメラの状態を示す図である。is a diagram showing a state of the digital camera when the t = t 2.

以下、本発明の一実施形態について説明する。なお、以下の説明においては、本発明を、動画撮影機能を備えた撮像装置としてのデジタルカメラ（図１参照）に適用した場合を例に説明する。   Hereinafter, an embodiment of the present invention will be described. In the following description, the case where the present invention is applied to a digital camera (see FIG. 1) as an imaging apparatus having a moving image shooting function will be described as an example.

図１は、本発明の一実施形態のデジタルカメラを示す前方斜視図である。図２は、本発明の一実施形態のデジタルカメラを示す後方斜視図である。なお、図１に示すように、デジタルカメラ１の幅方向をＸ軸方向、高さ方向をＹ軸方向、奥行き方向をＺ軸方向とする。   FIG. 1 is a front perspective view showing a digital camera according to an embodiment of the present invention. FIG. 2 is a rear perspective view showing the digital camera according to the embodiment of the present invention. As shown in FIG. 1, the width direction of the digital camera 1 is the X-axis direction, the height direction is the Y-axis direction, and the depth direction is the Z-axis direction.

図１及び図２に示すように、本実施形態に係るデジタルカメラ１は、略直方体状に形成されたカメラ本体（筺体）２、光学系としてのレンズ３、操作部としてのシャッターボタン４、パワーボタン５、回転ブレ取得部としてのジャイロセンサ６、姿勢取得部としての加速度センサ７（以上、図１参照）、メニューボタン８、十字ボタン９、ＯＫ／ＦＵＮＣボタン１０、ズームボタン１１、及び、モードダイヤル１２、液晶モニター等の表示部１３（以上、図２参照）を有する一般的なデジタルカメラ１の装置構成である。   As shown in FIGS. 1 and 2, a digital camera 1 according to this embodiment includes a camera body (housing) 2 formed in a substantially rectangular parallelepiped shape, a lens 3 as an optical system, a shutter button 4 as an operation unit, power Button 5, gyro sensor 6 as a rotation blur acquisition unit, acceleration sensor 7 as an attitude acquisition unit (see FIG. 1 above), menu button 8, cross button 9, OK / FUNC button 10, zoom button 11, and mode This is a device configuration of a general digital camera 1 having a display unit 13 (see FIG. 2 above) such as a dial 12 and a liquid crystal monitor.

シャッターボタン４は、レンズ３により撮像される静止画または動画（連続する静止画）の記録を指示するための操作ボタンである。パワーボタン５は、このデジタルカメラ１の電源をオンオフするための操作ボタンである。ジャイロセンサ６は、３軸を中心軸とするそれぞれの回転角速度を計測するセンサである。加速度センサ７は、３軸方向のそれぞれの加速度を計測するセンサである。   The shutter button 4 is an operation button for instructing recording of a still image or a moving image (continuous still image) captured by the lens 3. The power button 5 is an operation button for turning on / off the power of the digital camera 1. The gyro sensor 6 is a sensor that measures each rotational angular velocity with the three axes as the central axis. The acceleration sensor 7 is a sensor that measures each acceleration in the three-axis directions.

メニューボタン８は、このデジタルカメラ１の各種設定のためのメニュー画面を表示部１３に表示させるための操作ボタンである。十字ボタン９は、表示部１３に表示されたメニュー画面上のカーソルの位置を移動させる等により所望のメニュー項目を選択させるための操作ボタンである。ＯＫ／ＦＵＮＣボタン１０は、十字ボタン９を用いて選択したメニュー項目を選択項目として確定させるための操作ボタンである。ズームボタン１１は、レンズ３をワイド側又はテレ側に移動させることで焦点距離の変更を指示するための操作ボタンである。モードダイヤル１２は、例えば動画撮影モードや静止画撮影モード等のデジタルカメラ１の動作モードを設定するための操作ダイヤルである。   The menu button 8 is an operation button for causing the display unit 13 to display a menu screen for various settings of the digital camera 1. The cross button 9 is an operation button for selecting a desired menu item by moving the position of the cursor on the menu screen displayed on the display unit 13 or the like. The OK / FUNC button 10 is an operation button for confirming a menu item selected using the cross button 9 as a selection item. The zoom button 11 is an operation button for instructing to change the focal length by moving the lens 3 to the wide side or the tele side. The mode dial 12 is an operation dial for setting an operation mode of the digital camera 1 such as a moving image shooting mode or a still image shooting mode.

図３は、本実施形態に係るデジタルカメラ１のハードウェア構成例を示す図である。   FIG. 3 is a diagram illustrating a hardware configuration example of the digital camera 1 according to the present embodiment.

図３に示すデジタルカメラ１は、撮像光学系であるレンズ３、撮像素子２１、ＡＦＥ２２、バッファメモリ２３、表示処理部２４、表示部１３、内蔵メモリ２５ａと外部メモリ２５ｂとから構成される記憶部２５、圧縮伸張部２６、インターフェース２７、集音部２８、操作部２９、ＣＰＵ３０、機械式補正部４０、電子式補正部５０等を有する構成である。   The digital camera 1 shown in FIG. 3 includes a lens 3 that is an imaging optical system, an imaging device 21, an AFE 22, a buffer memory 23, a display processing unit 24, a display unit 13, a built-in memory 25a, and an external memory 25b. 25, a compression / expansion unit 26, an interface 27, a sound collection unit 28, an operation unit 29, a CPU 30, a mechanical correction unit 40, an electronic correction unit 50, and the like.

機械式補正部４０は、ジャイロセンサ６、ジャイロ信号処理部４１、機械式補正量決定部４２ａ及び機械式補正制御部４２ｂからなるサブＣＰＵ４２、Ｘ軸アクチュエータ４３ｘ、Ｙ軸アクチュエータ４３ｙからなる駆動部としてのアクチュエータ４３を有する。また、電子式補正部５０は、加速度センサ７、加速度信号処理部５１、画像回転補正係数取得部５２、画像処理部５３を有する。   The mechanical correction unit 40 is a drive unit including the sub CPU 42 including the gyro sensor 6, the gyro signal processing unit 41, the mechanical correction amount determination unit 42a, and the mechanical correction control unit 42b, the X-axis actuator 43x, and the Y-axis actuator 43y. The actuator 43 is provided. The electronic correction unit 50 includes an acceleration sensor 7, an acceleration signal processing unit 51, an image rotation correction coefficient acquisition unit 52, and an image processing unit 53.

以下、各構成要素について順不同に説明する。   Hereinafter, each component will be described in random order.

デジタルカメラ１は、撮像光学系であるレンズ３からの像を、撮像素子２１の受光面に結像させることで、被写体を撮像して画像データ（画像信号）を順次取得する。撮像素子２１は、レンズ３により結像された被写体像を光電変換して得られる画像をＡＦＥ（Analog Front End）２２に出力する。   The digital camera 1 forms an image from the lens 3 that is an imaging optical system on the light receiving surface of the image sensor 21, thereby imaging a subject and sequentially acquiring image data (image signal). The image sensor 21 outputs an image obtained by photoelectrically converting the subject image formed by the lens 3 to an AFE (Analog Front End) 22.

撮像素子２１は、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサである。   The imaging element 21 is an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).

ＡＦＥ２２は、撮像素子２１から出力されたアナログ電気信号のノイズ成分を低減させると共に信号レベルを安定化させて、アナログ電気信号のノイズ成分の低減や信号レベルの安定化等を行った後、アナログ電気信号をＡ−Ｄコンバータでデジタル電気信号に変換する。変換後のデジタル電気信号は画像データとしてバス２０に出力される。   The AFE 22 reduces the noise component of the analog electric signal output from the image pickup device 21 and stabilizes the signal level, reduces the noise component of the analog electric signal, stabilizes the signal level, etc. The signal is converted into a digital electrical signal by an A-D converter. The converted digital electric signal is output to the bus 20 as image data.

バッファメモリ２３は、ＡＦＥ２２からバス２０に出力された画像データを取得して一時的に記憶する。このバッファメモリ２３は、例えばＤＲＡＭ(Dynamic Random Access Memory)等の記憶装置である。   The buffer memory 23 acquires the image data output from the AFE 22 to the bus 20 and temporarily stores it. The buffer memory 23 is a storage device such as a DRAM (Dynamic Random Access Memory).

表示処理部２４は、画像処理部５３により画像処理が施された画像データを基に表示部１３に画像データを表示するときに、表示部１３が表示可能な映像信号を生成して表示部１３に出力する。表示部１３は、表示処理部２４により出力された映像信号に応じた映像を表示する。この表示部１３は、例えば液晶モニター等の表示装置である。   The display processing unit 24 generates a video signal that can be displayed by the display unit 13 when displaying the image data on the display unit 13 based on the image data subjected to the image processing by the image processing unit 53. Output to. The display unit 13 displays a video corresponding to the video signal output by the display processing unit 24. The display unit 13 is a display device such as a liquid crystal monitor.

記憶部２５は、画像データを記憶する。ここでいう画像データとは、画像処理部５３により画像処理が施され且つ圧縮伸張部２６によって圧縮処理が施された画像データである。この記憶部２５は、内蔵メモリ２５ａや外部メモリ２５ｂにより構成される。内蔵メモリ２５ａは、デジタルカメラ１に予め内蔵されているメモリである。外部メモリ２５ｂは、デジタルカメラ１に着脱自在の例えばｘＤ−ピクチャーカード（登録商標）等のメモリカードである。また、内蔵メモリ２５ａには、このカメラを制御するための制御プログラム等も格納されている。   The storage unit 25 stores image data. The image data here is image data that has been subjected to image processing by the image processing unit 53 and compression processing by the compression / decompression unit 26. The storage unit 25 includes an internal memory 25a and an external memory 25b. The built-in memory 25a is a memory built in the digital camera 1 in advance. The external memory 25b is a memory card such as an xD-Picture Card (registered trademark) that is detachably attached to the digital camera 1. The built-in memory 25a also stores a control program for controlling the camera.

圧縮伸張部２６は、画像処理部５３により画像処理が施された画像データを内蔵メモリ２５ａや外部メモリ２５ｂに記憶させるときに圧縮処理を施したり、内蔵メモリ２５ａや外部メモリ２５ｂに記憶された画像データを読み出すときに伸張処理を施したりする。ここでいう圧縮処理や伸張処理とは、ＪＰＥＧ(Joint Photographic Experts Group)方式やＭＰＥＧ（Moving Picture Experts Group）方式等による処理である。   The compression / decompression unit 26 performs compression processing when the image data subjected to the image processing by the image processing unit 53 is stored in the internal memory 25a or the external memory 25b, or the image stored in the internal memory 25a or the external memory 25b. When data is read out, decompression processing is performed. The compression processing and decompression processing here are processing by JPEG (Joint Photographic Experts Group) system, MPEG (Moving Picture Experts Group) system, and the like.

インターフェース２７は、デジタルカメラ１が外部機器と有線通信規格で接続するための、例えばＵＳＢ（Universal Serial Bus）、又は、デジタルカメラ１が外部機器と無線通信規格で接続するための、例えばＩｒＤＡ(Infrared Data Association)である。   The interface 27 is, for example, an USB (Universal Serial Bus) for connecting the digital camera 1 to an external device using a wired communication standard, or an IrDA (Infrared) for connecting the digital camera 1 to an external device using a wireless communication standard. Data Association).

集音部２８は、音声を集音するマイクロフォン等の装置である。この集音部２８によって得られた音声信号はＣＰＵ３０に送信される。   The sound collection unit 28 is a device such as a microphone that collects sound. The audio signal obtained by the sound collecting unit 28 is transmitted to the CPU 30.

操作部２９は、図１に示したシャッターボタン４、パワーボタン５、図２に示したメニューボタン８、十字ボタン９、ＯＫ／ＦＵＮＣボタン１０、ズームボタン１１、モードダイヤル１２等である。これら操作部２９に係る操作情報はＣＰＵ３０に送信される。   The operation unit 29 includes the shutter button 4 and the power button 5 shown in FIG. 1, the menu button 8 shown in FIG. 2, the cross button 9, the OK / FUNC button 10, the zoom button 11, the mode dial 12, and the like. The operation information related to the operation unit 29 is transmitted to the CPU 30.

ＣＰＵ３０は、内蔵メモリ２５ａに格納されている制御プログラムを読み出して実行することで、デジタルカメラ１の全体の動作を制御する。   The CPU 30 controls the overall operation of the digital camera 1 by reading and executing a control program stored in the built-in memory 25a.

機械式補正部４０は、ジャイロセンサ６、ジャイロ信号処理部４１、サブＣＰＵ４２、及びアクチュエータ４３を有する。   The mechanical correction unit 40 includes a gyro sensor 6, a gyro signal processing unit 41, a sub CPU 42, and an actuator 43.

ジャイロセンサ６は、３軸回りの角速度を測定して、カメラ本体２の手振れ等の動きを検出するセンサである。ジャイロセンサ６は、手振れ量等の手振れに関する情報を検出してジャイロ信号処理部４１に送信する。ジャイロ信号処理部４１は、ジャイロセンサ６の測定情報にフィルタ処理や増幅処理を施してサブＣＰＵ４２に送信する。   The gyro sensor 6 is a sensor that detects the movement of the camera body 2 such as camera shake by measuring an angular velocity around three axes. The gyro sensor 6 detects information related to camera shake such as the amount of camera shake and transmits the information to the gyro signal processing unit 41. The gyro signal processing unit 41 performs filtering processing and amplification processing on the measurement information of the gyro sensor 6 and transmits the result to the sub CPU 42.

サブＣＰＵ４２は、機械式補正量決定部４２ａと、機械式補正制御部４２ｂと、を有する。機械式補正量決定部４２ａは、ジャイロ信号処理部４１から受信した信号から機械式補正量を決定する。機械式補正制御部４２ｂは、機械式補正量決定部４２ａが決定した補正量に基づき、アクチュエータ４３を制御する。   The sub CPU 42 includes a mechanical correction amount determination unit 42a and a mechanical correction control unit 42b. The mechanical correction amount determination unit 42 a determines the mechanical correction amount from the signal received from the gyro signal processing unit 41. The mechanical correction control unit 42b controls the actuator 43 based on the correction amount determined by the mechanical correction amount determination unit 42a.

アクチュエータ４３は、例えばボイスコイルモータ（ＶＣＭ）からなり、撮像素子２１をＸ軸方向に移動させるＸ軸アクチュエータ４３ｘと、撮像素子２１をＹ軸方向に移動させるＹ軸アクチュエータ４３ｙと、を有する。Ｘ軸アクチュエータ４３ｘとＹ軸アクチュエータ４３ｙの両方を作動させることで、撮像素子２１を回転移動させることも可能である。   The actuator 43 is composed of, for example, a voice coil motor (VCM), and includes an X-axis actuator 43x that moves the image sensor 21 in the X-axis direction and a Y-axis actuator 43y that moves the image sensor 21 in the Y-axis direction. It is also possible to rotate the image sensor 21 by operating both the X-axis actuator 43x and the Y-axis actuator 43y.

電子式補正部５０は、加速度センサ７と、加速度信号処理部５１と、画像回転補正係数取得部５２と、画像処理部５３と、を有する。   The electronic correction unit 50 includes an acceleration sensor 7, an acceleration signal processing unit 51, an image rotation correction coefficient acquisition unit 52, and an image processing unit 53.

加速度センサ７は、３軸方向の加速度を測定して、絶対水平を基準とするカメラ本体２の姿勢を検出するセンサである。加速度センサ７は、カメラ本体２の姿勢に関する情報を検出して加速度信号処理部５１に送信する。加速度信号処理部５１は、加速度センサ７の測定情報から絶対水平に対する回転角度を求めて、画像回転補正係数取得部５２に送信する。   The acceleration sensor 7 is a sensor that measures acceleration in three axis directions and detects the posture of the camera body 2 with respect to absolute horizontal. The acceleration sensor 7 detects information related to the posture of the camera body 2 and transmits it to the acceleration signal processing unit 51. The acceleration signal processing unit 51 obtains the rotation angle with respect to the absolute horizontal from the measurement information of the acceleration sensor 7 and transmits it to the image rotation correction coefficient acquisition unit 52.

画像回転補正係数取得部５２は、画像を回転補正する際に用いる回転行列を求める。   The image rotation correction coefficient acquisition unit 52 obtains a rotation matrix used when the image is rotationally corrected.

画像処理部５３は、通常、バッファメモリ２３、内蔵メモリ２５ａ又は外部メモリ２５ｂに記憶された画像データに対して、ガンマ補正やホワイトバランス補正等の補正処理や画素数を増減させる拡大・縮小処理（リサイズ処理）等の各種の画像処理を施す。この画像処理部５３は、バッファメモリ２３、内蔵メモリ２５ａ又は外部メモリ２５ｂに記憶された画像データに基づいて表示部１３に画像データを表示するとき、バッファメモリ２３に記憶された画像データを内蔵メモリ２５ａや外部メモリ２５ｂに記憶させるときに、その前処理として上記の画像処理を施す。   The image processing unit 53 normally performs correction processing such as gamma correction and white balance correction, and enlargement / reduction processing (increasing / decreasing the number of pixels) for image data stored in the buffer memory 23, the built-in memory 25a, or the external memory 25b. Various image processing such as resizing processing is performed. When the image processing unit 53 displays the image data on the display unit 13 based on the image data stored in the buffer memory 23, the built-in memory 25a, or the external memory 25b, the image data stored in the buffer memory 23 is stored in the built-in memory. When the image data is stored in 25a or the external memory 25b, the above-described image processing is performed as preprocessing.

また、本実施形態の画像処理部５３は、画像回転補正係数取得部５２の求めた回転行列に基づき、画像を回転処理する機能を有する。その後、予め設定された切り出し量に基づいて画像端を切り落とし、表示処理部２４に送信する。   In addition, the image processing unit 53 of the present embodiment has a function of rotating an image based on the rotation matrix obtained by the image rotation correction coefficient acquisition unit 52. Thereafter, the image edge is cut off based on a preset cut-out amount and transmitted to the display processing unit 24.

次に、図３に示した各構成要素による像ブレ補正制御について説明する。   Next, image blur correction control by each component shown in FIG. 3 will be described.

図４は、本実施形態に係るデジタルカメラ１の像ブレ補正制御フローチャートを示す図である。図５は、サブルーチンの回転補正係数取得処理のフローチャートを示す図である。図６は、サブルーチンの機械式補正処理のフローチャートを示す図である。図７は、サブルーチンの電子式補正処理のフローチャートを示す図である。また、図８は、経過時間に対する各回転角を示す図である。   FIG. 4 is a diagram illustrating an image blur correction control flowchart of the digital camera 1 according to the present embodiment. FIG. 5 is a flowchart of a subroutine rotation correction coefficient acquisition process. FIG. 6 is a flowchart of the mechanical correction process of the subroutine. FIG. 7 is a flowchart of the electronic correction process of the subroutine. Moreover, FIG. 8 is a figure which shows each rotation angle with respect to elapsed time.

さらに、図９〜図１４は、それぞれのタイミングでのデジタルカメラ１又は画像の状態を示す図である。図９は、画像記録開始時ｔ＝ｔ0のデジタルカメラの状態を示す図である。図１０は、機械式補正後の画像の状態を示す図である。図１１は、画像の回転処理を示す図である。図１２は、画像の切り落とし処理を示す図である。図１３は、電子式補正後の画像を示す図である。 Further, FIG. 9 to FIG. 14 are diagrams showing states of the digital camera 1 or images at respective timings. FIG. 9 is a diagram illustrating a state of the digital camera at the time of image recording start t = t 0 . FIG. 10 is a diagram illustrating a state of an image after mechanical correction. FIG. 11 is a diagram illustrating image rotation processing. FIG. 12 is a diagram illustrating image cut-out processing. FIG. 13 is a diagram illustrating an image after electronic correction.

本実施形態に係るデジタルカメラ１は、図８（ａ）に示した本体回転角のように回転した場合を一例に挙げて説明する。また、本体回転角に応じて、機械式補正回転角は、図８（ｂ）のように補正され、電子式補正回転角は、図８（ｃ）のように補正されるものとする。この動きは、例えば、歩行時の動画撮影の様な状態を想定している。   The digital camera 1 according to the present embodiment will be described by taking as an example a case where the digital camera 1 rotates like the main body rotation angle shown in FIG. Further, it is assumed that the mechanical correction rotation angle is corrected as shown in FIG. 8B and the electronic correction rotation angle is corrected as shown in FIG. 8C according to the main body rotation angle. This movement assumes, for example, a state of moving image shooting during walking.

本実施形態に係るデジタルカメラ１の手ぶれ補正制御は、図４に示すように、まず、パワーボタン５が押され、電源が入る等すると、ステップ１で、ジャイロ信号処理部４１及びアクチュエータ４３を初期化する（ＳＴ１）。初期化をすることで、撮像素子２１を初期位置に戻す。   In the camera shake correction control of the digital camera 1 according to this embodiment, as shown in FIG. 4, first, when the power button 5 is pressed and the power is turned on, the gyro signal processing unit 41 and the actuator 43 are initially set in step 1. (ST1). By initializing, the image sensor 21 is returned to the initial position.

次に、ステップ２で、画像記録の開始を指示されたか否かを判断する（ＳＴ２）。画像記録の開始は、例えば、動画撮影開始ボタン、録画ボタン又はシャッターボタン等の操作部２９の操作によって判断する。   Next, in step 2, it is determined whether or not an instruction to start image recording is given (ST2). The start of image recording is determined, for example, by operating the operation unit 29 such as a moving image shooting start button, a recording button, or a shutter button.

ステップ２において、画像記録の開始を指示されていない場合、ステップ２に戻る。 ステップ２において、画像記録の開始を指示された場合、ステップ３で、カウンタを初期値ｎ＝０とする（ＳＴ３）。   If the start of image recording is not instructed in step 2, the process returns to step 2. If the start of image recording is instructed in step 2, the counter is set to an initial value n = 0 in step 3 (ST3).

次に、ステップ４で、回転補正係数取得処理のサブルーチンを実行する（ＳＴ４）。   Next, in step 4, a subroutine for rotation correction coefficient acquisition processing is executed (ST4).

図５に示すように、回転補正係数取得処理は、まず、ステップ４１で、加速度センサ７でデジタルカメラ１の本体２の加速度を計測する（ＳＴ４１）。   As shown in FIG. 5, in the rotation correction coefficient acquisition process, first, in step 41, the acceleration sensor 7 measures the acceleration of the main body 2 of the digital camera 1 (ST41).

続いて、ステップ４２で、加速度センサ７の計測した信号を加速度信号処理部５１で信号処理する（ＳＴ４２）。加速度信号処理部５１では、加速度センサ７の計測値から図９に示した絶対水平に対する光軸回りの本体２の回転角度θI［deg］を求める。 Subsequently, in step 42, the acceleration signal processing unit 51 performs signal processing on the signal measured by the acceleration sensor 7 (ST42). The acceleration signal processing unit 51 obtains the rotation angle θ I [deg] of the main body 2 around the optical axis with respect to the absolute horizontal shown in FIG. 9 from the measurement value of the acceleration sensor 7.

次に、ステップ４３で、本体２の回転角度θI［deg］に基づいて、回転補正係数取得部５２によって、画像回転行列を求める（ＳＴ４３）。画像回転行列は、補正前の画素データの座標を（Ｘi，Ｙi）、補正後の画素データの座標を（Ｘo，Ｙo）として、以下の式（１）のように表される。

Figure 2013127541
Next, in step 43, an image rotation matrix is obtained by the rotation correction coefficient acquisition unit 52 based on the rotation angle θ I [deg] of the main body 2 (ST43). The image rotation matrix is expressed as the following expression (1), where the coordinates of pixel data before correction are (X i , Y i ) and the coordinates of pixel data after correction are (X o , Y o ). .
Figure 2013127541

次に、メインルーチンに戻り、ステップ５で、機械式補正処理のサブルーチンを実行する（ＳＴ５）。   Next, returning to the main routine, in step 5, a subroutine for mechanical correction processing is executed (ST5).

図８に示したように、画像記録の開始指示の時をｔ＝ｔ0とする。また、ｔ＝ｔ0の時のデジタルカメラ１の状態を、図９に示すように、角度θI［deg］傾斜した開始状態とする。機械式補正処理では、画像記録の開始後、デジタルカメラ１が開始状態から移動した角度θM［deg］を計測して、撮像素子２１の回転目標を取得し、その回転目標に応じてアクチュエータ４３を駆動することで、撮像素子２１上の画像を、図１０に示すように開始指示の時ｔ＝ｔ0の画像状態に処理するものである。 As shown in FIG. 8, it is assumed that the time for instructing the start of image recording is t = t 0 . Further, the state of the digital camera 1 when t = t 0 is set to a start state inclined by an angle θ I [deg] as shown in FIG. In the mechanical correction process, after the image recording is started, the angle θ M [deg] that the digital camera 1 has moved from the start state is measured, the rotation target of the image sensor 21 is acquired, and the actuator 43 according to the rotation target. , The image on the image sensor 21 is processed into an image state of t = t 0 at the start instruction as shown in FIG.

図６に示すように、機械式補正処理は、まず、ステップ５１で、ジャイロセンサ６によりデジタルカメラ１の本体２の光軸に対する角速度を計測する（ＳＴ５１）。   As shown in FIG. 6, in the mechanical correction process, first, at step 51, the gyro sensor 6 measures the angular velocity with respect to the optical axis of the main body 2 of the digital camera 1 (ST51).

続いて、ステップ５２で、ジャイロセンサ６の計測した信号をジャイロ信号処理部４１で信号処理する（ＳＴ５２）。   Subsequently, in step 52, the signal measured by the gyro sensor 6 is processed by the gyro signal processing unit 41 (ST52).

次に、ステップ５３で、機械式補正量決定部４２ａで、撮像素子２１の回転目標角を取得する（ＳＴ５３）。撮像素子２１の回転目標角は、図８（ｂ）に示すように、第２の所定時間ｂ毎に計測される角度θM［deg］となる。 Next, in step 53, the mechanical correction amount determination unit 42a acquires the target rotation angle of the image sensor 21 (ST53). The target rotation angle of the image sensor 21 is an angle θ M [deg] measured every second predetermined time b as shown in FIG. 8B.

次に、ステップ５４で、撮像素子２１を機械式補正量決定部４２ａが決定した回転目標角θM［deg］となるまで回転させるように、機械式補正制御部４２ｂがアクチュエータ６を駆動させる（ＳＴ５４）。その結果、撮像素子２１は、図１０に示すように、機械式補正後の画像を撮像する。 Next, in step 54, the mechanical correction control unit 42b drives the actuator 6 so as to rotate the imaging device 21 until the rotation target angle θ M [deg] determined by the mechanical correction amount determination unit 42a is reached ( ST54). As a result, the image sensor 21 captures an image after mechanical correction, as shown in FIG.

次に、メインルーチンに戻り、ステップ６で、時間ｔが初期値ｔ0であるか否か、又は、ｔn＝ｔ(n-1)＋ａを満たしているか否かを判断する（ＳＴ６）。 Next, returning to the main routine, in step 6, it is determined whether or not the time t is the initial value t 0 or whether or not t n = t (n−1) + a is satisfied (ST6).

ステップ６において、最初、ステップ３でカウンタ値ｎ＝０としたので、ｔ＝ｔ0となり、ステップ７へ進む。その後は、第１の所定時間ａが過ぎる毎にステップ７へ進む。第１の所定時間ａは、適宜決めればよい。 In step 6, the counter value n is initially set to 0 in step 3, so that t = t 0 and the process proceeds to step 7. Thereafter, the process proceeds to step 7 every time the first predetermined time a has passed. The first predetermined time a may be determined as appropriate.

ステップ６において、ｔn＝ｔ(n-1)＋ａを満たしていない場合、ステップ５に戻り、機械式補正処理を実行する。すなわち、図８（ｂ）における経過時間ｔ0〜ｔ1の間、機械式補正処理を繰り返し実行し、撮像素子２１上の画像を開始指示の時ｔ0の画像状態に処理する。なお、図８（ｂ）では、第２の所定時間ｂ毎にｔ0〜ｔ1の間を９等分しているが、第２の所定時間ｂは、適宜決めればよい。 In step 6, when t n = t (n-1) + a is not satisfied, the process returns to step 5 to execute mechanical correction processing. That is, during the elapsed time t 0 to t 1 in FIG. 8B, the mechanical correction process is repeatedly executed to process the image on the image sensor 21 into the image state at the time t 0 when the start instruction is given. In FIG. 8B, the interval between t 0 and t 1 is divided into nine equal parts for each second predetermined time b, but the second predetermined time b may be determined as appropriate.

ステップ６において、第１の所定時間ａが経過し、経過時間がｔ1＝ｔ0＋ａとなった場合、ステップ７に進む。 In step 6, when the first predetermined time a has elapsed and the elapsed time becomes t 1 = t 0 + a, the process proceeds to step 7.

ステップ７では、ＡＦＥ２２からバス２０を経由しバッファメモリ２３に画像データを取得することで、フレームを撮像する（ＳＴ７）。続いて、ステップ８で、フレームを現像する（ＳＴ８）。ここでいう、現像とは、表示部１３が表示可能な映像信号を生成する処理を行うことである。   In step 7, the image data is acquired from the AFE 22 via the bus 20 to the buffer memory 23, thereby capturing a frame (ST7). Subsequently, in step 8, the frame is developed (ST8). The term “development” here refers to performing processing for generating a video signal that can be displayed by the display unit 13.

次に、ステップ９で、電子式補正処理のサブルーチンを実行する（ＳＴ９）。   Next, in step 9, a subroutine for electronic correction processing is executed (ST9).

図７に示すように、電子式補正処理は、まず、ステップ９１で、ステップ４３における回転補正係数取得処理において取得した画像回転行列の式（１）によって、図１１に示されるように、画像を回転処理する（ＳＴ９１）。   As shown in FIG. 7, in the electronic correction process, first, in step 91, an image is obtained as shown in FIG. The rotation process is performed (ST91).

電子式補正処理における画像の回転処理は、機械式補正処理によって撮像素子２１上の画像が開始指示の時ｔ0の画像状態に処理されている。したがって、図８（ｃ）に示すように、一定角度θIだけ回転させればよい。回転処理後の画像は、図１１の実線で示されるように、画像内の水平線、すなわち重力に直交する線と、実際の水平線、すなわち重力に直交する線とが平行となる絶対水平の画像となる。 In the image rotation process in the electronic correction process, the image on the image sensor 21 is processed into the image state at t 0 when the start instruction is given by the mechanical correction process. Accordingly, as shown in FIG. 8 (c), it may be rotated by a predetermined angle theta I. As shown by the solid line in FIG. 11, the image after the rotation processing is an absolute horizontal image in which a horizontal line in the image, that is, a line orthogonal to gravity, and an actual horizontal line, that is, a line orthogonal to gravity are parallel to each other. Become.

次に、ステップ９２で、予め設定された切り出し量に基づいて、図１２に示されるように、画像端の切り落とし処理を実行する（ＳＴ９２）。切り落とし処理後の画像は、図１２の実線で示されるように、斜めに傾斜した部分を切り落として、絶対水平の長方形の画像となる。   Next, in step 92, based on the preset cutout amount, as shown in FIG. 12, image edge cutout processing is executed (ST92). As shown by the solid line in FIG. 12, the image after the cut-off process is an absolute horizontal rectangular image by cutting off an obliquely inclined portion.

次に、メインルーチンに戻り、ステップ１０で、カウンタ値をｎ＝ｎ＋１とする（ＳＴ１０）。   Next, returning to the main routine, in step 10, the counter value is set to n = n + 1 (ST10).

次に、ステップ１１で、画像記録の終了を指示されたか否かを判断する（ＳＴ１１）。   Next, in step 11, it is determined whether an instruction to end image recording has been given (ST11).

ステップ１１において、画像記録の終了を指示された場合、制御を終了する。制御終了時の画像は、図１３に示される。   In step 11, when an instruction to end image recording is given, the control ends. An image at the end of the control is shown in FIG.

ステップ１１において、画像記録の終了を指示されていない場合、ステップ５に戻り、機械式補正処理を実行する。例えば、初めてステップ１１からステップ５に戻った場合、ステップ１０において、カウンタ値を１つ増やしているので、ステップ６での判断は、ｔ0から第１の所定時間ａが過ぎたか否かの判断となる。なお、サブＣＰＵ４２は、経過時間ｔ0〜ｔ1の間、機械式補正処理を繰り返し実行し、撮像素子２１上の画像を開始指示の時ｔ0の画像状態に処理する。 If the end of image recording is not instructed in step 11, the process returns to step 5 to execute mechanical correction processing. For example, when returning from the first step 11 to step 5, in step 10, since the counter value is incremented by 1, the determination in step 6 is for determining whether or not only from t 0 is the first predetermined time a It becomes. The sub CPU 42 repeatedly executes the mechanical correction process during the elapsed time t 0 to t 1 to process the image on the image sensor 21 into the image state at t 0 when the start instruction is given.

その後、ステップ１１からステップ５に戻るごとに、ステップ６では、ｔ2＝ｔ1＋ａ、ｔ3＝ｔ2＋ａと順に判断される。したがって、第１の所定時間ａ毎に電子式補正処理が実行されることになる。したがって、サブＣＰＵ４２は、経過時間ｔn-1〜ｔnの間、機械式補正処理を繰り返し実行し、撮像素子２１上の画像を開始指示の時ｔ0の画像状態に処理する。 Thereafter, every time the process returns from step 11 to step 5, in step 6, t 2 = t 1 + a and t 3 = t 2 + a are determined in order. Therefore, the electronic correction process is executed every first predetermined time a. Thus, sub CPU42 during the elapsed time t n-1 ~t n, repeatedly executes a mechanical correction processing, processing in the image state when t 0 the start instruction image on the imaging device 21.

電子式補正処理における画像の回転処理は、機械式補正処理によって撮像素子２１上の画像が開始指示の時ｔ0の画像状態に処理されているので、一定角度θIだけ回転させればよい。 The image rotation process in the electronic correction process may be rotated by a certain angle θ I because the image on the image sensor 21 is processed into the image state at t 0 when the start instruction is given by the mechanical correction process.

図１４は、ｔ＝ｔ1の時のデジタルカメラ１の状態を示す図である。また、図１５は、ｔ＝ｔ2の時のデジタルカメラ１の状態を示す図である。 FIG. 14 is a diagram illustrating a state of the digital camera 1 when t = t 1 . FIG. 15 is a diagram illustrating a state of the digital camera 1 when t = t 2 .

例えば、図１４に示すように、ｔ＝ｔ1の時に、ｔ＝ｔ0の時とは逆方向にデジタルカメラ１が像ブレしたとしても、機械式補正処理によって撮像素子２１上の画像は、図１０に示すように補正される。同様に、ｔ＝ｔ2の時に、ｔ＝ｔ1の時とは逆方向にデジタルカメラ１が像ブレしたとしても、機械式補正処理によって撮像素子２１上の画像は、図１０に示すように補正される。そして、機械式補正処理によって撮像素子２１上の画像が開始指示の時ｔ0の画像状態に処理されているので、電子式補正処理における画像の回転処理は、回転補正係数取得処理で求めた画像回転行列に基づき、一定角度θIだけ回転させればよい。 For example, as shown in FIG. 14, when t = t 1 , even if the digital camera 1 blurs in the opposite direction to that at t = t 0 , the image on the image sensor 21 is obtained by mechanical correction processing. Correction is performed as shown in FIG. Similarly, when t = t 2 , even if the digital camera 1 blurs the image in the direction opposite to that when t = t 1 , the image on the image sensor 21 by mechanical correction processing is as shown in FIG. It is corrected. Then, since the image on the image sensor 21 is processed into the image state at t 0 when the start instruction is given by the mechanical correction process, the image rotation process in the electronic correction process is the image obtained by the rotation correction coefficient acquisition process. Based on the rotation matrix, it may be rotated by a certain angle θ I.

このように、一実施形態の撮像装置は、レンズ３と、レンズ３を保持する本体２と、レンズからの像を電気信号に変換する撮像素子２１と、レンズ３の光軸回りの回転ブレを取得するジャイロセンサ６と、撮像素子２１を移動させるアクチュエータ４３と、本体２の姿勢を取得する加速度センサ７と、撮像素子２１の撮像した画像を回転処理する画像処理部５３と、ジャイロセンサ６の取得した回転ブレに応じてアクチュエータ４３を駆動させ、加速度センサ７の取得した本体２の姿勢に応じて画像処理部５３で画像を回転処理させるＣＰＵ３０と、を備えるので、小型で、像ブレに即時に対応でき、コストを低くすることが可能となる。したがって、本体２内のスペースを有効活用することが可能となると共に、撮像中の細かい手ブレに対応することも可能となる。   As described above, the imaging apparatus according to the embodiment includes the lens 3, the main body 2 that holds the lens 3, the imaging element 21 that converts an image from the lens into an electrical signal, and rotational blurring around the optical axis of the lens 3. The gyro sensor 6 to be acquired, the actuator 43 that moves the image sensor 21, the acceleration sensor 7 that acquires the attitude of the main body 2, the image processing unit 53 that rotates the image captured by the image sensor 21, and the gyro sensor 6 The CPU 30 drives the actuator 43 in accordance with the acquired rotation blur and rotates the image in the image processing unit 53 in accordance with the attitude of the main body 2 acquired by the acceleration sensor 7. This makes it possible to reduce costs. Therefore, it is possible to effectively use the space in the main body 2, and it is also possible to deal with fine camera shake during imaging.

また、一実施形態の撮像装置では、加速度センサ７の取得した本体２の姿勢に応じて画像処理部５３が画像を回転処理するための画像回転補正係数を取得する画像回転補正係数取得部５２と、を備えるので、画像処理部５３での回転処理を迅速に行うことが可能となる。   In the imaging apparatus according to the embodiment, an image rotation correction coefficient acquisition unit 52 that acquires an image rotation correction coefficient for the image processing unit 53 to rotate the image according to the posture of the main body 2 acquired by the acceleration sensor 7; , The rotation processing in the image processing unit 53 can be performed quickly.

また、一実施形態の撮像装置は、撮像の開始を指示する操作部２９を備え、ＣＰＵ３０は、操作部２９が撮像の開始を指示した後、まず、画像回転補正係数取得部５２によって撮像開始時の画像回転補正係数を取得させ、続いて、ジャイロセンサ６の取得した回転ブレに応じてアクチュエータ４３を駆動させて撮像開始時の状態に補正し、次に、撮像開始時の画像回転補正係数に応じて画像処理部５３に画像を回転処理させる。したがって、アクチュエータ４３は、撮像開始時の状態から移動した分だけ補正すればよく、小型のものを使用できるので、本体内のスペースの自由度が大きくなる。また、画像処理部５３での画像の回転処理をする際に、画像回転補正係数を取得する必要がなく、予め取得した撮像開始時の画像回転補正係数を撮像終了まで常に使用すればよいので、高い演算処理能力を必要とせず、演算処理時間を短くすることが可能となる。   In addition, the imaging apparatus according to an embodiment includes an operation unit 29 that instructs to start imaging. After the operation unit 29 instructs to start imaging, the CPU 30 first starts imaging by the image rotation correction coefficient acquisition unit 52. Then, the actuator 43 is driven in accordance with the rotational shake acquired by the gyro sensor 6 to correct the state at the start of imaging, and then the image rotation correction coefficient at the start of imaging is obtained. In response, the image processing unit 53 rotates the image. Therefore, the actuator 43 only needs to be corrected by the amount moved from the state at the start of imaging, and a small one can be used, so the degree of freedom of space in the main body is increased. In addition, when performing image rotation processing in the image processing unit 53, it is not necessary to acquire an image rotation correction coefficient, and it is sufficient to always use the image rotation correction coefficient acquired in advance at the start of imaging until the end of imaging. It is possible to shorten the calculation processing time without requiring high calculation processing capability.

また、ＣＰＵ３０は、画像処理部５３による画像の回転処理を第１の所定時間ａ毎に実行させ、ジャイロセンサ６の取得した回転ブレに応じたアクチュエータ４３の駆動を第１の所定時間ａより短い第２の所定時間ｂ毎に実行させるので、さらに演算処理能力を必要としないで済む。   Further, the CPU 30 causes the image processing unit 53 to perform the image rotation process at each first predetermined time a, and the actuator 43 is driven in response to the rotation blur acquired by the gyro sensor 6 shorter than the first predetermined time a. Since it is executed every second predetermined time b, it is not necessary to have any further processing capacity.

なお、この実施形態によって本発明は限定されるものではない。すなわち、実施形態の説明に当たって、例示のために特定の詳細な内容が多く含まれるが、当業者であれば、これらの詳細な内容に色々なバリエーションや変更を加えても、本発明の範囲を超えないことは理解できよう。従って、本発明の例示的な実施形態は、権利請求された発明に対して、一般性を失わせることなく、また、何ら限定をすることもなく、述べられたものである。   In addition, this invention is not limited by this embodiment. That is, in the description of the embodiments, many specific details are included for illustration, but those skilled in the art can add various variations and modifications to these details without departing from the scope of the present invention. It will be understood that this is not exceeded. Accordingly, the exemplary embodiments of the present invention have been described without loss of generality or limitation to the claimed invention.

１…デジタルカメラ
２…本体
３…レンズ
４…シャッターボタン
５…パワーボタン
６…ジャイロセンサ（回転ブレ取得部）
７…加速度センサ（姿勢取得部）
８…メニューボタン
９…十字ボタン
１０…ＯＫ／ＦＵＮＣボタン
１１…ズームボタン
１２…モードダイヤル
１３…表示部
２１…撮像素子
２２…ＡＦＥ
２３…バッファメモリ
２４…表示処理部
２５…記憶部
２５ａ…内蔵メモリ
２５ｂ…外部メモリ
２６…圧縮伸張部
２７…インターフェース
２８…集音部
２９…操作部
３０…ＣＰＵ（制御部）
４０…機械式補正部
４１…ジャイロ信号処理部
４２…サブＣＰＵ
４２ａ…機械式補正量決定部
４２ｂ…機械式補正制御部
４３…アクチュエータ（駆動部）
４３ｘ…Ｘ軸アクチュエータ
４３ｙ…Ｙ軸アクチュエータ
５０…電子式補正部
５１…加速度信号処理部
５２…画像回転補正係数取得部
５３…画像処理部 DESCRIPTION OF SYMBOLS 1 ... Digital camera 2 ... Main body 3 ... Lens 4 ... Shutter button 5 ... Power button 6 ... Gyro sensor (rotation blur acquisition part)
7 ... Accelerometer (Attitude acquisition unit)
8 ... Menu button 9 ... Cross button 10 ... OK / FUNC button 11 ... Zoom button 12 ... Mode dial 13 ... Display unit 21 ... Image sensor 22 ... AFE
23 ... Buffer memory 24 ... Display processing unit 25 ... Storage unit 25a ... Built-in memory 25b ... External memory 26 ... Compression / decompression unit 27 ... Interface 28 ... Sound collecting unit 29 ... Operation unit 30 ... CPU (control unit)
40 ... Mechanical correction unit 41 ... Gyro signal processing unit 42 ... Sub CPU
42a ... Mechanical correction amount determination unit 42b ... Mechanical correction control unit 43 ... Actuator (drive unit)
43x ... X-axis actuator 43y ... Y-axis actuator 50 ... Electronic correction unit 51 ... Acceleration signal processing unit 52 ... Image rotation correction coefficient acquisition unit 53 ... Image processing unit

Claims (4)

レンズと、
前記レンズを保持する本体と、
前記レンズからの像を電気信号に変換する撮像素子と、
前記レンズの光軸回りの回転ブレを取得する回転ブレ取得部と、
前記撮像素子を移動させる駆動部と、
前記本体の姿勢を取得する姿勢取得部と、
前記撮像素子の撮像した画像を回転処理する画像処理部と、
前記回転ブレ取得部の取得した回転ブレに応じて前記駆動部を駆動させ、前記姿勢取得部の取得した前記本体の姿勢に応じて前記画像処理部で画像を回転処理させる制御部と、
を備える
ことを特徴とする撮像装置。 A lens,
A main body for holding the lens;
An image sensor that converts an image from the lens into an electrical signal;
A rotational blur acquisition unit that acquires rotational blur around the optical axis of the lens;
A drive unit for moving the image sensor;
A posture acquisition unit for acquiring the posture of the main body;
An image processing unit that rotates an image captured by the image sensor;
A control unit that drives the drive unit according to the rotational shake acquired by the rotational shake acquisition unit, and rotates the image in the image processing unit according to the posture of the main body acquired by the posture acquisition unit;
An imaging apparatus comprising: 前記姿勢取得部の取得した前記本体の姿勢に応じて、前記画像処理部が画像を回転処理する画像回転補正係数を取得する画像回転補正係数取得部と、
を備える
ことを特徴とする請求項１に記載の撮像装置。 An image rotation correction coefficient acquisition unit that acquires an image rotation correction coefficient by which the image processing unit rotates an image according to the posture of the main body acquired by the posture acquisition unit;
The imaging apparatus according to claim 1, further comprising: 撮像開始を指示する操作部を備え、
前記制御部は、
前記操作部による撮像開始時に、
前記画像回転補正係数取得部によって撮像開始時の画像回転補正係数を取得させ、
前記回転ブレ取得部の取得した回転ブレに応じて前記駆動部を駆動させて撮像開始時の状態に補正し、
前記撮像開始時の画像回転補正係数に応じて前記画像処理部に画像を回転処理させる
ことを特徴とする請求項２に記載の撮像装置。 It has an operation unit that instructs the start of imaging,
The controller is
At the start of imaging by the operation unit,
The image rotation correction coefficient acquisition unit acquires an image rotation correction coefficient at the start of imaging,
According to the rotational shake acquired by the rotational shake acquisition unit, the drive unit is driven to correct the state at the start of imaging,
The imaging apparatus according to claim 2, wherein the image processing unit rotates an image according to an image rotation correction coefficient at the start of the imaging. 前記制御部は、
前記画像処理部による画像の回転処理を第１の所定時間毎に実行させ、
前記回転ブレ取得部の取得した回転ブレに応じた前記駆動部の駆動を前記第１の所定時間より短い第２の所定時間毎に実行させる
ことを特徴とする請求項３に記載の撮像装置。 The controller is
The rotation processing of the image by the image processing unit is executed every first predetermined time,
The imaging apparatus according to claim 3, wherein the driving unit is driven at a second predetermined time shorter than the first predetermined time according to the rotational shake acquired by the rotational shake acquiring unit.
JP2011276871A 2011-12-19 2011-12-19 Imaging device Pending JP2013127541A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011276871A JP2013127541A (en) 2011-12-19 2011-12-19 Imaging device
PCT/JP2012/073510 WO2013094257A1 (en) 2011-12-19 2012-09-13 Image pickup device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011276871A JP2013127541A (en) 2011-12-19 2011-12-19 Imaging device

Publications (1)

Publication Number Publication Date
JP2013127541A true JP2013127541A (en) 2013-06-27

Family

ID=48668164

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011276871A Pending JP2013127541A (en) 2011-12-19 2011-12-19 Imaging device

Country Status (2)

Country Link
JP (1) JP2013127541A (en)
WO (1) WO2013094257A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017129785A (en) * 2016-01-21 2017-07-27 オリンパス株式会社 Imaging device, and image tremor correction method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5011387B2 (en) * 2007-07-13 2012-08-29 パナソニック株式会社 Imaging device
RU2010122599A (en) * 2007-12-03 2012-01-10 Панасоник Корпорэйшн (Jp) IMAGE PROCESSING DEVICE, PHOTOGRAPHY DEVICE, PLAYBACK DEVICE, INTEGRATED SCHEME AND IMAGE PROCESSING METHOD
JP5082985B2 (en) * 2008-03-31 2012-11-28 セイコーエプソン株式会社 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND IMAGING DEVICE CONTROL PROGRAM
JP4518197B2 (en) * 2008-06-20 2010-08-04 ソニー株式会社 Imaging apparatus, image blur correction method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017129785A (en) * 2016-01-21 2017-07-27 オリンパス株式会社 Imaging device, and image tremor correction method

Also Published As

Publication number Publication date
WO2013094257A1 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
CN111510590B (en) Image processing system, image processing method, and program
JP4818987B2 (en) Imaging apparatus, display method, and program
US9013585B2 (en) Image capture device
JP4656216B2 (en) Imaging apparatus, image processing apparatus, image processing method, program, and recording medium
CN107197137B (en) Image processing apparatus, image processing method, and recording medium
JP5819564B2 (en) Image determination apparatus, imaging apparatus, three-dimensional measurement apparatus, image determination method, and program
KR20120099071A (en) Image taking device, bearing recording method, and program
JP2011040898A (en) Imaging reproducing device and program
CN111480176B (en) Image processing apparatus, image processing system, image processing method, and recording medium
JP2009033566A (en) Camera with self-imaging function, and self-imaging method
JP2006005877A (en) Digital still camera, mobile phone with digital still camera packaged therein, and camera-shake prevention method for digital still camera
JP6332212B2 (en) Posture estimation apparatus, posture estimation method, and program
JP2006295237A (en) Imaging apparatus
US11102403B2 (en) Image device, information processing apparatus, information processing method, system, and storage medium
WO2013094257A1 (en) Image pickup device
JP7206797B2 (en) Imaging device, information processing device, correction value calculation method and program
JP2008177972A (en) Imaging apparatus
JP2015095670A (en) Imaging apparatus, control method thereof and control program
JP5021370B2 (en) Imaging apparatus, display method, and program
WO2007023663A1 (en) Imaging device, image processing program, information recording medium containing the image processing program, image processing apparatus, and image processing method
WO2021014598A1 (en) Imaging device, imaging system, image processing device, imaging method, image processing method, and program
JP5548965B2 (en) IMAGING DEVICE, PHOTOGRAPHING POSITION SPECIFICATION METHOD, AND PROGRAM
CN113473027B (en) Image processing method, electronic device, and storage medium
CN104704804A (en) Imaging Apparatus And Detecting Apparatus
JP2008048152A (en) Moving picture processing apparatus, moving picture photographing apparatus and moving picture photographing program