JP2007208767A - Blur correction apparatus, display apparatus, photographing apparatus, electronic apparatus, blur correction method, program, and recording medium - Google Patents

Blur correction apparatus, display apparatus, photographing apparatus, electronic apparatus, blur correction method, program, and recording medium Download PDF

Info

Publication number
JP2007208767A
JP2007208767A JP2006026547A JP2006026547A JP2007208767A JP 2007208767 A JP2007208767 A JP 2007208767A JP 2006026547 A JP2006026547 A JP 2006026547A JP 2006026547 A JP2006026547 A JP 2006026547A JP 2007208767 A JP2007208767 A JP 2007208767A
Authority
JP
Japan
Prior art keywords
blur
amount
frame
blur amount
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006026547A
Other languages
Japanese (ja)
Inventor
Megumi Kanda
めぐみ 神田
Jaekwan Oh
ジェクアン オー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2006026547A priority Critical patent/JP2007208767A/en
Publication of JP2007208767A publication Critical patent/JP2007208767A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To identify camera work of a photographer, for preventing performance of blur correction for the camera work. <P>SOLUTION: A blur correction apparatus acquires an angular velocity ω for denoting an out of focus amount G and a blur amount Q at photographing by each of frames 70 configuring a moving picture, when the out of focus amount G is smaller than an out of focus threshold value Gth, the blur caused in the frames 70 is corrected, and when the out of focus amount G is greater than the out of focus threshold value Gth, whether or not the blur of the frames 70 is to be corrected is switched depending on the magnitude of the angular velocity ω denoting the blur amount Q. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、携帯型ビデオカメラ等の撮影装置によって撮影された動画の手ぶれを補正するための技術に関する。   The present invention relates to a technique for correcting camera shake of a moving image shot by a shooting device such as a portable video camera.

従来、携帯型のデジタルビデオカメラや動画撮影機能が付加されたデジタルカメラ等の撮影装置においては、撮影時の手ぶれによって撮影動画に生じたぶれを補正する手ぶれ補正機能を備えたものが知られている。この手ぶれ補正機能としては、例えば、時間的に連続するフレーム間の動きベクトルを検出し、この検出結果に基づいて映像信号中の画像の動きを補正する技術が知られている。しかしながら、この技術にあっては、撮影対象が動きのある被写体である場合、撮影装置の動きではなく被写体の動きをベクトル量として検出してしまうという問題がある。   2. Description of the Related Art Conventionally, in a photographing apparatus such as a portable digital video camera or a digital camera to which a moving image shooting function is added, there is known a device equipped with a camera shake correction function that corrects a shake generated in a moving image due to a camera shake at the time of shooting. Yes. As this camera shake correction function, for example, a technique for detecting a motion vector between temporally continuous frames and correcting a motion of an image in a video signal based on the detection result is known. However, this technique has a problem that when the subject to be photographed is a moving subject, the motion of the subject is detected as a vector quantity instead of the motion of the photographing device.

そこで近年では、動きベクトルを検出する動きベクトル検出手段に加え、撮影装置の揺れ量を物理的に検出する物理センサを備え、動きベクトルの検出値の大きさに対して物理センサで検出される揺れ量がわずかである場合、すなわち、動きベクトルの検出値が撮影装置の揺れを示している可能性が低い場合には、動きベクトルの検出値に代えて物理センサの検出値に基づいて揺れを補正する撮影装置が提案されている。したがって、この撮影装置によれば、撮影装置の動きと被写体の動きとのどちらの動きを動きベクトルの検出値が示しているかが切り分けられる。そして、被写体の動きを示している可能性が高い場合には、物理センサの検出値に応じた補正が行われるため、撮影対象が動きのある被写体であっても、手ぶれ補正を正確に行うことができる。(例えば、特許文献1参照)。
特開2002−16836号公報
Therefore, in recent years, in addition to the motion vector detecting means for detecting the motion vector, a physical sensor for physically detecting the amount of shaking of the photographing apparatus is provided, and the shaking detected by the physical sensor with respect to the magnitude of the detected value of the motion vector. When the amount is small, that is, when the detection value of the motion vector is unlikely to indicate a shake of the imaging device, the shake is corrected based on the detection value of the physical sensor instead of the detection value of the motion vector An imaging device has been proposed. Therefore, according to this photographing apparatus, it is possible to determine which of the movement of the photographing apparatus and the movement of the subject indicates the motion vector detection value. When there is a high possibility that the movement of the subject is indicated, the correction according to the detection value of the physical sensor is performed. Therefore, even if the shooting target is a moving subject, the camera shake correction is performed accurately. Can do. (For example, refer to Patent Document 1).
JP 2002-16836 A

しかしながら、上記従来の技術においては、被写体の動きと手ぶれとを切り分けることは可能であるものの、撮影者が撮影装置を左右に振るカメラワーク(いわゆる、パン)や撮影装置を上下にカメラワーク(いわゆる、チルト)といった、撮影者が意図的に行うカメラワークと、手ぶれとを切り分けることができず、撮影者のカメラワークが手ぶれと判断されてしまい、カメラワークに対してぶれ補正が実行されてしまうといった問題がある。
本発明は、上述した事情に鑑みてなされたものであり、撮影者のカメラワークを識別し、カメラワークに対してぶれ補正が実行されるのを防止できるぶれ補正装置、表示装置、撮影装置、電子機器、ぶれ補正方法、プログラムおよび記録媒体を提供することを目的とする。
However, in the above-described conventional technique, although it is possible to separate the movement of the subject and the camera shake, the camera work (so-called panning) in which the photographer shakes the photographing apparatus left and right, and the camera work (so-called so-called panning) , Tilt), and the camera work intentionally performed by the photographer cannot be separated from the camera shake, and the camera work of the photographer is determined to be a camera shake, and the camera shake is corrected for the camera work. There is a problem.
The present invention has been made in view of the above-described circumstances, and a shake correction device, a display device, and a shooting device that can identify a photographer's camera work and prevent camera shake from being performed on the camera work. An object is to provide an electronic device, a shake correction method, a program, and a recording medium.

上記目的を達成するために、本発明は、動画を構成するフレームを順次取得するフレーム取得手段と、前記フレームごとにぼけ量を取得するぼけ量取得手段と、前記フレームごとに撮影時のぶれ量を取得するぶれ量取得手段と、前記ぼけ量が所定のぼけ閾値よりも小さい場合に、前記ぶれ量に基づいて前記フレームに生じたぶれを補正すると共に、前記ぼけ量が前記所定のぼけ閾値よりも大きい場合には、前記フレームのぶれを補正するか否かを前記ぶれ量の大きさに応じて切り替えるぶれ補正手段とを具備することを特徴とするぶれ補正装置を提供する。   To achieve the above object, the present invention provides a frame acquisition unit that sequentially acquires frames constituting a moving image, a blur amount acquisition unit that acquires a blur amount for each frame, and a blur amount during shooting for each frame. A blur amount acquisition means for acquiring a blur, and when the blur amount is smaller than a predetermined blur threshold, the blur generated in the frame is corrected based on the blur amount, and the blur amount is smaller than the predetermined blur threshold. And a shake correction means for switching whether or not to correct the shake of the frame in accordance with the amount of the shake amount.

本発明によれば、ぼけ量が所定のぼけ閾値よりも大きい場合には、ぶれ量の大きさに応じてフレームのぶれを補正するか否かが切り替えられる。すなわち、撮影者のカメラワークに伴って手ぶれよりも大きなフレーム画像のぼけ、および、撮影時のぶれが生じたか否かに応じてぶれを補正するか否かが切り替えられることとなり、これにより、カメラワークを識別すると共に、カメラワークに対してぶれ補正が実行されるのが防止可能となる。   According to the present invention, when the blur amount is larger than the predetermined blur threshold, whether to correct the blur of the frame is switched according to the magnitude of the blur amount. In other words, whether or not to correct the blur is switched according to whether or not the blur of the frame image larger than the camera shake due to the camera work of the photographer and the blur at the time of shooting occurred. In addition to identifying the workpiece, it is possible to prevent blur correction from being performed on the camera workpiece.

なお、上記発明において、前記ぶれ補正手段は、前記ぼけ量が前記所定のぼけ閾値よりも大きい場合、前記ぶれ量が所定のぶれ閾値よりも大きいときには、前記フレームに生じたぶれを補正しない構成が望ましい。   In the above invention, the blur correction unit is configured not to correct the blur generated in the frame when the blur amount is larger than the predetermined blur threshold and when the blur amount is larger than the predetermined blur threshold. desirable.

また、上記目的を達成するために、本発明は、動画を構成するフレームを順次取得するフレーム取得手段と、前記フレームを順次表示して前記動画を表示する表示手段と、前記フレームごとにぼけ量を取得するぼけ量取得手段と、前記フレームごとに撮影時のぶれ量を取得するぶれ量取得手段と、前記ぼけ量が所定のぼけ閾値よりも小さい場合に、前記ぶれ量に基づいて前記フレームに生じたぶれを補正すると共に、前記ぼけ量が前記所定のぼけ閾値よりも大きい場合には、前記フレームのぶれを補正するか否かを前記ぶれ量の大きさに応じて切り替えるぶれ補正手段とを具備することを特徴とする表示装置を提供する。   In order to achieve the above object, the present invention provides a frame acquisition unit that sequentially acquires frames constituting a moving image, a display unit that sequentially displays the frames and displays the moving image, and a blur amount for each frame. A blur amount acquisition means for acquiring a blur amount acquisition means for acquiring a blur amount at the time of shooting for each frame, and when the blur amount is smaller than a predetermined blur threshold, the frame is determined based on the blur amount. Blur correction means for correcting the generated blur and switching whether or not to correct the blur of the frame according to the magnitude of the blur when the blur amount is larger than the predetermined blur threshold. Provided is a display device including the display device.

また、上記目的を達成するために、本発明は、動画を構成するフレームを順次撮影する撮影手段と、前記フレームごとにぼけ量を取得するぼけ量取得手段と、前記フレームごとに撮影時のぶれ量を取得するぶれ量取得手段と、前記ぼけ量が所定のぼけ閾値よりも小さい場合に、前記ぶれ量に基づいて前記フレームに生じたぶれを補正すると共に、前記ぼけ量が前記所定のぼけ閾値よりも大きい場合には、前記フレームのぶれを補正するか否かを前記ぶれ量の大きさに応じて切り替えるぶれ補正手段とを具備することを特徴とする撮影装置を提供する。
なお、本発明に係るぶれ補正装置を備えた電子機器も本発明に該当する。
In order to achieve the above object, the present invention provides a photographing unit that sequentially photographs frames constituting a moving image, a blur amount obtaining unit that obtains a blur amount for each frame, and a blur at the time of photographing for each frame. A blur amount acquisition means for acquiring an amount; and, when the blur amount is smaller than a predetermined blur threshold value, corrects a blur generated in the frame based on the blur amount, and the blur amount is the predetermined blur threshold value. And a shake correction unit that switches whether to correct the shake of the frame according to the amount of the shake.
Note that an electronic apparatus including the shake correction apparatus according to the present invention also corresponds to the present invention.

また、上記目的を達成するために、本発明は、動画を構成するフレームごとにぼけ量および撮影時のぶれ量を取得し、前記ぼけ量が所定のぼけ閾値よりも小さい場合には、前記ぶれ量に基づいて前記フレームに生じたぶれを補正すると共に、前記ぼけ量が前記所定のぼけ閾値よりも大きい場合には、前記フレームのぶれを補正するか否かを前記ぶれ量の大きさに応じて切り替えることを特徴とするぶれ補正方法を提供する。   In order to achieve the above object, the present invention acquires a blur amount and a blur amount at the time of shooting for each frame constituting a moving image, and the blur amount is smaller than a predetermined blur threshold. Based on the amount, the blur generated in the frame is corrected, and when the blur amount is larger than the predetermined blur threshold, whether to correct the blur of the frame is determined according to the size of the blur amount. A shake correction method characterized by switching between the two is provided.

また、上記目的を達成するために、本発明は、コンピュータを、動画を構成するフレームを順次取得するフレーム取得手段、前記フレームごとにぼけ量を取得するぼけ量取得手段、前記フレームごとに撮影時のぶれ量を取得するぶれ量取得手段、および、前記ぼけ量が所定のぼけ閾値よりも小さい場合に、前記ぶれ量に基づいて前記フレームに生じたぶれを補正すると共に、前記ぼけ量が前記所定のぼけ閾値よりも大きい場合には、前記フレームのぶれを補正するか否かを前記ぶれ量の大きさに応じて切り替えるぶれ補正手段として機能させることを特徴とするプログラムを提供する。   In order to achieve the above object, the present invention provides a computer, a frame acquisition unit that sequentially acquires frames constituting a moving image, a blur amount acquisition unit that acquires a blur amount for each frame, and a shooting time for each frame. A blur amount acquisition unit that acquires a blur amount; and, when the blur amount is smaller than a predetermined blur threshold value, corrects a blur that has occurred in the frame based on the blur amount, and the blur amount is the predetermined blur When it is larger than the blur threshold, a program is provided that functions as a blur correction unit that switches whether to correct the blur of the frame according to the amount of blur.

また、上記目的を達成するために、本発明は、コンピュータを、動画を構成するフレームを順次取得するフレーム取得手段、前記フレームごとにぼけ量を取得するぼけ量取得手段、前記フレームごとに撮影時のぶれ量を取得するぶれ量取得手段、および、前記ぼけ量が所定のぼけ閾値よりも小さい場合に、前記ぶれ量に基づいて前記フレームに生じたぶれを補正すると共に、前記ぼけ量が前記所定のぼけ閾値よりも大きい場合には、前記フレームのぶれを補正するか否かを前記ぶれ量の大きさに応じて切り替えるぶれ補正手段として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。   In order to achieve the above object, the present invention provides a computer, a frame acquisition unit that sequentially acquires frames constituting a moving image, a blur amount acquisition unit that acquires a blur amount for each frame, and a shooting time for each frame. A blur amount acquisition unit that acquires a blur amount; and, when the blur amount is smaller than a predetermined blur threshold value, corrects a blur that has occurred in the frame based on the blur amount, and the blur amount is the predetermined blur Provided is a computer-readable recording medium storing a program that functions as a blur correction unit that switches whether or not to correct the blur of the frame according to the amount of blur when the blur threshold is larger. .

本発明に係る表示装置、撮影装置、電子機器、ぶれ補正方法、プログラムおよび記録媒体によれば、本発明のぶれ補正装置と同様に、撮影者のカメラワークに伴って手ぶれよりも大きなフレーム画像のぼけ、および、撮影時のぶれが生じたか否かに応じてぶれを補正するか否かが切り替えられ、これにより、カメラワークを識別すると共に、カメラワークに対してぶれ補正が実行されるのが防止可能となる。   According to the display device, the photographing device, the electronic device, the shake correction method, the program, and the recording medium according to the present invention, a frame image larger than the hand shake due to the camera work of the photographer is obtained, similar to the shake correction device of the present invention. Whether or not to correct blur is switched depending on whether blurring or blurring occurred during shooting, thereby identifying camera work and performing camera shake correction on camera work. It becomes possible to prevent.

以下、図面を参照して本発明の実施の形態について説明する。以下では、撮影装置の一態様としての携帯型デジタルビデオカメラ(以下、単に「ビデオカメラ」と言う)に本発明を適用した場合について説明する。
図1は本実施の形態に係るビデオカメラ1の構成を示すブロック図である。このビデオカメラ1は、図1に示すように、制御部10、撮影部20、角速度検出部30、操作部40、リムーバブルメディア50、I/F部51および映像出力端子52を備えている。
Embodiments of the present invention will be described below with reference to the drawings. Hereinafter, a case where the present invention is applied to a portable digital video camera (hereinafter simply referred to as “video camera”) as one aspect of the photographing apparatus will be described.
FIG. 1 is a block diagram showing a configuration of a video camera 1 according to the present embodiment. As shown in FIG. 1, the video camera 1 includes a control unit 10, a photographing unit 20, an angular velocity detection unit 30, an operation unit 40, a removable medium 50, an I / F unit 51, and a video output terminal 52.

制御部10は、ビデオカメラ1の各部を制御する制御手段として機能するものであり、各種プログラムの実行や演算処理をするCPU11と、このCPU11が実行する制御プログラム100や各種データを格納する書換可能なフラッシュROM(以下、単に「ROM」と言う)12と、上記CPU11の演算結果や各種データを一時的に格納するワークエリアとして機能するRAM13とを備えている。また、上記制御プログラム100には、ぶれ補正プログラム100Aが含まれており、制御部10が動画表示時に当該ぶれ補正プログラム100Aを実行することで、ぶれの無い動画表示を実現する。   The control unit 10 functions as a control unit that controls each unit of the video camera 1, and can be rewritten to store a CPU 11 that executes various programs and performs arithmetic processing, a control program 100 that the CPU 11 executes, and various data. A flash ROM (hereinafter simply referred to as “ROM”) 12 and a RAM 13 functioning as a work area for temporarily storing calculation results of the CPU 11 and various data. The control program 100 includes a shake correction program 100A, and the control unit 10 executes the shake correction program 100A when displaying a moving image, thereby realizing a moving image display without a shake.

この制御プログラム100は例えばCD−ROMやDVD−ROM等のコンピュータ読み取り可能な記録媒体60に記録して配布することが可能である。さらに、パーソナルコンピュータとビデオカメラ1とを通信可能にケーブル等で接続し、パーソナルコンピュータで読み取られた記録媒体60の制御プログラム100をビデオカメラ1に出力することで、フラッシュROM12に制御プログラム100を格納させることも可能である。   The control program 100 can be recorded and distributed on a computer-readable recording medium 60 such as a CD-ROM or DVD-ROM. Further, the personal computer and the video camera 1 are communicably connected by a cable or the like, and the control program 100 of the recording medium 60 read by the personal computer is output to the video camera 1 so that the control program 100 is stored in the flash ROM 12. It is also possible to make it.

上記撮影部20は、被写体80(図2参照)を動画として撮影するものであり、カメラコントロール回路21、撮影カメラ22、撮影部RAM23および表示パネル24を備えている。カメラコントロール回路21は、制御部10の制御の下、撮影部20の各部を制御するものである。また、撮影カメラ22は、被写体80が撮像されたフレームデータ(以下、単に「フレーム」と言う)を所定のサンプリングレートでカメラコントロール回路21に順次出力するものであり、CCDやCMOS等の光電変換素子がマトリクス状或いはハニカム状に配置されてなるイメージセンサ、複数の光学レンズを有してなる光学レンズ系、この光学レンズ系を駆動してズーム・フォーカスや絞り等を実現するためのレンズ駆動装置、イメージセンサにて取得されたアナログ信号の画像をデジタル信号に変換して画像データを出力するA/D変換回路等を備えて構成されている。   The photographing unit 20 photographs a subject 80 (see FIG. 2) as a moving image, and includes a camera control circuit 21, a photographing camera 22, a photographing unit RAM 23, and a display panel 24. The camera control circuit 21 controls each unit of the photographing unit 20 under the control of the control unit 10. The photographing camera 22 sequentially outputs frame data (hereinafter simply referred to as “frame”) obtained by imaging the subject 80 to the camera control circuit 21 at a predetermined sampling rate. Image sensor in which elements are arranged in a matrix or honeycomb, an optical lens system having a plurality of optical lenses, and a lens driving device for driving the optical lens system to realize zoom / focus, diaphragm, etc. An analog signal image acquired by the image sensor is converted into a digital signal, and an A / D conversion circuit that outputs image data is provided.

撮影部RAM23はフレームを一時的に格納するバッファとして機能するものである。表示パネル24は撮影された動画や設定画面等の各種情報を表示するものであり、例えば液晶ディスプレイパネルや有機ELパネル等のフラットディスプレイパネルにて構成されている。リムーバブルメディア50は撮影時の動画データを格納するものであり、例えばビデオテープ、記録可能な光学ディスク、リムーバブルハードディスクにより構成されている。   The photographing unit RAM 23 functions as a buffer for temporarily storing frames. The display panel 24 displays various types of information such as captured moving images and setting screens, and is configured by a flat display panel such as a liquid crystal display panel or an organic EL panel, for example. The removable medium 50 stores moving image data at the time of shooting, and includes, for example, a video tape, a recordable optical disk, and a removable hard disk.

撮影カメラ22から出力されたフレームはカメラコントロール回路21にて所定の画像処理がなされた後、撮影部RAM23に一時的に格納され、制御部10を介してリムーバブルメディア50に動画データとして順次可能される。撮像部RAM23に格納されたフレームは表示パネル24に撮影動画をリアルタイムに表示する際に用いられ、また、リムーバブルメディア50に格納された動画データは撮影後に撮影動画を表示(再生)する際に用いられる。   The frame output from the photographing camera 22 is subjected to predetermined image processing by the camera control circuit 21 and then temporarily stored in the photographing unit RAM 23, and can be sequentially stored as moving image data on the removable medium 50 via the control unit 10. The The frame stored in the imaging unit RAM 23 is used when displaying a captured moving image on the display panel 24 in real time, and the moving image data stored in the removable medium 50 is used when displaying (reproducing) the captured moving image after shooting. It is done.

角速度検出部30は、上記撮影時のぶれ量を検出するぶれ量検出手段として機能するものである。具体的には、角速度検出部30は、図2に示すように、フレーム70の横方向(以下、Y軸と定義する)の移動、および、高さ方向(以下、X軸と定義する)の移動に伴うそれぞれの角速度ωx(rad/秒)およびωy(rad/秒)を個別に検出するものであり、前掲図1に示すように、X軸ジャイロセンサ31およびY軸ジャイロセンサ32の2つのジャイロセンサ31、32を有し、それぞれのジャイロセンサ31、32が角速度ωx、ωyに応じた電圧値の角速度検出信号を制御部10に出力する。制御部10は、動画撮影時には、フレーム70のフレームレートと同期して各ジャイロセンサ31、32の角速度検出信号を取り込み、フレーム70と対応付けて、或いは、フレーム70に付加してリムーバブルメディア50に格納する。   The angular velocity detection unit 30 functions as a shake amount detection means for detecting the shake amount at the time of shooting. Specifically, as shown in FIG. 2, the angular velocity detection unit 30 moves in the horizontal direction of the frame 70 (hereinafter, defined as Y axis) and in the height direction (hereinafter, defined as X axis). The angular velocities ωx (rad / sec) and ωy (rad / sec) associated with the movement are individually detected. As shown in FIG. 1, two X-axis gyro sensor 31 and Y-axis gyro sensor 32 are used. Each of the gyro sensors 31 and 32 outputs an angular velocity detection signal having a voltage value corresponding to the angular velocities ωx and ωy to the control unit 10. The control unit 10 captures the angular velocity detection signals of the respective gyro sensors 31 and 32 in synchronization with the frame rate of the frame 70 at the time of moving image shooting, and associates them with the frame 70 or adds them to the frame 70 to the removable medium 50. Store.

なお、ジャイロセンサ31、32の個体差等の要因により、角速度ωx、ωyがゼロの場合であっても角速度検出信号の電圧値がジャイロセンサ31、32ごとに異なることがある。そこで、本実施の形態では、本体の電源が投入された後、撮影を開始する前までに、各ジャイロセンサ31、32の角速度検出信号をサンプリングして、その平均値をゼロ点電圧値として設定している。このとき、一定時間に亘り複数のゼロ点電圧値を求め、これらのゼロ点電圧値の平均値との差が所定値以下のゼロ点電圧値が一定割合(例えば99%)以上得られた場合に、そのゼロ点電圧値の平均値を実際のゼロ点電圧値として設定することとし、これにより本体が停止状態であるときのゼロ点電圧値が設定可能となる。
なお、以下の説明においては、X軸およびY軸のそれぞれの角速度ωx、ωyを特に区別する必要が無い場合には「角速度ω」と表記する。
Note that due to factors such as individual differences between the gyro sensors 31 and 32, the voltage value of the angular velocity detection signal may be different for each gyro sensor 31 and 32 even when the angular velocities ωx and ωy are zero. Therefore, in the present embodiment, the angular velocity detection signals of the respective gyro sensors 31 and 32 are sampled and the average value is set as the zero point voltage value after the main body is turned on and before the photographing is started. is doing. At this time, when a plurality of zero point voltage values are obtained over a certain period of time, and the difference between the zero point voltage values and the average value of these zero point voltage values is equal to or less than a predetermined value, a certain percentage (eg, 99%) or more is obtained. In addition, the average value of the zero point voltage values is set as the actual zero point voltage value, which makes it possible to set the zero point voltage value when the main body is stopped.
In the following description, the angular velocities ωx and ωy of the X axis and the Y axis are expressed as “angular velocities ω” when it is not necessary to distinguish them.

再び図1に戻り、操作部40は、ユーザによって操作される複数の操作子を有し、例えば電源ボタンや撮影開始/終了等の各種指示を入力するための操作キーを有している。I/F部51はビデオカメラ1をパーソナルコンピュータとケーブル等で通信可能に接続するためのインターフェースであり、ビデオカメラ1から動画データをパーソナルコンピュータに出力する際に用いられる。映像出力端子52は、テレビやプロジェクタなどの外部ディスプレイ装置に動画の映像信号を出力するための端子である。なお、ビデオカメラ1は、上述の構成要素の他にも、音声信号を取り込み記録・再生するためのオーディオ回路や、音声信号を外部スピーカや外部アンプ等に出力するための音声出力端子などを備えて構成されている。   Returning to FIG. 1 again, the operation unit 40 has a plurality of operation elements operated by the user, and has operation keys for inputting various instructions such as a power button and photographing start / end, for example. The I / F unit 51 is an interface for connecting the video camera 1 to a personal computer through a cable or the like so as to be able to communicate with the personal computer. The video output terminal 52 is a terminal for outputting a video signal of a moving image to an external display device such as a television or a projector. In addition to the above-described components, the video camera 1 includes an audio circuit for capturing and recording / reproducing an audio signal, an audio output terminal for outputting the audio signal to an external speaker, an external amplifier, and the like. Configured.

ここで、本実施の形態のビデオカメラ1にあっては、撮影中の動画を表示パネル24にライブビュー(リアルタイムに)表示したり、リムーバブルメディア50に格納した動画データを表示パネル24や外部のディスプレイに表示する際には、フレーム70ごとの画像のエッジ(輪郭)70A(図2参照)のぼけ量Gおよび角速度ωx、ωyを検出し、これらのぼけ量G、角速度ωx、ωyに基づいて、ぶれの要因が、手ぶれ、被写体80の動きおよびカメラワークのいずれであるかを特定し、さらに、ぶれの要因が手ぶれまたは被写体80の動きである場合には、撮影時の手ぶれを補正することとしている。   Here, in the video camera 1 according to the present embodiment, the moving image being shot is displayed in live view (in real time) on the display panel 24, or the moving image data stored in the removable medium 50 is displayed on the display panel 24 or externally. When displaying on the display, the blur amount G and the angular velocities ωx and ωy of the edge (contour) 70A (see FIG. 2) of the image for each frame 70 are detected, and based on these blur amounts G and angular velocities ωx and ωy. Identify whether the blurring factor is camera shake, movement of the subject 80 or camera work, and if the blurring factor is camera shake or movement of the subject 80, correct the camera shake during shooting. It is said.

詳述すると、ビデオカメラ1と被写体80とが相対移動した場合、移動が大きい(速い)ほど、フレーム70における画像のエッジ70Aがぼけるため、エッジ70Aのぼけ量を検出することで、ビデオカメラ1と被写体80とに比較的大きな相対移動が生じたかが検出可能となる。一方、ビデオカメラ1の動きは角速度検出部30により検出可能であるため、ビデオカメラ1と被写体80との間の比較的大きな相対移動が検出された場合には、角速度検出部30により検出された角速度ωに基づいて、ビデオカメラ1と被写体80とのどちらが動いているかが特定可能となる。   More specifically, when the video camera 1 and the subject 80 move relative to each other, the larger (faster) the movement, the more the edge 70A of the image in the frame 70 is blurred. Therefore, the video camera 1 is detected by detecting the blur amount of the edge 70A. It is possible to detect whether a relatively large relative movement has occurred between the subject 80 and the subject 80. On the other hand, since the motion of the video camera 1 can be detected by the angular velocity detection unit 30, when a relatively large relative movement between the video camera 1 and the subject 80 is detected, it is detected by the angular velocity detection unit 30. Based on the angular velocity ω, it can be specified which of the video camera 1 and the subject 80 is moving.

ビデオカメラ1の移動、ぼけ量Gおよび角速度ωの関係の一態様を示す図3を参照して具体例を説明すると、比較的大きいぼけ量Gが検出されている区間(II)[時間t1〜t2]と区間(III)[時間t3〜t4]とを比較した場合、両方の区間(II)、(III)でぼけ量Gは略同程度であるものの、角速度ωは区間(III)の方が大きい。したがって、区間(II)におけるぼけ量Gの増大の要因は被写体80の大きな動きであると特定することができ、また、区間(III)におけるぼけ量Gの増大の要因はビデオカメラ1の大きな動きであると特定することができる。   A specific example will be described with reference to FIG. 3 showing one aspect of the relationship between the movement of the video camera 1, the blur amount G, and the angular velocity ω. Section (II) [time t1 to time t1 in which a relatively large blur amount G is detected. When t2] and section (III) [time t3 to t4] are compared, the amount of blur G is substantially the same in both sections (II) and (III), but the angular velocity ω is greater in section (III). Is big. Therefore, the cause of the increase in the blur amount G in the section (II) can be specified as a large movement of the subject 80, and the cause of the increase in the blur amount G in the section (III) is a large movement of the video camera 1. Can be specified.

また、ビデオカメラ1の動きの要因としては手ぶれとカメラワークとが挙げられ、いずれの要因によりビデオカメラ1が動いたかは角速度ωの大きさにより特定可能である。すなわち、ビデオカメラ1の移動量は手ぶれよりもカメラワークの方が大きいため、カメラワーク時には比較的大きな角速度ωが検出される。例えば、図3における区間(I)〜区間(III)のそれぞれの区間の角速度ωを比較すると、区間(I)[時間t0〜t1]および区間(II)では角速度ωが比較的小さいため、手ぶれによってビデオカメラ1が移動していると特定することができ、また、区間(III)では角速度ωが比較的大きいため、カメラワークによってビデオカメラ1が大きく移動していると特定することができる。   Further, the movement of the video camera 1 includes camera shake and camera work, and it can be specified by the magnitude of the angular velocity ω which factor caused the movement of the video camera 1. That is, since the moving amount of the video camera 1 is larger for camera work than for camera shake, a relatively large angular velocity ω is detected during camera work. For example, when the angular velocities ω in the sections (I) to (III) in FIG. 3 are compared, the angular velocities ω are relatively small in the section (I) [time t0 to t1] and the section (II). It can be specified that the video camera 1 is moving, and since the angular velocity ω is relatively large in the section (III), it can be specified that the video camera 1 is moving greatly due to camera work.

以上の事から、ぼけ量Gおよび角速度ωが共に大きい場合、ぼけの要因がカメラワークであると特定でき、また、ぼけ量Gが大きいものの角速度ωが小さい場合、ぼけの要因は被写体80の大きな移動であると特定できる。また、ぼけ量Gが小さい場合には、ぼけの要因が手ぶれであると特定できることになる。そして、ぼけの要因が手ぶれであると特定された場合、および、被写体80の移動であると特定された場合には、そのときのビデオカメラ1に生じたぶれは撮影者の意図に反するものであるため、手ぶれを補正するための手ぶれ補正処理が実行されることになる。   From the above, when the blur amount G and the angular velocity ω are both large, the blur factor can be specified as camera work, and when the blur amount G is large but the angular velocity ω is small, the blur factor is large in the subject 80. Can be identified as moving. When the blur amount G is small, it can be specified that the blurring factor is camera shake. Then, when it is specified that the blurring factor is camera shake and when it is specified that the subject 80 is moving, the camera shake at that time is contrary to the intention of the photographer. Therefore, camera shake correction processing for correcting camera shake is executed.

なお、ぼけ量Gおよび角速度ωの大小の判別は閾値を設けることで判別可能である。すなわち、通常の手ぶれ時のぼけ量Gおよび角速度ωを実験などにより予めサンプリングし、このサンプリング値に基づいて、ぼけの要因が手ぶれであるとみなせるぼけ量Gのぼけ閾値Gthと、ビデオカメラ1の移動の要因が手ぶれとみなせる角速度ωの角速度閾値ωthとを設定しておき、これらのぼけ閾値Gthおよび角速度閾値ωthとぼけ量Gおよび角速度ωをそれぞれ比較して、ぼけ量Gおよび角速度ωの大小を判別すれば良い。
また、エッジ70Aのぼけ量Gは、周波数領域における画像のパワースペクトルに基づいて画像のぼけを定量化する手法や、デジタル画像データに含まれる全てのノンゼロDCT(離散コサイン変換)係数の重み付け出現ヒストグラムに基づいて画像のぼけを定量化する手法などを用いて求めることが可能である。
Note that the magnitude of the blur amount G and the angular velocity ω can be discriminated by providing a threshold value. That is, the blur amount G and the angular velocity ω at the time of normal camera shake are sampled in advance by experiments or the like, and based on this sampling value, the blur threshold Gth of the blur amount G that can be regarded as the cause of blurring, and the video camera 1 An angular velocity threshold value ωth of an angular velocity ω that can be regarded as a camera shake is set in advance, and the blur threshold value Gth and the angular velocity threshold value ωth are compared with the blur amount G and the angular velocity ω, respectively. What is necessary is just to discriminate.
The blur amount G of the edge 70A is a method for quantifying the blur of the image based on the power spectrum of the image in the frequency domain, or a weighted appearance histogram of all non-zero DCT (discrete cosine transform) coefficients included in the digital image data. It is possible to obtain the image using a method for quantifying the blur of the image based on the above.

ここで、撮影時の手ぶれは、角速度ωに基づいて検出することが可能であるものの、本実施の形態では、ぼけ量Gに基づいて検出することとしている。このように、ぼけ量Gに基づいて手ぶれを検出するため、角速度検出部30のジャイロセンサ31、32の個体差等により角速度ωの検出値にばらつきが生じたとしても、常に一定量の手ぶれを基準として手ぶれを検出可能となる。   Here, camera shake at the time of photographing can be detected based on the angular velocity ω, but in the present embodiment, it is detected based on the blur amount G. As described above, since the camera shake is detected based on the blur amount G, even if the detected value of the angular velocity ω varies due to individual differences of the gyro sensors 31 and 32 of the angular velocity detection unit 30, a constant amount of camera shake is always generated. Camera shake can be detected as a reference.

次いで、ビデオカメラ1の動作として撮影時の処理について図4を参照して説明する。
図4は、撮影時のビデオカメラ1の動作を示すフローチャートである。この図に示すように、制御部10は、操作部40の操作を監視し、撮影開始指示の入力を検出した場合に(ステップS1:Yes)、撮影画像のフレーム70を撮影部20から取得し(ステップS2)、そのフレーム70に対して手ぶれ補正処理を行う必要があるか否かを判断すべく、次の処理を実行する。
Next, processing during shooting as the operation of the video camera 1 will be described with reference to FIG.
FIG. 4 is a flowchart showing the operation of the video camera 1 during shooting. As shown in this figure, the control unit 10 monitors the operation of the operation unit 40 and, when detecting an input of a shooting start instruction (step S1: Yes), acquires the frame 70 of the shot image from the shooting unit 20. (Step S2) In order to determine whether or not it is necessary to perform the camera shake correction process on the frame 70, the following process is executed.

すなわち、制御部10は、角速度検出部30から出力された角速度検出信号に基づいて上記フレーム70が取り込まれたときの角速度ωx、ωyを取得すると共に(ステップS3)、そのフレーム70のぼけ量Gを算出する(ステップS4)。
次いで、制御部10は、ぼけ量Gがぼけ閾値Gth以下であるか否かを判断し(ステップS5)、ぼけ量Gがぼけ閾値Gth以下である場合(ステップS5:Yes)、ぼけの要因が手ぶれであると特定されるため、フレーム70の手ぶれを補正するための処理を実行する。
That is, the control unit 10 acquires the angular velocities ωx and ωy when the frame 70 is captured based on the angular velocity detection signal output from the angular velocity detection unit 30 (step S3), and the blur amount G of the frame 70 Is calculated (step S4).
Next, the control unit 10 determines whether or not the blur amount G is equal to or less than the blur threshold value Gth (step S5). If the blur amount G is equal to or less than the blur threshold value Gth (step S5: Yes), the cause of the blur is Since the camera shake is identified, a process for correcting the camera shake of the frame 70 is executed.

一方、ぼけ量Gがぼけ閾値Gth以上である場合には(ステップS5:No)、そのぼけの要因がビデオカメラ1と被写体80との大きな相対移動であることが示される。そこで、制御部10は、移動の主体がビデオカメラ1であるのか被写体80であるのかを特定すべく、角速度ωx、ωyがいずれも角速度閾値ωth以下であるか否かを判断する(ステップS6)。この判断の結果、角速度ωx、ωyのいずか一つでも角速度閾値ωthより大きい場合には(ステップS6:No)、撮影者のカメラワークによりビデオカメラ1が大きく移動していると特定されるため、制御部10は、手ぶれを補正するための処理を実行せずに、そのままフレーム70を表示パネル24やリムーバブルメディア50に出力する(ステップS7)。   On the other hand, when the blur amount G is equal to or greater than the blur threshold Gth (step S5: No), it is indicated that the cause of the blur is a large relative movement between the video camera 1 and the subject 80. Therefore, the control unit 10 determines whether the angular velocities ωx and ωy are both equal to or lower than the angular velocity threshold ωth in order to specify whether the subject of movement is the video camera 1 or the subject 80 (step S6). . As a result of this determination, if any one of the angular velocities ωx and ωy is larger than the angular velocity threshold ωth (step S6: No), it is specified that the video camera 1 is moving greatly due to the camera work of the photographer. Therefore, the control unit 10 outputs the frame 70 as it is to the display panel 24 and the removable medium 50 without executing processing for correcting camera shake (step S7).

また、角速度ωx、ωyが角速度閾値ωth以下である場合には(ステップS6:Yes)、被写体80が大きく移動していると特定されるため、制御部10は、フレーム70の手ぶれを補正するための処理を実行する。
すなわち、制御部10は、先ず、上記ステップS3にて取得した撮影時の角速度ωx、ωyに基づいてぶれ量Qを算出する(ステップS8)。詳細には、制御部10は、角速度ωx、ωyを、当該角速度のサンプリング時間に応じて時間積分して角度を算出し、この角度および焦点距離Lに基づいてぶれ量Q(Pixel)を算出し、このぶれ量Qに基づいてフレーム70の画像を補正し、補正後のフレーム70を出力する(ステップS7)。
When the angular velocities ωx and ωy are equal to or lower than the angular velocity threshold ωth (step S6: Yes), the subject 80 is identified as having moved greatly, so the control unit 10 corrects camera shake of the frame 70. Execute the process.
That is, the control unit 10 first calculates the shake amount Q based on the angular velocities ωx and ωy at the time of photographing acquired in step S3 (step S8). Specifically, the control unit 10 calculates the angle by time-integrating the angular velocities ωx and ωy according to the sampling time of the angular velocities, and calculates the shake amount Q (Pixel) based on the angles and the focal length L. The image of the frame 70 is corrected based on the shake amount Q, and the corrected frame 70 is output (step S7).

具体的には、撮影時にぶれ量Qの手ぶれが発生した場合、図5(A)に示すように、撮影される撮影範囲R1は、撮影者が意図する撮影範囲R0ぶれ量Qだけ移動してしまう。そこで、撮影時のぶれ量Qを打ち消すように撮影範囲R1を撮影範囲R0に移動させ、その撮影範囲R0の画像を切り出してフレーム70を生成することで、フレーム70を補正している。
すなわち、ビデオカメラ1は、撮影時には、図5(B)に示すように、撮影部20により撮影された撮影画像200に対して、当該撮影画像の中心を中央位置とした所定の大きさの撮影範囲R0をトリミングしてフレーム70を生成している。そして、撮影時に手ぶれが発生し、図5(C)に示すように、撮影範囲が撮影範囲R1となった場合には、ビデオカメラ1は、手ぶれによる撮影範囲の移動を補償すべく、手ぶれの方向と反対の方向にぶれ量Qだけ撮影範囲を移動させて、撮影範囲が撮影範囲R0となるようにする。そして、ビデオカメラ1は、図4(D)に示すように、撮影画像200のうち撮影範囲R0の画像をトリミングしてフレーム70を生成することで、手ぶれが生じなかったときの画像をフレーム70として出力することが可能となる。
Specifically, when camera shake of a shake amount Q occurs during shooting, as shown in FIG. 5A, the shooting range R1 to be shot is moved by the shooting range R0 shake amount Q intended by the photographer. End up. Therefore, the frame 70 is corrected by moving the shooting range R1 to the shooting range R0 so as to cancel the blur amount Q at the time of shooting, and cutting out the image of the shooting range R0 to generate the frame 70.
That is, at the time of shooting, as shown in FIG. 5B, the video camera 1 shoots a predetermined size with respect to the shot image 200 shot by the shooting unit 20 with the center of the shot image as the center position. The frame 70 is generated by trimming the range R0. Then, when camera shake occurs at the time of shooting, and the shooting range becomes the shooting range R1, as shown in FIG. 5C, the video camera 1 compensates for the movement of the shooting range due to camera shake. The shooting range is moved by the amount of shake Q in the direction opposite to the direction so that the shooting range becomes the shooting range R0. Then, as shown in FIG. 4D, the video camera 1 generates a frame 70 by trimming an image in the shooting range R0 in the shot image 200, so that an image when no camera shake occurs is the frame 70. Can be output.

そしてビデオカメラ1の制御部10は、フレーム70を出力した後(ステップS7)、制御部10は、操作部40から撮影終了指示が入力されたか否かを判断し(ステップS10)、撮影終了指示が入力されていなければ(ステップS10:No)、上記ステップS2〜ステップS9の処理を繰り返し実行し、また、撮影終了指示が入力された場合に(ステップS10:Yes)、本処理を終了する。   After the control unit 10 of the video camera 1 outputs the frame 70 (step S7), the control unit 10 determines whether or not a shooting end instruction is input from the operation unit 40 (step S10). Is not input (step S10: No), the processing of step S2 to step S9 is repeatedly executed, and when a photographing end instruction is input (step S10: Yes), this processing is ended.

以上説明したように、本実施の形態によれば、ぼけ量Gがぼけ閾値Gthよりも大きい場合には、角速度ωの大きさ、すなわち、ぶれ量Qの大きさに応じてフレームのぶれを補正するか否かが切り替えられるため、撮影者のカメラワークに伴って手ぶれよりも大きなフレーム画像のぼけ、および、撮影時のぶれが生じたか否かに応じてぶれを補正するか否かが切り替えられることとなる。これにより、カメラワークを識別すると共に、カメラワークに対してぶれ補正が実行されるのが防止可能となる。   As described above, according to the present embodiment, when the blur amount G is larger than the blur threshold Gth, frame blur is corrected according to the magnitude of the angular velocity ω, that is, the blur amount Q. Since whether or not to correct the camera shake of the frame image larger than the camera shake due to the camera work of the photographer and whether or not the camera shake has occurred during the shooting can be switched. It will be. Thereby, it is possible to identify the camera work and prevent the camera work from being corrected.

また、本実施の形態によれば、撮影時の手ぶれを角速度ωに基づいて検出することが可能であるものの、ぼけ量Gに基づいて検出することとしたため、角速度検出部30のジャイロセンサ31、32の個体差等により角速度ωの検出値にばらつきが生じたとしても、常に一定量の手ぶれを基準として手ぶれを検出可能となる。   Further, according to the present embodiment, although it is possible to detect camera shake at the time of shooting based on the angular velocity ω, it is detected based on the amount of blur G. Therefore, the gyro sensor 31 of the angular velocity detecting unit 30, Even if the detected value of the angular velocity ω varies due to the individual difference of 32 or the like, it is always possible to detect camera shake based on a certain amount of camera shake.

なお、上述した実施の形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
例えば、上述の実施の形態におけるぼけ量Gの指標として、例えば、フレーム70の画像に含まれるエッジ70Aの総量(例えば画素数)を用いることができる。すなわち、画像のぼけが大きくなるほど、エッジ70Aの総量が減少するため、この減少の度合いに応じてぼけ量Gを評価しても良い。
また例えば、上述した実施の形態では、角速度に基づいてぶれ量を検出する構成を例示したが、これに限らず、加速度センサを用いてぶれ量を検出する構成としても良い。また、例えばフレーム間での特徴点の移動量を算出し、この移動量に基づいてフレームのぶれ量を算出するといった画像処理によってぶれ量を検出する構成としても良い。
また例えば、上述した実施の形態では、ぼけ量Gがぼけ閾値Gth以上の場合、すなわち、ビデオカメラ1と被写体80との比較的大きな相対移動が検出された場合には、図4のステップS6に示すように角速度ωと角速度閾値ωthとの大小を比較することで、ビデオカメラ1と被写体80とのどちらが移動しているかを識別したが、これに限らず、上記ステップS6において、角速度ωに基づいてぶれ量Qを算出し、このぶれ量Qの大きさに基づいてデオカメラ1と被写体80とのどちらが移動しているかを識別するようにしても良い。
The above-described embodiment is merely an aspect of the present invention, and can be arbitrarily modified and applied within the scope of the present invention.
For example, as an index of the blur amount G in the above-described embodiment, for example, the total amount (for example, the number of pixels) of the edge 70A included in the image of the frame 70 can be used. That is, as the blur of the image increases, the total amount of the edge 70A decreases. Therefore, the blur amount G may be evaluated according to the degree of the decrease.
Further, for example, in the above-described embodiment, the configuration in which the shake amount is detected based on the angular velocity is illustrated, but the configuration is not limited thereto, and a configuration in which the shake amount is detected using an acceleration sensor may be employed. Further, for example, a configuration may be adopted in which the amount of blur is detected by image processing such as calculating the amount of movement of feature points between frames and calculating the amount of blur of the frame based on the amount of movement.
Further, for example, in the above-described embodiment, when the blur amount G is equal to or greater than the blur threshold Gth, that is, when a relatively large relative movement between the video camera 1 and the subject 80 is detected, the process proceeds to step S6 in FIG. As shown, the magnitude of the angular velocity ω and the angular velocity threshold value ωth are compared to identify which one of the video camera 1 and the subject 80 is moving. However, the present invention is not limited to this, and in step S6, based on the angular velocity ω. The camera shake amount Q may be calculated, and based on the amount of the camera shake amount Q, it may be identified which of the video camera 1 and the subject 80 is moving.

また、上述した実施の形態では、撮影装置の一態様たる携帯型デジタルビデオカメラ1に本発明を適用した場合を例示したが、例えば動画撮影機能を有する携帯電話機やデジタルカメラ、PDA、ノート型パソコンなどにも本発明を適用可能である。
また、本発明は、上述した携帯型デジタルビデオカメラ1がぶれ補正プログラム100Aを含む制御プログラム100を実行することで実現される動画表示機能のみを実行する動画表示装置としても実施可能である。
さらに、本発明は、動画を構成するフレームを順次取得して手ぶれを補正するぶれ補正装置にも適用可能である。具体的には、ぶれ補正装置を、フレーム70と共に、フレーム70ごとにぼけ量Gおよび撮影時のぶれ量Q(または角速度ω)を取得するように構成し、ぼけ量Gがぼけ閾値Gthよりも小さい場合に、ぶれ量Qに基づいてフレーム70に生じたぶれを補正すると共に、ぼけ量Gがぼけ閾値Gthよりも大きい場合には、フレーム70のぶれを補正するか否かをぶれ量Qの大きさに応じて切り替えるように構成することで実施可能である。
Further, in the above-described embodiment, the case where the present invention is applied to the portable digital video camera 1 which is one aspect of the photographing apparatus is illustrated. However, for example, a cellular phone, a digital camera, a PDA, a notebook personal computer having a moving image photographing function. The present invention can also be applied to the above.
The present invention can also be implemented as a moving image display apparatus that executes only the moving image display function realized by the above-described portable digital video camera 1 executing the control program 100 including the blur correction program 100A.
Furthermore, the present invention can also be applied to a shake correction apparatus that sequentially acquires frames constituting a moving image and corrects camera shake. Specifically, the blur correction apparatus is configured to acquire the blur amount G and the blur amount Q (or angular velocity ω) at the time of shooting together with the frame 70, and the blur amount G is smaller than the blur threshold Gth. When the amount of blur is small, the blur generated in the frame 70 is corrected. When the amount of blur G is larger than the blur threshold Gth, whether the blur of the frame 70 is to be corrected or not is determined. It can be implemented by configuring to switch according to the size.

本発明の実施形態に係る携帯型ビデオカメラの機能ブロック図である。It is a functional block diagram of the portable video camera which concerns on embodiment of this invention. フレームを模式的に示す図である。It is a figure which shows a flame | frame typically. 携帯型ビデオカメラ、ぼけ量および角速度の関係を示す図である。It is a figure which shows the relationship between a portable video camera, blur amount, and angular velocity. 撮影処理のフローチャートである。It is a flowchart of an imaging process. 手ぶれ補正を説明するための図である。It is a figure for demonstrating camera shake correction.

符号の説明Explanation of symbols

1…携帯型デジタルビデオカメラ、10…制御部、20…撮影部、30…角速度検出部、70…フレーム、70A…エッジ、200…撮影画像、Gth…ぼけ閾値、ωth…角速度閾値、100A…ぶれ補正プログラム。 DESCRIPTION OF SYMBOLS 1 ... Portable digital video camera, 10 ... Control part, 20 ... Shooting part, 30 ... Angular velocity detection part, 70 ... Frame, 70A ... Edge, 200 ... Photographed image, Gth ... Blur threshold, ωth ... Angular velocity threshold, 100A ... Blur Correction program.

Claims (8)

動画を構成するフレームを順次取得するフレーム取得手段と、
前記フレームごとにぼけ量を取得するぼけ量取得手段と、
前記フレームごとに撮影時のぶれ量を取得するぶれ量取得手段と、
前記ぼけ量が所定のぼけ閾値よりも小さい場合に、前記ぶれ量に基づいて前記フレームに生じたぶれを補正すると共に、前記ぼけ量が前記所定のぼけ閾値よりも大きい場合には、前記フレームのぶれを補正するか否かを前記ぶれ量の大きさに応じて切り替えるぶれ補正手段と
を具備することを特徴とするぶれ補正装置。
Frame acquisition means for sequentially acquiring frames constituting the video;
A blur amount acquisition means for acquiring a blur amount for each frame;
Blur amount acquisition means for acquiring a blur amount at the time of shooting for each frame;
When the blur amount is smaller than a predetermined blur threshold value, the blur generated in the frame is corrected based on the blur amount, and when the blur amount is larger than the predetermined blur threshold value, A shake correction device comprising: a shake correction unit that switches whether or not to correct a shake according to the magnitude of the shake amount.
請求項1に記載のぶれ補正装置において、
前記ぶれ補正手段は、
前記ぼけ量が前記所定のぼけ閾値よりも大きい場合、前記ぶれ量が所定のぶれ閾値よりも大きいときには、前記フレームに生じたぶれを補正しない
ことを特徴とするぶれ補正装置。
The shake correction apparatus according to claim 1,
The shake correction means includes
When the blur amount is larger than the predetermined blur threshold, the blur generated in the frame is not corrected when the blur amount is larger than the predetermined blur threshold.
動画を構成するフレームを順次取得するフレーム取得手段と、
前記フレームを順次表示して前記動画を表示する表示手段と、
前記フレームごとにぼけ量を取得するぼけ量取得手段と、
前記フレームごとに撮影時のぶれ量を取得するぶれ量取得手段と、
前記ぼけ量が所定のぼけ閾値よりも小さい場合に、前記ぶれ量に基づいて前記フレームに生じたぶれを補正すると共に、前記ぼけ量が前記所定のぼけ閾値よりも大きい場合には、前記フレームのぶれを補正するか否かを前記ぶれ量の大きさに応じて切り替えるぶれ補正手段と
を具備することを特徴とする表示装置。
Frame acquisition means for sequentially acquiring frames constituting the video;
Display means for displaying the moving image by sequentially displaying the frames;
A blur amount acquisition means for acquiring a blur amount for each frame;
Blur amount acquisition means for acquiring a blur amount at the time of shooting for each frame;
When the blur amount is smaller than a predetermined blur threshold value, the blur generated in the frame is corrected based on the blur amount, and when the blur amount is larger than the predetermined blur threshold value, And a blur correction unit that switches whether or not to correct the blur according to the magnitude of the blur amount.
動画を構成するフレームを順次撮影する撮影手段と、
前記フレームごとにぼけ量を取得するぼけ量取得手段と、
前記フレームごとに撮影時のぶれ量を取得するぶれ量取得手段と、
前記ぼけ量が所定のぼけ閾値よりも小さい場合に、前記ぶれ量に基づいて前記フレームに生じたぶれを補正すると共に、前記ぼけ量が前記所定のぼけ閾値よりも大きい場合には、前記フレームのぶれを補正するか否かを前記ぶれ量の大きさに応じて切り替えるぶれ補正手段と
を具備することを特徴とする撮影装置。
Photographing means for sequentially photographing the frames constituting the video;
A blur amount acquisition means for acquiring a blur amount for each frame;
Blur amount acquisition means for acquiring a blur amount at the time of shooting for each frame;
When the blur amount is smaller than a predetermined blur threshold value, the blur generated in the frame is corrected based on the blur amount, and when the blur amount is larger than the predetermined blur threshold value, An image capturing apparatus comprising: a motion compensation unit that switches whether motion compensation is performed according to the amount of motion blur.
請求項1または2に記載のぶれ補正装置を備えることを特徴とする電子機器。   An electronic apparatus comprising the shake correction device according to claim 1. 動画を構成するフレームごとにぼけ量および撮影時のぶれ量を取得し、
前記ぼけ量が所定のぼけ閾値よりも小さい場合には、前記ぶれ量に基づいて前記フレームに生じたぶれを補正すると共に、
前記ぼけ量が前記所定のぼけ閾値よりも大きい場合には、前記フレームのぶれを補正するか否かを前記ぶれ量の大きさに応じて切り替える
ことを特徴とするぶれ補正方法。
Get the blur amount and blur amount at the time of shooting for each frame that makes up the movie,
When the blur amount is smaller than a predetermined blur threshold, the blur generated in the frame is corrected based on the blur amount, and
When the blur amount is larger than the predetermined blur threshold, whether or not to correct the blur of the frame is switched according to the magnitude of the blur amount.
コンピュータを、
動画を構成するフレームを順次取得するフレーム取得手段、
前記フレームごとにぼけ量を取得するぼけ量取得手段、
前記フレームごとに撮影時のぶれ量を取得するぶれ量取得手段、および、
前記ぼけ量が所定のぼけ閾値よりも小さい場合に、前記ぶれ量に基づいて前記フレームに生じたぶれを補正すると共に、前記ぼけ量が前記所定のぼけ閾値よりも大きい場合には、前記フレームのぶれを補正するか否かを前記ぶれ量の大きさに応じて切り替えるぶれ補正手段
として機能させることを特徴とするプログラム。
Computer
Frame acquisition means for sequentially acquiring frames constituting the video,
A blur amount acquisition means for acquiring a blur amount for each frame;
A blur amount acquisition means for acquiring a blur amount at the time of shooting for each frame; and
When the blur amount is smaller than a predetermined blur threshold value, the blur generated in the frame is corrected based on the blur amount, and when the blur amount is larger than the predetermined blur threshold value, A program that functions as a shake correction unit that switches whether to correct a shake according to the amount of shake.
コンピュータを、
動画を構成するフレームを順次取得するフレーム取得手段、
前記フレームごとにぼけ量を取得するぼけ量取得手段、
前記フレームごとに撮影時のぶれ量を取得するぶれ量取得手段、および、
前記ぼけ量が所定のぼけ閾値よりも小さい場合に、前記ぶれ量に基づいて前記フレームに生じたぶれを補正すると共に、前記ぼけ量が前記所定のぼけ閾値よりも大きい場合には、前記フレームのぶれを補正するか否かを前記ぶれ量の大きさに応じて切り替えるぶれ補正手段
として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
Computer
Frame acquisition means for sequentially acquiring frames constituting the video,
A blur amount acquisition means for acquiring a blur amount for each frame;
A blur amount acquisition means for acquiring a blur amount at the time of shooting for each frame; and
When the blur amount is smaller than a predetermined blur threshold value, the blur generated in the frame is corrected based on the blur amount, and when the blur amount is larger than the predetermined blur threshold value, A computer-readable recording medium having recorded thereon a program for functioning as blur correction means for switching whether to correct blur according to the amount of blur.
JP2006026547A 2006-02-03 2006-02-03 Blur correction apparatus, display apparatus, photographing apparatus, electronic apparatus, blur correction method, program, and recording medium Pending JP2007208767A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006026547A JP2007208767A (en) 2006-02-03 2006-02-03 Blur correction apparatus, display apparatus, photographing apparatus, electronic apparatus, blur correction method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006026547A JP2007208767A (en) 2006-02-03 2006-02-03 Blur correction apparatus, display apparatus, photographing apparatus, electronic apparatus, blur correction method, program, and recording medium

Publications (1)

Publication Number Publication Date
JP2007208767A true JP2007208767A (en) 2007-08-16

Family

ID=38487801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006026547A Pending JP2007208767A (en) 2006-02-03 2006-02-03 Blur correction apparatus, display apparatus, photographing apparatus, electronic apparatus, blur correction method, program, and recording medium

Country Status (1)

Country Link
JP (1) JP2007208767A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010093343A (en) * 2008-10-03 2010-04-22 Nikon Corp Camerawork optimization program, imaging apparatus, and camerawork optimization method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010093343A (en) * 2008-10-03 2010-04-22 Nikon Corp Camerawork optimization program, imaging apparatus, and camerawork optimization method

Similar Documents

Publication Publication Date Title
US10848662B2 (en) Image processing device and associated methodology for determining a main subject in an image
JP5409189B2 (en) Imaging apparatus and control method thereof
CN104065868B (en) Image capture apparatus and control method thereof
US7688352B2 (en) Shake correction device, filming device, moving image display device, shake correction method and recording medium
JP6539091B2 (en) Image pickup apparatus and control method thereof
KR20100067406A (en) Method and apparatus for correcting a shakiness in digital photographing apparatus
JP6815747B2 (en) Image processing device, imaging device, control method of image processing device, program, and storage medium
JP2007116309A (en) Image information reproduction apparatus
JP2007173966A (en) Imaging apparatus and image data processing method thereof
JP2010114752A (en) Device and method of imaging and program
JP4125331B2 (en) Imaging apparatus and control method thereof
KR102592745B1 (en) Posture estimating apparatus, posture estimating method and computer program stored in recording medium
JP3646124B2 (en) Autofocus device
US10554891B2 (en) Image stabilization apparatus, image stabilization method, image capturing apparatus, image capturing system and non-transitory storage medium
US10200612B2 (en) Image stabilization apparatus and control method thereof, and storage medium
JP2013110754A (en) Camera device, and photographing method and program of the same
JP2006295707A (en) Image reproducing apparatus and image blurring correction program
JP4609309B2 (en) Imaging apparatus, control method thereof, and control program
JP2007201570A (en) Image processor, photography apparatus, image processing method and control program
EP3836540B1 (en) Image processing apparatus and image capturing apparatus
JP2009171362A (en) Photographing apparatus, and photographing method
JP2007208767A (en) Blur correction apparatus, display apparatus, photographing apparatus, electronic apparatus, blur correction method, program, and recording medium
JP4687420B2 (en) Imaging apparatus, imaging method, and program
JP2007235806A (en) Image processor, photographic device, image processing method, and control program
JP2009027437A (en) Image processor, image processing method and imaging device