JP2012049871A - Portable device and camera shake correction method - Google Patents
Portable device and camera shake correction method Download PDFInfo
- Publication number
- JP2012049871A JP2012049871A JP2010190833A JP2010190833A JP2012049871A JP 2012049871 A JP2012049871 A JP 2012049871A JP 2010190833 A JP2010190833 A JP 2010190833A JP 2010190833 A JP2010190833 A JP 2010190833A JP 2012049871 A JP2012049871 A JP 2012049871A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- correction
- camera shake
- amount
- portable device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、携帯装置および手ぶれ補正方法に関し、特には、手ぶれ補正機能を有する携帯装置および手ぶれ補正方法に関する。 The present invention relates to a mobile device and a camera shake correction method, and more particularly, to a mobile device having a camera shake correction function and a camera shake correction method.
特許文献1には、手ぶれ補正機能を有する画像記録装置が記載されている。特許文献1に記載の画像記録装置は、動画を撮像して画像信号を出力する撮像部と、画像記録装置の手ぶれによる動きを検出して手ぶれ量を算出する検出部と、検出部で算出された手ぶれ量に基づいて画像信号に手ぶれ補正処理を行う補正部と、を備えている。 Patent Document 1 describes an image recording apparatus having a camera shake correction function. The image recording apparatus described in Patent Document 1 is calculated by an imaging unit that captures a moving image and outputs an image signal, a detection unit that detects movement due to camera shake of the image recording device, and calculates a camera shake amount, and a detection unit. A correction unit that performs a camera shake correction process on the image signal based on the amount of camera shake.
特許文献1には、検出部の例として、加速度センサを有し、加速度センサの測定結果を用いて、手ぶれを検出して手ぶれ量を算出する手ぶれ検出部と、撮像部から入力される複数のフレームの相関関係から、手ぶれを検出して手ぶれ量を算出する手ぶれ検出部と、が記載されている。 In Patent Document 1, an example of the detection unit includes an acceleration sensor, and using a measurement result of the acceleration sensor, a camera shake detection unit that detects a camera shake and calculates a camera shake amount, and a plurality of input from the imaging unit. A camera shake detection unit that detects camera shake and calculates the amount of camera shake from the correlation between frames is described.
特許文献1に記載の画像記録装置において、検出部として、加速度センサの測定結果を用いて、手ぶれを検出して手ぶれ量を算出する手ぶれ検出部が用いられた場合、以下の問題があった。 In the image recording apparatus described in Patent Document 1, when a camera shake detection unit that detects a camera shake and calculates the amount of camera shake using the measurement result of the acceleration sensor is used as the detection unit, there are the following problems.
加速度センサを有する手ぶれ検出部で算出された手ぶれ量により手ぶれ補正処理を適切に行うには、加速度センサにて手ぶれによる動きの方向および手ぶれの大きさの測定が行われ、その測定結果を用いて手ぶれ量が算出されなければならない。このため、加速度センサの測定結果を用いて手ぶれ補正処理を適切に行うには、測定精度の高い加速度センサを使用し複雑な処理を行って手ぶれ量を算出する必要があるという問題があった。 In order to appropriately perform camera shake correction processing based on the camera shake amount calculated by the camera shake detection unit having the acceleration sensor, the direction of movement due to camera shake and the size of the camera shake are measured by the acceleration sensor, and the measurement result is used. The amount of camera shake must be calculated. For this reason, in order to appropriately perform the camera shake correction process using the measurement result of the acceleration sensor, there is a problem in that it is necessary to calculate a camera shake amount by performing a complicated process using an acceleration sensor with high measurement accuracy.
一方、特許文献1に記載の画像記録装置において、検出部として、撮像部から入力される複数のフレームの相関関係から、手ぶれを検出して手ぶれ量を算出する手ぶれ検出部が用いられた場合、以下の問題があった。 On the other hand, in the image recording apparatus described in Patent Document 1, when a camera shake detection unit that detects camera shake and calculates the amount of camera shake is used as the detection unit from the correlation between a plurality of frames input from the imaging unit, There were the following problems.
画面内を電車が通り抜けるシーンが撮像されると、手ぶれ検出部は、撮像部が撮像した電車の動きを手ぶれと誤検出して手ぶれ量を算出してしまうことがある。よって、撮像者の手ぶれに起因しない画像内の物体の動きを、手ぶれによる動きとして誤って検出して手ぶれ量を算出してしまうと、その手ぶれ量に基づいて不要な手ぶれ補正処理が行われてしまうという問題があった。 When a scene where a train passes through the screen is imaged, the camera shake detection unit may erroneously detect the movement of the train imaged by the imaging unit as camera shake and calculate the amount of camera shake. Therefore, if motion of an object in an image that is not caused by camera shake of the photographer is erroneously detected as motion due to camera shake and the amount of camera shake is calculated, unnecessary camera shake correction processing is performed based on the amount of camera shake. There was a problem that.
本発明の目的は、上記した課題を解決する携帯装置および手ぶれ補正方法を提供することにある。 An object of the present invention is to provide a portable device and a camera shake correction method that solve the above-described problems.
本発明の携帯装置は、動画を撮像する機能を有する携帯装置であって、前記携帯装置の加速度を測定する第1検出手段と、前記動画を撮像して当該動画を形成する複数の画像データを1つずつ順番に出力する撮像手段と、前記画像データが示す画像から当該画像の特徴点を抽出し、前記複数の画像データのうちの基準画像データが示す画像内の特徴点の位置と、前記複数の画像データのうち前記基準画像データの後に出力された補正候補画像データが示す画像内の特徴点の位置と、のずれ量を手ぶれ補正用の補正量として検出する第2検出手段と、前記撮像手段が前記補正候補画像データを出力している間、前記第1検出手段にて測定された加速度に基づいて手ぶれ状態か否かを判定し、手ぶれ状態と判定した場合には前記第2検出手段が検出した補正量に基づいて、前記補正候補画像データに手ぶれ補正処理を行い、手ぶれ状態でないと判定した場合には前記補正候補画像データに前記手ぶれ補正処理を行わない補正手段と、を含む。 The portable device of the present invention is a portable device having a function of capturing a moving image, and includes a first detection unit that measures acceleration of the portable device, and a plurality of image data that forms the moving image by capturing the moving image. Imaging means for sequentially outputting one by one; extracting feature points of the image from the image indicated by the image data; and positions of the feature points in the image indicated by reference image data among the plurality of image data; Second detection means for detecting a deviation amount from a position of a feature point in an image indicated by correction candidate image data output after the reference image data among a plurality of image data as a correction amount for camera shake correction; While the imaging unit is outputting the correction candidate image data, it is determined whether or not the camera shake state is based on the acceleration measured by the first detection unit. Means Based on the correction amount, wherein corrects candidate image data to camera shake correction processing, if it is determined not to be an unintentional hand movement state; and a correction means does not perform the camera shake correction processing in the correction candidate image data.
本発明の手ぶれ補正方法は、動画を撮像する機能を有する携帯装置の手ぶれ補正方法であって、前記携帯装置の加速度の測定を行う第1検出ステップと、前記動画を撮像して当該動画を形成する複数の画像データを1つずつ順番に出力する撮像ステップと、前記画像データが示す画像から当該画像の特徴点を抽出し、前記複数の画像データのうちの基準画像データが示す画像内の特徴点の位置と、前記複数の画像データのうち前記基準画像データの後に出力された補正候補画像データが示す画像内の特徴点の位置と、のずれ量を手ぶれ補正用の補正量として検出する第2検出ステップと、前記撮像ステップにて前記補正候補画像データが出力されている間、前記第1検出ステップにて測定された加速度に基づいて手ぶれ状態か否かを判定し、手ぶれ状態と判定した場合には前記第2検出ステップにて検出された補正量に基づいて、前記補正候補画像データに手ぶれ補正処理を行い、手ぶれ状態でないと判定した場合には前記補正候補画像データに前記手ぶれ補正処理を行わない補正ステップと、を含む。 The camera shake correction method of the present invention is a camera shake correction method for a mobile device having a function of capturing a moving image, and includes a first detection step for measuring acceleration of the mobile device, and imaging the moving image to form the moving image. An imaging step for sequentially outputting a plurality of image data one by one, a feature point of the image is extracted from an image indicated by the image data, and a feature in the image indicated by reference image data among the plurality of image data The amount of deviation between the position of the point and the position of the feature point in the image indicated by the correction candidate image data output after the reference image data among the plurality of image data is detected as a correction amount for camera shake correction. Determining whether or not the camera shake state based on the acceleration measured in the first detection step while the correction candidate image data is output in the two detection steps and the imaging step; When it is determined that the camera shake state has occurred, camera shake correction processing is performed on the correction candidate image data based on the correction amount detected in the second detection step. And a correction step in which the camera shake correction process is not performed.
本発明によれば、簡易な処理により適切に手ぶれ補正処理を行うことが可能となる。 According to the present invention, it is possible to appropriately perform the camera shake correction process by a simple process.
以下、本発明の実施形態について図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は、本発明の実施形態における携帯装置の構成例を示すブロック図である。 FIG. 1 is a block diagram illustrating a configuration example of a portable device according to an embodiment of the present invention.
携帯装置100は、動画を撮像する機能を有する携帯電話機である。本実施形態では、携帯装置100は、静止画像を撮像する静止画モードと動画を撮像する動画モードとを有し、静止画モードと動画モードとのいずれか一方を実行するカメラ機能を有する。なお、本実施形態では、携帯装置100は、撮像者によって、カメラ機能が有効に設定され、さらにカメラ機能の中から動画モードが設定されているものとする。
The
携帯装置100は、カメラ部110と、加速度センサ120と、CPU(Central Processing Unit)130と、を備える。
The
加速度センサ120は、一般的に第1検出手段と呼ぶことができる。
加速度センサ120は、携帯装置100の加速度を測定する。具体的には、加速度センサ120は、携帯装置100の加速度の変化量を測定する。
The
本実施形態では、加速度センサ120は、互いに直交する3軸(xyz)方向の加速度を測定する。加速度センサ120は、各軸方向の加速度の測定結果に基づいて、各軸方向の加速度の変化量Δaを演算する。加速度センサ120は、加速度の変化量Δaを演算すると、各軸方向の加速度の変化量Δaを示す検出データを生成し、その検出データを、CPU130に供給する。
In the present embodiment, the
なお、本実施形態では、加速度センサ120が各軸方向の加速度の変化量を演算する例について説明したが、CPU130が、加速度センサ120にて測定された加速度を示す加速度データを受け付け、その加速度データに示される加速度に基づいて、各軸方向の加速度の変化量Δaを演算するようにしてもよい。
In the present embodiment, the example in which the
カメラ部110は、動画を撮像して動画を形成する複数の画像データを生成する。また、カメラ部110は、複数の画像データのそれぞれが示す画像内の特徴点の位置を画像データごとに比較し、特徴点の位置のずれ量を算出して手ぶれ補正用の補正量を検出する。
The
カメラ部110は、イメージセンサ111と、DSP(Digital Signal Processing)112と、を備える。
The
イメージセンサ111は、一般的に撮像手段と呼ぶことができる。
イメージセンサ111は、動画を撮像して、その動画を形成する複数の画像データを1つずつ順番に出力する。
The
本実施形態では、イメージセンサ111は、不図示のレンズから、画像を示す光信号を受け付けると、その光信号を電気信号に変換して、画像を示す画像信号を生成する。イメージセンサ111は、画像信号を生成すると、その画像信号をデジタル信号に変換して画像データを生成する。イメージセンサ111は、画像データを生成すると、その画像データを1つずつ順番に、DSP112に供給する。
In the present embodiment, when receiving an optical signal indicating an image from a lens (not shown), the
DSP112は、一般的に第2検出手段と呼ぶことができる。 The DSP 112 can be generally referred to as second detection means.
DSP112は、画像データが示す画像から、その画像の特徴点を抽出する。DSP112は、動画を形成する複数の画像データのうちの基準画像データが示す画像内の特徴点の位置と、その複数の画像データのうち基準画像データの後にイメージセンサ111から出力された補正候補画像データが示す画像内の特徴点の位置と、のずれ量を、手ぶれ補正用の補正量として検出する。ずれ量とは、本実施形態では、方向または大きさを表す量のことである。
The DSP 112 extracts feature points of the image from the image indicated by the image data. The DSP 112 detects the position of the feature point in the image indicated by the reference image data among the plurality of image data forming the moving image, and the correction candidate image output from the
本実施形態では、DSP112は、イメージセンサ111から画像データを受け付けると、画像データが示す画像から、その画像内の特徴点を抽出する。
In this embodiment, when the DSP 112 receives image data from the
DSP112は、例えば、イメージセンサ111から画像データを受け付けるたびに、その受け付けた画像データ(補正候補画像データ)が示す画像内の特徴点の位置と、直前に受け付けた画像データ(基準画像データ)が示す画像内の特徴点に位置と、の間の変位量(ずれ量)を手ぶれ補正用の補正量として検出する。
For example, whenever the DSP 112 receives image data from the
DSP112は、手ぶれ補正用の補正量を検出すると、その補正量を示す補正情報を生成する。DSP112は、その補正情報と補正候補画像データとを、CPU130に供給する。
When the DSP 112 detects a correction amount for camera shake correction, the DSP 112 generates correction information indicating the correction amount. The DSP 112 supplies the correction information and the correction candidate image data to the
なお、本実施形態では、DSP112が、手ぶれ補正用の補正量を検出する例について説明したが、CPU130が、DSP112から補正候補画像データを受け付け、CPU130が、その補正候補画像データが示す画像内の特徴点の位置と、基準画像データが示す画像内の特徴点の位置とのずれ量を補正量として検出するようにしてもよい。
In this embodiment, an example in which the DSP 112 detects a correction amount for camera shake correction has been described. However, the
CPU130は、一般的に補正手段と呼ぶことができる。
CPU130は、イメージセンサ111が補正候補画像データを出力している間、加速度センサ120にて測定された加速度に基づいて、手ぶれ状態か否かを判定する。CPU130は、手ぶれ状態と判定した場合には、DSP112が検出した補正量に基づいて、補正候補画像データに手ぶれ補正処理を行う。一方、CPU130は、手ぶれ状態でないと判定した場合には、補正候補画像データに手ぶれ補正処理を行わない。
The
具体的には、CPU130は、手ぶれ状態か否かを判定するための所定の閾値を有し、イメージセンサ111が補正候補画像データを出力している間、加速度センサ120が測定した変化量が所定の閾値を超える場合には、DSP112が検出した補正量に基づいて、補正候補画像データに手ぶれ補正処理を行い、変化量が所定の閾値を超えない場合には、補正候補画像データに手ぶれ補正処理を行わない。所定の閾値として、例えば、予め定められた値が用いられる。本実施形態では、所定の閾値は、以下、検出閾値と称される。
Specifically, the
本実施形態では、CPU130は、加速度センサ120から検出データを受け付ける。また、CPU130は、DSP112から、補正候補画像データと補正情報とを受け付ける。
In the present embodiment, the
CPU130は、イメージセンサ111が補正候補画像データを出力している間、加速度センサ120から、3軸方向の加速度の変化量Δaを示す検出データを受け付けると、その検出データに示される変化量Δaのうち少なくとも1つの変化量が、検出閾値を超えるか否かを判断する。
When the
CPU130は、検出データに示された変化量Δaが、検出閾値を超える場合には、撮像者の手ぶれ、または撮像者の動きに起因する手ぶれ状態と判定し、その検出データに示された変化量Δaが測定された際に撮像された画像を示す補正候補画像データとその補正情報とをDSP112から受け付ける。CPU130は、補正候補画像データとその補正情報とを受け付けると、その補正情報に示される補正量に基づいて、補正候補画像データに手ぶれ補正処理を行う。
When the change amount Δa indicated in the detection data exceeds the detection threshold, the
例えば、CPU130は、基準画像データが示す画像内の特徴点の位置に、補正候補画像データが示す画像内の特徴点の位置を合わせるように、補正候補画像データが示す画像を上下または左右に移動させて、補正候補画像データに手ぶれ補正処理を行う。
For example, the
一方、CPU130は、検出データに示される変化量Δaが、検出閾値を超えない場合には、手ぶれ状態ではないと判定し、補正候補画像データに手ぶれ補正処理を行わない。
On the other hand, if the change amount Δa indicated in the detection data does not exceed the detection threshold, the
図2は、携帯装置100の手ぶれ補正方法の処理手順例を示すフローチャートである。
FIG. 2 is a flowchart illustrating an example of a processing procedure of the camera shake correction method of the
まず、携帯装置100の有するカメラ機能が、有効(ON)に設定される(ステップS11)。カメラ機能が有効に設定されると、携帯装置100はカメラ部110を起動し、その後カメラ機能の中から動画モードが選択される(ステップS12)。
First, the camera function of the
動画モードが選択されると、カメラ部110は動画の撮像を開始する(ステップS13)とともに、携帯装置100は加速度センサ120を起動する(ステップS14)。
When the moving image mode is selected, the
具体的には、動画モードが選択されると、イメージセンサ111が、動画を撮像して複数の画像データを1つずつ順番に出力する。そして、DSP112が、複数の画像データのうちの基準画像データが示す画像内の特徴点の位置と、その複数の画像データのうち基準画像データの後にイメージセンサ111から出力された補正候補画像データが示す画像内の特徴点の位置とのずれ量を、補正候補画像データの補正量として検出する。DSP112は、補正候補画像データの補正量を検出すると、その補正量を示す補正情報を生成し、その補正情報と補正候補画像データとを、CPU130に供給する。また、加速度センサ120は、携帯装置100の加速度を測定して測定結果に基づいて変化量Δaを演算し、変化量Δaを示す検出データを、CPU130に供給する。
Specifically, when the moving image mode is selected, the
CPU130は、イメージセンサが補正候補画像データを出力している間、加速度センサ120から検出データを受け付けると、その検出データに示された変化量Δaが、検出閾値を超えるか否かを判断する(ステップS15)。
When the
CPU130は、検出データに示される変化量Δaが、検出閾値を超える場合には、撮像者の手ぶれ、または撮像者の動きに起因する手ぶれ状態と判定し、その変化量Δaの測定時にイメージセンサ111が撮像した画像を示す補正候補画像データとその補正情報とを受け付け、補正情報に示される補正量に基づいて、補正候補画像データに手ぶれ補正処理を行う(ステップS16)。
When the change amount Δa indicated in the detection data exceeds the detection threshold, the
一方、CPU130は、検出データに示される変化量Δaが、検出閾値を超えない場合には、手ぶれ状態ではないと判定し、補正候補画像データに手ぶれ補正処理を行わない(ステップS18)。
On the other hand, when the change amount Δa indicated in the detection data does not exceed the detection threshold, the
CPU130は、カメラ機能が無効(OFF)に設定されるまでの間、イメージセンサ111から出力される画像データごとに、ステップS15ないしS18の処理を繰り返し実行し、カメラ機能が無効(OFF)に設定されると、手ぶれ補正方法の一連の処理手順が終了する(ステップS17)。
Until the camera function is set to invalid (OFF), the
図3は、手ぶれ補正処理と加速度の変化量との関係を例示する図である。 FIG. 3 is a diagram illustrating the relationship between the camera shake correction process and the amount of change in acceleration.
図3には、加速度センサ120が測定した変化量Δaと、手ぶれ補正処理の実行の有無と、が示されている。図3では、横軸が時間軸であり、縦軸は3軸の加速度の変化量のうちいずれか1つの変化量Δaである。
FIG. 3 shows the amount of change Δa measured by the
図3に示すように、携帯装置100は、変化量Δaが、検出閾値を超える場合には、手ぶれ補正処理を実行し、変化量Δaが、検出閾値を超えない場合には、手ぶれ補正処理を実行しない。
As illustrated in FIG. 3, the
本実施形態によれば、携帯装置100は、携帯装置100自身の加速度を測定する加速度センサ120を有し、イメージセンサ111は、動画を撮像して動画を形成する複数の画像データを1つずつ順番に出力し、DSP112は、複数の画像データのうちの基準画像データが示す画像内の特徴点の位置と、複数の画像データのうち基準画像データの後にイメージセンサ111から出力された補正候補画像データが示す画像内の特徴点の位置と、のずれ量を手ぶれ補正用の補正量として検出する。CPU130は、イメージセンサ111が補正候補画像データを出力している間、加速度センサ120にて測定された加速度に基づいて手ぶれ状態か否かを判定し、手ぶれ状態と判定した場合には、DSP112が検出した補正量に基づいて、補正候補画像データに手ぶれ補正処理を行い、手ぶれ状態でないと判定した場合には、補正候補画像データに手ぶれ補正処理を行わない。
According to the present embodiment, the
このため、携帯装置100は、加速度センサ120を用いて手ぶれ状態か否かを判定し、手ぶれ状態と判定すると、DSP112が検出した補正量に基づいて、手ぶれ補正処理を行う。
For this reason, the
一般に、加速度センサを用いて、手ぶれ状態を検出して手ぶれ補正用の補正量を算出する携帯装置において、手ぶれ補正処理を適切に行うには、加速度センサにて手ぶれによる動きの大きさ、および手ぶれの方向の測定が行われ、その測定結果を用いて手ぶれ補正用の補正量が算出されなければならない。よって、手ぶれ補正処理を適切に行うには、測定精度の高い加速度センサを用いて複雑な処理を行って補正量を算出する必要がある。さらに、測定精度の高い加速度センサは、高価でサイズの大きなものになり易く、携帯電話機などに搭載するのは困難である。 In general, in a portable device that uses an acceleration sensor to detect a camera shake state and calculates a correction amount for camera shake correction, in order to appropriately perform the camera shake correction process, the magnitude of the movement caused by the camera shake and the camera shake In this direction, a correction amount for correcting camera shake must be calculated using the measurement result. Therefore, in order to appropriately perform the camera shake correction process, it is necessary to calculate a correction amount by performing a complicated process using an acceleration sensor with high measurement accuracy. Furthermore, an acceleration sensor with high measurement accuracy is likely to be expensive and large in size, and is difficult to mount on a mobile phone or the like.
一方、携帯装置100は、基準画像データが示す画像内の特徴点の位置と、補正候補画像データが示す画像内の特徴点の位置とのずれ量を、手ぶれ補正用の補正量として検出する。したがって、加速度センサ120は、手ぶれ状態か否かの判定を行うために必要な測定精度を少なくとも有していればよく、手ぶれによる動きの方向を検出する必要がないので、複雑な処理を行う必要がない。このため、携帯装置100は、測定精度の高くない加速度センサ120が設けられた状況でも、簡易な処理により、適切に手ぶれ補正処理を行うことが可能である。
On the other hand, the
よって、携帯装置100は、携帯電話機などに一般に搭載されている加速度センサの測定精度で実現することが可能である。このため、動画を撮像する機能を有する携帯電話機に本実施形態を適用することにより、その携帯電話機の構成を変更することなく、簡易な処理により、適切な手ぶれ補正処理を行うことが可能となる。
Therefore, the
また、複数のフレームの相関関係から、手ぶれを検出して手ぶれ補正用の補正量を算出する携帯装置では、画面内を電車が通り抜けるシーンを示す動画を撮像すると、撮像した電車の動きを手ぶれと誤検出してしまう場合がある。よって、手ぶれに起因しない画像内の物体の動きを、手ぶれによる動きとして誤って検出して手ぶれ補正処理を行ってしまう場合がある。また、同じ模様が繰り返される壁が撮像されると、互いに異なる場所に位置する模様同士の特徴点の位置の相違を、手ぶれによるずれ量として検出しまうこともある。 In addition, in a mobile device that detects camera shake from the correlation of a plurality of frames and calculates a correction amount for camera shake correction, when a moving image showing a scene where a train passes through the screen is captured, the movement of the captured train is There is a case where it is erroneously detected. Therefore, there is a case where the motion of the object in the image not caused by the camera shake is erroneously detected as the motion caused by the camera shake and the camera shake correction process is performed. In addition, when a wall in which the same pattern is repeated is imaged, a difference in position of feature points between patterns located at different locations may be detected as a shift amount due to camera shake.
一方、携帯装置100は、加速度センサ120を用いて、携帯装置100自体の動きを検出するため、画像内を移動する移動体の動きを、手ぶれによる動きとして誤って検出することはない。よって、携帯装置100は、撮像した移動体の動きを手ぶれによる動きと誤って検出することを抑制することができ、適切に手ぶれ補正処理を行うことが可能となる。
On the other hand, since the
このため、本実施形態では、携帯装置100は、簡易な処理により、適切に手ぶれ補正処理を行うことができる。
For this reason, in this embodiment, the
また、本実施形態では、加速度センサ120が、携帯装置100の加速度の変化量を測定し、CPU130は、加速度センサ120の測定した変化量が、所定の閾値を超える場合には、DSP112が検出した変位に基づいて、補正候補画像を示す画像データに手ぶれ補正処理を行い、変化量が所定の閾値を超えない場合には、補正候補画像を示す画像データに手ぶれ補正処理を行わない。
In the present embodiment, the
携帯装置100では、加速度センサ120の測定結果を用いて手ぶれ方向を特定することが不要であり、加速度の大きさではなく加速度の変化量が検出できればよいため、簡易な処理により、手ぶれ状態か否かの判定を行うことが可能となる。例えば、重力方向には一定の加速度が発生するが、加速度の変化量を扱う場合には重力による加速度を補正するような処理は必要ない。
In the
また、本実施形態では、加速度センサ120が、互いに直交する3軸方向の加速度の変化量を測定する。CPU130は、3軸方向の加速度の変化量のうち少なくとも1つの変化量が、所定の閾値を超える場合には、DSP112が検出した補正量に基づいて、補正候補画像データに手ぶれ補正処理を行い、少なくとも1つの変化量が、所定の閾値を超えない場合には、補正候補画像データに手ぶれ補正処理を行わない。
In the present embodiment, the
このため、携帯装置100は、互いに直交する3軸の加速度の変化量を測定することによって、携帯装置100の手ぶれによる動きを詳細に判定することができ、より適切に手ぶれ補正処理を画像データに行うことが可能となる。
Therefore, the
また、本実施形態では、携帯装置100は、加速度センサ120が測定した変化量と、DSP112が検出した補正量とに基づいて、手ぶれ補正処理の要否を判定してもよい。例えば、CPU130は、加速度センサ120が測定した3軸方向の変化量に基づいて、手ぶれに起因する画像内の特徴点の位置の変位を演算し、その演算結果とDSP112が検出した補正量とが一致するか否かを判定する。具体的には、演算結果とDSP112が検出した補正量との相関度を算出し、その相関度が特定の閾値を超えるか否かを判定する。
In the present embodiment, the
CPU130は、演算結果とDSP112が検出した補正量とが一致する場合には、DSP112が検出した補正量に基づいて、補正候補画像データに手ぶれ補正処理を行う。一方、CPU130は、演算結果とDSP112が検出した補正量とが一致しない場合には、補正候補画像データに手ぶれ補正処理を行わない。
When the calculation result matches the correction amount detected by the
このため、携帯装置100は、手ぶれ補正処理をさらに精度良く行うことが可能となる。
For this reason, the
以上説明した実施形態において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。 In the embodiment described above, the illustrated configuration is merely an example, and the present invention is not limited to the configuration.
100 携帯装置
110 カメラ部
111 イメージセンサ
112 DSP
120 加速度センサ
130 CPU
DESCRIPTION OF
120
Claims (5)
前記携帯装置の加速度を測定する第1検出手段と、
前記動画を撮像して当該動画を形成する複数の画像データを1つずつ順番に出力する撮像手段と、
前記画像データが示す画像から当該画像の特徴点を抽出し、前記複数の画像データのうちの基準画像データが示す画像内の特徴点の位置と、前記複数の画像データのうち前記基準画像データの後に出力された補正候補画像データが示す画像内の特徴点の位置と、のずれ量を手ぶれ補正用の補正量として検出する第2検出手段と、
前記撮像手段が前記補正候補画像データを出力している間、前記第1検出手段にて測定された加速度に基づいて手ぶれ状態か否かを判定し、手ぶれ状態と判定した場合には前記第2検出手段が検出した補正量に基づいて、前記補正候補画像データに手ぶれ補正処理を行い、手ぶれ状態でないと判定した場合には前記補正候補画像データに前記手ぶれ補正処理を行わない補正手段と、を含む携帯装置。 A portable device having a function of capturing a moving image,
First detecting means for measuring acceleration of the portable device;
Imaging means for imaging the moving image and outputting a plurality of pieces of image data forming the moving image one by one;
The feature point of the image is extracted from the image indicated by the image data, the position of the feature point in the image indicated by the reference image data of the plurality of image data, and the reference image data of the plurality of image data Second detection means for detecting a shift amount of the position of the feature point in the image indicated by the correction candidate image data output later and a correction amount for camera shake correction;
While the imaging means is outputting the correction candidate image data, it is determined whether or not the camera shake state is based on the acceleration measured by the first detection means. Based on the correction amount detected by the detection means, the correction candidate image data is subjected to camera shake correction processing, and when it is determined that the camera shake state is not detected, the correction means does not perform the camera shake correction processing on the correction candidate image data. Including portable devices.
前記第1検出手段は、前記携帯装置の加速度の変化量を測定し、
前記補正手段は、手ぶれ状態か否かを判定するための所定の閾値を有し、前記撮像手段が前記補正候補画像データを出力している間、前記第1検出手段が測定した変化量が前記所定の閾値を超える場合には前記第2検出手段が検出した補正量に基づいて、前記補正候補画像データに前記手ぶれ補正処理を行い、前記変化量が前記所定の閾値を超えない場合には前記補正候補画像データに前記手ぶれ補正処理を行わない、携帯装置。 The portable device according to claim 1,
The first detection means measures an amount of change in acceleration of the portable device,
The correction unit has a predetermined threshold value for determining whether or not the camera is shaken, and the amount of change measured by the first detection unit while the imaging unit outputs the correction candidate image data is When the predetermined threshold value is exceeded, the camera shake correction process is performed on the correction candidate image data based on the correction amount detected by the second detection unit, and when the change amount does not exceed the predetermined threshold value, A portable device that does not perform the camera shake correction process on correction candidate image data.
前記第1検出手段は、互いに直交する3軸方向の加速度の変化量を測定し、
前記補正手段は、前記撮像手段が前記補正候補画像データを出力している間、前記3軸方向の加速度の変化量のうち少なくとも1つの変化量が前記所定の閾値を超える場合には前記第2検出手段が検出した補正量に基づいて、前記補正候補画像データに前記手ぶれ補正処理を行い、前記少なくとも1つの変化量が前記所定の閾値を超えない場合には前記補正候補画像データに前記手ぶれ補正処理を行わない、携帯装置。 The portable device according to claim 2, wherein
The first detection means measures the amount of change in acceleration in three axial directions orthogonal to each other,
The correction means is configured to change the second value when at least one change amount among the change amounts of acceleration in the three-axis directions exceeds the predetermined threshold while the imaging means outputs the correction candidate image data. Based on the correction amount detected by the detection means, the camera shake correction process is performed on the correction candidate image data, and when the at least one change amount does not exceed the predetermined threshold, the camera shake correction is performed on the correction candidate image data. A portable device that does not perform processing.
前記携帯装置の加速度の測定を行う第1検出ステップと、
前記動画を撮像して当該動画を形成する複数の画像データを1つずつ順番に出力する撮像ステップと、
前記画像データが示す画像から当該画像の特徴点を抽出し、前記複数の画像データのうちの基準画像データが示す画像内の特徴点の位置と、前記複数の画像データのうち前記基準画像データの後に出力された補正候補画像データが示す画像内の特徴点の位置と、のずれ量を手ぶれ補正用の補正量として検出する第2検出ステップと、
前記撮像ステップにて前記補正候補画像データが出力されている間、前記第1検出ステップにて測定された加速度に基づいて手ぶれ状態か否かを判定し、手ぶれ状態と判定した場合には前記第2検出ステップにて検出された補正量に基づいて、前記補正候補画像データに手ぶれ補正処理を行い、手ぶれ状態でないと判定した場合には前記補正候補画像データに前記手ぶれ補正処理を行わない補正ステップと、を含む手ぶれ補正方法。 A camera shake correction method for a portable device having a function of capturing a moving image,
A first detection step for measuring acceleration of the portable device;
An imaging step of imaging the moving image and sequentially outputting a plurality of image data forming the moving image one by one;
The feature point of the image is extracted from the image indicated by the image data, the position of the feature point in the image indicated by the reference image data of the plurality of image data, and the reference image data of the plurality of image data A second detection step of detecting a shift amount of the feature point in the image indicated by the correction candidate image data output later and a correction amount for camera shake correction;
While the correction candidate image data is output in the imaging step, it is determined whether or not the camera shake state is based on the acceleration measured in the first detection step. A correction step in which the camera shake correction process is performed on the correction candidate image data based on the correction amount detected in the two detection step, and the camera shake correction process is not performed on the correction candidate image data when it is determined that the camera shake state is not present. And a method for correcting camera shake.
前記携帯装置は、手ぶれ状態か否かを判定するための所定の閾値を有し、
前記第1検出ステップでは、前記携帯装置の加速度の変化量を測定し、
前記補正ステップでは、前記撮像ステップにて前記補正候補画像データが出力されている間、前記第1検出ステップにて測定された変化量が前記所定の閾値を超える場合には前記第2検出ステップにて検出された補正量に基づいて、前記補正候補画像データに前記手ぶれ補正処理を行い、前記変化量が前記所定の閾値を超えない場合には前記補正候補画像データに前記手ぶれ補正処理を行わない、手ぶれ補正方法。 The camera shake correction method according to claim 4,
The portable device has a predetermined threshold for determining whether or not it is in a camera shake state,
In the first detection step, an amount of change in acceleration of the portable device is measured,
In the correction step, when the amount of change measured in the first detection step exceeds the predetermined threshold while the correction candidate image data is output in the imaging step, the second detection step is performed. Based on the correction amount detected in this way, the camera shake correction process is performed on the correction candidate image data, and when the change amount does not exceed the predetermined threshold, the camera shake correction process is not performed on the correction candidate image data. , Image stabilization method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010190833A JP2012049871A (en) | 2010-08-27 | 2010-08-27 | Portable device and camera shake correction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010190833A JP2012049871A (en) | 2010-08-27 | 2010-08-27 | Portable device and camera shake correction method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012049871A true JP2012049871A (en) | 2012-03-08 |
Family
ID=45904223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010190833A Pending JP2012049871A (en) | 2010-08-27 | 2010-08-27 | Portable device and camera shake correction method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012049871A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015089060A (en) * | 2013-11-01 | 2015-05-07 | ソニー株式会社 | Information processing device, information processing method, and program |
CN112313576A (en) * | 2018-06-19 | 2021-02-02 | 杭州他若定位科技有限公司 | Camera mobile device support with stabilizing function |
-
2010
- 2010-08-27 JP JP2010190833A patent/JP2012049871A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015089060A (en) * | 2013-11-01 | 2015-05-07 | ソニー株式会社 | Information processing device, information processing method, and program |
US10609279B2 (en) | 2013-11-01 | 2020-03-31 | Sony Corporation | Image processing apparatus and information processing method for reducing a captured image based on an action state, transmitting the image depending on blur, and displaying related information |
CN112313576A (en) * | 2018-06-19 | 2021-02-02 | 杭州他若定位科技有限公司 | Camera mobile device support with stabilizing function |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6614810B2 (en) | Blur correction device, imaging device, and blur correction method | |
JP5917133B2 (en) | Anti-vibration control device, anti-vibration control method, optical device, imaging device | |
US8743221B2 (en) | Image capture apparatus and control method thereof | |
JP2006003439A5 (en) | ||
JP2014199964A (en) | Imaging apparatus and image processing apparatus | |
CN107545592A (en) | Dynamic camera is calibrated | |
WO2017075788A1 (en) | Anti-jitter photographing method and apparatus, and camera device | |
US9124806B1 (en) | Apparatus and method for correcting image | |
JP2017134177A (en) | Image tremor detection device and method, as well as imaging device | |
JP2017134177A5 (en) | ||
JP5977611B2 (en) | Blur amount detection device, imaging device, and blur amount detection method | |
US10979653B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
CN108260360B (en) | Scene depth calculation method and device and terminal | |
JP2012049871A (en) | Portable device and camera shake correction method | |
JP2014016451A (en) | Imaging device, method for calculating camera shake correction amount, and program for calculating camera shake correction amount | |
EP3647716A1 (en) | Imaging device | |
JP2015095670A (en) | Imaging apparatus, control method thereof and control program | |
JP2009186422A (en) | Azimuth angle measurement device and azimuth angle measurement method | |
JP5919485B2 (en) | Imaging device, detection device | |
JP6602089B2 (en) | Image processing apparatus and control method thereof | |
JP6996616B2 (en) | Information processing equipment, information processing methods, and programs | |
JP2012237884A (en) | Blur correction device and optical instrument | |
US10560631B2 (en) | Motion vector acquiring device, motion vector acquiring method, and storage medium | |
KR20180105215A (en) | Camera shooting control method and apparatus | |
CN114463401A (en) | Image processing method, image processing device, storage medium and electronic equipment |