JP2009273058A - Imaging device and imaging method - Google Patents
Imaging device and imaging method Download PDFInfo
- Publication number
- JP2009273058A JP2009273058A JP2008124006A JP2008124006A JP2009273058A JP 2009273058 A JP2009273058 A JP 2009273058A JP 2008124006 A JP2008124006 A JP 2008124006A JP 2008124006 A JP2008124006 A JP 2008124006A JP 2009273058 A JP2009273058 A JP 2009273058A
- Authority
- JP
- Japan
- Prior art keywords
- image
- time
- amount
- exposure
- division
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、ぶれが補正された画像を得ることが可能な撮像装置及びこのような撮像方法に関する。 The present invention relates to an imaging apparatus capable of obtaining an image in which blurring is corrected, and such an imaging method.
デジタルカメラ等の撮像装置において、特に長時間の撮影を行う場合に、撮影の間の撮影者の手ぶれや被写体の動きによって、撮像素子上に結像する被写体像にぶれを生じることが広く知られている。 In an imaging device such as a digital camera, it is widely known that, particularly when shooting for a long time, the subject image formed on the imaging device may be shaken due to camera shake or subject movement during shooting. ing.
ぶれを補正する手法の１つとして、複数回の連続した露光時間で時分割的に撮影を行い、それぞれの時分割撮影の結果として得られる複数の画像の相互のぶれを補正してから合成することにより、１枚のぶれが補正された画像を生成する手法が特許文献１や特許文献２等において提案されている。特許文献１では、露光開始からのぶれ量がぶれを許容可能な所定のぶれ量に達するまで露光を行って、撮像素子から画像信号を読み出して合成するという動作を繰り返し行い、これによってぶれの補正された画像を生成するようにしている。また、特許文献２では、ぶれを許容可能な所定の限界露光時間ＴＬｉｍｉｔよりも高速で、かつ露光時間Ｔｅｘｐのｍ（ｍは整数）分の１の時分割露光時間ΔＴｅｘｐを演算し、時分割露光時間でｍ回の時分割撮影を行い、時分割撮像部で撮影された画像をｍ倍に増幅し、ｍ倍に増幅された複数枚の時分割画像の相互のぶれを補正し、相互のぶれが補正された複数枚の時分割画像を合成するようにしている。
撮影画角が同じ条件のもとで３５ｍｍフィルムの撮影レンズの焦点距離に換算したときの撮影レンズの焦点距離ｆ[ｍｍ]の逆数の露光時間１／ｆ[ｓ]で撮影を行うと、ぶれが目立たないとされる。露光時間を短くすると画像信号のＳ／Ｎ比が低下するので、複数回の時分割撮影を行い相互のぶれを補正して加算するとＳ／Ｎ比が改善される。上記の特許文献１、２はこの原理を応用したものである。
If shooting is performed with an
しかしながら、ぶれが目立たないかどうかは、撮影した画像をプリント紙に引き伸ばして観察する場合のプリントサイズ、観察距離、人の視覚の分解能によって定まる許容錯乱円の大きさなどに依存するものである。このため、上記一般的にいわれている露光時間で撮影を行ったとしても十分とはいえない場合がある。 However, whether or not the blurring is noticeable depends on the print size, the observation distance, the size of the permissible circle of confusion determined by the human visual resolution, and the like when the photographed image is stretched and observed on the print paper. For this reason, it may not be sufficient even if shooting is performed with the exposure time generally referred to above.
ぶれ補正の性能を高める目的で露光時間を短くし過ぎると、時分割撮影の回数が多くなり消費電力の増大を招く。また、複数画像を加算すると画像信号のＳ／Ｎ比は改善するが、露光時間を短くし過ぎると、信号処理に伴う誤差が積算され最終的にＳ／Ｎ比の改善効果は期待したほど得られないことになる。この問題は、特許文献１、２等のように、撮像素子から画像信号を読み出してから増幅やＡ／Ｄ変換などの処理を行ってぶれを補正するシステムの場合に特に大きい。
If the exposure time is too short for the purpose of improving the performance of blur correction, the number of time-division shooting increases, resulting in an increase in power consumption. Further, when a plurality of images are added, the S / N ratio of the image signal is improved. However, if the exposure time is shortened too much, errors associated with the signal processing are integrated and the improvement effect of the S / N ratio is finally obtained as expected. It will not be possible. This problem is particularly serious in the case of a system that corrects blurring by performing processing such as amplification and A / D conversion after reading out an image signal from the image sensor as in
本発明は、上記の事情に鑑みてなされたものであり、電子的にぶれを補正するとともにぶれ補正によって画像のＳ／Ｎ比が低下するのを防止することが可能な撮像装置及びこのような撮像方法を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an imaging apparatus capable of correcting blurring electronically and preventing a reduction in the S / N ratio of an image due to blurring correction and such an imaging apparatus. An object is to provide an imaging method.
上記の目的を達成するために、本発明の第１の態様の撮像装置は、時分割撮影を行って得られた複数の画像の相互のぶれを補正した後に合成して、ぶれが低減された画像を生成する撮像装置において、上記時分割撮影における画像のぶれ量を検出するぶれ量検出部と、上記時分割撮影における露光時間と標準露光時間との比である露光量比を所定値と比較する判定部と、上記判定部により上記露光量比が上記所定値より小さいと判定されたときは、上記ぶれ量の大きさに係わらず上記露光量比が上記所定値以上になるように露光時間を制御し、上記判定部により上記露光量比が上記所定値以上と判定されたときは、上記時分割撮影における画像のぶれ量が許容量以下になるように上記露光時間を制御する露光時間制御部と、上記露光時間に従って被写体を時分割撮影して画像信号を生成する撮像部と、上記時分割撮影を複数回行って得られた複数の画像信号のそれぞれによって表される複数の画像の相互のぶれが補正されるように、上記複数の画像信号に対してぶれ補正を行った後に合成処理を行う画像処理部とを具備することを特徴とする。 In order to achieve the above object, the image pickup apparatus according to the first aspect of the present invention reduces blurring by correcting and then synthesizing a plurality of images obtained by performing time-division shooting. In an imaging device that generates an image, a blur amount detection unit that detects a blur amount of an image in the time-division shooting and an exposure amount ratio that is a ratio of an exposure time and a standard exposure time in the time-division shooting are compared with a predetermined value. An exposure time so that the exposure amount ratio is equal to or greater than the predetermined value regardless of the amount of blurring when the determination unit determines that the exposure amount ratio is smaller than the predetermined value. Exposure time control for controlling the exposure time so that the amount of blurring of the image in the time-division shooting is less than or equal to an allowable amount when the determination unit determines that the exposure amount ratio is equal to or greater than the predetermined value. According to the exposure time Mutual blurring of a plurality of images represented by each of an imaging unit that generates an image signal by time-division photographing of the subject and a plurality of image signals obtained by performing the time-division photographing a plurality of times is corrected. As described above, the image processing unit includes an image processing unit that performs composition processing after performing blur correction on the plurality of image signals.
上記の目的を達成するために、本発明の第２の態様の撮像方法は、時分割撮影を行って得られた複数の画像の相互のぶれを補正した後に合成してぶれが低減された画像を生成する撮像方法において、時分割撮影における露光時間と標準露光時間との比である露光量比を判定し、上記露光量比が所定値より小さいと判定されたときは、上記ぶれ量の大きさに係わらず上記露光量比が上記所定値以上になるように上記露光時間を制御し、上記露光量比が上記所定値以上と判定されたときは、上記時分割撮影のそれぞれにおける画像のぶれ量が許容量以下になるように露光時間を制御して時分割撮影を複数回行い、該複数回の時分割撮影で得られた複数の画像の相互のぶれを補正した後に合成することを特徴とする。 In order to achieve the above object, the imaging method according to the second aspect of the present invention is an image in which blurring is reduced by combining after correcting the mutual blurring of a plurality of images obtained by time-division shooting. In the imaging method for generating the exposure amount ratio, the exposure amount ratio that is the ratio of the exposure time and the standard exposure time in time-division shooting is determined, and when the exposure amount ratio is determined to be smaller than a predetermined value, the amount of blur is large. Regardless of this, the exposure time is controlled so that the exposure amount ratio is equal to or greater than the predetermined value, and when it is determined that the exposure amount ratio is equal to or greater than the predetermined value, image blurring in each of the time-division photographing is performed. The exposure time is controlled so that the amount is equal to or less than the allowable amount, and time-division shooting is performed a plurality of times, and the plurality of images obtained by the plurality of time-division shootings are corrected and then combined to be combined. And
本発明によれば、電子的にぶれを補正するとともに、ぶれ補正によって画像のＳ／Ｎ比が低下するのを防止することが可能な撮像装置及びこのような撮像方法を提供することができる。 According to the present invention, it is possible to provide an imaging apparatus and such an imaging method that can electronically correct blur and prevent a reduction in the S / N ratio of an image due to blur correction.
以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の一実施形態に係わる撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。図１に示すデジタルカメラは、撮影レンズ１と、レンズ駆動系２と、絞り３と、絞り駆動系４と、撮像素子５と、撮像素子ドライバ６と、タイミングジェネレータ（ＴＧ）回路７と、相関二重サンプリング（ＣＤＳ）回路８と、増幅回路９と、アナログ／デジタル（Ａ／Ｄ）変換部１０と、データバス１１と、内蔵メモリ１２と、画像処理部１３と、ＡＥ処理部１４と、ＡＦ処理部１５と、圧縮／伸張部１６と、着脱メモリ１７と、表示部１８と、不揮発性メモリ１９と、メインＣＰＵ２０と、入力部２１と、電源部２２と、サブＣＰＵ２３と、Ａ／Ｄ変換部２４と、角速度センサ２５、２６とを有している。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a configuration of a digital camera as an example of an imaging apparatus according to an embodiment of the present invention. A digital camera shown in FIG. 1 includes a photographing
撮影レンズ１は、被写体の光学像（被写体像）を撮像素子５の撮像面上に結像させるための光学系である。レンズ駆動系２は、撮影レンズ１に含まれるフォーカス調整用のレンズ等を駆動させるための駆動系である。レンズ駆動系２を介してフォーカス調整用のレンズを駆動することによって撮影レンズ１のフォーカス調整を行うことが可能である。また、撮影レンズ１がズームレンズである場合には、レンズ駆動系２によって撮影レンズ１を駆動することによってズーミングを行うことが可能である。
The photographing
絞り３は、撮影レンズ１を介して撮像素子５に入射する光の量を調整するために設けられている。絞り駆動系４は、絞り３を駆動させるための駆動系である。絞り駆動系４を介して絞り３を開閉することによって、撮像素子５への光の入射量が調整される。これにより、撮像素子５の露光量を制御することが可能である。
The
撮像素子５は、複数の画素が二次元状に配列されて構成される撮像面の前面に、異なる複数色の色フィルタセグメントが所定の周期配列（例えば、ベイヤー配列）をなして配置されて構成されている。この撮像素子５は、撮像面上に結像された被写体像を電気信号（画像信号）に変換する。撮像素子ドライバ６は、撮像素子５による撮像動作と撮像素子５の画素からの信号の読み出し動作とを実行させる。ＴＧ回路７は、撮像素子５、ＣＤＳ回路８、Ａ／Ｄ変換部１０の動作タイミングを決定するためのタイミング信号を撮像素子ドライバ６、ＣＤＳ回路８及びＡ／Ｄ変換部１０に供給する。
The
ＣＤＳ回路８は、ＴＧ回路７からのタイミング信号に従って、撮像素子５から出力される画像信号のＣＤＳ処理を行うことで、画像信号におけるノイズを除去する。増幅回路９は、ＣＤＳ回路８から出力される画像信号をメインＣＰＵ２０から指定される所定の増幅率で増幅する。Ａ／Ｄ変換部１０は、増幅回路９からアナログ信号として出力される画像信号をデジタル信号（画像データ）に変換する。
The
データバス１１は、デジタルカメラ内部で発生した各種データをデジタルカメラ内の各部に転送するための転送路である。内蔵メモリ１２は、Ａ／Ｄ変換部１０において得られた画像データや、画像処理部１３、圧縮／伸張部１６において処理された画像データ等の各種データが一時的に記憶される記憶部である。
The
画像処理部１３は、同時化処理、ホワイトバランス補正処理、ＹＣ分離処理、色変換処理、階調変換処理等の画像処理を施す。また、画像処理部１３は、画像合成部１３ａを有している。画像合成部１３ａは、後述する時分割撮影時によって得られる複数の画像データの相互のぶれを補正するとともに、ぶれを補正したそれぞれの画像を合成して１枚のぶれのない画像を生成する。
The
ＡＥ処理部１４は、被写体の輝度を測定するための測光処理を行う。なお、被写体の輝度は専用のセンサを用いて検出するようにしても良いし、画像データから検出するようにしても良い。ＡＦ処理部１５は、デジタルカメラから被写体までの距離を測定する。被写体距離は、専用のセンサの出力に基づいて検出するようにしても良いし、フォーカス調整時の撮影レンズ１の繰り出し量から算出するようにしても良い。
The
圧縮／伸張部１６は、画像データの記録時には、画像処理部１３で処理された画像データをＪＰＥＧ圧縮方式等の所定の圧縮方式に従って圧縮する。また、画像データの再生時には、圧縮／伸張部１６は、着脱メモリ１７に記録された圧縮画像データを読み出して伸張する。
When recording the image data, the compression /
着脱メモリ１７は、デジタルカメラ本体に着脱可能なメモリからなる記録媒体であり、圧縮／伸張部１６で圧縮された画像データ等が記録される。図１では、着脱メモリ１７を圧縮画像データの記録用の記録媒体としているが、必ずしも着脱可能なメモリを記録媒体として用いなくとも良い。
The
表示部１８は、例えば液晶ディスプレイ（ＬＣＤ）であり、画像処理部１３で処理された画像データ等に基づき、各種の画像を表示する。
The
不揮発性メモリ１９は、図１のデジタルカメラの動作に必要な各種パラメータやメインＣＰＵ２０及びサブＣＰＵ２３にて実行する各種プログラムを記憶している。メインＣＰＵ２０は、デジタルカメラ本体の各種シーケンスを統括的に制御する。このメインＣＰＵ２０は、不揮発性メモリ１９に記憶されているプログラムに従い、また不揮発性メモリ１９から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。さらに、メインＣＰＵ２０は、露光時間等を計時するためのタイマカウンタ２０ａを有している。
The
入力部２１は、レリーズボタン２１ａ及び画質入力ボタン２１ｂ等を含む操作部材である。ユーザによって入力部２１の何れかの操作部材が操作されることにより、メインＣＰＵ２０は、ユーザの操作に応じた各種シーケンスを実行する。レリーズボタン２１ａは、第１レリーズスイッチと第２レリーズスイッチの２段スイッチを有して構成されている。レリーズボタン２１ａが半押しされて第１レリーズスイッチが閉じた場合に、メインＣＰＵ２０は、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを行う。また、レリーズボタン２１ａが全押しされて第２レリーズスイッチが閉じた場合に、メインＣＰＵ２０は撮影シーケンスを実行して撮影を行う。画質入力ボタン２１ｂは、例えば十字キー等の操作部材である。この画質入力ボタン２１ｂによって、着脱メモリ１７に記録される圧縮画像データの画質（画像サイズ、圧縮率）を設定することが可能である。
The
電源部２２は、図１に示すデジタルカメラの電源である。メインＣＰＵ２０は、電源部２２より供給される電源を図１に示す各ブロックに供給する。
The
サブＣＰＵ２３は、ぶれ補正に関するシーケンスを統括的に制御する。Ａ／Ｄ変換部２４は、角速度センサ２５、２６からアナログ信号として出力されるぶれ信号（角速度信号）をデジタル信号に変換してサブＣＰＵ２３に出力する。角速度センサ２５は、図１に示すデジタルカメラのＸ軸回りの回転角θｘの単位時間当たりの変化量である角速度を検出するための角速度センサである。角速度センサ２６は、図１に示すデジタルカメラのＹ軸回りの回転角θｙの単位時間当たりの変化量である角速度を検出するためのものである。
The
ここで、図２を参照して角速度センサ２５、２６についてさらに説明する。図２は、デジタルカメラに設定した座標軸と２つの角速度センサ２５、２６の配置との関係を示す図である。
Here, the
図２において、ある時刻における、撮影レンズ１の光軸Ｏに沿った方向にＺ軸を設定する。また、Ｚ軸に垂直な平面上で且つ被写体側からデジタルカメラ１００を見たときの左右方向にＸ軸を設定する。さらに、Ｚ軸とＸ軸との交点を通り且つ被写体側からデジタルカメラ１００を見たときの上下方向にＹ軸を設定する。なお、Ｚ軸の正方向は被写体側とする。また、Ｘ軸の正方向は被写体側からデジタルカメラ１００を見たときの右方向とする。さらに、Ｙ軸の正方向は上方向とする。なお、ある時刻においては、図２に示すように、撮影レンズ１の光軸ＯとＺ軸とは一致しているが、別の時刻においてぶれが発生した場合には、撮影レンズ１の光軸Ｏは一般にＺ軸とは一致しない。
In FIG. 2, the Z axis is set in a direction along the optical axis O of the photographing
以上のように設定したＸ軸、Ｙ軸、Ｚ軸周りの回転角を、それぞれθｘ、θｙ、θｚとする。図２に示すように、２つの角速度センサ２５、２６は、Ｘ軸、Ｙ軸、Ｚ軸に関連した配置となるように設けられている。
The rotation angles around the X, Y, and Z axes set as described above are θx, θy, and θz, respectively. As shown in FIG. 2, the two
以下、図１に示すデジタルカメラの動作について説明する。図３は本実施形態の撮像方法を含むデジタルカメラの撮影動作の流れを示すフローチャートである。 Hereinafter, the operation of the digital camera shown in FIG. 1 will be described. FIG. 3 is a flowchart showing a flow of photographing operation of the digital camera including the imaging method of the present embodiment.
まず、メインＣＰＵ２０は、レリーズボタン２１ａが半押しされて第１レリーズスイッチが閉じたか否かを判定する（ステップＳ１０１）。ステップＳ１０１の判定において、第１レリーズスイッチが閉じるまでメインＣＰＵ２０は、ステップＳ１０１の判定を継続する。一方、ステップＳ１０１の判定において、第１レリーズスイッチが閉じていれば、メインＣＰＵ２０は、ＡＥ処理部１４による測光処理（被写体輝度の測定）を実行する（ステップＳ１０２）。その後、メインＣＰＵ２０は、ＡＥ処理部１４における測光結果に基づいて、アペックス演算により露光時間（Ｔｅｘｐ）を演算する（ステップＳ１０３）。ここで、露光時間Ｔｅｘｐは、通常撮影における露光時間（以下「標準露光時間」とよぶ）である。この標準露光時間Ｔｅｘｐは、後述する複数の時分割撮影の合成露光時間とほぼ等しい。次に、メインＣＰＵ２０は、ＡＦ処理部１５の出力に基づいて、撮影レンズ１のフォーカスを調整する（ステップＳ１０４）。なお、このときにメインＣＰＵ２０は、ＡＦ処理部１５で演算される被写体距離を保持しておく。
First, the
次に、メインＣＰＵ２０は、レリーズボタン２１ａが全押しされて第２レリーズスイッチが閉じたか否かを判定する（ステップＳ１０５）。ステップＳ１０５の判定において、第２レリーズスイッチが閉じていなければ処理がステップＳ１０２に戻る。この場合に、メインＣＰＵ２０はＡＥ処理部１４による測光を再び実行する。一方、ステップＳ１０５の判定において、第２レリーズスイッチが閉じていれば、メインＣＰＵ２０は、ＴＧ回路７を介して撮像素子５の露光を開始させる（ステップＳ１０６）。これにより、撮像素子５の各画素において被写体像に応じた電荷の蓄積が開始される。
Next, the
また、第２レリーズスイッチが閉じた後は、図３の処理とは独立にぶれ量の演算が行われる。ステップＳ１０６以降の処理においては、ぶれ量演算の処理が大きく係わってくるので、ここでぶれ量の演算について説明する。 Further, after the second release switch is closed, the amount of shake is calculated independently of the processing of FIG. In the processing after step S106, the shake amount calculation processing is greatly involved, and here, the shake amount calculation will be described.
第２レリーズスイッチが閉じた後、サブＣＰＵ２３は、角速度センサ２５、２６から各出力される検出信号を、それぞれＡ／Ｄ変換部２４によりデジタルデータとして取り込む。また、サブＣＰＵ２３は、メインＣＰＵ２０を介して撮影レンズ１の焦点距離ｆに関する情報を取得する（例えば、撮影レンズ１がズームレンズである場合には、メインＣＰＵ２０がレンズ駆動系２を介して情報の取得を行い、あるいは、撮影レンズ１が交換式のレンズ鏡筒である場合には通信接点等を介して情報の取得を行う）。さらに、サブＣＰＵ２３は、被写体距離情報をメインＣＰＵ２０から取得する。これら、焦点距離ｆの情報と被写体距離情報とは、後述するＸ方向のぶれ量の演算及びＹ方向のぶれ量の演算に用いられる。
After the second release switch is closed, the
次に、図４を参照して、ぶれ量とぶれ補正量との関係について説明する。
図４は、デジタルカメラ１００が回転角θｘだけぶれた場合の、撮像面上における被写体６３の像の移動状態を示す図である。
Next, the relationship between the shake amount and the shake correction amount will be described with reference to FIG.
FIG. 4 is a diagram illustrating a moving state of the image of the subject 63 on the imaging surface when the
デジタルカメラ１００がぶれ等によって回転角θｘだけ回転したとすると、これに伴って撮影レンズ１が参照符号１’に示す位置まで回転して移動するとともに、撮像素子５の撮像面６１も角度θｘだけ傾いたＣ−Ｄ面の位置に移動する。また、ぶれが発生していないときには参照符号６２に示す位置にあった被写体６３の像が、回転角θｘのぶれが発生した後には、撮像面Ｃ−Ｄ上の参照符号６２’に示す位置に移動する。
Assuming that the
ここで、撮影レンズ１の焦点距離をｆ、ぶれが発生していないときの撮影レンズ１の物空間焦点から被写体６３までの距離をＬ、ぶれが発生していないときの撮影レンズ１の像空間焦点から像位置までの距離をＬ’、ぶれによる像位置の移動量をΔＹ、とそれぞれすると、図４に示すような幾何学的位置関係と、次の（式１）に示すニュートン（Newton）の結像公式
とを用いることにより、移動量ΔＹは、次の（式２）に示すように算出される。
ここで、（式２）におけるβは撮影倍率を示し、β＝ｆ／Ｌである。また、（式２）を算出するに当たっては、θｘが微小量であるとして、θｘの１次のオーダーまでの近似を行っている。また、（式２）における焦点距離ｆは、上述したように、メインＣＰＵ２０を介して取得され、撮影レンズ１のレンズ情報としてサブＣＰＵ２３に入力される。さらに、βを算出するために必要な被写体距離Ｌは、ＡＦ処理部１５から取得することができる。さらに、回転角θｘは、角速度センサ２５からの出力に基づいて算出することができる。
Here, β in (Equation 2) indicates the photographing magnification, and β = f / L. In calculating (Expression 2), it is assumed that θx is a minute amount, and approximation to the first order of θx is performed. Further, as described above, the focal length f in (Expression 2) is acquired via the
（式２）に基づいて得られる移動量ΔＹに係る実質的な補正を行うことにより、デジタルカメラにぶれが発生したとしても、撮像素子５を介して出力される画像信号に係る画像にはぶれの影響が生じないようにすることができる。
Even if blurring occurs in the digital camera by performing substantial correction related to the movement amount ΔY obtained based on (Expression 2), the image related to the image signal output via the
なお、上述したように、角度θｘは微小量であるために、図４に示すように撮像面Ｃ−ＤがＸ軸周りにＹ軸に対して角度θｘだけ傾いても、撮像面の傾きにより生じる像への影響は、上述した移動量ΔＹ以外には問題になることはない。 As described above, since the angle θx is a minute amount, even if the imaging surface CD is inclined about the X axis by the angle θx around the X axis as shown in FIG. The effect on the generated image is not a problem other than the movement amount ΔY described above.
また、デジタルカメラ１００がＹ軸回りに回転角θｙだけ回転したときの像位置の移動量ΔＸも、（式２）と同様に、次の（式３）に示すように求められる。
ここで、（式２）の両辺を時間で微分することにより、次の（式４）が得られる。
（式４）の右辺ｄ（θｘ）／ｄｔは、Ｘ軸周りの角速度そのものであるために、角速度センサ２５の出力をそのまま用いることが可能である。また、（式４）の左辺ｄ（ΔＹ）／ｄｔは、ｄ（θｘ）／ｄｔの角速度が生じた場合のＹ軸方向の像移動速度Ｖｙとなる。
Since the right side d (θx) / dt of (Expression 4) is the angular velocity itself around the X axis, the output of the
同様に、Ｙ軸回りに回転角θｙだけぶれが発生したときのＸ軸方向の像位置の移動量ΔＸに関しても、（式３）の両辺を時間で微分することにより、次の（式５）が得られる。
（式５）の右辺ｄ（θｙ）／ｄｔは、Ｙ軸周りの角速度そのものであるために、角速度センサ２６の出力をそのまま用いることが可能である。また、（式５）の左辺ｄ（ΔＸ）／ｄｔは、ｄ（θｙ）／ｄｔの角速度が生じた場合のＸ軸方向の像移動速度Ｖｘとなる。
Since the right side d (θy) / dt of (Expression 5) is the angular velocity itself around the Y axis, the output of the
今、所定時間ΔＴ（ΔＴは、Ａ／Ｄ変換部２４の出力をデジタル信号に変換するサンプリング間隔である。このΔＴは、ぶれ限界露光時間ＴＬｉｍｉｔと同じか、またはそれよりも短い時間であることが望ましい）周期で検出した角速度センサ２５の出力ｄ（θｘ）／ｄｔが、ωｘ1、ωｘ2、ωｘ3、…、ωｘ(n-1)、ωｘnであったとすると、ｎ×ΔＴの時間が経過した後のＹ軸方向の像位置の移動量ΔＹは、次の（式６）に示すように与えられる。
同様に、所定時間ΔＴ毎に（所定時間ΔＴ周期で）検出した角速度センサ２６の出力ｄ（θｙ）／ｄｔが、ωｙ1、ωｙ2、ωｙ3、…、ωｙ(n-1)、ωｙnであったとすると、ｎ×ΔＴの時間が経過した後のＸ軸方向の像位置の移動量ΔＸは、次の（式７）に示すように与えられる。
以上のように、撮像素子５によって、ｎ×ΔＴの時間間隔で露光された複数の画像における像の移動量（即ちぶれ量）は、（式６）及び（式７）により計算することができる。したがって、これらの式により算出されたぶれ量ΔＸ、ΔＹに基づいて、それぞれの画像のぶれを補正するような画素電荷の移動を行ってから加算することにより、ぶれの補正された１つの画像を生成することが可能となる。
As described above, the image movement amount (that is, the blur amount) in a plurality of images exposed by the
図５は、サブＣＰＵ２３により移動量ΔＸ、ΔＹ等を算出する処理の流れを示すフローチャートである。上述したように、図５の処理は、レリーズボタン２１ａの半押しによって第２レリーズスイッチが閉じたときから露光が終了するまでの間、図３に示した処理とは独立な処理として実行されるようになっている。
FIG. 5 is a flowchart showing a flow of processing for calculating the movement amounts ΔX, ΔY and the like by the
図５の処理において、サブＣＰＵ２３は、第２レリーズスイッチが閉じたか否かを判定している（ステップＳ４０１）。そして、第２レリーズスイッチが閉じるまではステップＳ４０１の判定を繰り返し行う。
In the process of FIG. 5, the
ステップＳ４０１の判定において、第２レリーズスイッチが閉じた場合に、サブＣＰＵ２３は、撮影レンズ１の焦点距離ｆと被写体距離Ｌとを取得する（ステップＳ４０２）。これらの焦点距離ｆと被写体距離Ｌとは、例えば図５に示す処理の中において演算すれば良い。また、より高速なサイクルでぶれ量を演算するために、別途のプロセッサ等を用いて焦点距離ｆと被写体距離Ｌとを演算しておき、サブＣＰＵ２３はこの演算されたデータをステップＳ４０２において取得するようにすると良い。これにより、処理の高速化を図るとともに、実際のぶれに対してリアルタイムに追従することが可能となる。
If it is determined in step S401 that the second release switch is closed, the
次に、サブＣＰＵ２３は、Ａ／Ｄ変換部２４を介して角速度センサ２５、２６の出力を読み込むことにより、角速度ωｘ、ωｙを取得する（ステップＳ４０３）。その後、サブＣＰＵ２３は、取得した角速度ωｘ、ωｙを、前回取得した値までの角速度の累積加算値に加算することにより、今回検出した値までの角速度の累積加算値を演算する（ステップＳ４０４）。
Next, the
その後、サブＣＰＵ２３は、ステップＳ４０４で演算した累積加算値を、（式６）、（式７）にそれぞれ代入することにより、複数の時分割画像の内の最初の時分割画像の撮影終了時点からの像位置の移動量ΔＹ、ΔＸをそれぞれ算出する（ステップＳ４０５）。
After that, the
次に、サブＣＰＵ２３は、Ｐｘ＝「ΔＸ／Ｌｘ」と、Ｐｙ＝「ΔＹ／Ｌｙ」と、を演算する（ステップＳ４０６）。ここで、Ｌｘ、Ｌｙは画素のＸ方向、Ｙ方向のサイズをそれぞれ表し、「」は小数以下を四捨五入した整数値を意味するものとする。したがって、Ｐｘ、Ｐｙは、最初の時分割画像の撮影終了時点からの像位置の移動量ΔＸ、ΔＹを画素単位で表したものとなる。
Next, the
続いて、サブＣＰＵ２３は、Ｐｘ、Ｐｙを、各対応するメモリ〔Ｐｘ〕、〔Ｐｙ〕にそれぞれ記憶させる（ステップＳ４０７）。その後、サブＣＰＵ２３は、標準露光時間Ｔｅｘｐの露光が終了しているか否かを判定する（ステップＳ４０８）。ステップＳ４０８の判定において、露光が終了していない場合には処理がステップ４０３に戻る。この場合に、サブＣＰＵ２３は、角速度ωｘ、ωｙの取得以後の処理を繰り返す。一方、ステップＳ４０８において、露光が終了した場合に、サブＣＰＵ２３は、図５に示す処理を終了させる。
Subsequently, the
ここで、図３の説明に戻る。ステップＳ１０６において、撮像素子５の露光を開始させた後、メインＣＰＵ２０は、露光時間を計時するためのタイマカウンタ２０ａのカウントを開始させる（ステップＳ１０７）。次に、メインＣＰＵ２０は、変数の初期設定を行う。ここでは、後述する演算に必要な変数Ｐｘ０、Ｐｙ０を記憶するためのメモリ〔Ｐｘ０〕、〔Ｐｙ０〕にそれぞれ０を記憶させる。本実施形態においては、最初の時分割撮影の露光開始からの累積ぶれ量を求め、この累積ぶれ量から前回の時分割撮影による画像信号を読み出すまでの累積ぶれ量を減算することにより、それぞれの時分割撮影の露光時間内のぶれ量を求めている。変数Ｐｘ０、Ｐｙ０は、前回の時分割撮影による画像信号を読み出すまでのＸ方向、Ｙ方向の累積ぶれ量である。また、時分割撮影において、前回撮影した画像信号を撮像素子５から読み出すまでの露光時間Ｔｍ０を記憶するためのメモリ〔Ｔｍ０〕に０を記憶させる。また、時分割撮影の回数ｎを記憶するためのメモリ〔ｎ〕に０を記憶させる。さらに、増幅回路９の増幅率Ａを記憶するためのメモリ〔Ａ〕に１を記憶させる。
Returning to the description of FIG. In step S106, after the exposure of the
次に、メインＣＰＵ２０は、Ｐｘ−Ｐｘ０、Ｐｙ−Ｐｙ０を演算し、その演算結果をそれぞれメモリ〔Ｓｘ〕、〔Ｓｙ〕に記憶させる（ステップＳ１０９）。
Next, the
その後、メインＣＰＵ２０は、タイマカウンタ２０ａのカウント値Ｔｍ（Ｔｍは、最初の時分割撮影開始時刻（ステップＳ１０７の時刻とほぼ同じ）から最新の時分割画像信号の累積露光時間に等しい）から、増幅率設定処理（詳細は後述する）の中で設定した前回の画像信号読み出し前のタイマカウンタ２０ａの値Ｔｍ０（Ｔｍ０は最初の時分割撮影開始時刻から前回の時分割画像信号読み出しの時刻までの累積露光時間に等しい）を減算した時間Ｔｍ−Ｔｍ０（最新の時分割撮影における露光時間に等しい）を、ステップＳ１０３で演算した通常撮影における標準露光時間Ｔｅｘｐで除算した値（Ｔｍ−Ｔｍ０）／Ｔｅｘｐ（以下「露光量比」とよぶ）が、予め不揮発性メモリ１９に記憶された定数ｋ１より小さいか否かを判定する（ステップＳ１１０）。ここで、露光量比は撮像素子５の光電変換素子に光電荷が標準レベルに対してどれくらい蓄積されたかを示すものであり、この値が小さいほど画像信号のＳ／Ｎ比が低くなる。露光量比がｋ１よりも小さいときは画像信号のＳ／Ｎ比が許容できないレベルであることを意味する。この場合には、画像信号の読み出しが行われずに、ステップＳ１１１に分岐する。そして、メインＣＰＵ２０は、ＴｍがＴｅｘｐ以上か否かを判定する（ステップＳ１１１）。ステップＳ１１１の判定において、ＴｍがＴｅｘｐ以上のときは、ステップＳ１１６以降の画像信号の読み出し（後述する）を行う。後述することから明らかになるが、ステップＳ１１３以降の処理では、ぶれ量が所定量以上にならないと画像信号の読み出しが行われない。しかしながらぶれが発生していない場合にも画像信号の読み出しを行う必要がある。このため、ステップＳ１１１の判定を設けておき、ぶれが発生しなくとも、露光時間ＴｍがＴｅｘｐ以上となったら、画像信号を読み出すようにしている。したがって、本実施形態においては、標準露光時間内のぶれ量が許容量以下の場合は通常撮影と同じように撮影が行われることになる。また、ステップＳ１１１の判定において、Ｔｍ≧Ｔｅｘｐでないときには露光量が不足しているのでステップＳ１０９に戻って処理が繰り返される。
Thereafter, the
また、ステップＳ１１０の判定において、露光量比がｋ１よりも小さくないときは、露光量が画像信号のＳ／Ｎが許容レベルにある。この場合に、メインＣＰＵ２０は、Ｓｘが許容ぶれ量Ｓｘ０より大きいか、又はＳｙが許容ぶれ量Ｓｙ０よりも大きいかを判定する（ステップＳ１１２）。
In step S110, if the exposure amount ratio is not smaller than k1, the S / N of the image signal is at an allowable level. In this case, the
ここで、ステップＳ１１２の許容ぶれ量について説明する。まず、撮像面での長さで表したＸ方向およびＹ方向の許容ぶれ量をそれぞれＬｘ０、Ｌｙ０とする。そして例えば、２４×３６［ｍｍ］のサイズの撮像素子によって得られた画像を１８×２４［ｃｍ］（所謂６切判）のプリント紙に６倍の倍率で引き伸ばして４０［ｃｍ］の距離から観察したとする。視力１．０の人の視覚の２点識別分解能はおよそ１［分］とされているので、プリント紙に引き伸ばされた画像の許容錯乱円は、４０［ｃｍ］×１［分］×２π／（３６０×６０［分］）＝１１６［μｍ］となる。したがって、撮像素子の撮像面における許容錯乱円は１１６［μｍ］／６＝１９［μｍ］となる。本実施形態では、このような許容錯乱円の大きさに基づいて許容ぶれ量Ｓｘ０、Ｓｙ０を設定する。 Here, the allowable shake amount in step S112 will be described. First, the allowable blur amounts in the X direction and the Y direction represented by the length on the imaging surface are Lx0 and Ly0, respectively. For example, an image obtained by an image sensor having a size of 24 × 36 [mm] is stretched at a magnification of 6 times on a print paper of 18 × 24 [cm] (so-called 6-cut) from a distance of 40 [cm]. Suppose you observe. Since the visual two-point discrimination resolution of a person with a visual acuity of 1.0 is about 1 [min], the allowable circle of confusion of the image stretched on the print paper is 40 [cm] × 1 [min] × 2π / (360 × 60 [min]) = 116 [μm]. Therefore, the allowable circle of confusion on the imaging surface of the imaging device is 116 [μm] / 6 = 19 [μm]. In the present embodiment, the allowable blur amounts Sx0 and Sy0 are set based on the size of the allowable circle of confusion.
なお、本実施形態におけるデジタルカメラの画質モードは、図６に一例として示すように、画像サイズ（ピクセルサイズに対応する）と圧縮率とを選択して選べるようになっている。許容ぶれ量は、画像サイズ、圧縮率、画像の引き伸ばし倍率、及び観察距離等に依存するものである。本実施形態では、例えば、画像サイズ１６００画素×１２００画素、且つ圧縮率がノーマルのときの許容ぶれ量を上述した許容錯乱円の大きさに等しい１９［μｍ］に設定する。画像サイズ１６００画素×１２００画素は、許容ぶれ量１９［μｍ］のぶれが発生しても、本来の撮像素子の解像度を損なわないレベルの画像サイズである。他の画像サイズに対してどのような許容ぶれ量を設定するかは、画像の引き伸ばし倍率や観察距離にも依存するが、本実施形態においては、画像サイズに反比例した許容ぶれ量を設定する。これは、画像を画像サイズに比例した引き伸ばし倍率で拡大して観察距離を同じくして観察したとき、画像サイズに拠らず同じレベルのぶれ量を許容することを意味する。また、同じ画像サイズでも圧縮率が高いと画質は低下する。したがって、圧縮率が高いほど、許容ぶれ量を大きくするように設定する。 Note that the image quality mode of the digital camera in this embodiment can be selected by selecting an image size (corresponding to a pixel size) and a compression rate, as shown as an example in FIG. The allowable blur amount depends on the image size, compression ratio, image enlargement magnification, observation distance, and the like. In the present embodiment, for example, the allowable blur amount when the image size is 1600 pixels × 1200 pixels and the compression rate is normal is set to 19 [μm] equal to the size of the allowable circle of confusion described above. The image size of 1600 pixels × 1200 pixels is an image size at a level that does not impair the resolution of the original image sensor even when a blur of an allowable blur amount of 19 [μm] occurs. Although what allowable blur amount is set for other image sizes depends on the enlargement magnification and the observation distance of the image, in this embodiment, the allowable blur amount is set in inverse proportion to the image size. This means that when an image is enlarged at a magnification proportional to the image size and observed at the same observation distance, the same amount of blurring is allowed regardless of the image size. In addition, even if the image size is the same, the image quality deteriorates if the compression rate is high. Therefore, the higher the compression ratio, the larger the allowable blur amount is set.
以上説明した許容ぶれ量を単位画素の水平方向の長さ（Ｌｘ）と垂直方向の長さ（Ｌｙ）で除算することによって、画素単位で表したＸ方向、Ｙ方向の許容ぶれ量Ｓｘ０、Ｓｙ０を計算する。そして、この許容ぶれ量Ｓｘ０、Ｓｙ０を画像サイズや圧縮率毎に予め不揮発性メモリ１９に記憶しておく。
By dividing the allowable blur amount described above by the horizontal length (Lx) of the unit pixel and the vertical length (Ly), the allowable blur amounts Sx0, Sy0 in the X direction and the Y direction expressed in pixel units. Calculate The allowable blur amounts Sx0 and Sy0 are stored in advance in the
ステップＳ１１２の判定において、Ｓｘが許容ぶれ量Ｓｘ０より大きいか、Ｓｙが許容ぶれ量Ｓｙ０よりも大きい場合に、メインＣＰＵ２０は、Ｓｘ／Ｓｘ０が不揮発性メモリ１９に記憶されている定数ｋ２より大きいか、又はＳｙ／Ｓｙ０がｋ２より大きいか否かを判定する（ステップＳ１１３）。ステップＳ１１３の判定において、Ｓｘ／Ｓｘ０がｋ２より大きいか、又はＳｙ／Ｓｙ０がｋ２より大きい場合には、ぶれが許容レベルより大きいとして、メインＣＰＵ２０は表示部１８に警告表示を行う（ステップＳ１１４）。なお、警告表示の代わりに警告音であっても構わない。ステップＳ１１３の判定処理を設けたのは次の理由による。ぶれを補正可能な限界は、時分割撮影において撮像素子から複数の画像信号を読み出す周期に依存する。読み出し周期が長いと時分割撮影におけるぶれ量が許容量に比べて大きくなりやすい。ぶれ量が許容量に対してどれくらい大きくなったときに警告表示をするかは設計的な問題であるが、たとえばｋ２＝２にするとよい。ｋ２＝１では頻繁に警告表示がされて煩わしいし、ｋ２が大きすぎると商品の信頼性が問われるからである。
If it is determined in step S112 that Sx is greater than the allowable shake amount Sx0 or Sy is greater than the allowable shake amount Sy0, the
また、ステップＳ１１３の判定において、Ｓｘ／Ｓｘ０及びＳｙ／Ｓｙ０が何れもｋ２以下のときに、メインＣＰＵ２０は、増幅回路９の増幅率設定のサブルーチンを実行する（ステップＳ１１５）。時分割撮影における露光量は通常撮影における露光量に比べて少ないので、時分割撮影における画像信号を増幅回路９によって増幅する。これにより、時分割撮影時におけるＡ／Ｄ変換部１０への入力信号レベルを通常撮影時の入力信号レベルとほぼ等しくし、結果として、Ａ／Ｄ変換部１０のＡ／Ｄ変換に伴う量子化誤差を小さくすることができる。
In the determination at step S113, when both Sx / Sx0 and Sy / Sy0 are equal to or less than k2, the
ここで、増幅率設定のサブルーチンについてさらに説明する。図７は、増幅率設定のサブルーチンを示すフローチャートである。メインＣＰＵ２０は、最初の時分割撮影における露光開始からの累積露光時間Ｔｍから、前回の時分割撮影における画像信号を読み出すまでの露光時間Ｔｍ０を減算し、この値（この値は、上述したように、最新の時分割撮影における露光時間を示すものとなる）を、変数ΔＴｅｘｐを記憶するためのメモリ〔ΔＴｅｘｐ〕に記憶させる（ステップＳ５０１）。次に、メインＣＰＵ２０は、Ｔｍを新たな変数Ｔｍ０の値としてメモリ〔Ｔｍ０〕に記憶させる（ステップＳ５０２）。次に、メインＣＰＵ２０は、Ｔｅｘｐ／ΔＴｅｘｐを、増幅率Ａを記憶するためのメモリ〔Ａ〕に記憶させる（ステップＳ５０２）。その後、メインＣＰＵ２０は、増幅回路９の増幅率をＡに設定する（ステップＳ５０４）。このように増幅率を設定しておくことにより、画像信号の読み出し時には、撮像素子５からの画像信号がＴｅｘｐ／ΔＴｅｘｐ倍される。これによりＡ／Ｄ変換部１０に入力される画像信号のレベルが通常撮影時のレベルとほぼ等しくなる。
Here, the subroutine for setting the amplification factor will be further described. FIG. 7 is a flowchart showing a subroutine for setting the amplification factor. The
再び図３に戻って説明を続ける。ステップＳ１１５の増幅率設定の後、メインＣＰＵ２０は、前回画像信号を読み出すまでの累積ぶれ量Ｐｘ０、Ｐｙ０を記憶するメモリ〔Ｐｘ０〕、〔Ｐｙ０〕に露光開始からのぶれ量Ｐｘ、Ｐｙを記憶させることにより、Ｐｘ０、Ｐｙ０を更新する（ステップＳ１１６）。次に、メインＣＰＵ２０は、ＴＧ回路７を制御して撮像素子５からの画像信号の読み出しを開始させる（ステップＳ１１７）。次に、メインＣＰＵ２０は、今回読み出された画像信号と、既にぶれが補正されて合成されている画像信号との画像合成を行う（ステップＳ１１８）。
Returning to FIG. 3 again, the description will be continued. After setting the amplification factor in step S115, the
画像合成のサブルーチンについて図８を参照してさらに説明する。図８は、画像合成のサブルーチンを示すフローチャートである。まず、メインＣＰＵ２０は、時分割撮影の回数を示す変数ｎが０か否かを判定する（ステップＳ６０１）。ステップＳ６０１の判定において、ｎ＝０のときは、初回の時分割撮影による画像信号が読み出された場合である。このとき、メインＣＰＵ２０は、撮像素子５を介して読み出され、Ａ／Ｄ変換部１０で得られた画像データを内蔵メモリ１２に記憶させる（ステップＳ６０２）。一方、ステップＳ６０１の判定において、ｎ＝０でないときは、２回目以降の時分割撮影による画像信号が読み出された場合である。この場合に、メインＣＰＵ２０は、撮像素子５から新たに読み出された画像信号をデジタル化して得られた画像データのシフトを行う。このシフトは、図３のステップＳ１０９にてメモリ〔Ｓｘ〕、〔Ｓｙ〕に記憶されたＸ方向、Ｙ方向のぶれ量をそれぞれＳｘ、Ｓｙとしたときに、Ｘ方向に−Ｓｘ、Ｙ方向に−Ｓｙだけシフトさせる。画像データのシフト後、メインＣＰＵ２０は、ぶれを補正した画像データを、既に内蔵メモリ１２に記憶されている画像データと合成して、再び内蔵メモリ１２に記憶させる（ステップＳ６０３）。次に、メインＣＰＵ２０は、変数ｎを記憶するためのメモリ〔ｎ〕にｎ＋１を記憶させ、図８の処理からリターンする。
The image composition subroutine will be further described with reference to FIG. FIG. 8 is a flowchart showing an image composition subroutine. First, the
なお、ステップＳ６０３の処理は、１画素分の整数倍のずれを補正して２つの画像を合成する処理である。しかしながら、単板式のカラー撮像素子、つまり撮像面の前面にモザイク状のカラーフィルタを配置した撮像素子の場合には、さらに、色信号の混合が発生しないように工夫しなければならない。例えば、ベイヤー配列のカラーフィルタでは、２画素×２画素のカラーフィルタを単位とするモザイク状フィルタが繰り返し配列されているために、奇数画素分のぶれを補正して加算すると異なる色の信号が加算されてしまう。このため、正常な色を再現することができなくなる。したがって、このような課題を解決するためには、カラーフィルタの水平方向の最小繰り返し周期および垂直方向の最小繰り返し周期（ベイヤー配列の場合はそれぞれ２画素）を最小単位として画像をシフトすることにより、ぶれを補正すれば良い。ベイヤー配列を例にとると、垂直方向のシフト量を２・「Ｓｙ／２」、水平方向のぶれ補正量を２・「Ｓｘ／２」、とそれぞれすれば良い。ここに、Ｓｘ、Ｓｙは、上述したステップＳ６０３の値である。 Note that the process of step S603 is a process of correcting two integer multiples of one pixel and synthesizing two images. However, in the case of a single-plate color image pickup device, that is, an image pickup device in which a mosaic color filter is arranged in front of the image pickup surface, it must be further devised so that color signal mixing does not occur. For example, in a Bayer array color filter, a mosaic filter with a 2 × 2 pixel color filter as a unit is repeatedly arranged. Therefore, when a blur of odd pixels is corrected and added, signals of different colors are added. Will be. For this reason, normal colors cannot be reproduced. Therefore, in order to solve such a problem, the image is shifted by setting the minimum repeat period in the horizontal direction and the minimum repeat period in the vertical direction (two pixels in the case of the Bayer array) as the minimum unit. What is necessary is just to correct the blur. Taking the Bayer array as an example, the vertical shift amount may be 2 · “Sy / 2” and the horizontal blur correction amount may be 2 · “Sx / 2”. Here, Sx and Sy are the values in step S603 described above.
再び図３に戻って説明を続ける。ステップＳ１１８において画像合成が終了すると、メインＣＰＵ２０は、タイマカウンタ２０ａの値Ｔｍが標準露光時間Ｔｅｘｐ以上か否かを判定する（ステップＳ１１９）。ステップＳ１１９の判定において、Ｔｍ＜Ｔｅｘｐのときは、処理がステップＳ１０９に戻る。そして、メインＣＰＵ２０は、ステップＳ１０９以後の処理を繰り返す。一方、ステップＳ１１９の判定において、Ｔｍ≧Ｔｅｘｐのときに、メインＣＰＵ２０は図３の処理を終了させて撮影を終了する。
Returning to FIG. 3 again, the description will be continued. When image composition ends in step S118, the
以上説明したように、本実施形態によれば、ステップＳ１１０の判定によって画像信号のＳ／Ｎ比が許容できるか否かの判定を行うようにし、画像信号のＳ／Ｎ比が許容できないレベルの場合には画像信号の読み出しを行わないようにしている。これによって、ぶれ補正によって画像のＳ／Ｎ比が低下するのを防止することが可能である。 As described above, according to the present embodiment, it is determined whether or not the S / N ratio of the image signal is acceptable by the determination in step S110, and the S / N ratio of the image signal is at an unacceptable level. In this case, the image signal is not read out. Thereby, it is possible to prevent the S / N ratio of the image from being lowered due to the blur correction.
以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。 Although the present invention has been described based on the above embodiments, the present invention is not limited to the above-described embodiments, and various modifications and applications are naturally possible within the scope of the gist of the present invention.
例えば、上述した実施形態では、時分割撮影によって得られるそれぞれの画像におけるぶれの補正を撮像素子５から画像信号を読み出した後で行っているが、撮像素子５内でぶれの補正を行ってから画像信号を読み出すようにしても良い。また、上述した実施形態においては、画像信号を読み出す毎に逐次ぶれを補正して合成を行っているが、すべての時分割画像信号を読み出して内蔵メモリ１２に記憶させた後に、各時分割画像の相互のぶれを補正して合成してもよい。
For example, in the above-described embodiment, blur correction in each image obtained by time-division shooting is performed after the image signal is read out from the
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。 Further, the above-described embodiments include various stages of the invention, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some configuration requirements are deleted from all the configuration requirements shown in the embodiment, the above-described problem can be solved, and this configuration requirement is deleted when the above-described effects can be obtained. The configuration can also be extracted as an invention.
１…撮影レンズ、２…レンズ駆動系、３…絞り、４…絞り駆動系、５…撮像素子、６…撮像素子ドライバ、７…タイミングジェネレータ（ＴＧ）回路、８…相関二重サンプリング（ＣＤＳ）回路、９…増幅回路、１０，２４…アナログ／デジタル（Ａ／Ｄ）変換部、１１…データバス、１２…内蔵メモリ、１３…画像処理部、１４…ＡＥ処理部、１５…ＡＦ処理部、１６…圧縮／伸張部、１７…着脱メモリ、１８…表示部、１９…不揮発性メモリ、２０…メインＣＰＵ、２０ａ…タイマカウンタ、２１…入力部、２１ａ…レリーズボタン、２２ｂ…画質入力ボタン、２３…サブＣＰＵ、２５，２６…角速度センサ
DESCRIPTION OF
Claims (3)
上記時分割撮影における画像のぶれ量を検出するぶれ量検出部と、
上記時分割撮影における露光時間と標準露光時間との比である露光量比を所定値と比較する判定部と、
上記判定部により上記露光量比が上記所定値より小さいと判定されたときは、上記ぶれ量の大きさに係わらず上記露光量比が上記所定値以上になるように露光時間を制御し、上記判定部により上記露光量比が上記所定値以上と判定されたときは、上記時分割撮影における画像のぶれ量が許容量以下になるように上記露光時間を制御する露光時間制御部と、
上記露光時間に従って被写体を時分割撮影して画像信号を生成する撮像部と、
上記時分割撮影を複数回行って得られた複数の画像信号のそれぞれによって表される複数の画像の相互のぶれが補正されるように、上記複数の画像信号に対してぶれ補正を行った後に合成処理を行う画像処理部と、
を具備することを特徴とする撮像装置。 In an imaging device that generates an image with reduced blur by compositing after correcting shakes of a plurality of images obtained by performing time-division shooting,
A blur amount detection unit for detecting the blur amount of the image in the time-division shooting;
A determination unit that compares an exposure amount ratio, which is a ratio between an exposure time and a standard exposure time in the time-division shooting, with a predetermined value;
When the determination unit determines that the exposure amount ratio is smaller than the predetermined value, the exposure time is controlled so that the exposure amount ratio is equal to or greater than the predetermined value regardless of the amount of blur. An exposure time control unit that controls the exposure time so that a blur amount of the image in the time-division shooting is equal to or less than an allowable amount when the determination unit determines that the exposure amount ratio is equal to or greater than the predetermined value;
An imaging unit for time-division imaging of the subject according to the exposure time to generate an image signal;
After performing the shake correction on the plurality of image signals so that the mutual shake of the plurality of images represented by each of the plurality of image signals obtained by performing the time-division photographing a plurality of times is corrected. An image processing unit for performing composition processing;
An imaging apparatus comprising:
時分割撮影における露光時間と標準露光時間との比である露光量比を判定し、上記露光量比が所定値より小さいと判定されたときは、上記ぶれ量の大きさに係わらず上記露光量比が上記所定値以上になるように上記露光時間を制御し、上記露光量比が上記所定値以上と判定されたときは、上記時分割撮影のそれぞれにおける画像のぶれ量が許容量以下になるように露光時間を制御して時分割撮影を複数回行い、該複数回の時分割撮影で得られた複数の画像の相互のぶれを補正した後に合成することを特徴とする撮像方法。 In an imaging method for generating an image in which blur is reduced by combining after correcting the mutual blur of a plurality of images obtained by performing time-division shooting,
The exposure amount ratio, which is the ratio between the exposure time and the standard exposure time in time-division shooting, is determined, and when it is determined that the exposure amount ratio is smaller than a predetermined value, the exposure amount regardless of the amount of blurring. The exposure time is controlled so that the ratio is equal to or greater than the predetermined value, and when the exposure amount ratio is determined to be equal to or greater than the predetermined value, the amount of image blur in each of the time-division shootings is less than the allowable amount. As described above, the image capturing method is characterized in that the exposure time is controlled to perform time-division photographing a plurality of times, and a plurality of images obtained by the plurality of time-division photographing operations are corrected and corrected for mutual blurring.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008124006A JP2009273058A (en) | 2008-05-09 | 2008-05-09 | Imaging device and imaging method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008124006A JP2009273058A (en) | 2008-05-09 | 2008-05-09 | Imaging device and imaging method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009273058A true JP2009273058A (en) | 2009-11-19 |
Family
ID=41439183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008124006A Withdrawn JP2009273058A (en) | 2008-05-09 | 2008-05-09 | Imaging device and imaging method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009273058A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160058195A (en) * | 2013-10-11 | 2016-05-24 | 페이스북, 인크. | Applying video stabilization to a multimedia clip |
-
2008
- 2008-05-09 JP JP2008124006A patent/JP2009273058A/en not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160058195A (en) * | 2013-10-11 | 2016-05-24 | 페이스북, 인크. | Applying video stabilization to a multimedia clip |
| KR101707600B1 (en) | 2013-10-11 | 2017-02-16 | 페이스북, 인크. | Applying video stabilization to a multimedia clip |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8208034B2 (en) | Imaging apparatus | |
| JP2009296561A (en) | Imaging apparatus and imaging method | |
| CN101594464B (en) | Imaging apparatus and imaging method | |
| JP7086571B2 (en) | Image pickup device, lens device and control method thereof | |
| TW201004329A (en) | Image capture apparatus and program | |
| JP2010103895A (en) | Imaging device, compound-eye imaging device and imaging control method | |
| JP2006162991A (en) | Stereoscopic image photographing apparatus | |
| US9871964B2 (en) | Photographing apparatus, photographing controller, photographing control method, and photographing control program | |
| JP5832353B2 (en) | Imaging device | |
| JP5611469B2 (en) | Stereoscopic imaging apparatus and method | |
| JP2006080844A (en) | Electronic camera | |
| JP2007233166A (en) | Camera with shake correction function | |
| JP2003101862A (en) | Image pickup device and image pickup method | |
| JP6606838B2 (en) | Imaging apparatus and imaging method | |
| JP2009017006A (en) | Photographic device | |
| JP6257260B2 (en) | Imaging apparatus and control method thereof | |
| JP2015233211A (en) | Imaging apparatus, control method thereof, and program | |
| JP2009273058A (en) | Imaging device and imaging method | |
| JP6833381B2 (en) | Imaging equipment, control methods, programs, and storage media | |
| JP6786288B2 (en) | Imaging device, lens device, control method, program, and storage medium | |
| JP6800642B2 (en) | Accessory device, control device, control method of these | |
| US11653094B2 (en) | Imaging apparatus with shaking state information display | |
| JP2013128165A (en) | Imaging apparatus | |
| JP2009171327A (en) | Photographing apparatus | |
| JP2009171324A (en) | Photographing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110802 |