JP2005159540A - 手ブレ補正方法および撮像装置 - Google Patents

Abstract

【課題】 より適切な手ブレ補正を施すことができる手ブレ補正方法および撮像装置を提供する。
【解決手段】 デジタルカメラ２のＣＰＵ３３は、角速度センサ１２の出力信号を積分する期間を決定するタイミングを、ＣＣＤ３６の露光期間の中間となるように制御する。ＣＣＤ３６で露光中に手ブレが生じていた場合、ＣＣＤ３６上に撮像された被写体像はその光点が移動することになり、ブレた画像となる。このブレた画像の正しい位置は、光点が描いた軌跡の光量重心、すなわち、光点の光量と移動速度の逆数を積算して描かれた積算像の重心位置であると考えられる。特に、ブレが正弦波で振動している場合、その積算像の重心位置は露光期間の中間位置と完全に一致するので、より適切な手ブレ補正を施すことができる。
【選択図】 図５

Description

本発明は、角速度センサを用いて手ブレを検出する手ブレ補正方法および撮像装置に関する。

撮像装置として、ＣＣＤイメージセンサ（ＣＣＤ）などの固体撮像素子で撮像した被写体光をデジタルの画像データに変換し、内蔵メモリやメモリカードなどの記憶媒体に記憶するデジタルカメラが普及している。このようなデジタルカメラには、角速度センサを用いて手ブレを検出し、検出された手ブレを補正する手ブレ補正機能を備えたものがある（特許文献１、２、非特許文献１、２参照）。

特開昭６０−１４３３３０号公報 "カメラ一体型ＶＴＲ"、「日経エレクトロニクス」、１９９１年９月１６日、ｎｏ．５３６、三好敏、ｐ１１６〜ｐ１１８ "カメラ一体型ＶＴＲの手ブレ補正機能、圧電振動ジャイロを使って誤動作を減らす"、「日経エレクトロニクス」、１９９１年１１月２５日、ｎｏ．５４１、古賀良男他、ｐ２１７〜ｐ２２６ 特開平８−２６２５２３号公報

非特許文献１、２に記載のカメラ一体型ＶＴＲでは、前回ＣＣＤで取り込んだ撮影画像の位置から、現在取り込んだ撮影画像の位置がどれだけ、どの方向に移動したかを角速度センサで検出し、検出した移動量の分だけ補正を施している。しかしながら、ＣＣＤで被写体光を露光中に手ブレが生じていた場合、ＣＣＤ上に撮像された被写体像はその光点が移動することになり、ブレた画像となってしまう。この問題は、シャッタ速度が高速である場合に特に顕著となる。

本発明は、上記課題を鑑みてなされたものであり、特にシャッタ速度が高速である場合に、より適切な手ブレ補正を施すことができる手ブレ補正方法および撮像装置を提供することを目的とする。

上記目的を達成するために、本発明は、被写体光を撮像してデジタルの画像データを出力する撮像手段を備えた撮像装置で、角速度センサを用いて手ブレを検出し、検出した手ブレを補正する手ブレ補正方法において、前記角速度センサの出力信号を積分する期間を決定するタイミングを、前記撮像手段の露光期間の中間となるようにしたことを特徴とする。

また、本発明は、被写体光を撮像してデジタルの画像データを出力する撮像手段と、手ブレを検出する角速度センサとを備えた撮像装置において、前記角速度センサの出力信号を積分する期間を決定するタイミングを、前記撮像手段の露光期間の中間となるように制御する制御手段を設けたことを特徴とする。

本発明の手ブレ補正方法および撮像装置によれば、手ブレを検出する角速度センサの出力信号を積分する期間を決定するタイミングを、撮像手段の露光期間の中間となるようにしたので、特にシャッタ速度が高速である場合に、より適切な手ブレ補正を施すことができる。

図１および図２において、本発明を適用したデジタルカメラ２の前面には、撮像レンズ１０を保持するレンズ鏡胴１１が組み込まれている。レンズ鏡胴１１の内部には、角速度センサ１２が埋設されている。この角速度センサ１２は、例えば圧電振動式の角速度センサからなり、撮影時のデジタルカメラ２の手ブレ（移動方向および移動量）を検出する。なお、レンズ鏡胴１１の上部には、ポップアップ式のストロボ装置５３（図３参照）が内蔵されている。

デジタルカメラ２の上面には、レリーズボタン１３、電源スイッチ１４、およびモードダイヤル１５が設けられており、側面には、メモリカード４９（図４参照）が着脱自在に装填されるメモリカードスロットを覆う蓋１６が設けられている。

デジタルカメラ２の背面には、電子ビューファインダを構成するファインダ接眼窓１７、液晶表示器（ＬＣＤ）１８、および操作部１９が設けられている。ＬＣＤ１８には、撮影した画像やいわゆるスルー画像、各種メニュー画面が表示される。操作部１９は、撮像レンズ１０のズームレンズをワイド側、テレ側に変倍するズーム操作ボタン２０や、ＬＣＤ１８にメニュー画面を表示させる際や、選択内容を決定する際に操作されるメニューボタン２１、およびメニュー画面内でカーソルを移動させる十字キー２２から構成される。

デジタルカメラ２では、静止画撮影を行う静止画撮影モード、動画撮影を行う動画撮影モード、撮影した画像をＬＣＤ１８に表示する再生モード、および各種設定を行う設定モードが選択可能となっている。これらのモードの切り替えは、モードダイヤル１５を回動操作させることで行われる。動画撮影モードでは、動画の撮影とともに、図示しないマイクロホンを介して周囲の音声が収録される。

レリーズボタン１３は、２段階押しのスイッチとなっている。電子ビューファインダまたはＬＣＤ１８によるフレーミングの後に、レリーズボタン１３を軽く押圧（半押し）すると、自動露光調整（ＡＥ）、自動焦点調整（ＡＦ）などの各種撮影準備処理が施される。この状態でレリーズボタン１３をもう１度強く押圧（全押し）すると、撮影準備処理が施された１画面分の撮像信号が画像データに変換された後、後述する画像処理および圧縮処理が施され、メモリカード４９に記録される。

デジタルカメラ２の電気的構成を示す図３において、撮像レンズ１０には、レンズモータ３０が接続されている。また、絞り３１には、アイリスモータ３２が接続されている。これらのモータ３０、３２はステッピングモータからなり、ＣＰＵ３３に接続されたモータドライバ３４、３５から送信される駆動パルスにより動作制御され、レリーズボタン１３の半押しに伴う撮影準備処理を行う。

レンズモータ３０は、ズーム操作ボタン２０の操作に連動して、撮像レンズ１０のズームレンズをワイド側、あるいはテレ側に移動させる。また、被写体距離やズームレンズの変倍に応じて撮像レンズ１０のフォーカスレンズを移動させ、撮影条件が最適となるように焦点調整を行う。アイリスモータ３２は、絞り３１を動作させ、露出調整を行う。

撮像レンズ１０の背後には、撮像レンズ１０を透過した被写体光が撮像されるＣＣＤ３６が配置されている。ＣＣＤ３６には、ＣＰＵ３３によって制御されるタイミングジェネレータ（ＴＧ）３７が接続され、このＴＧ３７から入力されるタイミング信号（クロックパルス）により、電子シャッタのシャッタ速度が決定される。

ＣＣＤ３６から出力された撮像信号は、相関二重サンプリング回路（ＣＤＳ）３８に入力され、ＣＣＤ３６の各セルの蓄積電荷量に正確に対応したＲ、Ｇ、Ｂの画像データとして出力される。ＣＤＳ３８から出力された画像データは、増幅器（ＡＭＰ）３９で増幅され、Ａ／Ｄ変換器（Ａ／Ｄ）４０でデジタルの画像データに変換される。

画像入力コントローラ４１は、バス４２を介してＣＰＵ３３に接続され、ＣＰＵ３３の制御命令に応じてＣＣＤ３６、ＣＤＳ３８、ＡＭＰ３９、およびＡ／Ｄ４０を制御する。Ａ／Ｄ４０から出力された画像データは、ＳＤＲＡＭ４３に一旦格納され、ＬＣＤドライバ４４を介してＬＣＤ１８に表示される。または、図示しない電子ビューファインダドライバを介して電子ビューファインダに表示される。

画像信号処理回路４５は、ＳＤＲＡＭ４３から画像データを読み出して、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を施し、この画像データを再度ＳＤＲＡＭ４３に格納する。ＹＣ変換処理回路４６は、画像信号処理回路４５で各種処理を施された画像データをＳＤＲＡＭ４３から読み出し、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに変換する。圧縮伸長処理回路４７は、この変換された画像データに対して、所定の圧縮形式（例えばＪＰＥＧ形式）で画像圧縮を施す。圧縮された画像データは、メディアコントローラ４８を経由してメモリカード４９に記録される。

ＣＰＵ３３には、前述の角速度センサ１２、レリーズボタン１３、操作部１９の他に、ＥＥＰＲＯＭ５０が接続されている。ＥＥＰＲＯＭ５０には、各種制御用のプログラムや設定情報などが記録されている。ＣＰＵ３３は、これらの情報をＥＥＰＲＯＭ５０から作業用メモリであるＳＤＲＡＭ４３に読み出して、各種処理を実行する。

バス４２には、露出量、すなわち電子シャッタのシャッタ速度、および絞り３１の絞り値が撮影に適切か否かを検出するとともに、ホワイトバランスが撮影に適切か否かを検出するＡＥ／ＡＷＢ検出回路５１と、撮像レンズ１０の焦点調整が撮影に適切か否かを検出するＡＦ検出回路５２と、ストロボ装置５３の動作を制御するストロボ制御回路５４と、パーソナルコンピュータなどの外部機器とのデータの送受信を行う通信Ｉ／Ｆ５５とが接続されている。

各検出回路５１、５２は、レリーズボタン１３の半押し時に、バス４２を介してＣＰＵ３３に検出結果を逐次送信する。ＣＰＵ３３は、各検出回路５１、５２から送信される検出結果に基づいて、撮像レンズ１０、絞り３１、およびＣＣＤ３６の動作を制御する。

図４に示すように、角速度センサ１２には、増幅回路６０が接続されている。増幅回路６０は、ハイパスフィルタ６１、ローパスフィルタ６２、および増幅器６３などから構成される。ハイパスフィルタ６１は、角速度センサ１２から出力される信号のうち、例えば約０．３Ｈｚ以下の出力信号（直流成分）をカットする。ローパスフィルタ６２は、例えば約１ｋＨｚ以上の出力信号（角速度センサ１２の駆動周波数成分）をカットする。増幅器６３は、ハイパスフィルタ６１およびローパスフィルタ６２でノイズカットされた出力信号を増幅し、ＣＰＵ３３内に設けられたＡ／Ｄ変換ポートに送信する。なお、図中に表記されたコンデンサ容量や抵抗値は一例であり、この値はデジタルカメラ２の仕様に応じて適宜変更することが可能である。

ＣＰＵ３３は、Ａ／Ｄ変換ポートに送信された角速度センサ１２の出力信号を積分して角度データに変換する。このとき、図５および図６に示すように、ＣＰＵ３３は、角速度センサ１２の出力信号を積分する期間を決定するタイミングを、ＣＣＤ３６の露光期間の中間となるように制御する。

ここで、図５および図６に、正弦波による単振動（露光期間４回を一周期）をデジタルカメラ２に加えたときの正規化したブレ角度の変化を示す。曲線Ａは実際にデジタルカメラ２に加えた正弦波を示し、曲線Ｂは角速度センサ１２の出力信号を積分して得られたブレ角度の推移をそれぞれ示している。また、図５では通常露光の場合、図６ではシャッタ速度が高速である場合をそれぞれ示している。

ＣＰＵ３３は、露光時間よりも十分速いサンプリングを行い、露光時間と同周期で角度データの積算を行う。図６において、シャッタ速度が高速である場合には、露光時間の最初の期間はＣＣＤ３６の電荷吐き出しに使用され、光量重心位置はより露光期間の終端に近くなる。

検出した手ブレの補正は、例えば非特許文献１、２に記載されるように、ＣＣＤ３６で取り込んだ画像の一部を切り出し、検出した移動量の分だけ画像を平行移動させることにより行われる。

次に、上記構成を有するデジタルカメラ２の動作について説明する。まず、デジタルカメラ２で被写体の撮影を行う際には、電源スイッチ１４を操作してデジタルカメラ２の電源を投入し、モードダイヤル１５を操作して静止画撮影モード、あるいは動画撮影モードを選択する。

撮影モード下において、撮像レンズ１０、絞り３１を介して入射した被写体光は、ＣＣＤ３６により光電変換され、ＣＤＳ３８でサンプリングされる。ＣＤＳ３８から出力された画像データは、ＡＭＰ３９で増幅され、Ａ／Ｄ４０でデジタルの画像データに変換される。

デジタル変換された画像データは、画像信号処理回路４５で各種画像処理が施された後、画像入力コントローラ４１を介してＳＤＲＡＭ４３に順次格納され、電子ビューファインダまたはＬＣＤ１８にスルー画像として表示される。この状態でレリーズボタン１３が半押しされると、ＡＥ／ＡＷＢ検出回路５１、ＡＦ検出回路５２により露出量、ホワイトバランス、焦点が検出され、この検出結果に基づいて撮影準備処理が施される。

撮影準備処理後、レリーズボタン１３の全押しにより撮影が実行されると、静止画撮影モード下では、そのときＳＤＲＡＭ４３に格納されている画像データがＹＣ変換処理回路４６に読み出され、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに変換された後、圧縮伸長処理回路４７で圧縮処理が施され、メディアコントローラ４８を経由してメモリカード４９に記録される。

一方、動画撮影モード下では、レリーズボタン１３が再度全押しされるまで、一定のフレームレート（例えば３０フレーム／秒）で画像データが記録される。また、これと同時にマイクロホンを介して周囲の音声が収録される。マイクロホンで収録された音声は、画像データと関連付けられてメモリカード４９に記録される。

静止画、あるいは動画撮影時、角速度センサ１２から出力された信号は、ハイパスフィルタ６１およびローパスフィルタ６２でノイズカットされ、増幅器６３で増幅された後、ＣＰＵ３３内のＡ／Ｄ変換ポートに送信される。

ＣＰＵ３３では、Ａ／Ｄ変換ポートに送信された角速度センサ１２の出力信号が積分され、角度データに変換される。このとき、ＣＰＵ３３により、角速度センサ１２の出力信号を積分する期間を決定するタイミングが、ＣＣＤ３６の露光期間の中間となるように制御される。手ブレの検出後は、ＣＣＤ３６で取り込んだ画像の一部が切り出され、検出した移動量の分だけ画像が平行移動されるなどして、手ブレの補正が行われる。

ＣＣＤ３６で露光中に手ブレが生じていた場合、ＣＣＤ３６上に撮像された被写体像はその光点が移動することになり、ブレた画像となる。このブレた画像の正しい位置は、光点が描いた軌跡の光量重心、すなわち、光点の光量と移動速度の逆数を積算して描かれた積算像の重心位置であると考えられる。特に、図５および図６に示すように、ブレが正弦波で振動している場合、その積算像の重心位置は露光期間の中間位置と完全に一致する。したがって、角速度センサ１２の出力信号を積分する期間を決定するタイミングを、ＣＣＤ３６の露光期間の中間となるように制御すれば、より適切な手ブレ補正を施すことができる。

なお、実際に発生する手ブレは正弦波でないが、撮影上問題となる手ブレは十分にブロードな特性を有するので、正弦波の一部と見做してもよく、実際の手ブレに対しても同様の効果を奏するといえる。また、シャッタ速度が高速である場合には、特に優れた効果を発揮する。

上記実施形態では、撮像装置としてデジタルカメラを例示して説明したが、本発明はこれに限定されず、他の撮像装置、例えばカメラ付き携帯電話やビデオカメラなどにも適用することができる。

本発明を適用したデジタルカメラの正面外観斜視図である。 デジタルカメラの背面外観図である。 デジタルカメラの電気的構成を示すブロック図である。 増幅回路の構成を示す電気回路図である。 通常露光の場合における露光期間と積分期間との関係を示すグラフである。 シャッタ速度が高速である場合における露光期間と積分期間との関係を示すグラフである。

符号の説明

２ デジタルカメラ
１０ 撮像レンズ
１２ 角速度センサ
１３ レリーズボタン
１８ 液晶表示器（ＬＣＤ）
１９ 操作部
３３ ＣＰＵ
３６ ＣＣＤ
４３ ＳＤＲＡＭ
４５ 画像信号処理回路
４９ メモリカード
６０ 増幅回路

Claims (2)

1. 被写体光を撮像してデジタルの画像データを出力する撮像手段を備えた撮像装置で、角速度センサを用いて手ブレを検出し、検出した手ブレを補正する手ブレ補正方法において、
   前記角速度センサの出力信号を積分する期間を決定するタイミングを、前記撮像手段の露光期間の中間となるようにしたことを特徴とする手ブレ補正方法。
2. 被写体光を撮像してデジタルの画像データを出力する撮像手段と、手ブレを検出する角速度センサとを備えた撮像装置において、
   前記角速度センサの出力信号を積分する期間を決定するタイミングを、前記撮像手段の露光期間の中間となるように制御する制御手段を設けたことを特徴とする撮像装置。

Images