JP4662835B2 - 撮像装置 - Google Patents

Description

本発明は、像ぶれ補正機能を備えた撮像装置、特にデジタルカメラに関する。

従来、デジタルカメラなどの撮像装置において、撮像中に生じた手ぶれを補正するために、撮像装置の振動を検出し、その検出された振動量に応じて、撮像光学系の位置を補正する像ぶれ補正装置が知られている。

また、像ぶれが簡便に補正される方法として、画像処理によって補正が行われる方法が知られており、この方法の一例としては例えば特許文献１に記載される方法が挙げられる。すなわち、撮影画像が複数フレーム連続的に撮影されるとともに、各撮影画像が撮像されたときの像ぶれ量が検出され、各撮影画像がその像ぶれ量に応じてシフトされた後加算され、１つの静止画像が生成される。この方法によれば、各撮影画像が撮影される時間（露光時間）を短くすることにより、１フレームの撮影画像が撮影される間に生じる像ぶれが最小限に抑えられるとともに、各フレーム間の位置ずれは各撮影画像がシフトされることにより打ち消され、これにより像ぶれ補正が適切に行われている。

特許文献１においては、撮像素子としてＣＣＤが使用されており、全ての画素は同一のタイミングで同一の期間に亘って露光され、その露光される間に蓄積される電荷が電気信号に変換されるので、各撮影画像の各々の画素は、像ぶれ量が同一となる。したがって、各撮影画像をシフトするときに、同一の撮影画像内における各画素間の像ぶれ量の相違を考慮する必要はない。
特開２００３−３２５４０号公報

しかし、撮像素子としてはＣＣＤの他にＣＭＯＳセンサが知られており、ＣＭＯＳセンサにおいては、被写体像が画素毎に順次光電変換され、１フレームの撮影画像が生成される。すなわち、１つの撮影画像において、各画素の露光されるタイミングが異なるため、撮影画像の各画素の像ぶれ量は画素毎に異なる。したがって、複数の撮影画像間の位置ずれの検出にあたり、特許文献１に記載の方法をそのまま適用しても、画像の合成が適切にできない場合がある。なお、ＣＭＯＳセンサにはライン毎に光電変換する例もある。

そこで、本願発明は、このような問題点に鑑みて成されたものであり、ＣＭＯＳセンサ等、画像信号を１画素毎（または１ライン毎）に順次取り込む撮像素子を用いる場合において、像ぶれを適切に補正することができる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、同一の被写体像に関して、順次連続的に撮影された２フレーム以上の撮影画像を多重化合成し、多重化画像を生成する撮像装置であって、画素毎、またはライン毎に順次露光され、撮像レンズによって結像された被写体像から１フレームの撮影画像を生成する撮像素子と、各１フレーム分の撮影画像を生成されるための各露光期間において、タイミング信号が、各撮影画像において同一のタイミングで発生するように少なくとも１回タイミング信号を発生するタイミング発生手段と、撮像装置本体の角速度を検出し、角速度を、各タイミング信号が発生した間において時間積分することにより、各撮影画像間に生じるぶれを検出するぶれ検出手段と、ぶれによって生じた各撮影画像の相対的な位置ずれを補正するために、２フレーム以上の撮影画像のうち、少なくとも１フレームの撮影画像をシフトさせる画像シフト手段と、そのシフトされた各撮影画像を多重化させる多重化画像手段とを備える。

タイミング信号は、各露光期間において、１回発生するとともに、露光期間の開始から所定時間経過したタイミングで発生することが好ましい。

タイミング発生手段は、露光期間の１／２の時間が経過したときにタイミング信号を発生することが好ましい。これにより、撮影画像の中央部分の画素に関する像ぶれが、撮影画像間の位置ずれとして算出されるので、中央部分の像ぶれを抑制することができる。

タイミング発生手段が、各露光期間において、第１及び第２タイミング信号をそれぞれ発生し、第１及び第２タイミング信号それぞれが各撮影画像において同一タイミングとなるように設定し、ぶれ検出手段は、角速度を、第１及び第２タイミング間それぞれにおいて時間積分することにより、各撮影画像間に生じるぶれを複数回検出し、複数のぶれに応じて、各撮影画像間の位置ずれを算出することが好ましい。

これにより、各撮影画像間の複数の対応画素間の像ぶれに応じて、各撮影画像間の位置ずれが算出されるので、より的確な補正をすることができる。

ぶれ検出手段は、複数のぶれの相加平均を、各撮影画像の位置ずれとして算出することが好ましい。これにより、各撮影画像間の位置ずれは、撮影画像内で全体的に補正される。また、撮像素子は例えば、ＣＭＯＳセンサである。

本発明においては、タイミング発生手段により角速度を検出するタイミングが規定されるので、ぶれ検出手段によって、各撮影画像間において、対応する画素に関するぶれが検出される。そして、そのぶれが撮影画像間に生じた位置ずれとして検出されるので、精度の高い手ぶれ補正が実現される。

以下、本発明に係る実施形態について、図面を参照して説明する。本実施形態に係る撮像装置では、以下説明するように、同一の被写体像に関して、順次連続的に撮影された第１乃至第３撮影画像が多重合成され、その多重化画像が撮影された静止画像として生成される。ここで、撮像装置では通常手ぶれが発生するので、その手ぶれを補正するために、各撮影画像はその手ぶれに応じた分だけシフトされた上で合成される。以下実施形態を用いて具体的に説明する。以下説明する実施形態では、撮像装置が、デジタルカメラである場合について説明するが、撮像装置はデジタルカメラに限定されるわけではない。

図１は、第１の実施形態に係るデジタルカメラのブロック図である。本実施形態に係るデジタルカメラ１０は、撮像素子２０を備え、撮像素子２０には、被写体像が撮像レンズ１９によって結像される。デジタルカメラ１０は、不図示のシャッターボタンが押され、撮像動作が実行されると、同一の被写体像に対する撮影が連続的に行われ、撮像素子２０では、複数フレームの撮影画像（本実施形態では、第１乃至第３の撮影画像）に対する画像信号が生成される。これら生成された画像信号は順次フレームバッファ２２に格納された後、画像シフト装置２４に入力される。

デジタルカメラ１０は、そのカメラ本体に生じる手ぶれを検知するため第１及び第２角速度センサ４１、４２を備える。第１及び第２角速度センサ４１、４２はそれぞれ、一定時間（例えば１ｍｓ）毎に、光軸となるｚ軸と水平方向に延びるｘ軸からなる面、および光軸となるｚ軸と垂直方向に延びるｙ軸からなる面の角速度Ｖｘ、Ｖｙを検出する。なお、水平方向とは、光軸方向に垂直で、通常の使用状態で水平になる方向と一致し、一方、垂直方向とは、光軸方向に垂直で、水平方向に直交する方向をいう。

第１、第２角速度Ｖｘ、Ｖｙは、角速度に関する信号を増幅した後、アナログ信号として、それぞれ第１及び第２のＡ／Ｄ変換器５１及び５２に入力される。第１及び第２Ａ／Ｄ変換器５１及び５２では、第１、第２角速度Ｖｘ、ＶｙがＡ／Ｄ変換された後、角速度データとして、角速度−動きベクトル変換装置６１を介して、メモリ６２に一旦格納される。

角速度−動きベクトル変換装置６１では、メモリ６２に格納された第１、第２角速度データＶｘ、Ｖｙが読み出され、手ぶれによって生じた、第２及び第１撮影画像に対する第３及び第２撮影画像の位置ずれがそれぞれ算出される。この算出された位置ずれデータは、一旦メモリ６２に保存された後、画像シフト装置２４に入力される。

露光タイミング発生装置７１は、撮像素子２０の露光開始信号Ｐｅ及び露光終了信号Ｐｆを発生させ、撮像素子２０では、これら信号に応じて露光が行われる。露光開始信号Ｐｅ及び露光終了信号Ｐｆは、角速度タイミング発生装置７２にも入力され、角速度タイミング発生装置７２は、これら信号に応じて、第１、第２角速度Ｖｘ、Ｖｙの採用タイミングを決定するための角速度タイミング信号を角速度−動きベクトル変換装置６１に入力する。

画像シフト装置２４では、位置ずれデータより、第２撮影画像が、第１撮影画像に対する位置ずれ分を補正するように、そのずれ方向とは逆方向にシフトされ、その後第２撮影画像は、画像多重化装置２６に入力される。第３撮影画像は、第２撮影画像の第１撮影画像に対する位置ずれ分と、第２撮影画像に対する位置ずれ分を足したずれ分を補正するように、そのずれ方向とは逆方向にシフトされた後に、画像多重化装置２６に入力される。なお、第１撮影画像は、画像シフト装置２４では、シフトされずにそのまま画像多重化装置２６に入力される。

画像多重化装置２６では、第１撮影画像の上に、第２撮影画像が、第２撮影画像の上に、第３撮影画像が重ねられる。ここで、第２及び第３撮影画像は、上述したように、位置ずれした分だけ、シフトされた後に重ねられるので、得られる多重化画像は、手ぶれが補正された画像となる。多重化画像は、記録装置３０に静止撮影画像として保存されると共に、モニタ（不図示）に静止撮影画像として表示される。

図２は、撮像素子２０で行われる画像の取り込みタイミングを示すための図である。図３は、各ラインの露光期間と、露光開始信号Ｐｅ及び露光終了信号Ｐｆの関係を示す図である。本実施形態では、撮像素子２０はＣＭＯＳイメージセンサから成り、ＣＭＯＳイメージセンサの撮像面には、撮像レンズ１９によって被写体像が結像される。撮像素子２０の撮像面は、撮像レンズ１９の光軸に垂直であり、図２に示すようにその撮像領域には水平方向に画素が並べられて形成される水平ラインＨが、垂直方向にｎライン設けられている。

ＣＭＯＳイメージセンサの各画素は、入射光を感知して入射光量に相当する信号電荷を生成・蓄積するフォトダイオードと、フォトダイオードから信号電荷を増幅して取り出す複数のＭＯＳトランジスタとを有する。

図３に示すように、１フレームが露光される間に、露光開始信号Ｐｅ及び露光終了信号Ｐｆは、それぞれ、所定の間隔で、ＣＭＯＳイメージセンサのライン数と同数（すなわち、第１〜第ｎの露光開始信号Ｐｅ、及び第１〜第ｎの露光終了信号Ｐｆ）入力される。なお、図３に示すように、各第１〜第ｎの露光開始信号Ｐｅ、及び第１〜第ｎの露光終了信号Ｐｆは交互に入力される。

本実施形態におけるＣＭＯＳイメージセンサでは、電子シャッターを用いて撮影が行われ、露光開始信号Ｐｅの入力タイミングに合わせて露光が開始され、露光終了信号Ｐｆの入力タイミングに合わせて露光が終了する。すなわち、第１の露光開始信号Ｐｅが入力されると、第１の露光終了信号Ｐｆが入力されるまでの期間（単位露光期間Ｅ）水平ラインＨのライン１が、選択されるとともに、選択された水平ラインＨにおいてはさらに各画素が左から右に順次選択される（図２参照）。なお、各露光開始信号Ｐｅは、いずれのフレームにおいても同一のタイミングで入力される。一方、各露光終了信号Ｐｆはいずれのフレームにおいても同一のタイミングで入力されても良いし、異なるタイミングで入力されても良い。露光終了信号Ｐｆが、フレーム毎に異なるタイミングで入力されることにより、各単位露光期間Ｅを、フレーム毎に変更させることができる。

各画素は単位露光期間Ｅで露光され、その露光により各画素では電荷が生成・蓄積され、キャパシタに転送される。蓄積された電荷は画素毎に画素信号として読み出され、フレームバッファ２２（図１参照）に格納される。この露光動作は、ライン２から最終ライン（ラインｎ）の各ラインに関しても同様に行われ、これにより１フレーム分の撮影画像の露光が終了し、撮影画像の画像信号が得られる。なお、１ライン目の露光開始タイミングから最終ライン（ラインｎ）の露光終了タイミングまでの期間、つまり１フレーム分の露光期間を本実施形態においては、フレーム露光期間という。

図４は、撮影動作における各動作が実施されるタイミングを時間経過とともに示すグラフである。図４においては、縦軸が角速度、横軸が時間経過を表す。ただし、角速度データは、Ｖｘについて表し、Ｖｙについてはその記載を省略する。

以下、図４を用いて、角速度タイミング信号が発生するタイミングについて説明する。図４に示すように、撮影動作が開始されると、まず第１の撮影画像の撮影が開始される。すなわち、撮像素子２０では露光が開始され、１フレーム分の撮影画像を撮影するための露光が、第１フレーム露光期間Ｆ１（すなわち、露光開始タイミングａ１から露光終了タイミングａ２まで）において行われる。

第１フレーム露光期間Ｆ１が終了すると、撮影インターバルＩが経過した後、第２撮影画像が生成されるための露光が、第２フレーム露光期間Ｆ２（すなわち、露光開始タイミングｂ１から露光終了タイミングｂ２まで）において行われる。第２フレーム露光期間Ｆ２が終了すると、撮影インターバルＩが経過した後、第３撮影画像が生成されるための露光が、第３フレーム露光期間Ｆ３（すなわち、露光開始タイミングｃ１から露光終了タイミングｃ２まで）において行われる。なお、第１乃至第３撮影画像は、同じ露光条件で撮影されるため、第１乃至第３フレーム露光期間Ｆ１、Ｆ２、及びＦ３は、互いに同一であるとともに、撮影インターバルＩの期間も同一である。

角速度タイミング発生装置７２（図１参照）では、各露光期間Ｆ１〜Ｆ３それぞれにおいて、角速度タイミング信号Ｐｔ、Ｐｔ’、Ｐｔ”を１回発生させる。ここで、角速度タイミング信号Ｐｔ、Ｐｔ’、Ｐｔ”は、いずれの露光期間Ｆ１〜Ｆ３においても同一のタイミングで発生させられ、本実施形態においては、それぞれ露光開始タイミングａ１、ｂ１、ｃ１から一定期間Ｍが経過したタイミングＡ、Ａ’、Ａ”で発生させられる。すなわち、各角速度タイミング信号Ｐｔ、Ｐｔ’、Ｐｔ”は、それぞれ第１の露光開始信号Ｐｅが発生したときから、一定期間Ｍが経過したタイミングで発生させられる。

次に、本実施形態では、角速度タイミング信号Ｐｔ、Ｐｔ’、Ｐｔ”が用いられて角速度が採用され、その採用された角速度により各撮影画像間のぶれが検出される。具体的には、角速度−動きベクトル変換装置６１では、角速度タイミング信号Ｐｔ、Ｐｔ’に応じて、期間Ａ−Ａ’において検出された第１、第２角速度データＶｘ、Ｖｙが、メモリ６２から読み出される。その読み出された角速度データＶｘ、Ｖｙそれぞれは，時間積分され、期間Ａ−Ａ’におけるデジタルカメラ１０のｚ軸とｘ軸からなる平面、ｚ軸とｙ軸からなる平面の回転量として算出される。算出された回転量は、光軸に対する垂直平面における動きベクトルＶｔに換算される。光軸に対する垂直平面は、撮像素子２０の撮像面に一致するので、動きベクトルＶｔは、期間Ａ−Ａ’において生じた撮像面のぶれに相当する。

ここで、タイミングＡ、Ａ’は、第１及び第２フレーム露光期間において同一のタイミングであり、図５に示すように第１及び第２撮影画像において、同一ラインに位置する対応画素が露光されるタイミングである。すなわち、期間Ａ−Ａ’間において生じた撮像面のぶれ（動きベクトルＶｔ）は、第１及び第２撮影画像間における、対応画素の像ぶれに相当する。そして、本実施形態では、この対応画素に関する像ぶれを、撮影画像同士の位置ずれであるとし、時間Ａ−Ａ’間における撮像面のぶれ（すなわち、動きベクトルＶｔ）が、第１及び第２撮影画像間の位置ずれとして検出される。

同様に、期間Ａ’−Ａ”における撮像面のぶれ（動きベクトルＶｔ）は、期間Ａ’−Ａ”において検出された角速度データＶｘ、Ｖｙから算出され、その動きベクトルＶｔが第２及び第３撮影画像間の位置ずれとして検出される。

図６は、画像多重化装置２６における撮影画像の多重化方法を模式的に示した図である。図６に示すように、画像多重化装置２６においては、まず第１撮影画像が画像多重化装置２６に格納され、第１撮影画像が格納された後、その第１撮影画像の上に、第２撮影画像が重ねられる。

ここで、第２撮影画像は、動きベクトルＶｔの方向とは逆方向に、動きベクトルＶｔのスカラー分、第１撮影画像に対して相対的に、画像シフト装置２４でシフトされ、画像多重化装置２６で第１撮影画像の上に多重化される。第３撮影画像は、第１動きベクトルと第２動きベクトルを足した動きベクトルＶｔの方向とは逆方向に、その動きベクトルのスカラー分、第２撮影画像に対して相対的に、画像シフト装置２４でシフトされ、画像多重化装置２６で第２撮影画像の上に多重化される。

以上のように、本実施形態では、ＣＭＯＳセンサにより、画素毎に順次露光が行なわれ、１フレームの撮影画像が生成されるので、１フレーム内の撮影画像において、各画素の露光タイミングが異なる。したがって、角速度タイミングＡ及びＡ’の発生タイミングが規定されずに、撮影画像間において、異なるラインの対応しない画素同士のぶれが検出されれば、精度の良い手ぶれ補正ができなくなる。しかし、本実施形態では、角速度タイミングＡ及びＡ’は、各フレーム露光期間内において、同一のタイミングで発生させられるので、撮影画像間において、対応画素同士の像ぶれが検出され、精度の高い手ぶれ補正が実現される。

なお、本実施形態においては、角速度タイミング信号Ｐｔ、Ｐｔ’、Ｐｔ”が発生するタイミングは、フレーム露光期間内であれば、特に限定されず、例えば露光開始タイミングａ１、ｂ１、ｃ１でも良い。

ただし、通常、画像の中央部分にはメインの被写体が表示されるので、画像の中央部分の像ぶれが最も抑制されると、メインの被写体の像ぶれが最も抑制されることとなる。したがって、角速度タイミング信号Ｐｔ、Ｐｔ’、Ｐｔ”が発生するタイミングは、フレーム露光期間の１／２が経過したタイミングであることが好ましい。これにより、撮影画像の中央部分同士の像ぶれが、各撮影画像間のぶれとして算出され、中央部分の像ぶれが最も抑制されるからである。

なお、第１撮影画像の露光開始直後では、シャッターぶれに起因し、一時的に大きなぶれが発生するので、角速度タイミング信号の発生タイミングを露光開始直後とすると、補正量が大きくなりすぎ、逆に画像間の位置ずれが大きく発生してしまう。したがって、角速度タイミング信号の発生タイミングは、露光開始直後のタイミングであるより、前述したフレーム露光期間の１／２が経過したタイミングであるほうが好ましい。

図７を用いて第２の実施形態について説明する。第１の実施形態においては、フレーム露光期間において、採用タイミング信号は、１回しか発生しなかったが、本実施形態においては複数回（第１〜第１０の角速度タイミング信号）発生する。

第１〜第１０角速度タイミング信号は、各フレーム露光期間Ｆ１、Ｆ２、Ｆ３においてそれぞれ同一のタイミングで発生し、例えば、各フレーム露光期間の開始タイミング、その開始タイミングからフレーム露光期間の１／９、２／９、…、８／９の時間が経過したタイミング、及びフレーム露光期間の終了タイミングで発生させられる。すなわち、図７に示すように、各第１乃至第３フレーム露光期間Ｆ１、Ｆ２、Ｆ３において、第１角速度タイミング信号は、タイミングＡ、Ａ’、Ａ”で発生し、第２角速度タイミング信号は、タイミングＢ、Ｂ’、Ｂ”で発生し、第３〜第１０角速度タイミング信号は、それぞれタイミングＣ〜Ｊ，Ｃ’〜Ｊ’、Ｃ”〜Ｊ”で発生する。

本実施形態においては、第１の実施形態と同様に、期間Ａ−Ａ’におけるデジタルカメラ１０のｚ軸とｘ軸からなる平面、ｚ軸とｙ軸からなる平面の回転量がそれぞれ算出される。算出された回転量は光軸に対する垂直平面における動きベクトルＶｔに換算され、この動きベクトルＶｔは、期間Ａ−Ａ’における撮像面のぶれとして算出される。同様に、各期間Ｂ−Ｂ’、Ｃ−Ｃ’、…、Ｊ−Ｊ’間における動きベクトルＶｔも角速度から換算され、この動きベクトルＶｔは、各期間における撮像面のぶれとして算出される。

このように、各期間において、算出された１０個の動きベクトルＶｔは、平均（相加平均）され、その平均が第２撮影画像の第１撮影画像に対する位置ずれとして算出される。第３撮影画像の第２撮影画像に対する位置ずれも同様にして算出される。なお、その他の構成は、第１の実施形態と同様であるので、その記載は省略する。

以上のように、本実施形態においては、各撮影画像間のぶれが、複数の動きベクトルの平均により算出されるので、第１の実施形態に比べて、多重化画像は全体的にぶれが抑制される。

なお、本実施形態においては、各画素ごとに順次露光が行われたが、ラインごとに露光する撮像素子であっても同様に処理を行うことができる。

第１の実施形態に係るデジタルカメラのブロック図である。 撮像素子で行われる画像の取り込みタイミングを示すための図である。 撮像素子の各ラインの露光期間と、露光開始信号、及び露光終了信号の関係を示す図である。 撮影動作における各動作が実施されるタイミングを時間経過とともに示すグラフである。 第１乃至第３撮影画像における、角速度タイミング信号が発生するタイミングを示す図である。 画像多重化装置における撮影画像の多重化方法を模式的に示した図である。 第２の実施形態に係る撮影動作における、各動作が実施されるタイミングを時間経過とともに示すグラフである。

符号の説明

２０ 撮像素子
２４ 画像シフト装置
２６ 画像多重化装置
６１ 角速度−動きベクトル変換装置
７１ 露光タイミング発生装置
７２ 角速度タイミング発生装置

Claims (3)

1. 同一の被写体像に関して、順次連続的に撮影された、少なくとも第１及び第２撮像画像を含む２フレーム以上の撮影画像を多重化合成し、多重化画像を生成する撮像装置であって、
   画素毎、またはライン毎に順次露光され、撮像レンズによって結像された前記被写体像から１フレームの前記撮影画像を生成する撮像素子と、
   前記第１及び第２撮影画像を生成させるための各露光期間において、タイミング信号を同一のタイミングで発生させるタイミング発生手段と、
   前記撮像装置本体の角速度を検出し、前記角速度を、前記第１撮像画像において前記タイミング信号が発生したタイミングと、前記第２撮像画像において前記タイミング信号が発生したタイミングの間において時間積分することにより、前記第１及び第２撮影画像間に生じるぶれを検出するぶれ検出手段と、
   前記ぶれによって生じた前記第１及び第２撮影画像の相対的な位置ずれを補正するために前記第１及び第２撮影画像のうち、少なくとも一方の撮影画像をシフトさせる画像シフト手段と、
   少なくとも一方がシフトされた前記第１及び第２撮影画像を多重化させる多重化画像手段とを備え、
   前記タイミング発生手段が、前記各露光期間の１／２の時間が経過したときに前記タイミング信号を発生させることを特徴とする撮像装置。
2. 前記タイミング信号は、前記各露光期間において、１回発生させられることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子が、ＣＭＯＳセンサであることを特徴とする請求項１に記載の撮像装置。
   

Images