JP4682010B2 - 撮像装置 - Google Patents

Description

本発明は、像ぶれ補正機能を備えた撮像装置、特にデジタルカメラに関する。

従来、デジタルカメラなどの撮像装置において、撮像中に生じた手ぶれを補正するために、撮像装置の振動を検出し、その検出された振動量に応じて、撮像光学系の位置を補正する像ぶれ補正装置が知られている。

また、像ぶれが簡便に補正される方法として、画像処理によって補正が行われる方法が知られており、この方法の一例としては例えば特許文献１に記載される方法が挙げられる。すなわち、撮影画像が複数フレーム連続的に撮影されるとともに、各撮影画像が撮像されたときの像ぶれ量が検出され、各撮影画像がその像ぶれ量に応じてシフトされた後加算され、１つの静止画像が生成される。この方法によれば、各撮影画像が撮影される時間（露光時間）を短くすることにより、１フレームの撮影画像が撮影される間に生じる像ぶれが最小限に抑えられるとともに、各フレーム間の位置ずれは各撮影画像がシフトされることにより打ち消され、これにより像ぶれ補正が適切に行われている。

特許文献１においては、撮像素子としてＣＣＤが使用されており、全ての画素は同一のタイミングで同一の期間に亘って露光され、その露光される間に蓄積される電荷が電気信号に変換されるので、各撮影画像の各々の画素は、像ぶれ量が同一となる。したがって、各撮影画像をシフトするときに、同一の撮影画像内における各画素間の像ぶれ量の相違を考慮する必要はない。
特開２００３−３２５４０号公報

しかし、撮像素子としてはＣＣＤの他にＣＭＯＳセンサが知られており、ＣＭＯＳセンサにおいては、被写体像が画素毎に順次光電変換され、１フレームの撮影画像が生成される。すなわち、１つの撮影画像において、各画素の露光されるタイミングが異なるため、撮影画像の各画素の像ぶれ量は画素毎に異なる。したがって、複数の撮影画像間の位置ずれの検出にあたり、特許文献１に記載の方法をそのまま適用しても、画像の合成が適切にできない場合がある。また、ＣＭＯＳセンサにはライン毎に光電変換する例もある。

そこで、本願発明は、このような問題点に鑑みて成されたものであり、ＣＭＯＳセンサ等、画像信号を１画素毎（または１ライン毎）に順次取り込む撮像素子を用いる場合において、像ぶれを適切に補正することができる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、同一の被写体像に関して、順次連続的に撮影された２フレーム以上の撮影画像を多重化合成し、多重化画像を生成する撮像装置であって、画素毎、またはライン毎に順次露光され、撮像レンズによって結像された被写体像から１フレームの撮影画像を生成する撮像素子と、被写体像の特徴部分を抽出し、この特徴部分に対応する各撮影画像の特徴点画素を特定する画像特徴抽出手段と、撮像装置本体の角速度を検出する手段と、特徴部分画素が撮影画像それぞれにおいて露光される、タイミングの間において、角速度を時間積分することにより、各撮影画像間に生じるぶれを検出するぶれ検出手段と、ぶれによって生じた各撮影画像の相対的な位置ずれを補正するために２フレーム以上の撮影画像のうち、少なくとも１フレームの撮影画像をシフトさせる画像シフト手段と、そのシフトされた各撮影画像を多重化させる多重化画像手段とを備えることを特徴とする。

画像特徴抽出手段は、例えば被写体像のうち人の顔の部分を、特徴部分として抽出する。また、画像特徴抽出手段は、例えば、被写体像における合焦点位置を検出し、合焦点位置を特徴部分として抽出する。画像特徴抽出手段は、例えば撮影者の視線が向けられる被写体像の位置を、特徴部分として抽出する。これにより、本発明においては、人の顔、合焦点位置、または撮影者の視線が向けられる位置のぶれが少なくなるようにぶれの補正が行なわれるので、より望ましい像ぶれ補正を実現することができる。

また、撮像素子は、例えばＣＭＯＳセンサである。

以上のように本発明においては、被写体像の特徴部分同士のぶれが、各撮影画像間のぶれとして算出されるので、特徴部分のぶれを少なくし、望ましい像ぶれ補正を実現することができる。

以下、本発明に係る実施形態について、図面を参照して説明する。本実施形態に係る撮像装置では、以下説明するように、同一の被写体像に関して、順次連続的に撮影された第１乃至第３撮影画像が多重合成され、その多重化画像が撮影された静止画像として生成される。ここで、撮像装置では通常手ぶれが発生するので、その手ぶれを補正するために、各撮影画像はその手ぶれに応じた分だけシフトされた上で合成される。以下実施形態を用いて具体的に説明する。なお、以下説明する実施形態では、撮像装置が、デジタルカメラである場合について説明するが、撮像装置はデジタルカメラに限定されるわけではない。

図１は、第１の実施形態に係るデジタルカメラのブロック図である。本実施形態に係るデジタルカメラ１０は、撮像素子２０を備え、撮像素子２０には、被写体像が撮像レンズ１９によって結像される。デジタルカメラ１０は、不図示のシャッターボタンが押され、撮像動作が実行されると、同一の被写体像に対する撮影が連続的に行われ、撮像素子２０では、複数フレームの撮影画像（本実施形態では、第１乃至第３の撮影画像）の画像信号が生成される。生成された画像信号は順次フレームバッファ２２に格納された後、画像シフト装置２４に入力される。

デジタルカメラ１０は、そのカメラ本体に生じる手ぶれを検知するため第１及び第２角速度センサ４１、４２を備える。第１及び第２角速度センサ４１、４２はそれぞれ、一定時間（例えば１ｍｓ）毎に、光軸となるｚ軸と水平方向に延びるｘ軸からなる面、および光軸となるｚ軸と垂直方向に延びるｙ軸からなる面の角速度Ｖｘ、Ｖｙを検出する。なお、水平方向とは、光軸方向に垂直で、通常の使用状態で水平になる方向と一致し、一方、垂直方向とは、光軸方向に垂直で、水平方向に直交する方向をいう。

第１、第２角速度ｖｘ、ｖｙは、角速度に関する信号を増幅した後、アナログ信号として、それぞれ第１及び第２のＡ／Ｄ変換器５１及び５２に入力される。第１及び第２Ａ／Ｄ変換器５１及び５２では、第１、第２角速度ｖｘ、ｖｙがＡ／Ｄ変換された後、角速度データとして、角速度−動きベクトル変換装置６１を介して、メモリ６２に一旦格納される。

角速度−動きベクトル変換装置６１では、メモリ６２に格納された第１、第２角速度データｖｘ、ｖｙが読み出され、手ぶれによって生じた、第２及び第１撮影画像に対する第３及び第２撮影画像の位置ずれがそれぞれ算出される。この算出された位置ずれデータは、一旦メモリ６２に保存された後、画像シフト装置２４に入力される。

露光タイミング発生装置７１では、露光開始信号Ｐｅ及び露光終了信号Ｐｆを発生し、撮像素子２０では、露光開始信号Ｐｅ及び露光終了信号Ｐｆのタイミングに合わせて、露光が行われる。画像特徴抽出装置７２では、被写体像において特徴点（特徴部分）が抽出されるとともに、その特徴点が結像される特徴点画素（特徴部分画素）が１画素特定される。さらに画像特徴抽出装置７２では、第１乃至第３撮影画像それぞれにおける、その特徴点画素の位置情報（特徴点画素が位置するライン数、及びそのラインにおいて左側から何画素目に位置するか）が算出される。角速度−動きベクトル変換装置６１では、この位置情報から特徴点画素の露光されるタイミングが算出され、算出されたタイミングにより、第１、第２角速度ｖｘ、ｖｙの採用タイミングが決定される。なお、本実施形態における画像特徴抽出装置７２は、顔認識回路を備え、人の顔の中心を被写体像の特徴点として抽出する。

画像シフト装置２４では、位置ずれデータより、第２撮影画像が、第１撮影画像に対する位置ずれ分を補正するように、そのずれ方向とは逆方向にシフトされ、その後第２撮影画像は、画像多重化装置２６に入力される。第３撮影画像は、第２撮影画像に対する位置ずれ分と、第２撮影画像の第１撮影画像に対する位置ずれ分を、足したずれ分を補正するように、そのずれ方向とは逆方向にシフトされた後に、画像多重化装置２６に入力される。なお、第１撮影画像は、画像シフト装置２４では、シフトされずにそのまま画像多重化装置２６に入力される。

画像多重化装置２６では、第１撮影画像の上に、第２撮影画像が、第２撮影画像の上に、第３撮影画像が重ねられる。ここで、第２及び第３撮影画像は、上述したように、位置ずれした分だけ、シフトされた後に重ねられるので、得られる多重化画像は、手ぶれが補正された画像となる。多重化画像は、記録装置２７に静止撮影画像として保存されるとともに、モニタ（不図示）に静止撮影画像として表示される。

図２は、撮像素子２０で行われる画像の取り込みタイミングを示すための図である。図３は、各ラインの露光期間と、露光開始信号Ｐｅと露光終了信号Ｐｆの関係を示す図である。本実施形態では、撮像素子２０はＣＭＯＳイメージセンサから成り、ＣＭＯＳイメージセンサの撮像面には、撮像レンズ１９によって被写体像が結像される。撮像素子２０の撮像面は、撮像レンズ１９の光軸に垂直であり、図２に示すようにその撮像領域には水平方向に画素が並べられて形成される水平ラインＨが、垂直方向にｎライン設けられている。

ＣＭＯＳイメージセンサの各画素は、入射光を感知して入射光量に相当する信号電荷を生成するフォトダイオードと、生成した信号電荷を蓄積するキャパシタと、キャパシタから信号電荷を増幅して取り出す複数のＭＯＳトランジスタとを有する。

図３に示すように、１フレームが露光される間に、露光開始信号Ｐｅ及び露光終了信号Ｐｆは、それぞれ、所定の間隔で、ＣＭＯＳイメージセンサのライン数と同数（すなわち、第１〜第ｎの露光開始信号Ｐｅ、及び第１〜第ｎの露光終了信号Ｐｆ）入力される。なお、図３に示すように、各第１〜第ｎの露光開始信号Ｐｅ、及び第１〜第ｎの露光終了信号Ｐｆは交互に入力される。

本実施形態におけるＣＭＯＳイメージセンサでは、電子シャッターを用いて撮影が行われ、露光開始信号Ｐｅの入力タイミングに合わせて露光が開始され、露光終了信号Ｐｆの入力タイミングに合わせて露光が終了する。すなわち、第１の露光開始信号Ｐｅが入力されると、第１の露光終了信号Ｐｆが入力されるまでの期間（単位露光期間Ｅ）、水平ラインＨのライン１が、選択されるとともに、選択された水平ラインＨにおいてはさらに各画素が左から右に順次選択される（図２参照）。なお、各露光開始信号Ｐｅは、いずれのフレームにおいても同一のタイミングで入力される。一方、各露光終了信号Ｐｆはいずれのフレームにおいても同一のタイミングで入力されても良いし、異なるタイミングで入力されても良い。露光終了信号Ｐｆが、フレーム毎に異なるタイミングで入力されることにより、各単位露光期間Ｅを、フレーム毎に変更させることができる。

各画素は単位露光期間Ｅだけ露光され、その露光により各画素では電荷がフォトダイオードで生成され，キャパシタに蓄積される。蓄積された電荷は画素毎に画素信号として読み出され、フレームバッファ２２に格納される。この露光動作は、ライン２から最終ライン（ラインｎ）の各ラインに関しても同様に行われ、これにより１フレーム分の撮影画像の露光が終了し、１フレーム分の撮影画像の画像信号が得られる。なお、１ライン目の露光開始タイミングから最終ライン（ラインｎ）の露光終了タイミングまでの期間、つまり１フレーム分の露光期間を本実施形態においては、フレーム露光期間という。

図４は、第１乃至第３撮影画像の特徴点画素を抽出する方法を具体的に示すための図である。図４に示すように、第１乃至第３撮影画像は、顔認識回路において、顔がある顔領域Ｙが抽出される。具体的には、フレームバッファ２２に格納された撮影画像が読み出され、その撮影画像における肌色領域が抽出される。顔認識回路には平均顔画像のテンプレートが格納されており、その平均顔画像と肌色領域が比較され、肌色領域のうち顔画像に最も近似する部分が顔領域Ｙとして抽出される。なお、上記顔認識の方法は、例えば特開平８-６３５９７号公報等に記載されるが、顔認識の方法は上記方法に限定されず、その他種々の公知の方法を用いることが可能である。

本実施形態においては顔領域Ｙが、図４に示すように方形の領域として抽出される。顔領域Ｙが抽出されると、その領域Ｙの中心画素（すなわち、その領域の重心に位置する画素）が算出され、その中心画素が各撮影画像の特徴点画素Ｃとして検出される。

図５は、撮影動作における各動作が実施されるタイミングを時間経過とともに示すグラフである。図５においては、縦軸が角速度、横軸が時間経過を表す。ただし、角速度データは、ｖｘについて表し、ｖｙについてはその記載は省略する。

以下、図５を用いて、角速度から撮影画像同士の位置ずれが算出される方法について説明する。図５に示すように、撮影動作が開始されると、まず第１の撮影画像の撮影が開始される。すなわち、撮像素子２０では露光が開始され、１フレーム分の撮影画像を撮影するための露光が、第１フレーム露光期間Ｆ１において行われる。

第１フレーム露光期間Ｆ１が終了すると、撮影インターバルＩが経過した後、第２撮影画像が生成されるための露光が、第２フレーム露光期間Ｆ２において行われる。第２フレーム露光期間Ｆ２が終了すると、撮影インターバルＩが経過した後、第３撮影画像が生成されるための露光が、第３フレーム露光期間Ｆ３において行われる。なお、第１乃至第３撮影画像は、同じ露光条件で撮影されるため、第１乃至第３フレーム露光期間Ｆ１、Ｆ２、及びＦ３は、互いに同一であるとともに、撮影インターバルＩの期間も同一である。

画像特徴抽出装置７２では、上述したように特徴点画素Ｃが検出され、その特徴点画素Ｃは、図５に示すように、第１乃至第３撮影画像それぞれにおいて、タイミングＡ、Ａ’、Ａ”で露光される。角速度−動きベクトル変換装置６１では、特徴点画素Ｃの位置情報からこれらタイミングＡ、Ａ’、Ａ”が算出され、これらタイミングＡ、Ａ’、Ａ”を用いて、各撮影画像間のぶれが検出される。具体的には、期間Ａ−Ａ’において検出された角速度データｖｘ、ｖｙが、メモリ６２から読み出される。その読み出された角速度データｖｘ、ｖｙそれぞれは，時間積分され、期間Ａ−Ａ’におけるデジタルカメラ１０のｚ軸とｘ軸からなる平面、ｚ軸とｙ軸からなる平面の回転量として算出される。算出された回転量は、光軸に対する垂直平面における動きベクトルＶｔ１に換算される。光軸に対する垂直平面は、撮像素子２０の撮像面に一致するので、動きベクトルＶｔ１は、期間Ａ−Ａ’において生じた撮像面のぶれ、すなわち特徴点画素Ｃ同士のぶれに相当し、第１及び第２撮影画像同士の位置ずれとして検出される。

同様に、期間Ａ’−Ａ”における撮像面のぶれ（動きベクトルＶｔ２）は、期間Ａ’−Ａ”において検出された角速度データｖｘ、ｖｙから算出され、その動きベクトルＶｔ２が第２及び第３撮影画像間の位置ずれとして検出される。

上述したようにタイミングＡ、Ａ’は、各撮影画像の顔領域Ｙの中心位置が露光されたタイミングである。すなわち、期間Ａ−Ａ’間において生じた撮像面のぶれ（動きベクトルＶｔ１）は、第１及び第２撮影画像間における、顔の中心位置のぶれに相当する。ここで、人の顔は、撮影画像において通常メイン画像に相当し、最も像ぶれを補正したい対象である。したがって、この顔の中心位置のぶれが、第１及び第２撮影画像間の位置ずれ（動きベクトルＶｔ１）として検出されると、検出された位置ずれは、最も像ぶれ補正をしたい対象の位置ずれとなる。勿論、期間Ａ’−Ａ”間において検出された位置ずれについても同様のことがいえる。

図６は、画像多重化装置２６における撮影画像の多重化方法を模式的に示した図である。なお、図６においては、第１撮影画像に第２撮影画像が多重化される構成を示すが、第３撮影画像も同様に多重化される。図６に示すように、画像多重化装置２６においては、まず第１撮影画像が画像多重化装置２６に格納され、第１撮影画像が格納された後、その第１撮影画像の上に、第２撮影画像が重ねられる。

ここで、第２撮影画像は、動きベクトルＶｔ１の方向とは逆方向に、動きベクトルＶｔ１のスカラー分、第１撮影画像に対して相対的に、画像シフト装置２４でシフトされ、画像多重化装置２６で第１撮影画像の上に多重化される。第３撮影画像も、第１動きベクトルと第２動きベクトルを足した動きベクトルＶｔ１＋Ｖｔ２の方向とは逆方向に、動きベクトルＶｔ１＋Ｖｔ２のスカラー分、第１撮影画像に対して相対的に、画像シフト装置２４でシフトされ、画像多重化装置２６で第２撮影画像の上に多重化される。

以上のように、本実施形態では被写体像における最も特徴的な部分（人の顔）同士のぶれが、各撮影画像間の位置ずれとして算出され、その位置ずれに基づいて各撮影画像がシフトされた後、画像が多重化される。したがって、得られる多重化画像は、最もぶれを補正したい対象である特徴的な部分（人の顔）が最も正確にぶれ補正されているので、望ましい像ぶれ補正を実現することができる。

図７、８を用いて第２の実施形態について説明する。第２の実施形態に係るデジタルカメラ１０は、被写体の焦点を検出するための焦点検出装置が複数の測距センサを有し、焦点検出装置が、焦点検出としての機能のみならず、画像特徴抽出装置としての機能も果たす。以下第２の実施形態について、第１の実施形態との相違点を中心に説明する。

焦点検出装置は、９個の測距センサから成り、図７に示すように、被写体像ＯＩにおいて、焦点検出点ａ〜ｉのいずれに焦点が合わせられるかを検出し、その焦点が合わされる位置が焦点位置として検出される。

本実施形態においては、焦点はデジタルカメラから最も近い被写体に合わされる。具体的には、各測距センサそれぞれから、焦点検出点ａ〜ｉに対応する被写体の位相差像が形成され、被写体像ＯＩにおいて、焦点検出点ａ〜ｉのうち、最も位相差が大きい点、すなわち最もカメラから近い被写体が表される１点が検出され、その１点が焦点位置として検出される。なお、焦点検出点は、図７に示すように行方向に左下がりに３個並ぶとともに、その行が列方向に３列並んで構成される。

図８は、第２の実施形態の撮影動作における各動作が実施されるタイミングを時間経過とともに示すグラフである。第２の実施形態においては、まず上述のように、焦点検出点ａ〜ｉのうちから１点が、合焦点位置として検出される。次に、その合焦点位置の被写体に焦点が合うように、レンズ１９の位置が調整され、焦点調整が行われる。焦点調整後、第１乃至第３撮影画像の撮影が実施される。撮影動作は、第１の実施形態と同様に、第１乃至第３フレーム露光期間Ｆ１、Ｆ２、Ｆ３それぞれにおいて、第１乃至第３撮影画像が、撮影されるとともに、第１及び第２フレーム露光期間Ｆ１、及びＦ２、並びに第２及び第３フレーム露光期間Ｆ２、及びＦ３の間には、撮影インターバルＩが設けられる。

画像特徴抽出装置７２では、まず、合焦点位置に設定された焦点検出点に対応する画素が、特徴点画素として検出され、その特徴点画素の位置情報が算出される。次に角速度−動きベクトル変換装置６１で、その特徴点画素の位置情報から、特徴点画素の露光されるタイミングが決定される。例えば焦点検出点ａが焦点位置と決定されると、特徴点画素が露光されるタイミングは、図８に示すように、各第１乃至第３撮影画像において、それぞれタイミングＡ、Ａ’、Ａ”として算出される。

角速度−動きベクトル変換装置６１では、さらに期間Ａ−Ａ’、及び期間Ａ’−Ａ” において、それぞれ角速度が時間積分され、動きベクトルＶｔ１、Ｖｔ２が算出される。算出された動きベクトルＶｔ１、Ｖｔ２は、第１の実施形態と同様に、第１及び第２撮影画像間（または第２及び第３撮影画像）同士の位置ずれとして、それぞれ検出される。なお、以下の構成は第１の実施形態と同様であるので、その記載は省略する。

被写体像における合焦点位置は、撮影画像において重要な画像部分に相当し、最も像ぶれを補正したい画像部分である。すなわち、本実施形態においては合焦点位置を画像の特徴点とすることにより、第１の実施形態と同様に、重要な画像部分のぶれを少なくし、望ましい像ぶれ補正を実現することができる。

なお、図８に示すタイミングＢ、Ｂ’、Ｂ”は、焦点検出点ｂに対応する画素が露光されるタイミングであり、その他タイミングＣ〜Ｉ、Ｃ’〜Ｉ ’、Ｃ”〜Ｉ”についても同様である。そして、焦点検出点ｂ〜ｉが合焦点位置として定められた場合についても、上述したように位置ずれが算出される。また、本実施形態では、カメラから最も近い被写体に焦点が合わされたが、焦点は被写体の他の位置に合わされても良い。

次に、図９、１０を用いて第３の実施形態について説明する。第１の実施形態においては、画像特徴抽出装置７２は、顔認識回路から構成されるが、本実施形態においては、画像特徴抽出装置７２は、視線検出装置から構成される。

図９は視線検出装置の概略を示す図である。視線検出装置は、光源（不図示）と、受光素子８０と、受光レンズ８１と、光分割器８３を備える。光分割器８３は、ファインダー系内部において、撮影者の眼球の視線Ｖ上に位置するように設けられ、可視光を透過するとともに、赤外線を反射させる。撮影者の眼球８２がファインダー系を覗くと、視線Ｖは、光分割器８３を透過して、被写体ＯＢに向けられる。

撮影者の眼球８２がファインダー系を覗くとき、眼球８２には光源（不図示）から赤外線が照射される。眼球８２では、その赤外線が反射され、その反射光は、光分割器８３で反射された後、受光レンズ８１を介して、受光素子８０に入射される。

受光素子８０では、その反射光を用いて、視線Ｖが検出される。例えば、光源からの平行光束が観察者の眼球８２の前眼部へ投射されることにより、瞳孔の向き及び位置が求められて、その向き及び位置情報から視線Ｖが算出される。なお、上記視線の検出方法は、例えば特開平６−８６７５８号公報に詳細に記載されている。また、視線の検出は、この方法に限られず公知のいかなる方法により行われても良い。視線検出装置では、視線Ｖが検出されると、その視線Ｖが向けられる被写体の位置が求められ、その位置が特徴点ａとして抽出される。

図１０は、第３の実施形態の撮影動作における各動作が実施されるタイミングを時間経過とともに示すグラフである。第３の実施形態においては、撮影前に上述の視線検出が行われ、特徴点ａが抽出されると、特徴点ａが結像される特徴点画素の位置情報が検出され、その位置情報は角速度−動きベクトル変換装置６１に入力される。

その後第１乃至第３撮影画像の撮影が実施される。撮影動作は、第１の実施形態と同様に、第１乃至第３フレーム露光期間Ｆ１、Ｆ２、Ｆ３それぞれにおいて、第１乃至第３撮影画像が、撮影されるとともに、第１及び第２フレーム露光期間Ｆ１、及びＦ２、並びに第２及び第３フレーム露光期間Ｆ２、及びＦ３の間には、撮影インターバルＩが設けられる。

角速度−動きベクトル変換装置６１では、特徴点画素の位置情報を用いて、第１乃至第３撮影画像それぞれにおいて、特徴点画素が露光されるタイミングＡ、Ａ’、Ａ”（図１０参照）が算出される。

第３の実施形態においても、第１の実施形態と同様に、期間Ａ−Ａ’及びＡ’−Ａ”において検出された角速度データｖｘ、ｖｙが，時間積分され、動きベクトルＶｔ１、Ｖｔ２が算出され、動きベクトルＶｔ１、Ｖｔ２が第１及び第２撮影画像（または第２及び第３撮影画像）同士の位置ずれとして検出される。なお、以下の動作は第１の実施形態と同様であるのでその記載は省略する。

撮影者が被写体像を撮影するとき、ファインダー系から覗かれる撮影者の視線Ｖは、その撮影者が撮影したい被写体部分に向けられる。すなわち、本実施形態においては視線Ｖが向けられる被写体部分を画像の特徴点とすることにより、撮影者が撮影したい被写体部分のぶれを少なくし、望ましい像ぶれ補正を実現することができる。

また第１の実施形態においては、特徴点画素は、第１乃至第３撮影画像それぞれにおいて検出され、撮影画像それぞれにおいて異なることがあるが、第２及び第３の実施形態においては、画像の特徴点の検出（すなわち、例えば焦点位置の検出）が撮影前に行われ、その特徴点により特徴点画素が決定されるので、特徴点画素は、第１乃至第３撮影画像いずれにおいても同一である。しかし、第２及び第３の実施形態においても、各撮影画像が生成される毎に、視線検出及び焦点位置検出が行われ、特徴点画素が各撮影画像それぞれにおいて異なるようになっても良い。また、同様に、第１の実施形態においても、特徴点の検出が撮影前に行われ、第１乃至第３撮影画像いずれにおいても特徴点画素が同一であっても良い。

第１の実施形態に係るデジタルカメラのブロック図である。 撮像素子で行われる画像の取り込みタイミングを示すための図である。 撮像素子の各ラインの露光期間と、露光開始信号と露光終了信号の関係を示す図である。 第１乃至第３撮影画像において、特徴部分が検出される方法を示すための図である。 撮影動作における各動作が実施されるタイミングを時間経過とともに示すグラフである。 画像多重化装置における撮影画像の多重化方法を模式的に示した図である。 第２の実施形態において特徴部分が検出される方法を示すための図である。 第２の実施形態に係る撮影動作における、各動作が実施されるタイミングを時間経過とともに示すグラフである。 視線検出装置の概要を示すための図である。 第３の実施形態に係る撮影動作における、各動作が実施されるタイミングを時間経過とともに示すグラフである。

符号の説明

２０ 撮像素子
２４ 画像シフト装置
２６ 画像多重化装置
６１ 角速度−動きベクトル変換装置
７１ 露光タイミング発生装置
７２ 画像特徴抽出装置

Claims (5)

1. 同一の被写体像に関して、順次連続的に撮影された、少なくとも第１及び第２撮影画像を含む２フレーム以上の撮影画像を多重化合成し、多重化画像を生成する撮像装置であって、
   画素毎、またはライン毎に順次露光され、撮像レンズによって結像された前記被写体像から１フレームの前記撮影画像を生成する撮像素子と、
   前記被写体像の特徴部分を抽出し、この特徴部分に対応する前記第１及び第２撮影画像の特徴部分画素を特定する画像特徴抽出手段と、
   前記撮像装置本体の角速度を検出する角速度検出手段と、
   前記第１撮影画像において前記特徴部分画素が露光されるタイミングと、前記第２撮像画像において前記特徴部分画素が露光されるタイミングの間において前記角速度を時間積分することにより、前記第１及び第２撮影画像間に生じるぶれを検出するぶれ検出手段と、
   前記ぶれによって生じた前記第１及び第２撮影画像の相対的な位置ずれを補正するために前記第１及び第２撮影画像のうち、少なくとも一方の撮影画像をシフトさせる画像シフト手段と、
   少なくとも一方がシフトされた前記第１及び第２撮影画像を多重化させる多重化画像手段と
   を備える撮像装置。
2. 前記画像特徴抽出手段が、前記被写体像のうち人の顔の部分を、前記特徴部分として抽出することを特徴とする請求項１に記載の撮像装置。
3. 前記画像特徴抽出手段が、前記被写体像における合焦点位置を検出し、前記合焦点位置を前記特徴部分として抽出することを特徴とする請求項１に記載の撮像装置。
4. 前記画像特徴抽出手段が、撮影者の視線が向けられる前記被写体像の位置を、特徴部分として抽出することを特徴とする請求項１に記載の撮像装置。
5. 前記撮像素子が、ＣＭＯＳセンサであることを特徴とする請求項１に記載の撮像装置。

Images