JP6000862B2

JP6000862B2 - 撮像装置

Info

Publication number: JP6000862B2
Application number: JP2013007597A
Authority: JP
Inventors: 晃一鷲巣
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-01-18
Filing date: 2013-01-18
Publication date: 2016-10-05
Anticipated expiration: 2033-01-18
Also published as: JP2014138390A

Description

本発明はデジタルカメラやビデオカメラなどの撮像装置に関する。

特許文献１は、動画の垂直期間毎に、１垂直期間よりも短い露光時間で撮影された複数の画像をずらしながら重ね合わせて１つの画像を出力し、撮影により得られた画像に基づいてフォーカスレンズを駆動して焦点調節を行う撮像装置を開示している。

特開２００７−８１４７７号公報

しかしながら、特許文献１は、撮影されたフレーム毎の画像位置合わせを合成枚数分行わなくてはならないために演算負荷が増大する。

本発明は、少ない演算負荷で高精度な焦点調節を行うことを目的とする。

本発明の撮像装置は、光学像を光電変換する撮像素子と、前記撮像素子から得られる複数枚の画像を互いに位置合わせする画像位置合わせ手段と、前記画像位置合わせ手段によって位置合わせされた画像を記憶する記憶手段と、前記画像位置合わせ手段によって位置合わせされた前記複数枚の画像を合成する画像合成手段と、前記画像合成手段によって合成された前記複数枚の画像の重複している領域の情報に基づいて焦点状態を検出する焦点状態検出手段と、撮影方向の変更を検出する検出手段と、を有し、前記検出手段が前記撮影方向の変更を検出しない場合には、前記画像位置合わせ手段は、前記記憶手段に記憶された複数枚の位置合わせ済み画像に、位置合わせ前の画像を位置合わせし、前記検出手段が前記撮影方向の変更を検出した場合には、前記画像位置合わせ手段は、前記位置合わせ前の画像に前記記憶手段に記憶された１枚の画像を位置合わせする位置合わせ量に基づいて、前記位置合わせ前の画像に前記記憶手段に記憶された複数枚の位置合わせ済み画像を位置合わせすることを特徴とする。

本発明によれば、少ない演算負荷で高精度な焦点調節を行うことができる。

本実施形態の撮像装置のブロック図である。図１に示すＣＰＵの動作を説明するための図である。図１に示すＣＰＵによる焦点状態検出用画像の位置合わせと合成を説明する図である。撮影方向が変更された時の図１に示すＣＰＵによる焦点状態検出用画像の位置合わせと合成を説明する図である。記録用画像の位置合わせと合成を説明する図である。焦点状態検出用画像の位置合わせ合成方法を説明するためのフローチャートである。記録用画像の位置合わせ合成方法を説明するためのフローチャートである。

図１は、本実施形態におけるデジタルカメラ（撮像装置、光学機器）のブロック図であり、１１は撮影光軸である。デジタルカメラは、カメラ本体１２に鏡筒１４が固定されているが、撮像装置は鏡筒１４がカメラ本体１２に着脱可能なデジタル一眼レフカメラやミラーレスカメラであってもよい。また、デジタルスチルカメラやデジタルビデオカメラであってもよい。

鏡筒１４は、物体（被写体）の光学像を形成する撮影光学系を収納する。撮影光学系は、物体側から像側に光路に沿って、固定レンズ１３ａ、変倍レンズ１３ｂ、自動焦点調節（オートフォーカス：ＡＦ）レンズ１３ｃ、光学ローパスフィルタ１３ｄを有する。撮影光学系は、撮像素子１３ｅの物体側に配置されている。変倍レンズ（ズームレンズ）１３ｂは、光軸方向に移動されて焦点距離を変更する。ＡＦレンズ１３ｃは、モーター１５ａにより光軸方向（矢印１５ｂ）方向に駆動され、焦点調節を行う。

シャッタ１６は、変倍レンズ１３ｂとＡＦレンズ１３ｃの間に配置され、適切な露光期間の間、シャッタ羽根１７を開くことで被写体からの光束を撮像素子１３ｅに導く。１８は、カメラ本体１２の背面に位置して、ライブビュー表示、撮影画像や各種の情報の表示を行う液晶モニタである。撮像素子１３ｅは光学像を光電変換する光電変換手段である。

カメラ本体１２に内蔵されるＣＰＵ１９は本実施形態に関連する要素のみブロック図としてカメラ本体１２の外に示してある。ＣＰＵ１９は、マイクロコンピュータ（プロセッサ）から構成される。ＣＰＵ１９は、画像処理手段１１０、露光制御手段１１１、画像位置合わせ手段１１３、記憶手段１１４、基準画像選択手段１１５、画像合成手段１１７、再生画像記録手段１１８、焦点状態検出手段１１９を有する。画像合成手段１１７は、再生画像合成手段１１７ａとＡＦ画像合成手段１１７ｂを有する。

露光制御手段１１１は、シャッタ駆動手段１１２を介してシャッタ羽根１７の開閉駆動制御を行う。即ち、露光制御手段１１１は画像処理手段１１０からの被写体情報に基づいて静止画や動画撮影時に適した露光時間を設定する。そして静止画撮影時には撮影条件に見合った時間だけシャッタ羽根１７を開き、被写体光束を撮像素子１３ｅに導くことで撮像を行なう。動画撮影時には露光制御手段１１１は動画撮影中シャッタ羽根１７を常に開状態にしておき、撮像素子の不図示の電子シャッタ機能を制御して与えられたフレーム長（例えば、１／３０秒）毎に画像を更新する。

画像位置合わせ手段１１３は、撮像素子１３ｅから得られる複数枚の画像（撮像素子１３ｅから出力される信号をＡ／Ｄ変換したデジタル画像データ）を互いに位置合わせする。

記憶手段１１４は、単一の画像２１ａや画像位置合わせ手段１１３によって位置合わせされた複数枚の画像（位置合わせ済み画像）を記憶する。

撮影状態検出手段１１６は、撮影方向の変更を検出する。

基準選択手段１１５は、記憶手段１１４に記憶された複数枚の位置合わせ済み画像および位置合わせ前の画像のいずれを画像位置合わせ手段１１３による位置合わせ基準とするか選択する。即ち、基準選択手段１１５は、複数の画像を位置合わせする際の基準画像（あるいは基準線）を選択する。また、基準選択手段１１５は、撮影状態（例えば、撮影方向の変更）に基づいて位置合わせ基準を変更する。更に、基準選択手段１１５は、記録用画像の合成と焦点状態検出用画像の合成では異なる基準画像を選択する。

例えば、焦点状態検出用画像を合成する場合には以下のようになる。即ち、基準選択手段１１５は、撮影状態検出手段１１６が撮影方向の変更を検出しない場合、記憶手段１１４に記憶された、複数枚の位置合わせ済み画像を基準画像として選択する（または複数枚の位置合わせ済み画像の位置合わせに使用された基準線を選択する）。この結果、撮影状態検出手段１１６が撮影方向の変更を検出しない場合には、画像位置合わせ手段１１３は、記憶手段１１４に記憶された、複数枚の位置合わせ済み画像に、位置合わせ前の画像を位置合わせすることになる。

一方、基準選択手段１１５は、前撮影状態検出手段１１６が撮影方向の変更を検出した場合には、位置合わせ前の画像を基準画像として選択する（あるいは位置合わせ前の画像に設定された位置合わせ用の基準線を選択する）。この結果、撮影状態検出手段１１６が撮影方向の変更を検出した場合には、画像位置合わせ手段１１３は、位置合わせ前の画像に、記憶手段に記憶された複数枚の位置合わせ画像を位置合わせすることになる。その際、位置合わせ前の画像に、記憶手段に記憶された複数枚の位置合わせ済み画像の１つを位置合わせする位置合わせ量を求め、その位置合わせ量を残りの位置合わせ済み画像に適用することによって演算負荷を低減する。

画像合成手段１１７は、画像位置合わせ手段１１３によって位置合わせされた複数枚の画像を合成する。

焦点状態検出手段１１９は、画像合成手段１１７のＡＦ画像合成手段１１７ｂによって合成された複数枚の画像の重複している領域の情報に基づいて焦点状態を検出する。再生画像合成手段１１７ａによって合成された記録用画像は再生画像記録手段１１８によって記録される。

再生画像記録手段１１８によって記録された画像は、画像再生手段１２０を介して液晶モニタ１８に表示される。焦点状態検出手段１１９は、ＡＦ駆動手段１２１を介してモーター１５ａを駆動し、ＡＦレンズ１３ｃを矢印１５ｂ方向に駆動する。

以下、画像位置合わせ手段１１３、記憶手段１１４、基準画像選択手段１１５、画像合成手段１１７、再生画像記録手段１１８、焦点状態検出手段１１９の動作について、図２、３を用いて説明する。

図２において、２１ａから２１ｄは時系列に取得される各画像、２２は画像２１ａから２１ｄに記録される撮影主被写体である。画像２１ａから２１ｄの取得時に矢印２３方向にのみ手ぶれが発生しているとすると、時間の経過に応じて主被写体は矢印２３方向に変動する。

位置合わせ手段１１３は、画像２１ａから２１ｄを主被写体の位置が揃うようにずらし、図２においては、主被写体２１の目が基準線２４に揃うように画像２１ａから２１ｄを画像２１ａ’から２１ｄ’の様にずらす。

画像合成手段１１７は、位置合わせ手段１１３で位置合わせした画像２１ａ’から２１ｄ’を合成し、矢印２５に示すように、合成画像２１’を得る。太枠で示す合成画像２１’は画像２１ａ’から２１ｄ’の互いに重複している領域のみを抽出した画像となる。

焦点状態検出手段１１９は、合成画像２１’のコントラストから公知のＴＶ−ＡＦ手法により、撮影光学系１３の焦点状態を検出する。即ち、ＡＦレンズ１３ｃによって形成される焦点位置と撮像素子１３ｅの相対位置を変化させるスキャンを行いながら撮像素子１３ｅが形成した被写体像のコントラストのピーク位置を検出することによって焦点検出する。

次に、図３を参照して、ピント合わせのために所定時間毎に複数画像を位置合わせ合成する過程を説明する。

まず、画像処理手段１１０は、画像２１ａ、２１ｂを取得する。画像位置合わせ手段１１３は、画像２１ａの被写体を基準（瞳を基準にした基準線２４）に画像２１ｂを位置合わせして画像２１ｂ’を得る。ＡＦ画像合成手段１１７ｂは、画像２１ａと２１ｂ’を合成して画像３１ａを求める。焦点状態検出手段１１９は、その画像の太い黒枠内の被写体情報から焦点状態を検出する。

次に、画像処理手段１１０は画像２１ｃを取得する。画像位置合わせ手段１１３は、記憶手段１１４に記憶された画像２１ａの被写体を基準（瞳を基準にした基準線２４）に画像２１ｃを位置合わせして画像２１ｃ’を得る。ＡＦ画像合成手段１１７ｂは、記憶手段１１４に記憶された画像２１ａと２１ｂ’及び今回位置合わせした画像２１ｃ’を合成して画像３１ｂを求める。焦点状態検出手段１１９は、画像３１ｂの画像の太い黒枠内の被写体情報から焦点状態を検出する。

次に、画像処理手段１１０は画像２１ｄを取得する。画像位置合わせ手段１１３は、記憶手段１１４に記憶された画像２１ａの被写体を基準（瞳を基準にした基準線２４）に画像２１ｄを位置合わせして画像２１ｄ’を得る。ＡＦ画像合成手段１１７ｂは、記憶手段１１４に記憶された画像２１ａ、２１ｂ’、２１ｃ’及び今回位置合わせした画像２１ｄ’を合成して画像３１ｃを求める。焦点状態検出手段１１９は、画像３１ｃの画像の太い黒枠内の被写体情報から焦点状態を検出する。

次に、画像処理手段１１０は画像２１ｅを取得する。画像位置合わせ手段１１３は、記憶手段１１４に記憶された画像２１ｂ’の被写体を基準（瞳を基準にした基準線２４）に画像２１ｅを位置合わせして画像２１ｅ’を得る。ＡＦ画像合成手段１１７ｂは、記憶手段１１４に記憶された画像２１ｂ’、２１ｃ’、２１ｄ’及び今回位置合わせした画像２１ｅ’を合成して画像３１ｄを求める。焦点状態検出手段１１９は、画像３１ｄの画像の太い黒枠内の被写体情報から焦点状態を検出する。

次に、画像処理手段１１０は画像２１ｆを取得する。画像位置合わせ手段１１３は、記憶手段１１４に記憶された画像２１ｃ’の被写体を基準（瞳を基準にした基準線２４）に画像２１ｆを位置合わせして画像２１ｆ’を得る。ＡＦ画像合成手段１１７ｂは、記憶手段１１４に記憶された画像２１ｃ’、２１ｄ’、２１ｅ’及び今回位置合わせした画像２１ｆ’を合成して画像３１ｅを求める。焦点状態検出手段１１９は、画像３１ｅの画像の太い黒枠内の被写体情報から焦点状態を検出する。

このように、ＣＰＵ１９は、記憶手段１１４から読み出す位置合わせ済み画像が所定枚数（本実施例では４枚）になると、位置合わせ前の画像を取得するたびに記憶手段１１４から読み出す位置合わせ済み画像を更新し、古い順に位置合わせ済み画像を消去する。この結果、記憶手段１１４に記憶される画像枚数の総数が所定枚数を超えることはないので、記憶手段１１４の容量が不足することはない。また、各位置合わせ画像は画像２１ａを基準に位置合わせされるため、焦点状態を検出する時に手ぶれの影響を考慮する必要がない。

図４は、撮影方向の変更（パンニングやチルティング）が行われた場合の位置合わせおよび合成方法を説明する図である。図３の画像３１ｅを得た後から説明を続ける。

画像処理手段１１０は画像２１ｇを取得する。但し、縦線４１で示したタイミングで撮影方向の変更が行われたとする。撮影状態検出手段１１６は、撮影方向の変更を画像の動きベクトル量が大きいことや撮影機器に搭載される角速度計の出力に基づいて検出する。そのため、画像２１ｇにおける被写体構図はそれまでの画像と大きく異なっている（画像２１ｇでは主被写体の頭部のみが構図に収まっている）。撮影方向の変更が行われた時には、その構図を基準にして焦点状態の検出を行うのが好ましい。

撮影方向が変更された場合には、基準選択手段１１５の指示に基づいて、画像位置合わせ手段１１３は、画像２１ｇの被写体を基準（瞳を基準にした基準線４２）に画像２１ｄ’、２１ｅ’、２１ｆ’を位置合わせして画像２１ｄ”、２１ｅ”、２１ｆ”を得る。

但し、これら３枚の画像２１ｄ’、２１ｅ’、２１ｆ’は既に位置合わせ済みであるので、例えば、画像２１ｇに画像２１ｆ’を位置合わせした位置合わせ量だけ画像２１ｄ’、２１ｅ’をずらして画像２１ｄ”、２１ｅ”を求める。そのため、位置合わせ量を演算する負荷は小さい。ＡＦ画像合成手段１１７ｂは、画像２１ｄ’’、２１ｅ’’，２１ｆ’’，２１ｇを合成して画像３１ｆを求める。焦点状態検出手段１１９は、画像３１ｆの画像の太い黒枠内の被写体情報から焦点状態を検出する。

次に、画像処理手段１１０は画像２１ｈを取得する。画像位置合わせ手段１１３は、記憶手段１１４に記憶された画像２１ｅ”の被写体を基準（瞳を基準にした基準線４２）に画像２１ｈを位置合わせして画像２１ｈ’を得る。ＡＦ画像合成手段１１７ｂは、画像２１ｅ’’，２１ｆ’’，２１ｇ、２１ｈ’を合成して画像３１ｇを求める。焦点状態検出手段１１９は、画像３１ｇの画像の太い黒枠内の被写体情報から焦点状態を検出する。

次に、画像処理手段１１０は画像２１ｉを取得する。画像位置合わせ手段１１３は、記憶手段１１４に記憶された画像２１ｆ”の被写体を基準（瞳を基準にした基準線４２）に画像２１ｉを位置合わせして画像２１ｉ’を得る。ＡＦ画像合成手段１１７ｂは、画像２１ｆ’’，２１ｇ、２１ｈ’、２１ｉ’を合成して画像３１ｈを求める。焦点状態検出手段１１９は、画像３１ｈの画像の太い黒枠内の被写体情報から焦点状態を検出する。

このように、撮影方向が変更されると、その後に取得した画像を基準にしてその前後の画像を位置合わせして合成することによって、常に適切な構図で焦点状態検出を行うことができる。

図３、図４は焦点状態検出のための画像位置合わせおよび合成方法を示している。この方法は、画面（構図）中央から端に動いていく被写体においても、常に被写体が画面中央になる画像となって焦点状態検出には適しているが、動画の再生画像（記録用画像）としては動きがないため、適していない。そのため、本実施形態では焦点状態検出用画像と記録される画像とは位置合わせ基準を異ならせている。

図５は、記録用画像の位置合わせと合成を説明するための図である。

まず、画像処理手段１１０は画像２１ａ、２１ｂを取得する。ここで取得される画像２１ａ、２１ｂは、図３で説明した焦点状態検出用の画像と同じである。画像位置合わせ手段１１３は、画像２１ｂの被写体を基準（瞳を基準にした基準線２４Ａ）に画像２１ａを位置合わせして画像２１ａ’を得る。再生画像合成手段１１７ａは、画像２１ｂと２１ａ’を合成して画像５１ａを求める。画像５１ａは、図３で求めた画像３１ａとは位置合わせの基準線が異なる（基準線２４と２４Ａ）。再生画像記録手段１１８は画像５１ａを記録し、画像再生手段１２０は画像５１ｂを液晶モニタ１８に表示させる。

なお、再生画像記録手段１１８に記録される画像５１ａは画像２１ａ’と２１ｂの合成画像であり、太い黒枠で示す画像２１ｂの枠を基準とし、画像２１ａ’における黒枠よりはみ出る部分はトリミングされる。黒枠内で画像２１ａ’と２１ｂが重ならない部分は画像の利得が変化しているので、ＣＰＵ１９はその分を電気的に補正する。

次に、画像処理手段１１０は画像２１ｃを取得する。画像位置合わせ手段１１３は、画像２１ｃを基準（瞳を基準にした基準線２４Ｂ）に記憶手段１１４に記憶された画像２１ａ’、画像２１ｂを位置合わせして画像２１ａ’’、２１ｂ’を得る。２枚の画像２１ａ’、２１ｂは既に位置合わせ済であるので、画像２１ｃに位置合わせする際の位置合わせ量を求める演算は１回で済む。再生画像合成手段１１７ａは、記憶手段１１４に記憶された画像２１ａ’’と２１ｂ’及び画像２１ｃを合成して画像５１ｂを求める。再生画像記録手段１１８は画像５１ｂを記録し、像再生手段１２０は画像５１ｂを液晶モニタ１８に表示させる。

なお、再生画像記録手段１１８に記録される画像５１ｂは画像２１ａ’’と２１ｂ’、２１ｃの合成画像であり、太い黒枠で示す画像２１ｃの枠を基準とし、画像２１ａ’’、２１ｂ’における黒枠よりはみ出る部分はトリミングされる。黒枠内で画像２１ａ’’と２１ｂ’、２１ｃが重ならない部分は画像の利得が変化しているので、ＣＰＵ１９はその分を電気的に補正する。

次に、画像処理手段１１０は画像２１ｄを取得する。画像位置合わせ手段１１３は、画像２１ｄを基準（瞳を基準にした基準線２４Ｃ）に記憶手段１１４に記憶された画像２１ａ’’、画像２１ｂ’、２１ｃを位置合わせして画像２１ａ’’’、２１ｂ’’、２１ｃ’を得る。３枚の画像２１ａ’’、２１ｂ’、２１ｃは既に位置合わせ済であるので、画像２１ｄに位置合わせする際の位置合わせ量を求める演算は１回で済む。再生画像合成手段１１７ａは、画像２１ａ’’’と２１ｂ’’及び画像２１ｃ’と２１ｄを合成して画像５１ｃを求める。再生画像記録手段１１８は画像５１ｃを記録し、像再生手段１２０は画像５１ｃを液晶モニタ１８に表示させる。

なお、再生画像記録手段１１８に記録される画像５１ｃは画像２１ａ’’’と２１ｂ’’、２１ｃ’、２１ｄの合成画像であり、太い黒枠で示す画像２１ｄの枠を基準とし、画像２１ａ’’’、２１ｂ’’、２１ｃにおける黒枠よりはみ出る部分はトリミングされる。黒枠内で画像２１ａ’’’と２１ｂ’’、２１ｃ’、２１ｄが重ならない部分は画像の利得が変化しているので、ＣＰＵ１９はその分を電気的に補正する。

次に、画像処理手段１１０は画像２１ｅを取得する。画像位置合わせ手段１１３は、画像２１ｅを基準（瞳を基準にした基準線２４Ｄ）に記憶手段１１４に記憶された画像２１ｂ’’、画像２１ｃ’、２１ｄを位置合わせして画像２１ｂ’’’、２１ｃ’’、２１ｄ’を得る。３枚の画像２１ｂ’’、２１ｃ’、２１ｄは既に位置合わせ済であるので、画像２１ｅに位置合わせする際の位置合わせ量を求める演算は１回で済む。再生画像合成手段１１７ａは、画像２１ｂ’’’と２１ｃ’’及び画像２１ｄ’と２１ｅを合成して画像５１ｄを求める。再生画像記録手段１１８は画像５１ｄを記録し、画像再生手段１２０は画像５１ｄを液晶モニタ１８に表示させる。

なお、再生画像記録手段１１８に記録される画像５１ｄは画像２１ｂ”’と２１ｃ”、２１ｄ’、２１ｅの合成画像であり、太い黒枠で示す画像２１ｅの枠を基準とし、画像２１ｂ”’、２１ｃ”、２１ｄ’における黒枠よりはみ出る部分はトリミングされる。黒枠内で画像２１ｂ’’’と２１ｃ’’、２１ｄ’、２１ｅが重ならない部分は画像の利得が変化しているので、ＣＰＵ１９はその分を電気的に補正する。

次に、画像処理手段１１０は画像２１ｆを取得する。画像位置合わせ手段１１３は、画像２１ｆを基準（瞳を基準にした基準線２４Ｅ）に記憶手段１１４に記憶された画像２１ｃ’’、画像２１ｄ’、２１ｅを位置合わせして画像２１ｃ’’’、２１ｄ’’、２１ｅ’を得る。３枚の画像２１ｃ’’、２１ｄ’、２１ｅは既に位置合わせ済であるので、画像２１ｆに位置合わせする際の位置合わせ量を求める演算は１回で済む。再生画像合成手段１１７ａは、画像２１ｃ’’’と２１ｄ’’及び画像２１ｅ’と２１ｆを合成して画像５１ｅを求める。再生画像記録手段１１８は画像５１ｅを記録し、画像再生手段１２０は画像５１ｅを液晶モニタ１８に表示させる。

なお、再生画像記録手段１１８に記録される画像５１ｅは画像２１ｃ”’と２１ｄ”、２１ｅ’、２１ｆの合成画像であり、太い黒枠で示す画像２１ｆの枠を基準とし、画像２１ｃ”’、２１ｄ”、２１ｅ’における黒枠よりはみ出る部分はトリミングされる。黒枠内で画像２１ｃ’’’と２１ｄ’’、２１ｅ’、２１ｆが重ならない部分は画像の利得が変化しているので、ＣＰＵ１９はその分を電気的に補正する。

ＣＰＵ１９は、記憶手段１１４から読み出す位置合わせ済み画像が所定枚数になると、位置合わせ前の画像を取得するたびに記憶手段１１４から読み出す位置合わせ済み画像を更新し、古い順に位置合わせ済み画像を消去する。この結果、記憶手段１１４に記憶される画像枚数の総数が所定枚数を超えることはない。

また、焦点状態検出の場合と異なり、最後に取得された画像が基準にされて記憶手段１１４に複数枚の画像が位置合わせされ、合成されて記録される。位置合わせにおいては、記録手段１１４に記憶されている複数枚の画像は位置合わせ済であるため、基準画像に対する位置合わせ量の演算は、複数枚の画像の中でいずれか１枚について行い、残り画像に適用すればよいことになり、演算負荷が少ない。本実施例では、位置合わせ量を求める画像は、基準画像に時間的に一番近いタイミングで取得された画像であるが、これに限定されない。

図６は、ＣＰＵ１９が実行する焦点状態検出用画像の位置合わせと合成を説明するフローチャートであり、このフローは動画撮影開始と共にスタートする。図６に示す位置合わせ合成方法は、コンピュータに各ステップの機能を実現させるためのプログラムとして具現化可能であり、これは図７についても同様である。

ステップ＃６０１において、画像処理手段１１０は画像を取得する。ステップ＃６０２において、記憶手段１１４に記憶された画像を読み出す。ステップ＃６０３において、画像信号や角速度計などの振動検出手段出力から撮影状態検出手段１１６がカメラがパンニング状態であるか否かを判定し、パンニング状態でない場合にはステップ＃６０４に進みパンニング状態の場合にはステップ＃６０９に進む。

ステップ＃６０４において、画像位置合わせ手段１１３がステップ＃６０２で読み出した画像を基準にして最新に取得した画像を位置合わせする。ステップ＃６０５において、画像位置合わせ手段１１３が位置合わせした最新画像を記憶手段１１４に記憶する。ステップ＃６０６において、ＡＦ画像合成手段１１７ｂがステップ＃６０２で読み出した画像と最新に取得し、位置合わせが終了した画像を合成して焦点状態検出用の画像にする。

ステップ＃６０７において、焦点状態検出手段１１９が焦点状態検出用画像の被写体情報から焦点状態を検出する。ステップ＃６０８において、次の焦点状態を検出するためや、検出した焦点状態に応じたピント合わせのためにＡＦレンズ１３ｃを駆動してステップ＃６０１に戻る。

ステップ＃６０３において、カメラがパンニング状態であると検出された場合、ステップ＃６０９において、基準選択手段１１５の指示により、画像位置合わせ手段１１３が最新に取得した画像を基準にステップ＃６０２で読み出した画像を位置合わせする。その後、ステップ＃６０５以降が行われる。

図７は、ＣＰＵ１９が実行する記録用画像の位置合わせと合成を説明するフローチャートであり、このフローは動画撮影開始と共にスタートする。図６と同様のステップについては、同様の参照符号を付している。ステップ＃６０１、ステップ＃６０２の後で、ステップ＃６０９が行われ、次いで、ステップ＃６０５が行われる。次に、ステップ＃７０１において、再生画像合成手段１１７ａがステップ＃６０２で読み出した画像と最新に取得した画像を合成して記録用画像にする。次に、ステップ＃７０２において、ステップ＃７０１で作成された記録用画像を再生画像記録手段１１８に記録する。

このようにして、再生画像合成手段１１７ａが合成する画像５１は異なる複数画像の合成であるためにノイズが少なく、かつ、画像を取得する毎に位置合わせ基準を変更しているために動きのある動画にすることができる。

一方、ＡＦ画像合成手段１１７ｂが合成する画像３１も複数画像の合成であるためにノイズが少なく、かつ、一番初めに取得された画像を位置合わせ基準にしているために動きのない焦点状態検出に適した画像にすることができる。更に、パンニングやチルティングが発生した場合には位置合わせ基準を切り替えることによって新しい構図に適応した焦点状態検出を可能にしている。

以上、本実施形態について説明したが、本発明は本実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

撮像装置は、デジタルカメラやデジタルビデオに適用可能である。

１３ｅ…撮像素子、１９…ＣＰＵ、１１３…画像位置合わせ手段、１１４…記憶手段、１１６…撮影状態検出手段、１１７…画像合成手段、１１７ａ…再生画像合成手段、１１７ｂ…ＡＦ画像合成手段、１１８…再生画像記録手段、１１９…焦点状態検出手段

Claims

光学像を光電変換する撮像素子と、
前記撮像素子から得られる複数枚の画像を互いに位置合わせする画像位置合わせ手段と、
前記画像位置合わせ手段によって位置合わせされた画像を記憶する記憶手段と、
前記画像位置合わせ手段によって位置合わせされた前記複数枚の画像を合成する画像合成手段と、
前記画像合成手段によって合成された前記複数枚の画像の重複している領域の情報に基づいて焦点状態を検出する焦点状態検出手段と、
撮影方向の変更を検出する検出手段と、
を有し、
前記検出手段が前記撮影方向の変更を検出しない場合には、前記画像位置合わせ手段は、前記記憶手段に記憶された複数枚の位置合わせ済み画像に、位置合わせ前の画像を位置合わせし、
前記検出手段が前記撮影方向の変更を検出した場合には、前記画像位置合わせ手段は、前記位置合わせ前の画像に前記記憶手段に記憶された１枚の画像を位置合わせする位置合わせ量に基づいて、前記位置合わせ前の画像に前記記憶手段に記憶された複数枚の位置合わせ済み画像を位置合わせすることを特徴とする撮像装置。
記録用画像を記録する記録手段を更に有し、
前記画像位置合わせ手段は、前記位置合わせ前の画像に前記記憶手段に記憶された１枚の画像を位置合わせする位置合わせ量に基づいて、前記位置合わせ前の画像に前記記憶手段に記憶された複数枚の位置合わせ済み画像を位置合わせし、前記記録手段は前記画像合成手段によって合成された画像を前記記録用画像として記録することを特徴とする請求項１に記載の撮像装置。
前記記録手段に記録される記録用画像は、前記位置合わせ前の画像の枠を有し、前記記憶手段に記憶された複数枚の画像の前記枠よりはみ出る部分はトリミングされることを特徴とする請求項２に記載の撮像装置。
前記記録用画像において前記位置合わせ前の画像の枠内で複数枚の画像が重ならない部分の利得は補正されることを特徴とする請求項３に記載の撮像装置。
前記記憶手段に記憶された位置合わせ済み画像が所定枚数になると、前記位置合わせ前の画像を取得するたびに、前記記憶手段から読み出す位置合わせ済み画像を古い順に消去することを特徴とする請求項１乃至４のうちいずれか１項に記載の撮像装置。