JP2008147715A - 撮像装置及び方法 - Google Patents

Abstract

【課題】 動画撮影中に静止画を撮影する場合に、動画記録を中断することなく、解像度の高い静止画を取得できるようにすること。
【解決手段】 撮像装置であって、複数画素を有し、入射した被写体の光学像を電気信号に変換して画像データを出力する撮像素子（１０３）と、光学像の撮像素子上への入射位置をずらす手ぶれ補正部（１２６）と、動画撮影中に静止画撮影を指示するスイッチ（１１０）と、該指示に応じて、複数フレームを１周期として１画素未満ずつ互いに異なる位置に光学像の入射位置をずらすように手ぶれ補正部を制御する制御手段（１１８、１０５）と、前記指示に応じて、１周期で得られる複数フレームの画像データを、画素密度が向上するように１枚の画像に合成する超解像処理回路（１１６）と、前記指示に応じて、前記制御手段による前記光学像の入射位置のずれをキャンセルするように各フレームの画像データを補正する電子防振回路（１１３）とを有する。
【選択図】 図１

Description

本発明は、撮像装置及び方法に関し、更に詳しくは、動画記録中に静止画記録が可能な撮像装置及び方法に関する。

近年、デジタルカメラにおいて、動画を撮影できる機能を備えた製品が多くなってきている。そのようなデジタルカメラの中でも、動画撮影中に静止画を撮影可能なデジタルカメラが製品化されている。このようなカメラでは、一般的に、ユーザが動画を撮影中に静止画として保存したいシーンがあった場合に静止画撮影用のレリーズスイッチを押下し、この操作に応じて動画撮影を一時中断して静止画を撮影し、静止画の撮影後、動画撮影に戻る。

また、動画の場合、フレームレートが決められていると共に、１フレームの画素数は、例えばＶＧＡでは６４０ｘ４８０相当の画素数であるのに対し、静止画ではフレームレートに拘束されないと共に、数百万の画素数の画像が望まれている。そのため、静止画を撮影する際には、撮像素子の全画素を読み出し、動画の読み出し時は、１／Ｎに画素数を減らして読み出す方法が開示されている（例えば、特許文献１参照）。このように制御することで、高精細な静止画を読み出すと共に、動画撮影時には必要な画素数の画像を必要なフレームレートで読み出すことができる。

一方、動画像を記録する際に、１画素以上の単位で電子防振処理を行って動画像を記録し、記録された１画素未満の手ぶれ成分を持った動画像から、１画素未満の手ぶれ成分を使用して超解像処理して静止画を作成する方法が提案されている。（例えば、特許文献２参照。）この超解像処理とは、複数枚の１画素未満のずれを利用して低解像度の画像データから高解像度の画像データを作成する技術であり、非特許文献１に詳細が記載されている。

特開２０００−７８４８６号公報 特願２００５−２４４８５２号 青木伸，「複数のデジタル画像データによる超解像処理」，Ricoh Technical Report No.２４，１９９８年１１月，ｐ．１９−２５

しかしながら、特許文献１に記載されたデジタルカメラでは、動画撮影時と静止画撮影時とで撮像素子から読み出す画素数が異なるため、撮像素子の駆動方法を変更する必要があり、駆動制御が複雑であった。また、静止画撮影時に動画撮影時よりも撮像素子の駆動速度を速くしたり、複数フレームの時間をかけて静止画を撮影したりしていた。

更に、静止画撮影時と動画撮影時では画像データの信号処理に用いる、例えば、オートフォーカス値や、露出制御値等パラメータも異なるため、動画撮影中に静止画撮影に切り替わる際には、信号処理のモードも切り替える必要がある。

また表示について、上述した従来の撮像装置では、動画撮影中に静止画を撮影する時に撮像素子の読み出しの駆動方式や信号処理モードを切り替える必要があるため、動画像の表示を中断していた。或いは、この中断期間の画面を隠すために固定色表示などの不自然な表示が行われていた。

更に、静止画の記録中は動画の記録を行うことができないため、静止画を記録している期間は、動画データ中に、記録される静止画像、或いは、固定色画像を動画データの中断した期間に埋め込む等の措置が必要であった。このように、動画像の記録が中断され、連続した動画像を記録することができないという問題があった。

これに対し、特許文献２に記載された撮像装置では、連続した動画像と、高解像度の静止画を生成することが可能である。しかしながら、記録された動画像を再生しながら、所望の静止画を得ることはできるが、動画の撮影中に静止画を取得することができない。また、例えば、三脚などに撮像装置を設置して撮影を行った場合など、１画素未満の手ぶれ成分が動画像に含まれない場合には、超解像処理により静止画を生成することできない。

本発明は上記問題点を鑑みてなされたものであり、動画撮影中に静止画を撮影する場合に、動画記録を中断することなく、解像度の高い静止画を取得できるようにすることを目的とする。

上記目的を達成するために、本発明の撮像装置は、複数画素を有し、入射した被写体の光学像を電気信号に変換して画像データを出力する撮像手段と、前記光学像の前記撮像手段上への入射位置をずらすシフト手段と、動画記録中に静止画記録を指示する指示手段と、前記指示手段による指示に応じて、複数フレームを１周期として１画素未満ずつ互いに異なる位置に前記光学像の入射位置をずらすように前記シフト手段を制御する制御手段と、前記指示手段による指示に応じて、１周期で得られる前記複数フレームの画像データを、画素密度が向上するように１枚の画像に合成する合成手段と、前記指示手段による指示に応じて、前記制御手段による前記光学像の入射位置のずれをキャンセルするように各フレームの画像データを補正する補正手段とを有する。

また、本発明の撮像方法は、複数画素を有し、入射した被写体の光学像を電気信号に変換して画像データを出力する撮像手段と、前記光学像の前記撮像手段上への入射位置をずらすシフト手段とを有する撮像装置における撮像方法であって、動画記録中に静止画記録を指示する指示工程と、前記指示工程による指示に応じて、複数フレームを１周期として１画素未満ずつ互いに異なる位置に前記光学像の入射位置をずらすように前記シフト手段を制御するシフト工程と、前記指示手段による指示に応じて、１周期で得られる前記複数フレームの画像データを、画素密度が向上するように１枚の画像に合成する合成工程と、前記指示手段による指示に応じて、前記シフト工程による前記光学像の入射位置のずれをキャンセルするように各フレームの画像データを補正する補正工程とを有する。

本発明によれば、動画撮影中に静止画を撮影する場合に、動画記録を中断することなく、解像度の高い静止画を取得することができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
●システム構成
図１は、本第１の実施形態における動画記録機能及び静止画記録機能を共に備えると共に、動画記録時の静止画記録が可能な撮像装置のシステム構成の一例を示したブロック図である。なお、本実施の形態では、動画記録時に同時に静止画記録する処理を、「同時記録」と呼ぶ。

１００は、撮像を行うための光学系であり、撮像レンズ１０１、手ぶれ補正部１２６、シャッター１０２、そして、例えばＣＣＤやＣＭＯＳセンサなどの撮像素子１０３等によって構成されている。なお、手ぶれ補正部１２６は、可変頂角プリズム等、被写体像の結像位置を撮像素子１０３の結像面上でシフトさせる手段である。１０４は、光学系１００により撮像されたデータをデジタルデータに変換するためのＡ／Ｄ変換回路である。また、１０９は、本システムを制御するＣＰＵである。１１０は、ユーザから撮像モードを設定するスイッチや、動画記録のスタートストップを指示するスイッチや、静止画記録を指示するレリーズスイッチを含むスイッチである。１２３は外部メモリ、１２４は液晶表示器等の表示装置、１２５は画像データを最終的に記録するためのメディアである。

１２７は、光学手ぶれ補正を行うため光学手ぶれ補正系であり、アクチュエータ１０５、加算回路１０６、手ぶれセンサ１０７、手ぶれ補正制御回路１０８を含む。アクチュエータ１０５は、手ぶれ補正部１２６を駆動する。手ぶれセンサ１０７は、ピッチ方向及びヨー方向の角速度を検出する。手ぶれ補正制御回路１０８は、手ぶれセンサ１０７が検出したピッチ方向及びヨー方向の角速度を積分して角変移量を算出する。そして、算出した角変位量、即ち、撮像装置の振れ角と、撮像レンズ１０１の焦点距離とから、手ぶれによって生じた撮像素子１０３上の画素移動分を算出し、算出した画素移動分をキャンセルする手ぶれ補正量を生成して、加算回路１０６に出力する。

なお、手ぶれ補正制御回路１０８は、ＣＰＵ１０９から、スイッチ１１０により指示された動画撮影モード、静止画撮影モードの判定が可能であり、動画撮影時と静止画撮影時とで、手ぶれ補正量を制御することができる。たとえば、動画撮影時では、パン或いは、チルトなど、撮像装置を大きく動かすことによって撮影する場合が多く、このため、手ぶれ量は、低周波の周波数成分を多く含む傾向がある。一方、静止画の撮影時では、カメラを固定して撮影することが多いために、動画よりも低周波成分を含まないといった傾向がある。以上のことから、手ぶれ補正制御回路１０８は、手ぶれセンサ１０７より検出した検出量に対して、動画撮影時と静止画撮影時とで制御する周波数成分のカットオフ切り替えを行うことができる。

また、加算回路１０６は、手ぶれ補正制御回路１０８から出力される手ぶれ補正量に、後述する信号処理系１１１の画素ずらし制御回路１１８により生成される画素ずらし量を加算する加算回路である。

１１１は信号処理系であり、デジタル回路を集積したＬＳＩ（Large Scale Integration）によって構成されている。本第１の実施形態の構成では、動画像を処理する信号処理系と、静止画を処理する信号処理系に分かれている。

まず、動画像を処理する信号処理系について説明する。

１１３は、電子防振回路である。電子防振回路１１３は、同時記録時に作用する回路であって、動画の画像データに含まれる１画素未満の手ぶれ成分を補正する回路である。また、１１２は、電子防振回路１１３が、１画素未満の手ぶれ補正処理を行うために、１ライン分の画像データを保持するラインメモリである。なお、電子防振回路１１３の処理については、図３及び図４を参照して詳細に後述する。

１１４は、電子防振回路１１３より出力された画像データに対して、ＹＣ分離、ホワイトバランス補正、アパーチャー補正、ガンマ補正等を施すことにより、画像データを輝度色差信号に変換する動画信号処理回路である。なお、ＹＣ分離とは、輝度信号と色差信号とを高精度に分離することをいう。アパーチャー補正とは、撮像素子１０３が有している開口（アパーチャー）によって生じるローパス効果（細かい模様のボケが生じることであり、アパーチャー効果ともいう）を補正することをいう。このアパーチャー補正により、信号値の変化が強調される。γ補正とは、出力デバイスを想定した非線形な画像処理のことをいう。このγ補正により、より自然に近い画像が得られる。以上のようにして、動画信号処理回路１１４は、電子防振回路１１３より出力された画像データを輝度色差信号に変換する。

次に、静止画を処理する信号処理系について説明する。

１１６は超解像処理を行う超解像処理回路、１１５は超解像処理回路１１６で超解像処理を行うためにフレーム画像を保持するためのフレームメモリである。なお、超解像処理回路１１６により行われる処理については、図２を参照して詳細に後述する。１１７は、超解像処理により生成された静止画像データに対して信号処理を行う信号処理回路である。処理内容は、動画信号処理回路１１４とほぼ同様であるため、ここでは説明を省略する。

１１８は画素ずらし制御回路であり、同時記録時に１画素未満の画素ずらし量を動画像のフレーム毎に切り替えて、加算回路１０６、電子防振回路１１３、超解像処理回路１１６に出力する。

１１９は圧縮伸張回路であり、静止画信号処理回路１１７で生成された静止画の画像データを、例えばＪＰＥＧフォーマット等に圧縮したり、圧縮されたデータを伸張して画像データを生成する回路である。また、圧縮伸張回路１１９は、動画信号処理回路１１４で生成された動画の画像データを、例えば、ＭＰＥＧフォーマットなどに圧縮したり、圧縮されたデータを伸張して画像データを生成する。

１２３は外部メモリ、１２０は外部メモリ１２３へアクセスするためのメモリコントローラである。１２４は表示装置、１２１は表示装置１２４を制御するための表示装置制御回路である。１２５は着脱可能または撮像装置に内蔵されたメディアであり、１２２はメディア１２５を制御するためのメディアＩ／Ｆ回路である。メディア１２５としては、ＰＣＭＣＩＡカードやコンパクトフラッシュ（登録商標）等のメモリカード、ハードディスク等を用いることができる。また、マイクロＤＡＴ、光磁気ディスク、ＣＤ‐ＲやＣＤ‐ＷＲ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても良く、本発明はその形態に特にこだわるものでない。

●動画記録
次に、図１に示す構成を有する撮像装置における本第１の実施形態の動画記録処理について説明する。

動画記録時には、ＣＰＵ１０９は、動画撮影モードで光学系１００、光学手ぶれ補正系１２７、信号処理系１１１の各制御を行う。動画記録時には、後述する静止画の信号処理系の超解像処理は行わないので、ＣＰＵ１０９の制御により画素ずらし制御回路１１８は画素ずらし量０を出力する。なお、この画素ずらし量についても詳細に後述する。従って、加算回路１０６からは、手ぶれセンサ１０７により検出された角速度に基づいて手ぶれ補正制御回路１０８が検出した手ぶれ補正量がそのままアクチュエータ１０５に入力され、手ぶれ補正部１２６により手ぶれ補正が行われる。この時、上述したように、ＣＰＵ１０９は、手ぶれ補正制御回路１０８のカットオフ周波数を動画像に適した値に設定するなど、動画撮影に適した補正が行われるように制御する。また、撮像素子１０３は、所定フレームレートで所定画素数の画像データを読み出すように駆動される。

手ぶれ補正部１２６により手ぶれ補正された被写体光学像は、撮像素子１０３上に結像し、電気信号に変換されて、所定フレームレートで所定画素数のアナログ画像データが順次読み出される。読み出されたアナログ画像データはＡ／Ｄ変換回路１０４でデジタル画像データに変換された後、電子防振回路１１３に入力される。上述したように電子防振回路１１３は同時記録時に作用する回路であり、動画記録時には入力された信号はそのまま動画信号処理回路１１４に出力され、処理されて、輝度色差信号が生成される。

動画信号処理回路１１４で輝度色差信号に変換された画像データは、外部メモリ１２３へ保持される。外部メモリ１２３に保持された輝度色差信号である画像データは、再び、メモリコントローラ１２０を介して、圧縮伸張回路１１９に出力され、ＭＰＥＧ４等の適当なフォーマットに変換される。そして、再度、メモリコントローラ１２０を介して、外部メモリ１２３へ格納される。外部メモリ１２３へ記録された圧縮画像データは、メモリコントローラ１２０を介して、更にメディアＩ／Ｆ回路１２２へ出力され、最終的に、メディア１２５へ記録される。

また、外部メモリ１２３に保持された動画信号処理回路１１４から出力された画像データは、メモリコントローラ１２０を介して、表示装置制御回路１２１へ入力される。ここで表示サイズに適するようにリサイズ処理及び、表示装置１２４へ表示するための適切なフォーマット変換が行われた後、表示装置１２４へ出力される。

●同時記録
次に、本第１の実施形態における同時記録処理について説明する。

同時記録処理時には、信号処理系１１１における動画の信号処理系と静止画の信号処理系が共に動作する。以下、同時記録時に動画記録のために電子防振回路１１３で行われる電子防振処理と、静止画記録のために超解像処理回路１１６で行われる超解像処理についてそれぞれ説明する。先ず、超解像処理について説明し、次に電子防振処理について説明する。

＜超解像処理及び静止画の記録＞
静止画を記録する為に超解像処理回路１１６で行われる超解像処理について、図２を参照して説明する。

超解像処理とは、複数の１画素未満のずれを持った画像データから、高解像度の画像データを生成する処理のことである。ここでは、例えば、４枚の画像データを用いて、夫々が、別の方向に１／２画素ずつずれた画像から超解像を行う例について説明する。

図２（ａ）のフレーム０は基準となる画像データである。この基準画像に対し、水平方向に１／２画素ずれた画像データをフレーム１（図２（ｂ））、垂直方向に１／２画素ずれた画像データをフレーム３（図２（ｄ））、水平および垂直方向それぞれに１／２画素ずれた画像データをフレーム２（図２（ｃ））とする。先ず、フレーム０の画素データが存在しない各画素位置である（ｎ＋０．５，ｍ）の位置にフレーム１の（ｎ，ｍ）の画素データを埋め込む。同様にフレーム０の（ｎ，ｍ＋０．５）の位置にフレーム３の（ｎ，ｍ）の画素データを、フレーム０の（ｎ＋０．５，ｍ＋０．５）の位置にフレーム２の（ｎ，ｍ）の画素データを埋め込む。

つまり、フレーム０の１／２画素ずれた位置に、フレーム１〜３の画素データを格子状に埋め込むことにより、図２（ｅ）に示すような、フレーム０に対して４倍の画素密度を有する静止画像データを得ることができる。

以上のようにして合成処理を行うことで、画素データを増やして解像感を増す処理が超解像処理である。

画素ずらし制御回路１１８は、上述した超解像処理が可能となるように、基準となるフレームに対して１画素未満ずれるような画素ずらし量を生成し、加算回路１０６に出力する。図２に示す例では、４フレームを１周期として、１フレーム目は画素ずらし量は（０，０）、２フレーム目は（０，０．５）、３フレーム目は（０．５，０．５）、４フレーム目は（０．５，０）となる。

なお、上記例では４フレーム分の画像データを用いて４倍の画素密度の静止画像データを生成する場合について説明したが、これに限るものではない。本発明は複数フレーム分の画像データを用いて、撮像素子１０３の画素数よりも高い画素密度を達成できればよく、そのために必要な１画素未満ずれた画像を得ることができるように、画素ずらし制御回路１１８は画素ずらし量を制御する。例えば、１／３画素ずつずらして、９フレームを１周期としたり、１／４ずつずらして１６フレームを１周期とすることも可能である。ただし、１周期分のフレーム数の画像データを取得するために時間が掛かりすぎると、被写体が動く（被写体ずれ）などして、合成した静止画の画質が劣化することがあるため、画質が劣化しない程度のフレーム数で１周期を構成することが好ましい。

同時記録時には、ＣＰＵ１０９は、動画撮影モードで光学系１００を制御し、静止画撮影モードで光学手ぶれ補正系１２７の制御を行い、信号処理系１１１では動画用及び静止画用の信号処理を共に行うように制御する。上述したように、同時記録時は、ＣＰＵ１０９の制御により画素ずらし制御回路１１８は各フレーム毎に異なる１画素未満の画素ずらし量を出力する。従って、加算回路１０６からは、手ぶれセンサ１０７により検出された角速度に基づいて手ぶれ補正制御回路１０８により得られた手ぶれ補正量に、画素ずらし制御回路１１８から出力された画素ずらし量を加算した補正値が出力される。

このように、加算回路１０６で手ぶれ補正量と画素ずらし量とを加算することで、撮像素子１０３から読み出される画像データは、手ぶれ成分が除去された、超解像処理用の基準画像データまたは１画素未満ずれた画像データとなる。

加算回路１０６から出力された補正値がアクチュエータ１０５に入力され、手ぶれ補正部１２６により光学手ぶれ補正が行われる。この時、上述したように、ＣＰＵ１０９は手ぶれ補正制御回路１０８のカットオフ周波数を動画像に適した値に設定するなど、動画撮影に適した補正が行われるように制御する。また、撮像素子１０３は、所定フレームレートで所定画素数の画像データを読み出す動画撮影モードで駆動する。

超解像処理回路１１６により超解像処理を行った画像データは、静止画信号処理回路１１７にて輝度色差信号に変換される。輝度色差信号に変換された画像データは、メモリコントローラ１２０を介して、外部メモリ１２３に記録される。外部メモリ１２３に記録された輝度色差信号である画像データは、再びメモリコントローラ１２０を介して圧縮伸張回路１１９に出力され、ＪＰＥＧ等の適当な圧縮動画画像フォーマットに変換される。そして、再度、メモリコントローラ１２０を介して外部メモリ１２３へ記録される。外部メモリ１２３へ記録された圧縮された画像データは、メモリコントローラ１２０を介して、更にメディアＩ／Ｆ回路１２２へ出力され、最終的にメディア１２５へ記録される。

＜電子防振処理及び動画の記録＞
次に、動画を記録する為に電子防振回路１１３で行われる電子防振処理について、図３及び図４を参照して説明する。

上述したように、同時記録時に電子防振回路１１３に入力される画像データは、手ぶれ成分が除去されていると共に、各フレーム毎に異なる画素ずらし量を有する画像データである。この画素ずらし量は、画素ずらし制御回路１１８から加算回路１０６へ出力されていると共に、電子防振回路１１３へも出力されており、電子防振回路１１３はこの画素ずらし量を用いて、画像データの１画素未満の補間処理を行う。

図３は、電子防振回路１１３の具体的な構成の一例を示す図である。まず、垂直方向の１画素未満の画素補間処理について説明する。図３において、乗算器２０２は、入力される画像データに係数Ｖｋを乗する。入力された画像データは、同時にラインメモリ１１２に保持され、１ライン分遅延される。乗算器２０１は、ラインメモリ１１２から読み出された１ライン分遅延された画像データに（１−Ｖｋ）を乗する。加算器２０３は、乗算器２０１と乗算器２０２の出力を加算する。すなわち、加算器２０３の出力は、隣接するライン間の画像データを係数Ｖｋの重みで加重平均したものになる。

次に、水平方向の１画素未満の画像補間処理について説明する。乗算器２０４は、加算器２０３から出力された画像データに係数Ｈｋを乗する。加算器２０３から出力された画像データは、同時に１クロック遅延回路２０５に送られ、１画素分遅延される。乗算器２０６は、１クロック遅延回路２０５から出力された１画素分遅延された画像データに係数（１−Ｈｋ）を乗する。加算器２０７は、乗算器２０４と乗算器２０６からの出力を加算する。すなわち、加算器２０７の出力は、水平方向に隣接する画素値を係数Ｈｋの重みで加重平均したものになる。

次に、図４を参照して、具体的に１画素未満のずれに対して、補間処理が行われる例について説明する。ここでは電子防振回路１１３に入力される画像データが、基準となる画像データに対して、垂直下方向に１／２画素、水平右方向に１／２画素ずれている場合について説明する。

まず、垂直方向に１／２画素ずれている画像データを用いた補間データ生成方法について説明する。図４（ａ）は、ｎラインの画像データ３０１とｎ＋１ラインの画像データ３０２から、垂直下方向に１／２画素ずれた画像データを生成する処理を示している。この場合、ｎラインの画像データ３０１を１／２倍して画像データ３０３を生成し、ｎ＋１ラインの画像データ３０２を１／２倍して、画像データ３０４を生成して、それぞれ加算することにより、垂直下方向に１／２画素ずれた画素データを得ることができる。これは、図３において、Ｖｋが１／２である場合に相当する。

次に、水平右方向に１／２画素ずれている画像データを用いた補間データ生成方法について説明する。図４（ｂ）は、ｎ画素の画像データ３１１とｎ＋１画素の画像データ３１２から、水平右方向に１／２画素ずれた画像データを生成する処理を示している。この場合、ｎ画素の画像データ３１１を１／２倍して画像データ３１３を生成し、ｎ＋１画素の画像データ３１２を１／２倍して画像３１４を生成して、それぞれ加算することにより、水平右方向に１／２画素ずれた画素データを得ることができる。これは、図３において、Ｈｋが１／２である場合に相当する。

図２で説明したように画素ずれ量が（０，０）、（０，０．５）、（０．５，０．５）、（０．５，０）のフレーム画像を処理する場合、電子防振回路１１３はこれらの画素ずれ量を基にしてＶｋ、Ｈｋを次に示す表のように制御すればよい。

このように、手ぶれ成分は手ぶれ補正部１２６により除去され、超解像処理のための１画素未満の画素ずらし量は、電子防振回路１１３の上記処理により補正されるため、ぶれのない動画を得ることができる。

電子防振回路１１３により１画素未満の補間処理を行った画像データは、動画信号処理回路１１４にて、輝度色差信号に変換されメモリコントローラ１２０を介して、外部メモリ１２３に保持される。外部メモリ１２３に記録された輝度色差信号である画像データは、再び、メモリコントローラ１２０を介して、圧縮伸張回路１１９に出力され、ＭＰＥＧ４等の適当なフォーマットに変換される。そして、再度、メモリコントローラ１２０を介して、外部メモリ１２３へ格納される。外部メモリ１２３へ記録された圧縮された画像データは、メモリコントローラ１２０を介して、更にメディアＩ／Ｆ回路１２２へ出力され、最終的に、メディア１２５へ記録される。

●同時記録動作の流れ
次に、図５のフローチャートを参照して、本第１の実施形態における同時記録動作の流れについて説明する。図５のフローチャートに示す処理は、図１のスイッチ１１０によって、撮像装置の電源がＯＮ状態になると開始される。

ステップＳ１１において、ＣＰＵ１０９はスイッチ１１０によりユーザが動画記録開始の指示を行ったかどうかを判断する。動画記録開始の指示がされると、ステップＳ１２に進んで、ＣＰＵ１０９は、光学系１００、光学手ぶれ補正系１２７、信号処理系１１１に対して、上述した動画撮影モードの設定を行う。ステップＳ１３では、動画記録を開始する。動画記録が開始されると、上述した動画記録処理により動画像データを取得し、メディア１２５に随時記録していく。ステップＳ１４では、動画撮影中に、ユーザによって動画終了が指示されたか、或いは撮像装置のステータスから、動画撮影が完了したかどうかを判定する。判定の結果、動画撮影を終了する場合は、動画記録処理を終了する。

一方、動画撮影が継続中である場合（ステップＳ１４でＮＯ）、ステップＳ１５に進み、スイッチ１１０の内、静止画撮影のレリーズスイッチがユーザにより押されたかどうかの判定を行う。静止画撮影のレリーズスイッチが押されると、上述した同時記録処理が行われる。同時記録処理の開始にあたって、ステップＳ１６において、ＣＰＵ１０９は光学系１００、光学手ぶれ補正系１２７、信号処理系１１１を同時期録用に設定し直す。具体的には、例えば、光学手ぶれ補正系１２７の手ぶれ補正制御回路１０８の光学手ぶれ補正のカットオフ周波数を、静止画撮影時と同様に設定にする。また、信号処理系１１１では、画素ずらし制御回路１１８により、例えば、上述した４フレームを１周期とした画素ずらしを行うように、光学手ぶれ補正系１２７を制御する。即ち、画素ずらしを行わない基準フレーム、水平右方向に１／２画素ずらした、フレーム１、垂直下方向に１／２画素ずらしたフレーム２、水平右に１／２画素及び、垂直下方向に１／２画素ずらしたフレーム３を取得するような画素ずらし量を出力する。

ステップＳ１７では、ＣＰＵ１０９は、同時記録を開始するように、光学系１００、光学手ぶれ補正系１２７、信号処理系１１１に対して制御を行う。なお、撮像素子１０３の駆動方法（フレームレート、読み出し画素数）は動画撮影時と同様であって、同時記録時に駆動方法を切り替えることはしない。

同時記録が開始されると、光学手ぶれ補正が行われ、且つ、１画素未満（例えば１／２画素）のずれを持った画像データが、撮像素子１０３からＡ／Ｄ変換回路１０４を介して、信号処理系１１１へ入力される。信号処理系では、上述した動画用の電子棒振処理と、静止画用の超解像処理を平行して行うため、動画と静止画の生成を同時に行うことが可能である。生成された動画は、動画記録時と同様にメディア１２５に記録される為、同時記録時にも動画記録を継続することができる。

ステップＳ１８では、静止画像の信号処理が終了したかどうかを判定する。上述した超解像処理より静止画像が生成できると、ステップＳ１９で、動画撮影モードに戻し、ステップＳ２０で動画記録を再開する。

ステップＳ２１では、表示装置１２４に画像を表示するが、超解像処理に使用される任意のフレームの画像を表示しても、また、ステップＳ１８で生成された静止画像をレビュー表示しても、或いは、動画をそのまま表示し続けても構わない。例えば、前述の静止画の生成方式では、４枚のフレーム画像を用いて４倍の解像度を持つ静止画を作成したが、この同時記録時の静止画像を表示装置１２４に出力したい場合は、４枚中の任意の１枚を、静止画像を表示装置１２４にレビュー表示してもよい。或いは、超解像処理を行った４倍の解像度を持った静止画像から、レビュー画像を作成してもよい。

ステップＳ２２では、生成された静止画をメディア１２５に記録する。静止画の記録を終了するとステップＳ１４に戻り、動画記録が終了するまで上記処理を繰り返す。

上記の通り本第１の実施形態によれば、動画撮影中に静止画の撮影が指示された場合に、撮像素子１０３の駆動方法を変更する必要がないため、動画記録を中断することなく、且つ、超解像処理により解像度の高い静止画を取得することができる。

なお、静止画のみを記録する場合、上述した超解像処理により取得するようにしても、また、撮像素子１０３の解像度がもともと高ければ、全画素読み出し駆動により静止画を取得するようにしてもよい。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。図６は、本第２の実施形態における動画記録と静止画記録機能を備えた撮像装置のシステム構成の一例を示したブロック図である。なお、図６において、図１と同様の構成には同じ参照番号を付し、図１と異なる構成について以下説明する。

上述した第１の実施形態では、画素ずらし量は画素ずらし制御回路１１８により生成される既知の値であり、電子防振回路１１３及び超解像処理回路１１６では、この既知の値である画素ずらし量を用いて処理を行っていた。これに対して、本第２の実施形態では、画素ずらし量は、光学手ぶれ補正系１２７でのみ使用される。そして、本第２の実施形態では、動き検出回路６２８が信号処理系６１１に入力される画像データの動き量を検出する。

理想的には、動き検出回路６２８では、画素ずらし制御回路１１８にて画素ずらしされた量のみが検出されるはずであるが、実際に手ぶれ補正部１２６に与えられる手ぶれ補正量には、撮影環境による外乱等による誤差が混じっている。そのため、完璧な手ぶれ補正及び画素ずらしが常に行われるとは限らない。従って、動き検出回路６２８では、複数のフレームを用いてフレーム間の動き量を検出する。なお、フレーム間における動き量検出方法については、例えば、特許文献２に詳しく述べられている。

また、動き検出回路６２８では、１画素以上の動きについても検出を行う。従って、動き検出回路６２８から出力される動き検出量は１画素以上のずれ量であることがあり、電子防振回路６１３及び超解像処理回路６１６の回路は、１画素以上のずれの補正処理をする必要がある。従って、本第２の実施形態における電子防振回路６１３及び超解像処理回路６１６は、同時記録時に、第１の実施形態で説明した１画素未満の画素ずれ量に基づく処理に加えて、１画素以上のずれを補正する処理も行う。

１画素以上の画素ずれの補正方法に関しては、例えば、特許文献２に開示されている方法を用いても良い。この方法では、画素ずれ量がキャンセルされるように、入力されるフレームから画像を切り出す範囲をずらすことにより、ずれを補正する。

なお、上記実施の形態では、光学的な手ぶれ補正部１２６により被写体像の結像位置を撮像素子１０３の結像面上でシフトさせる場合について説明したが、シフトされる方法はこれに限るものではない。例えば、撮像素子１０３をずらし駆動する構成にしても良い。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

本発明の第１の実施形態に係るシステムの概略構成を示すブロック図である。 超解像処理を説明するための図である。 本発明の第１の実施形態における電子防振回路の構成例を示す図である。 本発明の第１の実施形態における電子防振処理を説明するための図である。 本発明の第１の実施形態における動画記録及び同時記録の制御を説明したフローチャートである。 本発明の第２の実施形態に係るシステムの概略構成を示すブロック図である。

符号の説明

１００：光学系、１０１：撮像レンズ、１０２：シャッター、１０３：撮像素子、１０４：Ａ／Ｄ変換回路、１０５：アクチュエータ、１０６：加算回路、１０７：手ぶれセンサ、１０８：手ぶれ補正制御回路、１０９：ＣＰＵ、１１０：スイッチ、１１１：信号処理系、１１２：ラインメモリ、１１３：電子防振回路、１１４：動画信号処理回路、１１５：フレームメモリ、１１６：超解像処理回路、１１７：信号処理回路、１１８：画素ずらし制御回路、１１９：圧縮伸張回路、１２０：メモリコントローラ、１２１：表示装置制御回路、１２２：メディアＩ／Ｆ回路、１２３：外部メモリ、１２４：表示装置、１２５：メディア、１２６：手ぶれ補正部、１２７：光学手ぶれ補正系

Claims (12)

1. 複数画素を有し、入射した被写体の光学像を電気信号に変換して画像データを出力する撮像手段と、
   前記光学像の前記撮像手段上への入射位置をずらすシフト手段と、
   動画記録中に静止画記録を指示する指示手段と、
   前記指示手段による指示に応じて、複数フレームを１周期として１画素未満ずつ互いに異なる位置に前記光学像の入射位置をずらすように前記シフト手段を制御する制御手段と、
   前記指示手段による指示に応じて、１周期で得られる前記複数フレームの画像データを、画素密度が向上するように１枚の画像に合成する合成手段と、
   前記指示手段による指示に応じて、前記制御手段による前記光学像の入射位置のずれをキャンセルするように各フレームの画像データを補正する補正手段と
   を有することを特徴とする撮像装置。
2. 前記制御手段は、
   １画素未満のずらし量を出力するずらし量出力手段と、
   手ぶれを検出して手ぶれ補正量を取得する手ぶれ検出手段と、
   前記ずらし量と前記手ぶれ補正量とに基づいて、前記シフト手段を制御するための制御量を算出する算出手段と
   を有することを特徴とする請求項１に記載の撮像装置。
3. 前記合成手段及び前記補正手段は、前記ずらし量出力手段により出力されるずらし量に基づいて、前記合成及び補正をそれぞれ行うことを特徴とする請求項２に記載の撮像装置。
4. 前記撮像手段から出力される複数フレーム分の画像データから、画像の動き量を検出する検出手段を更に有し、
   前記合成手段及び前記補正手段は、前記検出手段により得られた動き量に基づいて、前記合成及び補正をそれぞれ行うことを特徴とする請求項１または２に記載の撮像装置。
5. 表示手段を更に有し、
   前記動画記録中の静止画撮影時に、前記表示手段に、動画像を連続して表示するか、静止画像を作成する複数フレームから任意のフレームの画像を表示するか、または前記合成手段により合成された画像を表示することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 複数画素を有し、入射した被写体の光学像を電気信号に変換して画像データを出力する撮像手段と、前記光学像の前記撮像手段上への入射位置をずらすシフト手段とを有する撮像装置における撮像方法であって、
   動画記録中に静止画記録を指示する指示工程と、
   前記指示工程による指示に応じて、複数フレームを１周期として１画素未満ずつ互いに異なる位置に前記光学像の入射位置をずらすように前記シフト手段を制御するシフト工程と、
   前記指示工程における指示に応じて、１周期で得られる前記複数フレームの画像データを、画素密度が向上するように１枚の画像に合成する合成工程と、
   前記指示手段による指示に応じて、前記シフト工程による前記光学像の入射位置のずれをキャンセルするように各フレームの画像データを補正する補正工程と
   を有することを特徴とする撮像方法。
7. 前記シフト工程では、
   １画素未満のずらし量を出力するずらし量出力工程と、
   手ぶれを検出して手ぶれ補正量を取得する手ぶれ検出工程と、
   前記ずらし量と前記手ぶれ補正量とに基づいて、前記シフト手段を制御するための制御量を算出する算出工程と
   を有することを特徴とする請求項６に記載の撮像方法。
8. 前記合成工程及び前記補正工程では、前記ずらし量出力工程で出力されたずらし量に基づいて、前記合成及び補正をそれぞれ行うことを特徴とする請求項７に記載の撮像方法。
9. 前記撮像手段から出力される複数フレーム分の画像データから、画像の動き量を検出する検出工程を更に有し、
   前記合成工程及び前記補正工程では、前記検出工程でにより得られた動き量に基づいて、前記合成及び補正をそれぞれ行うことを特徴とする請求項６または７に記載の撮像方法。
10. 前記動画記録中の静止画撮影時に、表示手段に、動画像を連続して表示するか、静止画像を作成する複数フレームから任意のフレームの画像を表示するか、または前記合成工程で合成された画像を表示する表示工程を更に有することを特徴とする請求項６乃至９のいずれか１項に記載の撮像方法。
11. コンピュータに、請求項６乃至１０のいずれか１項に記載の撮像方法の各工程を実行させるためのプログラム。
12. 請求項１１に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。

Images