JP2006345147A - 画素ずらし画像の生成機能を有する電子カメラおよび撮像方法 - Google Patents

Abstract

【課題】 ２次元方向の解像情報をバランス良く含んだ画素ずらし画像を生成する
【解決手段】 本発明の電子カメラは、撮像部、方向検出部、駆動部、および撮像制御部を備える。撮像部は、撮影レンズを通して形成された被写体像を撮像面で光電変換し、画像データを生成する。方向検出部は、被写体像の動き方向を検出する。駆動部は、検出された動き方向に応じて、動き方向の直交方向成分を含むように駆動方向を決定し、撮像面に対してその駆動方向に被写体像を相対移動させる。撮像制御部は、被写体像の相対移動に伴って、撮像部を駆動して複数回の光電変換を実施し、複数の画像データ（画素ずらし画像）を取得する。
【選択図】 図２

Description

本発明は、画素ずらし画像の生成機能を有する電子カメラおよび撮像方法に関する。

下記の特許文献１には、画像入力装置を手動走査することによって、画素ずらしされた複数画像を生成する技術が開示されている。これらの画素ずらし画像は、画素のサンプリング位置が少しずつずれる。そのため、画像入力装置の解像限界を超えた微細な解像情報を得ることができる。そこで、これら複数の画素ずらし画像を合成することによって、解像限界を超えた高解像度の画像（以下『超解像度画像』という）を得ることができる。
特開平10-69537号公報

ところで、上述した従来技術では、移動の方向に起因して、超解像度画像の解像限界が２次元方向で異なるという問題点があった。
例えば、縦横画素配列の画像入力装置を用いて、横方向に移動しながら撮像すると、横方向のみ画素ずらしが実施される。この場合、横方向については解像限界が高くなるが、縦方向については実質的な解像限界を高くすることはできない。

このように２次元方向で解像限界が異なると、画像中の輪郭線の太さが縦横で異なるなどのひずみが生じるため、不自然な印象の画像になりやすい。また、解像限界の低い方向は、その方向のみ平滑化されたように見えるために、方向均一性のない不自然な画像になりやすい。

なお、横方向の１次元移動であっても、縦方向への緩やかな移動を期待することができる。しかし、特に移動量が少ない場合には、この緩やかな縦移動から更なる縦方向の解像情報を得るために、画素ずらし画像の撮像枚数を何倍にも増やす必要があるなど別の問題が生じる。

そこで、本発明では、２次元方向の解像情報をバランス良く含んだ画素ずらし画像を生成することを目的とする。

《１》 本発明の電子カメラは、撮像部、方向検出部、駆動部、および撮像制御部を備える。
撮像部は、撮影レンズを通して形成された被写体像を撮像面で光電変換し、画像データを生成する。
方向検出部は、被写体像の動き方向を検出する。
駆動部は、検出された動き方向に応じて、動き方向の直交方向成分を含むように駆動方向を決定し、撮像面に対してその駆動方向に被写体像を相対移動させる。
撮像制御部は、被写体像の相対移動に伴って、撮像部を駆動して複数回の光電変換を実施し、複数の画像データ（画素ずらし画像）を取得する。

《２》 また好ましくは、方向検出部は、電子カメラまたは撮影レンズの振れを検出するセンサーの出力から動き方向を検出する。

《３》 なお好ましくは、方向検出部は、画像データを動き解析して、動き方向を検出する。

《４》 また好ましくは、複数の画素ずらし画像から得られる解像情報に基づいて、撮像部の２次元解像度よりも高解像度の超解像度画像を生成するデータ処理部を備えたことを特徴とする。

《５》 なお好ましくは、駆動部は、電子カメラまたは撮影レンズが搭載する光学的手振れ補正用の機構を制御駆動することにより、被写体像を移動させることを特徴とする。

《６》 また好ましくは、光学的手振れ補正用の機構は、撮像面の露光期間中は手振れ補正によって撮像面に被写体像をほぼ静止させ、露光期間と露光期間の間に被写体像を撮像面に対して駆動方向に相対移動させる。

《７》 本発明の撮像方法は、撮影レンズを通して形成された被写体像を撮像面で光電変換して、画像データを生成する撮像部を使用する撮像方法であって、次の動作ステップを実行する。
（ステップ１）被写体像の動き方向を検出する。
（ステップ２）検出された動き方向に応じて、動き方向の直交方向成分を含むように駆動方向を決定し、撮像面に対して駆動方向に被写体像を相対移動させる。
（ステップ３）被写体像の相対移動に伴って、撮像部を駆動して複数回の光電変換を実施し、複数の画像データ（画素ずらし画像）を取得する。

本発明では、被写体像の動き方向を検出し、動き方向の直交方向を含む方向へ被写体像を相対移動させる。その結果、被写体像は撮像面に対して２次元軌跡を描くように相対移動する。この状態で、複数の画像撮影を行うことにより、２次元方向の解像情報をバランス良く含んだ画素ずらし画像を得ることができる。

《実施形態の構成説明》
図１は、電子カメラ１１の構成を示すブロック図である。
図１において、電子カメラ１１には撮影レンズ１２が装着される。撮影レンズ１２の光学系には、手振れ補正光学系１２ａが設けられる。この手振れ補正光学系１２ａは、ブレ補正部１２ｂによって２軸方向に駆動される。この駆動動作により、撮影レンズ１２が生成する被写体像は上下左右の２次元方向に移動する。この被写体像の結像位置には、撮像素子１３の撮像面が配置される。撮像素子１３は、撮像制御部１３ａによって駆動され、画像データを出力する。出力された画像データは、信号処理部１４、画像メモリ１４ａ、およびデータ処理部１５を介して処理される。処理された画像データは、モニタ表示部１６、および圧縮／復号部１７へ出力される。モニタ表示部１６は、画像データのモニタ表示を行う。また、圧縮／復号部１７は、画像データを圧縮して記録媒体１８に保存する。

また、電子カメラ１１または撮影レンズ１２には動きセンサー２４が配置され、２軸方向の動き（角速度、角加速度、加速度など）を検出する。また、電子カメラ１１には、レリーズ釦やメニュー釦などからなる操作部材２５が設けられる。
なお、電子カメラ１１には制御部２１が設けられる。この制御部２１は、動きセンサー２４や操作部材２５からの信号を処理し、かつブレ補正部１２ｂ、撮像制御部１３ａ、データ処理部１５などの動作をコントロールする。

《実施形態の動作説明》
上述した電子カメラ１１は、通常の撮影モードに加えて、超解像度撮影モードを選択可能に有する。
図２は、この超解像度撮影モードを説明する流れ図である。以下、図２に示すステップ番号に沿って、この超解像度撮影モードの動作を説明する。

ステップＳ１１： 制御部２１は、ユーザーからのレリーズ操作を待機する。制御部２１は、操作部材２５を介してレリーズ操作を検出すると、ステップＳ１２に動作を移行する。

ステップＳ１２： 制御部２１は、撮像制御部１３ａに対して連続撮影（連写）の開始を指示する。撮像制御部１３ａは、撮影レンズ１２内の絞り制御や、機械シャッタ（不図示）の開閉制御や電子シャッタ制御を実施して、撮像素子１３の撮像面に被写体像を露光する。
なお、この露光期間中、ブレ補正部１２ｂは、露光時の像位置（ステップＳ１５で変位済みの像位置）に被写体像が静止するよう、手振れ補正光学系１２ａを用いてブレ補正制御を行うことが好ましい。
この露光期間の終了後、撮像制御部１３ａは、撮像素子１３に読み出しパルスを出力して、生成された画像データを読み出す。この画像データは、信号処理部１４を介してデジタル化などの処理がされた後、画像メモリ１４ａに記憶される。
なお、撮像制御部１３ａは、後述するステップＳ１８までの期間、この撮像動作を所定の連写速度（フレームレート）で繰り返す。この連写動作により、複数の画像データが画像メモリ１４ａ内に蓄積される。

ステップＳ１３： 制御部２１は、動きセンサー２４から出力される２軸の角加速度に基づいて、撮像面に対する被写体像の動き方向を検出する。なお、制御部２１は、連写撮影される画像データの動き解析（ブロックマッチング処理など）により、この動き方向を検出してもよい。
なお、ここでの動き方向は、瞬間的な動き方向でもよいし、また、瞬間的な動き方向の移動平均を取った平均的な動き方向でもよい。また、過去の被写体像の軌跡を外延して、次回露光時における被写体像の動き方向を予測で求めてもよい。

ステップＳ１４： 制御部２１は、ステップＳ１３で求めた動き方向に対して直交方向成分を含むように、被写体像の駆動方向を決定する。例えば、動き方向に対して直交する方向を、そのまま駆動方向としてもよい。また例えば、上下方向、左右方向、右斜め方向、左斜め方向などの予め設定した方向から、動き方向に直交する方向に近い方向を選択してもよい。

ステップＳ１５： 制御部２１は、ブレ補正部１２ｂを介して、手振れ補正光学系１２ａを駆動し、被写体像を駆動方向に振る。この動作により、被写体像は動き方向のみではなく、その直交方向にも変位する。なお、変位幅については、画素間隔以下でもよいし、画素間隔を超えてもよい。具体的には、複数の画素ずらし画像において、画素位置が重ならないように設定すればよい。
なお、この被写体像を振る動作（撮像面上の被写体像を変位させる動作）は、ステップＳ１２で説明した露光期間を除く期間（露光完了から次回の露光開始までの期間）に実施することが、撮像ブレを防ぐ観点から好ましい。
また、この被写体像の駆動は往復運動（振動運動、例えば上下の振動運動）でもよい。また、一方向のみ（例えば上方向のみ）に駆動する運動でもよい。

ステップＳ１６： 制御部２１は、レリーズ操作の解除を検出すると、ステップＳ１８に動作を移行する。一方、レリーズ操作が継続している場合、制御部２１はステップＳ１７に動作を移行する。

ステップＳ１７： 電子カメラ１１に連写の予定枚数が予めカスタム設定されている場合、制御部２１は、予定枚数の撮像を完了したか否かを判定する。
ここで、予定枚数に満たない場合、制御部２１は、ステップＳ１２に動作を戻す。
一方、予定枚数に達した場合、制御部２１は、ステップＳ１８に動作を移行する。

ステップＳ１８： 制御部２１は、撮像制御部１３ａに連写動作の終了を指示する。上述した一連の動作により、複数の画素ずらし画像が画像メモリ１４ａに蓄積される。
ちなみに、解像情報を２次元方向にバランス良く得るためには、３つ以上の画素ずらし画像の全てについて、撮像時の像位置が一直線上に並ばないことが好ましい。なお、２次元軌跡の像移動に伴って３回以上の撮像動作を実施すれば、よほどの偶然が働かない限り、像位置の全ては一直線上に並ばない

ステップＳ１９： 制御部２１は、データ処理部１５に画像合成を指示する。データ処理部１５は、画像メモリ１４ａ内の複数の画素ずらし画像を読み出し、被写体像の絵柄の位置が一致するように、撮像素子１３の画素間隔より細かな精度で位置合わせを行う。
この位置合わせは、画像マッチングのような画像解析処理によって実施してもよい。この場合には、位置合わせの各結果を既知の撮像位置の移動軌跡上に載るようにフィッティングを行うことで、撮像素子１３の画素間隔よりも細かな位置合わせ精度を実現することが好ましい。また、画素ずらし画像を予め補間した上で画像マッチングを行うことで、画素間隔より細かな位置合わせ精度を実現してもよい。
また、画素ずらし画像ごとに、露光期間における被写体像の像位置（動き方向と駆動方向の合成など）を求めておき、この像位置に応じて、画素ずらし画像の位置合わせを行ってもよい。

ステップＳ２０： 複数の画素ずらし画像の位置合わせにより、図４，図６，図７などに示すような、２次元方向に細かく分散した多数の画素を得ることができる。データ処理部１５は、これらの細かく分散した画素を再サンプリング（補間）し、例えばサンプル点構造が正方格子化された超解像度画像を得る。ここでの再サンプリングの画素密度は、細かく分散した画素の平均画素密度に近い値に設定することが好ましい。なお、再サンプリング時の補間処理としては、公知の補間処理（例えば、バイリニア法、バイキュービック法、ニアレストネイバー法、線形補間法など）が使用可能である。

以上説明した一連の処理により、撮像素子１３の撮像限界を超え、かつ２次元方向の解像感のバランスに優れた超解像度画像を生成することが可能になる。

《実施形態の効果など》
以下、本実施形態の効果を、図３〜図７を用いて説明する。これら図３〜図７において、図中に示す丸数字は、画素ずらし画像のコマ番号を示す。また、丸数字の各位置は、これら画素ずらし画像の画素位置を示す。

まず、図３は、画面のほぼ横方向に被写体像が動いている状況で、縦方向への像駆動（ステップＳ１５）を行わなかったケースである。このケースでは、画面横方向については画素密度が高く、細かな解像情報を得ることができる。しかし、画面縦方向については、画素密度は殆ど増えないため、解像能力は向上しない。そのため、これらの画素ずらし画像からは、縦横に不均等な解像情報しか得られず、不自然な解像感の超解像度画像が作成されてしまう。

一方、図４は、図３と同じ状況で、縦方向の像駆動（ステップＳ１５）を実施したケースである。このケースでは、画素位置が２次元方向に分散し、２次元方向に解像情報をバランス良く含んだ画素ずらし画像が得られる。その結果、２次元方向に解像感がほぼ均等な超解像度画像を得ることができる。

また、図５は、斜めの右下がり方向に被写体像が動いている状況で、駆動方向の駆動（ステップＳ１５）を行わなかったケースである。このケースでは、右下がり方向については画素密度が高く、細かな解像情報を得ることができる。しかし、直交する右上がり方向については画素密度が増えず、解像能力は向上しない。そのため、これらの画素ずらし画像からは、２次元的に不均等な解像情報しか得られず、不自然な解像感の超解像度画像が作成されてしまう。

一方、図６は、図５と同じ状況で、右上がりの駆動方向の駆動（ステップＳ１５）を実施したケースである。このケースでは、画素位置が２次元方向に分散し、２次元方向に解像情報をバランス良く含んだ画素ずらし画像が得られる。その結果、２次元方向に解像感がほぼ均等な超解像度画像を得ることが可能になる。

また、図７は、図４と同じ状況で、被写体像の動きが連写速度に対して速く、撮像素子１３の画素間隔を超えて画素ずらしが行われたケースである。この場合も、複数の画素ずらし画像の重複範囲については、２次元方向に解像情報をバランス良く含んだ画素ずらし画像が得られる。その結果、２次元方向に解像感がほぼ均等な超解像度画像を得ることが可能になる。

さらに、本実施形態では、撮影レンズ１２の手振れ補正光学系を使用して、被写体像を像移動させる。したがって、像移動のための別機構を新たに設ける必要がない。そのため、超解像度画像の撮像機能を簡易に実現することが可能になる。

また、本実施形態では、動きセンサー２４を用いて、被写体像の動き方向を検出する。この動きセンサー２４も、手振れ補正用に搭載される動きセンサーを流用することが好ましい。この場合、撮像面に対する被写体像の動き方向を検出するための別センサーを新たに設ける必要がなくなり、超解像度画像の撮像機能を簡易に実現できる。

さらに、本実施形態では、撮像素子１３の露光期間中は手振れ補正を実施し、露光期間を除く期間中に被写体像の相対移動を実現する。その結果、画素ずらし画像に対する像ブレを低減し、より鮮明な画素ずらし画像を得ることができる。したがって、超解像度画像の鮮明さを一段と高めることができる。

また、本実施形態では、被写体移動や手振れや手動走査（撮像範囲の手動による移動）による被写体像の動きと、その直交方向への像移動とを組み合わせることによって、様々な超解像度画像を生成することができる。例えば、手動走査の走査範囲を広げることによって、ワイド画面やパノラマ画面の超解像度画像を生成することができる。

《実施形態の補足事項》
なお、上述した実施形態では、撮像面上の被写体像を光学的に像移動させている。しかしながら、実施形態はこれに限定されるものではない。例えば、撮像素子１３の撮像面を面方向に駆動することによって、撮像面に対する被写体像の相対移動を実現してもよい。

さらに、上述した実施形態では、連写撮像動作によって得られた画像から超解像度画像を生成する例について説明した。しかし、動画像撮像動作によって得られた動画像からも、同様の手法により超解像度画像を生成することができる。

また、上述した実施形態では、被写体像の動き方向を検出して、その直交方向を含む駆動方向に被写体像を像移動させることによって、２次元軌跡状の像移動を実現している。しかしながら、実施形態はこれに限定されるものではない。例えば、撮像面に対して被写体像を２次元軌跡状に相対移動させてもよい。この場合、上述したような波動状の軌跡以外にも、図８［Ａ］［Ｂ］に示すような比較的自由な軌跡を設定することができる。このような動作により、被写体像に手振れや手動走査などの動きが無い場合にも、２次元的に解像情報をバランス良く含んだ画素ずらし画像を得ることが可能になる。

なお、上述した実施形態では、電子カメラ１１において超解像度画像を生成している。しかしながら、実施形態はこれに限定されるものではない。例えば、電子カメラ１１側では複数の画素ずらし画像の生成までを実施し、コンピュータなどの後処理で超解像度画像を生成してもよい。

以上説明したように、本発明は、複数の画素ずらし画像を生成する電子カメラなどに利用可能な技術である。

電子カメラ１１の構成を示すブロック図である。 電子カメラ１１の超解像度撮影モードを説明する流れ図である。 駆動方向に像駆動しない場合の画素ずらし状態を説明する図である。 駆動方向に像駆動した場合の画素ずらし状態を説明する図である。 駆動方向に像駆動しない場合の画素ずらし状態を説明する図である。 駆動方向に像駆動した場合の画素ずらし状態を説明する図である。 被写体像の動きが速い場合の画素ずらし状態を説明する図である。 ２次元軌跡状に画素ずらしを行う場合の説明図である。

符号の説明

１１…電子カメラ，１２…撮影レンズ，１２ａ…手振れ補正光学系，１２ｂ…ブレ補正部，１３…撮像素子，１３ａ…撮像制御部，１４…信号処理部，１４ａ…画像メモリ，１５…データ処理部，１６…モニタ表示部，２１…制御部，２４…動きセンサー

Claims (7)

1. 撮影レンズを通して形成された被写体像を撮像面で光電変換し、画像データを生成する撮像部と、
   前記被写体像の動き方向を検出する方向検出部と、
   検出された前記動き方向に応じて、前記動き方向の直交方向成分を含むように駆動方向を決定し、前記撮像面に対して前記駆動方向に前記被写体像を相対移動させる駆動部と、
   前記被写体像の相対移動に伴って、前記撮像部を駆動して複数回の光電変換を実施し、複数の画像データ（画素ずらし画像）を取得する撮像制御部と
   を備えたことを特徴とすることを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記方向検出部は、前記電子カメラまたは前記撮影レンズの振れを検出するセンサーの出力から前記動き方向を検出する手段である
   ことを特徴とする電子カメラ。
3. 請求項１に記載の電子カメラにおいて、
   前記方向検出部は、前記画像データを動き解析して前記動き方向を検出する手段である
   ことを特徴とする電子カメラ。
4. 請求項１ないし請求項３のいずれか１項に記載の電子カメラにおいて、
   複数の画素ずらし画像から得られる解像情報に基づいて、前記撮像部の２次元解像度よりも高解像度の超解像度画像を生成するデータ処理部を備えた
   ことを特徴とする電子カメラ。
5. 請求項１ないし請求項４のいずれか１項に記載の電子カメラにおいて、
   前記駆動部は、前記電子カメラまたは前記撮影レンズが搭載する光学的手振れ補正用の機構を制御駆動することにより、前記被写体像を移動させる
   ことを特徴とする電子カメラ。
6. 請求項５に記載の電子カメラにおいて、
   前記光学的手振れ補正用の機構は、前記撮像面の露光期間中は手振れ補正によって前記撮像面に前記被写体像をほぼ静止させ、前記露光期間と前記露光期間の間に前記被写体像を前記撮像面に対して前記駆動方向に相対移動させる
   ことを特徴とする電子カメラ。
7. 撮影レンズを通して形成された被写体像を撮像面で光電変換して、画像データを生成する撮像部を使用する撮像方法であって、
   前記被写体像の動き方向を検出するステップと、
   検出された前記動き方向に応じて、前記動き方向の直交方向成分を含むように駆動方向を決定し、前記撮像面に対して前記駆動方向に前記被写体像を相対移動させるステップと、
   前記被写体像の相対移動に伴って、前記撮像部を駆動して複数回の光電変換を実施し、複数の画像データ（画素ずらし画像）を取得するステップと
   を備えたことを特徴とすることを特徴とする撮像方法。
   

Images