JP5054583B2 - 撮像装置 - Google Patents

Description

この発明は、ダイナミックレンジを向上させた画像を形成することのできる撮像装置に関する。

従来から、ダイナミックレンジを向上させることのできる撮像装置が知られている（特許文献１参照）。

かかる撮像装置は、露光量の異なる複数の画像信号を出力し、このうちの少なくとも１つの画像信号が画素数の少ない画像信号にし、これら画像信号を合成してダイナミックレンジの向上を図ったものである。

また、他の撮像装置として特許文献２に示すものが知られている。

かかる撮像装置は、撮像された被写体像の特定された主要被写体の像ぶれ量とそれ以外の像ぶれ量とを検出する像ぶれ検出手段を設け、この像ぶれ検出手段が検出する像ぶれ量に基づいて画像信号の合成の可否を決定し、合成できないと判定した場合には、複数枚の画像情報間の局所的な像ずれ量を検出し、像ずれ量が所定値以下の部分では複数枚の画像情報を用いて合成画像情報を作成し、像ずれ量が所定値を越える部分では１枚の画像情報を用いて合成画像情報を作成するようにしたものである。
特許第３６７４４２０号公報 特許第３７８８７１４号公報

しかしながら、前者にあっては、複数の画像間に位置ずれがあった場合には、適正な合成画像が得られないという問題があった。

また、後者にあっては、像ぶれ検出手段により主要被写体の像ぶれ量やそれ以外の像ぶれ量を検出したり、像ずれ量が所定値以下の部分では複数枚の画像情報を用いて合成画像情報を作成したり、像ずれ量が所定値を越える部分では１枚の画像情報を用いて合成画像情報を作成したりするので、その演算処理が膨大なものとなり、処理時間が長くなって実用的でないという問題があった。

この発明の目的は、複数の画像データを合成する際に位置ずれの影響を極力小さくすることができ、しかも合成処理の処理時間を短くしてダイナミックレンジの広い画像を得ることのできる撮像装置を提供することにある。

請求項１の発明は、 撮影光学系と、この撮影光学系により入射される光学像を電気信号に変換するとともにこの変換した電気信号を画像データとして転送出力する撮像素子とを備えた撮像装置であって、
所定の画像サイズで短時間の露光を行う第１の露光及び該第１の露光による第１の画像データを転送出力する第１の露光転送動作と、前記所定の画像サイズより小さな画像サイズで前記短時間とほぼ同じ露光時間で露光を行う第２の露光及び該第２の露光による第２の画像データを転送出力する第２の露光転送動作と、前記所定の画像サイズで前記短時間より長い露光時間で露光を行う第３の露光及び該第３の露光による第３の画像データを転送出力する第３の露光転送動作とを一回の撮影動作で行うよう制御する制御手段と、
前記第１の画像データと、前記第３の画像データとに基づいて位置ズレ量を検出する位置ズレ検出手段とを有し、
前記第２の画像データの転送出力時間は、前記第１の画像データ及び前記第３の画像データの転送出力時間よりも十分に短い時間で転送出力され、
前記制御手段は、前記第２,第３の露光転送動作の順番で、前記第２の露光転送動作と前記第３の露光転送動作とが連続して動作するように制御し、
前記位置ズレ検出手段が検出する位置ズレ量が許容範囲内であるか否かに応じて、位置ズレ量が許容範囲内の場合は前記第１の画像データと前記第３の画像データとを合成し、位置ズレ量が許容範囲外の場合は前記第２の画像データと前記第３の画像データとを合成することを特徴とする。

請求項２の発明は、前記制御手段は、前記第１の露光転送動作を行った後に、前記第２の露光転送動作と前記第３の露光転送動作とを連続して動作するよう制御することを特徴とする。

請求項３の発明は、前記制御手段は、前記第２の露光転送動作と前記第３の露光転送動作とを連続して動作させた後、前記第１の露光転送動作を行うよう制御することを特徴とする。

請求項４の発明は、前記位置ズレ検出手段による位置ズレ量検出は、比較対象の画像をそれぞれ所定ブロックに分割して処理することを特徴とする。

この発明によれば、複数の画像データを合成する際に位置ずれの影響を極力小さくすることができ、しかも合成処理の処理時間を短くしてダイナミックレンジの広い画像を得ることができる。

以下、この発明に係る撮像装置を搭載したデジタルスチルカメラの実施形態である実施例を図面に基づいて説明する。

［第１実施例］
図１，２，３および図４は、本発明の一実施形態に係るデジタルスチルカメラの構成を示す図であり、図１はデジタルスチルカメラの全体のシステム構成の概要を示すブロック図、図２〜４は、図１に示したカメラの外観構成を模式的に示す図であり、図２は平面図、図３は正面図、図４は背面図、をそれぞれ示す。図１に示したデジタルスチルカメラは、フォーカスレンズ（フォーカス光学系）を含む撮影レンズ系（撮像光学系）１、この撮影レンズ系１を通して投影された像を撮像するＣＣＤ３（撮像素子）と、撮影レンズ系１とＣＣＤ３との間に設けられたメカニカルシャッタ２と、撮影レンズ系１のうち少なくともフォーカスレンズを、その光軸方向に沿った可動範囲で変位させるモータドライバ１９と、撮影開始の操作が入力されるシャッターレリーズボタン（撮影開始操作入力手段）を含む操作部２０と、主としてＣＣＤ３からの信号読取りの処理を行うフロントエンド（Ｆ／Ｅ）の信号処理部３１と、カメラボディ（本体）２００（図２ないし図４参照）の振れを検出するジャイロセンサ３００と、カメラボディ２００の振れである手振れを補正する手振れ補正手段３０１と、ＣＣＤ３から信号を読み取るための制御や、読み取られた信号の処理、モータドライバ１９の駆動制御、操作部２０からの操作信号の入力処理、ＣＣＤ３から読み取って得られた画像データに基づいて、この画像データが表す画像の合焦程度を表す指標値であるオートフォーカス評価値等の各種演算処理を行うデジタル信号処理ＩＣ３２（制御部）等とを備えている。

カメラボディ２００には、ＣＣＤステージ３０２がＸ−Ｙ方向に移動可能に設けられており、このＣＣＤステージ３０２にＣＣＤ３が搭載されている。ＣＣＤステージ３０２は図示しない駆動機構によってＸ−Ｙ方向に移動され、駆動機構は、ジャイロセンサ３００が検出する振れ量に基づいてＣＰＵなどを備えた制御装置（制御手段：位置ズレ検出手段：画像処理手段）１５により制御される。

ここで、Ｆ／Ｅ信号処理部３１は、ＣＤＳ（相関２重サンプリング）回路４、ＡＧＣ（自動利得制御）回路５、Ａ／Ｄ（アナログ・デジタル）変換器６、およびタイミング発生器（ＴＧ）７を備えている。

一方、デジタル信号処理ＩＣ３２は、ＣＣＤインタフェース（ＣＣＤ Ｉ／Ｆ）８、メモリコントローラ９、表示出力制御部１０、圧縮処理部１１、ＹＵＶ変換部１２、リサイズ処理部１３、メディアインタフェース（メディアＩ／Ｆ）１４、および制御装置１５を備え、接続されているＲＯＭ（リードオンリメモリ）１６、フレームメモリ（ＳＤＲＡＭ：記憶手段）１７、液晶（ＬＣＤ）ディスプレイ１８、音声出力装置２１、およびメモリカード２２を制御するとともに、測距センサ２３、操作部２０およびＲＯＭ１６からの信号等の入力を受けている。

また、制御装置１５は、前述の指標値であるオートフォーカス評価値Ｌを算出する評価値算出手段として作用するが、このオートフォーカス評価値Ｌの算出は、カメラの電源がＯＮに切り替えられた時点から開始され、所定のタイミングごとに行われる。

そして、制御装置１５は、算出されたオートフォーカス評価値Ｌと、予め設定された所定の閾値とを大小比較し、撮影開始操作の際のタイミングにおけるこの比較の結果に基づいて、撮影レンズ系１のフォーカスレンズを、その可動範囲の２つの端部のうち、いずれの端部に移動させるかを決定する。

すなわち、操作部２０のシャッターレリーズボタンの押下は撮影開始操作であり、制御装置１５は、このレリーズボタンが押下されたこと、すなわち撮影開始の操作が入力されたことを検出して、フォーカスレンズを、その可動範囲のうち、いずれか一方の端部に移動させ、この一方の端部から他方の端部に向けてフォーカスレンズを少しずつ変位させるようにモータドライバ１９を制御しつつ、この変位の都度（所定のタイミングごとに）、オートフォーカス評価値の算出と、算出されたオートフォーカス評価値と閾値との大小比較を行って、像の最適合焦状態を得るときのフォーカスレンズの変位位置（フォーカスポジション）を探索し、この探索によって得られた位置に、フォーカスレンズを移動させる、いわゆるコントラスト評価方式ＡＦ制御を行う。

また、メカニカルシャッタ２は、撮影レンズ系１とＣＣＤ３との間の光路上に介挿されて、光路を開閉し、ＣＣＤ３の露光を制限する。ＣＣＤ３は、露光状態で受光面に入射される光学像を電気信号に変換して一時保持し、画像データとして転送出力する。

ＣＤＳ回路４は、ＣＣＤ３の出力画像信号を相関２重サンプリングする。ＡＧＣ回路５は、ＣＤＳ回路４の相関２重サンプリング出力を、自動利得制御して所用の信号レベルに調整する。Ａ／Ｄ変換器６は、ＡＧＣ回路５のアナログ出力をデジタルデータに変換する。

タイミング発生器（ＴＧ）７は、デジタル信号処理ＩＣ３２のＣＣＤインタフェース８から与えられる同期駆動信号であるＶＤ信号（垂直同期駆動信号）およびＨＤ信号（水平同期駆動信号）に応動し、かつ、制御装置１５と連携して、ＣＣＤ３、ＣＤＳ回路４、ＡＧＣ回路５およびＡ／Ｄ変換器６に、それぞれタイミング信号を与え、これらを適正に同期させる。

デジタル信号処理ＩＣ３２は、制御装置１５の制御に基づいて、信号処理部３１のＡ／Ｄ変換器６を介して与えられるデジタル画像データを、フレームメモリ１７に格納するとともに、圧縮処理およびＹＵＶ変換処理等の所要の信号処理を行い、当該信号処理ＩＣ３２内で処理されたデータのフレームメモリ１７への格納、Ａ／Ｄ変換器６から与えられ、またはフレームメモリ１７から取り出された画像データ等の、ＬＣＤディスプレイ１８への表示、Ａ／Ｄ変換器６から与えられ、またはフレームメモリ１７から取り出されたデジタル画像データの圧縮処理、ＹＵＶ変換処理およびリサイズ処理、並びにフレームメモリ１７から取り出されたデジタル画像データのメディアインタフェース１４を介してのメモリカード２２への格納等の処理を行う。

ＣＣＤインタフェース８は、信号処理部３１のＡ／Ｄ変換器６から与えられるデジタル画像データを受けて、メモリコントローラ９を介してフレームメモリ１７に格納する。

メモリコントローラ９は、制御装置１５の制御に基づき、ＣＣＤインタフェース８を介して与えられるＲＧＢ原データ（ＲＡＷ−ＲＧＢ）、ＹＵＶ変換部１２によりＹＵＶ変換されたＹＵＶデータ、圧縮処理部１１により例えばＪＰＥＧ（Joint Photographic Experts Group）方式で圧縮処理されたＪＰＥＧデータ、およびＯＳＤ（オンスクリーンディスプレイ）画像データ等のフレームメモリ１７への書込みとフレームメモリ１７からの読出しを制御する。

表示出力制御部１０は、フレームメモリ１７から読み出された画像データを、ＬＣＤディスプレイ１８に表示させるとともに、外部のテレビジョン（ＴＶ）等に表示させるためのＴＶ出力を出力する。

圧縮処理部１１は、Ａ／Ｄ変換器６から与えられ、またはフレームメモリ１７から取り出された画像データ等を、例えばＪＰＥＧ方式のような所定の圧縮方式にて圧縮処理する。

ＹＵＶ変換部１２は、Ａ／Ｄ変換器６から与えられ、またはフレームメモリ１７から取り出された画像データを、制御装置１５から与えられるオートホワイトバランス（ＡＷＢ）制御値にしたがって、ＹＵＶ変換する。

リサイズ処理部１３は、Ａ／Ｄ変換器６から与えられ、またはフレームメモリ１７から取り出された画像データを、リサイズする。

メディアインタフェース１４は、Ａ／Ｄ変換器６から与えられ、またはフレームメモリ１７から取り出された画像データを、メモリコントローラ９および制御装置１５の制御にしたがって、メモリカード２２に書き込む。

すなわち、メモリコントローラ９は、Ａ／Ｄ変換器６から与えられた画像データを、フレームメモリ１７へ格納し、かつ、フレームメモリ１７から画像データを取り出して、表示出力制御部１０を介してＬＣＤディスプレイ１８への表示に供するとともに、フレームメモリ１７から画像データを取り出して、圧縮処理部１１によるＪＰＥＧ方式等の圧縮処理、ＹＵＶ変換部１２によるＹＵＶ変換、リサイズ処理部１３によるリサイズ処理並びにこれら圧縮、ＹＵＶ変換およびリサイズの処理後のデータのフレームメモリ１７への書込みに供し、さらには、フレームメモリ１７からデータを取り出してメモリカード２２への書込みに供する。

ＲＯＭ１６には、制御装置１５の動作プログラムおよびデータ等が格納されており、制御装置１５は、ＲＯＭ１６から読み出したプログラム、およびデータにしたがって、撮影動作に係る各種の処理や上述したオートフォーカス制御の処理を実行する。

フレームメモリ１７は、例えばＳＤＲＡＭ（シンクロナス・ダイナミック・ランダム・アクセス・メモリ）等の半導体メモリであり、ＲＧＢ原データ、ＹＵＶ変換されたＹＵＶデータ、ＪＰＥＧ圧縮されたＪＰＥＧデータ、およびＯＳＤ画像データ等を、それぞれ格納する。

そして、ＣＣＤ３とＦ／Ｅ信号処理部３１とデジタル信号処理ＩＣ３２とフレームメモリ１７とＣＣＤステージ３０２とジャイロセンサ３００と手振れ補正手段３０１等とから撮像装置が構成される。

ＬＣＤディスプレイ１８は、液晶表示装置等の画像表示可能な表示装置であり、Ａ／Ｄ変換器６から供給され、またはフレームメモリ１７から取り出され、表示出力制御部１０を介して与えられる画像データ等を表示し、さらには、所要の情報を表示する。

モータドライバ１９は、制御装置１５の制御に基づいて、フォーカシングおよびズーミング等のために撮影レンズ系１のレンズ駆動モータ（モータドライバ１９として表示しているものとする）を駆動し、かつシャッタ開閉動作のためにタイミング発生器７と連動して、メカニカルシャッタ２のシャッタ駆動モータ（図示せず）を駆動する。

操作部２０は、シャッターレリーズボタンの他、各モードを切り換えるためのモードスイッチ、並びにその他のスイッチ、キー、レバーおよびダイヤル等の、少なくとも一部の操作手段を含み、当該デジタルスチルカメラに対する動作指示、設定指示および選択指示等の情報を制御装置１５に与えるための操作を行う。

音声出力装置２１は、警報および音声アナウンス等の音声を発する。メモリカード２２は、いわゆるフラッシュメモリのような半導体不揮発性メモリを内蔵するスモールカードなどと称される小型のＩＣメモリ式記録媒体であり、当該デジタルスチルカメラに対して、着脱可能な外部記録媒体として用いられ、通常は、例えばデジタルスチルカメラに設けられたスロットに装着されて用いられる。

このメモリカード２２は、例えば、制御装置１５の制御により、フレームメモリ１７内のＪＰＥＧ等の方式で圧縮処理された画像データをメモリコントローラ９を介してフレームメモリ１７から取り出し、撮影結果として保存する。

測距センサ２３は、図３に示した測距ユニット１０５を用いた、いわゆる三角測量方式による、定期的に被写体距離を計測する測距手段を構成する。

制御装置１５は、この測距センサ２３による被写体距離の計測値の変化を監視し、合焦状態が保持されているか否かを判定する。また、フレームメモリ１７に記憶された画像データをメモリコントローラ９を介して読み出し、この読み出した画像データを合成処理したり、この合成処理した画像データをメモリコントローラ９を介してフレームメモリ１７に記憶させたりする。

また、図２〜図４において、デジタルスチルカメラは、ボディの背面にＬＣＤモニタ１８Ａが、そしてボディの上面にサブＬＣＤ１８Ｂが配設されており、これらＬＣＤモニタ１８ＡおよびサブＬＣＤ１８Ｂが、図１に示したＬＣＤディスプレイ１８を構成する。

ＬＣＤモニタ１８Ａは、主として画像を表示し、サブＬＣＤ１８Ｂは、主としてフィルムカウンタ、日付／時間および動作状態を示す各種シンボルマーク等を表示する。

また、カメラボディ２００の上面には、シャッターレリーズボタン２０１およびモードダイアル２０２が配設され、ボディの背面には、広角側（ＷＩＤＥ）ズームスイッチ２０３、望遠側（ＴＥＬＥ）ズームスイッチ２０４、セルフタイマ／削除スイッチ２０５、メニュースイッチ２０６、上／ストロボスイッチ２０７、右スイッチ２０８、ディスプレイスイッチ２０９、下／マクロスイッチ２１０、左／画像確認スイッチ２１１およびオーケー（ＯＫ）スイッチ２１２がそれぞれ配設されており、これら各スイッチが、図１における操作部２０を構成する。

カメラボディ２００の背面下部には、電源スイッチ１０１が配設されており、カメラボディ２００の被写体に向かって右側面には、ＳＤカード等のメモリカード２２および電源としての電池の収納部をカバーするメモリカード／電池蓋１０２が配設されている。

カメラボディ２００の前面にはストロボ発光部１０３、光学ファインダ１０４の対物面、測距ユニット１０５、リモコン（リモートコントロール）受光部１０６および撮影レンズの鏡胴ユニット１０７等が配設されている。

カメラボディ２００の背面側には、さらに、光学ファインダ１０４の接眼部、ＡＦ表示ＬＥＤ（発光ダイオード）１０８およびストロボ表示ＬＥＤ１０９が配設されている。
［動 作］
次に、上記のように構成されるデジタルスチルカメラの動作について説明する。

図２のシャッターレリーズボタン２０１が操作されると、合焦位置検出のための自動合焦動作と静止画記録処理が行われる。

この自動合焦動作は、シャッターレリーズボタン２０１が押下されると、操作部２０から静止画の撮影開始操作を表す信号が制御装置１５に取り込まれ、制御装置１５が、フレームレートに同期してモータドライバ１９を介して撮影レンズ系１の少なくとも一部であるフォーカスレンズを駆動し、例えばコントラスト評価方式（山登り）ＡＦ制御を実行する。

静止画記録処理は、自動合焦が行われた後に図５に示すフロー図の動作処理にしたがって行われる。また、この静止画記録処理の際に、ジャイロセンサ３００の出力信号に基づいて手振れ補正処理が行われ、手振れ補正手段３０１を介してカメラボディ２００の手振れ補正が行われる。

一方、ステップ１では、メカニカルシャッタ２を制御して短露光撮像を行う。この短露光撮像は例えば図６に示すように露光時間が４msecであり、この露光によるＣＣＤ３の全画素の画像データが１枚目の画像データとしてデジタル信号処理ＩＣ３２に取り込まれてフレームメモリ１７に記憶される。この短露光撮像の画像データの転送時間は約６６msecとなる。なお、ＣＣＤ３の全画素画像のサイズは９００万画素である。

ステップ２では、全画素の画像データの転送後にメカニカルシャッタ２を制御して短露光撮像を行う。この短露光撮像も露光時間が約４msecであり、この露光によるＣＣＤ３の間引きデータが２枚目の画像データとしてデジタル信号処理ＩＣ３２に取り込まれてフレームメモリ１７に記憶される。間引き画像の画像サイズは例えば１００万画素であり、その転送時間は約８msecである。

ステップ３では、間引き画像データの転送後にメカニカルシャッタ２を制御して長露光撮像を行う。この長露光撮像の露光時間は約６６msecであり、この露光によるＣＣＤ３の全画素の画像データが３枚目の画像データとしてデジタル信号処理ＩＣ３２に取り込まれてフレームメモリ１７に記憶される。この長時間露光による画像データの転送時間は約６６msecである。

ステップ４では、１枚目の画像データと３枚目の画像データに基づいて位置ズレ検出処理を行って位置ズレ量を求める。この位置ズレ量は制御装置１５が演算処理して求める。

この位置ズレ検出処理は、比較対象の画像すなわち１枚目または３枚目の画像を例えば３２×３２のブロックに分割する。次に、それぞれの画素に対応する輝度値を算出する。そして、それぞれのブロックにおいて、一方の画像を１画素ずつ上下左右方向に移動させていき、他方の画像との輝度値の差分を算出する。この差分のブロック内の平均値が最小値となる移動量を当該ブロックにおける位置ズレ量とするものである。ここで、３２×３２のブロックに分割して処理するのは、全画面において上述の処理を実行した場合には、局所的な位置ズレの情報が埋もれてしまうことがあるからである。

この位置ズレ量がゼロないし小さい場合には、位置ズレが発生していないか若しくは位置ズレが小さいと判断することができる。

この実施例では、比較する画像間において露光時間の違いを考慮する必要があるため、差分を算出する前に予め短露光撮像の画像に露光時間に応じたゲインを掛けておく。

また、間引きされた短露光画像と長露光画像との合成が可能か否かを判断するために位置ズレを求めているので、間引きされた画像が長露光画像に対して、水平・垂直方向にそれぞれ１／３のサイズであるから、３画素以内のズレ量は位置ズレはないものとして扱うことができる。

ステップ５では、ステップ４で求めた位置ズレ量が許容範囲内であるか否かを判断し、許容範囲内であればイエスと判断してステップ６へ進む。位置ズレ量が許容範囲内であるか否かの判断は制御装置１５が行う。

ステップ６では、１枚目の画像データと３枚目の画像データとの合成を行う。１枚目および３枚目の画像データは全画素の画像データであることにより、解像度が高く且つダイナミックレンジの広い合成画像を生成することができる。

ステップ５でノーと判断された場合、すなわち、位置ズレ量が許容範囲外であるときステップ７へ進む。なお、ステップ４で求めた位置ズレ量には、手振れ補正手段３０１によって手振れ補正が行われているので、手振れによる位置ズレは生じておらず、撮影領域内の被写体の移動によってのみ発生するものと考えられる。

ステップ７では、２枚目の画像データと３枚目の画像データとの合成を行う。２枚目の画像データは間引きされた画像データであるが、２枚目の画像データの転送時間は短い。このため、２枚目と３枚目の露光期間のズレは十分短く、２枚目と画像データと３枚目の画像データとの位置ズレは僅かであり、このため、位置ズレの影響を最小限に抑えたダイナミックレンジの広い合成画像を生成することができる。しかも、２枚目と３枚目の画像データを合成するだけなので、その合成処理時間は短いものとなる。

２枚目の画像データと３枚目の画像データとの合成を行う際、２枚目の画像サイズは小さいことにより、２枚目の画像データを補完処理して３枚目の画像サイズに合わせる必要があるが、この補完処理は、一般的に知られている周知のバイリニア法やバイキュービック法などを用いて行う。

ステップ６,７で生成された合成画像はＬＣＤディスプレイ１８に表示されたり、フレームメモリ１７に記憶されたり、メモリカード２２等に格納されたりする。ステップ６,７の合成処理は制御装置１５が行う。

ステップ１からステップ７までの処理は、シャッターレリーズボタン２０１が１回押されるごとに行われることになる。

上述のように、１枚目に短露光撮像を行い全画素の画像データを転送し、２枚目に短露光撮像を行い間引きした画像データを転送し、３枚目に長露光撮像を行い全画素の画像データを転送して、１枚目と３枚目の画像データから位置ズレを求め、この位置ズレに基づいて１枚目と３枚目の画像データの合成や２枚目と３枚目の画像データの合成を行うだけなので、画像データの転送時間を短くするために画像の転送経路を複数にするなどの専用のハードウエアを設ける必要がなく、このため、汎用のインターフェースを使用することができ、安価な撮像装置を提供することができる。

また、換言すれば、静止物体を撮像している場合には、より高解像度の画像を得ることが優先されて１枚目と３枚目の画像データが合成され、移動物体を撮像している場合には、位置ズレを押さえることが優先されて２枚目と３枚目の画像データが合成されることになり、被写体の条件に適したダイナミックレンジの広い合成画像を生成することができることになる。
［第２実施例］
図７は、第２実施例の処理動作を示したフロー図である。以下、このフロー図を参照しながら第２実施例の動作を説明する。

ステップ１０では、メカニカルシャッタ２を制御して短露光撮像を行う。この短露光撮像は図８に示すように露光時間が４msecであり、この露光によるＣＣＤ３の間引きデータが１枚目の画像データとしてデジタル信号処理ＩＣ３２に取り込まれてフレームメモリ１７に記憶される。この画像データの転送時間は８msecである。

ステップ１１では、間引き画像データの転送後にメカニカルシャッタ２を制御して長露光撮像を行う。この長露光撮像の露光時間は約６６mmsecであり、この露光によるＣＣＤ３の全画素の画像データが２枚目の画像データとしてデジタル信号処理ＩＣ３２に取り込まれてフレームメモリ１７に記憶される。この長時間露光による画像データの転送時間は約６６mmsecである。

ステップ１２では、全画素の画像データの転送後にメカニカルシャッタ２を制御して短露光撮像を行う。この短露光撮像も露光時間が約４mmsecであり、この露光によるＣＣＤ３の全画素の画像データが３枚目の画像データとしてデジタル信号処理ＩＣ３２に取り込まれてフレームメモリ１７に記憶される。この短露光撮像の画像データの転送時間は約６６mmsecとなる。なお、ＣＣＤ３の全画素画像のサイズは９００万画素である。

ステップ１３では、２枚目の画像データと３枚目の画像データに基づいて位置ズレ検出処理を行って位置ズレ量を求める。この位置ズレ量は制御装置１５が演算処理して求める。この位置ズレ検出処理は、第１実施例と同様にして求めるのでその説明は省略する。

ステップ１４では、ステップ１３で求めた位置ズレ量が許容範囲内であるか否かを判断し、許容範囲内であればイエスと判断してステップ１５へ進む。

ステップ１５では、２枚目（２回目の露光）の画像データ（ステップ１１の画像データ）と３枚目（３回目の露光）の画像データ（ステップ１２の画像データ）との合成を行う。２枚目および３枚目の画像データは全画素の画像データであることにより、解像度が高く且つダイナミックレンジの広い合成画像を生成することができる。

ステップ１４でノーと判断された場合、すなわち、位置ズレ量が許容範囲外であるときステップ１６へ進む。

ステップ１６では、１枚目（１回目の露光）の画像データ（ステップ１０の画像データ）と２枚目（２回目の画像データ）の画像データ（ステップ１１の画像データ）との合成を行う。１枚目の画像データは間引きされた画像データであるが、１枚目の画像データの転送時間は短い。このため、１枚目と２枚目の露光期間のズレは十分短く、１枚目と画像データと２枚目の画像データとの位置ズレは僅かであり、このため、位置ズレの影響を最小限に抑えたダイナミックレンジの広い合成画像を生成することができる。

ステップ１５,１６で生成された合成画像はＬＣＤディスプレイ１８に表示されたり、フレームメモリ１７に記憶されたり、メモリカード２２等に格納されたりする。

この第２実施例も第１実施例と同様な効果を得ることができる。
［他の例］
第１,第２実施例とも撮像素子にＣＣＤ３を使用しているが、これに限らずＣＭＯＳセンサを使用してもよい。この場合、露光と転送を同時に実施するローリングシャッタ方式と、メカニカルシャッタ方式とを使用する。

例えば、図５に示すステップ１,３の露光をメカニカルシャッタ２で実行し、ステップ２の露光をローリングシャッタで実行する。

このようにすることにより、２枚目の露光期間と３枚目の露光期間との間の時間差をほぼゼロにすることができ、また、１枚目と３枚目の露光をメカニカルシャッタ２で実行しているので、位置ズレ量が許容範囲内である場合（１枚目と３枚目の画像データの合成）には、ローリングシャッタ固有の画像の歪みの影響を受けずに済み、位置ズレ量が許容範囲外である場合（２枚目と３枚目の画像データの合成）には、２枚目と３枚目の露光期間の間の時間差がほぼゼロであることにより、位置ズレの影響を極力抑えたダイナミックレンジの広い合成画像を生成することができる。

同様に、図７に示すステップ１１,１２の露光をメカニカルシャッタ２で実行し、ステップ１０の露光をローリングシャッタで実行すれば、上記と同様な効果を得ることができる。

デジタルカメラ内部の撮像装置のシステム構成の概要を示すブロック回路図である。 この発明の実施例におけるデジタルスチルカメラの外観を示した上面図である。 図２に示すデジタルスチルカメラの正面図である。 図２に示すデジタルスチルカメラの背面図である。 デジタルスチルカメラの処理動作を示したフロー図である。 露光時間と転送時間を示した説明図である。 第２実施例のデジタルスチルカメラの処理動作を示したフロー図である。 第２実施例の露光時間と転送時間を示した説明図である。

符号の説明

１ 撮影レンズ系（撮像光学系）
３ ＣＣＤ（撮像素子）
１７ フレームメモリ（記憶手段）
１５ 制御装置（制御手段）
３００ ジャイロセンサ（振れ検出手段）
３０１ 手ブレ補正手段

Claims (4)

1. 撮影光学系と、この撮影光学系により入射される光学像を電気信号に変換するとともにこの変換した電気信号を画像データとして転送出力する撮像素子とを備えた撮像装置であって、
   所定の画像サイズで短時間の露光を行う第１の露光及び該第１の露光による第１の画像データを転送出力する第１の露光転送動作と、前記所定の画像サイズより小さな画像サイズで前記短時間とほぼ同じ露光時間で露光を行う第２の露光及び該第２の露光による第２の画像データを転送出力する第２の露光転送動作と、前記所定の画像サイズで前記短時間より長い露光時間で露光を行う第３の露光及び該第３の露光による第３の画像データを転送出力する第３の露光転送動作とを一回の撮影動作で行うよう制御する制御手段と、
   前記第１の画像データと、前記第３の画像データとに基づいて位置ズレ量を検出する位置ズレ検出手段とを有し、
   前記第２の画像データの転送出力時間は、前記第１の画像データ及び前記第３の画像データの転送出力時間よりも十分に短い時間で転送出力され、
   前記制御手段は、前記第２,第３の露光転送動作の順番で、前記第２の露光転送動作と前記第３の露光転送動作とが連続して動作するように制御し、
   前記位置ズレ検出手段が検出する位置ズレ量が許容範囲内であるか否かに応じて、位置ズレ量が許容範囲内の場合は前記第１の画像データと前記第３の画像データとを合成し、位置ズレ量が許容範囲外の場合は前記第２の画像データと前記第３の画像データとを合成することを特徴とする撮像装置。
2. 前記制御手段は、前記第１の露光転送動作を行った後に、前記第２の露光転送動作と前記第３の露光転送動作とを連続して動作するよう制御することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記第２の露光転送動作と前記第３の露光転送動作とを連続して動作させた後、前記第１の露光転送動作を行うよう制御することを特徴とする請求項１に記載の撮像装置。
4. 前記位置ズレ検出手段による位置ズレ量検出は、比較対象の画像をそれぞれ所定ブロックに分割して処理することを特徴とする請求項１ないし請求項３のいずれか１つに記載の撮像装置。

Images